特開 2024-146487 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024146487

(43)【公開日】2024-10-15

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241004BHJP

   B60R 1/27 20220101ALI20241004BHJP

   G06T 7/00 20170101ALI20241004BHJP

【ＦＩ】

H04N7/18 J

B60R1/27

G06T7/00 650Z

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023059416

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邊 一矢

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FD03

5C054FD07

5C054FE18

5C054HA30

5L096BA04

5L096CA05

5L096DA02

5L096FA32

5L096FA77

5L096GA17

5L096GA43

(57)【要約】

【課題】比較的暗い環境で撮像された複数の画像を繋ぎ合わせて周辺画像を表示する場合であっても、画像が見づらくなるのを抑制することができる画像処理装置を得る。
【解決手段】画像処理装置は、隣接する二つの被撮像領域が重なる複数の重複領域に含まれる複数の関心領域を設定する関心領域設定部と、複数の画像の輝度を補正する補正値を第一の目標輝度に基づいて設定する第一の設定部と、を備え、第一の目標輝度は、全ての関心領域の輝度の平均値に第一の正の値を加えた値であって、かつ第一の正の値よりも大きい第一の閾値以下の値である。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に設けられた複数の撮像部で、前記車両の周辺状況として撮像された、被撮像領域が一部重複する複数の画像を取得する取得部と、
隣接する二つの前記被撮像領域が重なる複数の重複領域に含まれる複数の関心領域を設定する関心領域設定部と、
前記複数の画像の輝度を補正する補正値を第一の目標輝度に基づいて設定する第一の設定部と、
を備え、
前記第一の目標輝度は、全ての前記関心領域の輝度の平均値に第一の正の値を加えた値であって、かつ前記第一の正の値よりも大きい第一の閾値以下の値である、
画像処理装置。

【請求項2】

明るさに関する情報に基づいて、第一のモードと第二のモードとを切り替えるモード切替部を備え、
前記第一の設定部は、前記第一のモードの場合、前記補正値を前記第一の目標輝度によって設定し、前記第二のモードの場合、前記補正値を前記第一の目標輝度以上の第二の目標輝度によって設定し、
前記第二の目標輝度は、前記第一の閾値である、
請求項１に記載の画像処理装置。

【請求項3】

第二の設定部を備え、
前記第一の設定部は、前記車両を挟んで離間する一対の前記被撮像領域のうち一方である第一の被撮像領域と当該第一の被撮像領域に隣接する一対の前記被撮像領域のうち一方である第二の被撮像領域とが重なる第一の前記重複領域に含まれる第一の前記関心領域の輝度を補正する第一の前記補正値と、前記第一の被撮像領域と当該第一の被撮像領域に隣接する他方の前記被撮像領域である第三の被撮像領域とが重なる第二の前記重複領域に含まれる第二の前記関心領域の輝度を補正する第二の前記補正値と、を前記第一の目標輝度によって設定し、
前記第二の設定部は、前記第一の前記補正値と前記第二の前記補正値とを用いて、前記第一の被撮像領域における少なくとも前記第一の前記関心領域と前記第二の前記関心領域との間の領域の輝度を補正する個別補正値を設定する、
請求項１に記載の画像処理装置。

【請求項4】

前記第二の設定部は、前記個別補正値を、前記第一の前記補正値と前記第二の前記補正値との間を線形補間する補間式に基づいて算出し、
前記補間式の傾きは、調整可能である、
請求項３に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置に関する。

【背景技術】

【0002】

従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像の画像処理（例えば視点変換）を行うとともに、各画像を繋げて周辺画像（例えば俯瞰画像）を生成する画像処理装置が知られている。このような画像処理装置においては、撮像部の取付位置や撮像（撮影）方向、撮影時間帯、前照灯の点灯の有無、撮像部ごとの絞り調整の程度差等により各撮像部で撮像される画像に明るさ（輝度）にずれが生じる場合がある。その結果、繋ぎ合わせて生成した周辺画像が方向によって明るさが異なり、繋ぎ合わせた位置で輝度差が目立ち、違和感のある画像になってしまう場合があった。

【0003】

そこで、違和感等を抑制するために輝度を補正する技術が提案されている。例えば、複数の撮像部の画像を合成する際に、各撮像部によって撮像された複数の画像のそれぞれの平均の輝度のうち、全ての画像の輝度の平均値に最も近い輝度を、目標値として、輝度を補正する技術が提案されている（例えば、特許文献１参照）。また、複数の撮像部の画像を合成する際に、固定の目標値に合わせるように輝度を補正する技術が提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３２９７０４０号公報

【特許文献2】特開２０１９－１８６６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、各撮像部によって撮像された複数の画像のそれぞれの平均の輝度のうち、全ての画像の輝度の平均値に最も近い輝度を目標値として輝度を補正する場合、例えば、夜間等の暗い環境においては、目標値となる輝度が低くなってしまうため、補正後の画像が全体的に暗いものになってしまう。このため、補正後の画像が見づらいものとなってしまう。また、固定の目標値に合わせるように輝度を補正する場合、夜間等の暗い環境の目標値が昼間等の明るい環境の目標値と同じであるため、夜間等の暗い環境における撮像で発生するノイズ成分も明るくなうように補正されてしまう。このため、ノイズ成分が強調され、補正後の画像が見づらいものとなってしまう。

【0006】

そこで、本発明の実施形態は、比較的暗い環境で撮像された複数の画像を繋ぎ合わせて周辺画像を表示する場合であっても、画像が見づらくなるのを抑制することができる画像処理装置を得ることを課題の一つとする。

【課題を解決するための手段】

【0007】

本発明の実施形態にかかる画像処理装置は、車両に設けられた複数の撮像部で、前記車両の周辺状況として撮像された、被撮像領域が一部重複する複数の画像を取得する取得部と、隣接する二つの前記被撮像領域が重なる複数の重複領域に含まれる複数の関心領域を設定する関心領域設定部と、前記複数の画像の輝度を補正する補正値を第一の目標輝度に基づいて設定する第一の設定部と、を備え、前記第一の目標輝度は、全ての前記関心領域の輝度の平均値に第一の正の値を加えた値であって、かつ前記第一の正の値よりも大きい第一の閾値以下の値である。

【0008】

このような構成によれば、例えば、第一の目標輝度が、全ての関心領域の輝度の平均値に第一の正の値を加えた値であって、かつ第一の正の値よりも大きい第一の閾値以下の値であるので、比較的暗い環境で撮像された画像の輝度を上げることができるとともに、当該画像のノイズ成分が強調されるのを抑制することができる。よって、比較的暗い環境で撮像された複数の画像を繋ぎ合わせて周辺画像を表示する場合であっても、画像が見づらくなるのを抑制することができる。

【0009】

前記画像処理装置は、例えば、明るさに関する情報に基づいて、第一のモードと第二のモードとを切り替えるモード切替部を備え、前記第一の設定部は、前記第一のモードの場合、前記補正値を前記第一の目標輝度によって設定し、前記第二のモードの場合、前記補正値を前記第一の目標輝度以上の第二の目標輝度によって設定し、前記第二の目標輝度は、前記第一の閾値である。

【0010】

このような構成によれば、第一のモードと第二のモードとに応じて目標輝度を設定することができる。また、このような構成によれば、第二の目標輝度が第一の閾値であるので、第一のモードにおいて補正される輝度が高くなりすぎるのを抑制することができる。

【0011】

前記画像処理装置は、例えば、第二の設定部を備え、前記第一の設定部は、前記車両を挟んで離間する一対の前記被撮像領域のうち一方である第一の被撮像領域と当該第一の被撮像領域に隣接する一対の前記被撮像領域のうち一方である第二の被撮像領域とが重なる第一の前記重複領域に含まれる第一の前記関心領域の輝度を補正する第一の前記補正値と、前記第一の被撮像領域と当該第一の被撮像領域に隣接する他方の前記被撮像領域である第三の被撮像領域とが重なる第二の前記重複領域に含まれる第二の前記関心領域の輝度を補正する第二の前記補正値と、を前記第一の目標輝度によって設定し、前記第二の設定部は、前記第一の前記補正値と前記第二の前記補正値とを用いて、前記第一の被撮像領域における少なくとも前記第一の前記関心領域と前記第二の前記関心領域との間の領域の輝度を補正する個別補正値を設定する。

【0012】

このような構成によれば、第一の関心領域と第二の関心領域との間の領域の輝度が、第一の補正値と第二の補正値とに基づく個別補正値によって補正されるので、第一の関心領域と第二の関心領域との間の領域において補正される輝度が高くなりすぎるのを抑制することができる。

【0013】

前記画像処理装置は、例えば、前記第二の設定部は、前記個別補正値を、前記第一の前記補正値と前記第二の前記補正値との間を線形補間する補間式に基づいて算出し、前記補間式の傾きは、調整可能である。

【0014】

この構成によれば、例えば、輝度が極端に大きく修正されることが抑制され、画像が不自然に明るくなりすぎたり、暗くなりすぎたりすることを抑制することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な平面図である。

【図2】図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。

【図3】図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。

【図4】図４は、実施形態にかかる各撮像部により撮像される被撮像領域とその重複領域を説明する俯瞰的な模式図である。

【図5】図５は、実施形態にかかる画像処理装置で処理対象とする元画像の輝度分布と関心領域（ＲＯＩ：Region of Interest）の設定位置の一例を示す模式図である。

【図6】図６は、実施形態にかかる暗モード用目標輝度を示す図である。

【図7】図７は、実施形態にかかる画像処理装置において、固定の目標輝度を用いて輝度修正を行う場合の処理の流れの一例を説明するフローチャートである。

【図8】図８は、実施形態にかかる像処理装置の処理の一部を例示的に説明する図であり、車両の前方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。

【図9】図９は、図８の直線補間式により設定された輝度による補正が実行される場合を説明する図であり、車両の前方の被撮像領域の補正前後の輝度状態の変化例を示す模式図である。

【図10】図１０は、実施形態にかかる画像処理装置の処理の一部を例示的に説明する図であり、車両の側方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。

【図11】図１１は、車両の周囲の被撮像領域に対して輝度補正を行った場合に生成される周辺画像の輝度状態の一例を示す模式図である。

【図12】図１２は、実施形態にかかる補正上限値及び補正下限値に基づき補正量の制限を行う例を示す模式図である。

【発明を実施するための形態】

【0016】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

【0017】

図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

【0018】

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ、画像情報）を出力することができる。撮像部１４は、それぞれ、広角レンズ又は魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲（被撮像領域）を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定され得る。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（例えば、歩行者、車両等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。

【0019】

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像（前方の被撮像領域）を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像（左側方の被撮像領域）を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像（右側方の被撮像領域）を撮像可能である。また、撮像部１４ｄは、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方画像（後方の被撮像領域）を撮像可能である。

【0020】

本実施形態の画像処理装置は、複数の撮像部１４で得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域が設けられ、画像を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、撮像部１４ａの撮像した撮像画像データの車幅方向左側の端部領域と撮像部１４ｂが撮像した撮像画像データの車両前後方向のうち前方側の端部領域とが重複する。そして、二つの画像を繋げる（合成する）処理が実行される。同様に、前方画像と右側方画像、左側方画像と後方画像、後方画像と右側方画像についても重複領域が設けられて二つの画像を繋げる（合成する）処理が実行される。

【0021】

図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

【0022】

また、図２に例示されるように、画像処理システム１００は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（Electronic Control Unit）が含まれる。画像処理システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。ＥＣＵ２４は、画像処理装置の一例である。

【0023】

ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（Central Processing Unit）や、ＲＯＭ２４ｂ（Read Only Memory）、ＲＡＭ２４ｃ（Random Access Memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（Solid State Drive、フラッシュメモリ）等を有している。

【0024】

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、処理の一例として、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。

【0025】

ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

【0026】

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）に画像処理、例えば視点変換処理等を施して表示装置１６に表示させる際に、画像の輝度補正を行う。ＥＣＵ２４は、前後左右の画像を繋ぎ合わせた場合に、輝度差による画像間の連続性が低下する不都合や部分的又は全体的に画像が明るくなりすぎたり、逆に暗すぎたりすることを抑制し、画像全体（繋ぎ合わせることで生成する周辺画像、俯瞰画像）の視認性が低下することを抑制する。

【0027】

図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、本実施形態の画像処理を実現するための構成の例示的なブロック図である。なお、ＣＰＵ２４ａにおいて、本実施形態の画像処理を実行する以外の構成は図示を省略している。ＣＰＵ２４ａは、上述したような輝度補正を含む画像処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、取得部２８、モード切替部３０、関心領域設定部３１、第１設定部３２（第一の設定部）、第２設定部３４（第二の設定部）等を備える。また、第２設定部３４は、線形補間部３４ａ、傾き設定部３４ｂ、輝度設定部３４ｃ等を含む。

【0028】

取得部２８は、各撮像部１４が撮像した画像を表示制御部２４ｄを介して取得する。各撮像部１４(１４ａ～１４ｄ)は、図４に示すような被撮像領域３６を撮像可能である。そして、各被撮像領域３６は、前述したように隣接する被撮像領域３６とそれぞれ一部が重なった重複領域３８を含む。被撮像領域３６のうち車両１０の前方の被撮像領域３６Ｆの車幅方向左側と車両１０の左側方の被撮像領域３６ＳＬの車両前方側とは、重複領域３８ＦＬを形成する。被撮像領域３６のうち被撮像領域３６ＳＬの車両後方側と車両１０の後方の被撮像領域３６Ｒの車幅方向左側とは、重複領域３８ＲＬを形成する。被撮像領域３６のうち被撮像領域３６Ｒの車幅方向右側と車両１０の右側方の被撮像領域３６ＳＲの車両後方側とは、重複領域３８ＲＲを形成する。そして、被撮像領域３６のうち被撮像領域３６ＳＲの車両前方側と被撮像領域３６Ｆの車幅方向右側とは、重複領域３８ＦＲを形成する。各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部２８に出力してもよいし、取得部２８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。

【0029】

なお、本実施形態において、例えば、被撮像領域３６Ｆに着目した処理を行う場合、車両１０を挟んで離間する一対の被撮像領域３６（例えば、被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方（例えば被撮像領域３６Ｆ）を第一の被撮像領域と称する場合がある。また、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち一方を第二の被撮像領域（例えば、被撮像領域３６ＳＬ）と称する場合がある。そして、第一の被撮像領域と第二の被撮像領域とが重なる重複領域３８（重複領域３８ＦＬ）を第一の重複領域と称する場合がある。同様に、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち他方を第三の被撮像領域（例えば、被撮像領域３６ＳＲ）と称する場合がある。そして、第一の被撮像領域と第三の被撮像領域とが重なる重複領域３８（重複領域３８ＦＲ）を第二の重複領域と称する場合がある。なお、車両１０を挟んで離間する一対の被撮像領域３６を例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲとすることもできる。この場合、第二の被撮像領域は、被撮像領域３６Ｆと被撮像領域３６Ｒとのいずれか一方、第三の被撮像領域が他方となる。

【0030】

モード切替部３０は、明るさに関する情報（以後、明るさ情報とも称する）に基づいて、目標設定モードを切り替える（設定する）。目標設定モードは、例えば、明モードと暗モードとである。すなわち、モード切替部３０は、明るさ情報に基づいて、明モードと暗モードとを切り替える。明モードは、第二のモードの一例であり、昼間モードとも称される。暗モードは、第一のモードの一例であり、夜間モードとも称される。

【0031】

明るさ情報は、例えば、撮像部１４が撮像した画像であって取得部２８によって取得された画像の輝度である。モード切替部３０は、例えば、ＥＣＵ２４の起動時には、目標設定モードを明モードに設定する。モード切替部３０は、目標設定モードが明モードに設定されている場合に、いずれかの撮像部によって撮像された画像の平均輝度が暗モード切替用閾値以下の場合に、目標設定モードを暗モードに切り替える。暗モード切替用閾値は、例えば８０であるが、これに限定されない。また、モード切替部３０は、目標設定モードが暗モードに設定されている場合に、全ての撮像部１４によって撮像された各画像のそれぞれの平均輝度が明モード切替用閾値以上の場合に、目標設定モードを明モードに切り替える。明モード切替用閾値は、例えば１２０であるが、これに限定されない。

【0032】

関心領域設定部３１は、図５に示すように、取得部２８が取得した被撮像領域３６の複数の重複領域３８に、輝度調整を行う際に参照する複数の関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）を設定する。一つの重複領域３８に対して一つの関心領域４０が設定される。関心領域４０は、車両１０の車幅方向及び前後方向に所定の長さを持つ、例えば矩形の領域で、関心領域４０の輝度とは、関心領域４０に含まれる各画素の輝度の例えば平均値である。また、本実施形態において関心領域４０の位置を特定する場合、その位置は、例えば関心領域４０の中心位置（車幅方向及び前後方向の中点）とする。

【0033】

なお、各撮像部１４は、撮像時に自動的に絞り調整（ゲイン調整）が行われ、各被撮像領域３６の明るさ調整（輝度調整）が成される。その結果、被撮像領域３６に明るい領域が多く存在する場合、絞り値が大きくなり、明るさが抑えられた暗めの画像が撮像される。逆に被撮像領域３６に暗い領域が多く存在する場合、絞り値が小さくなり、明るさが向上された明るめの画像が撮像される。したがって、図５に示すように、例えば重複領域３８ＦＬに含まれる関心領域４０ＦＬにおいて、被撮像領域３６Ｆ側の関心領域４０ＦＬに対応する部分と被撮像領域３６ＳＬ側の関心領域４０ＦＬに対応する部分で、明るさ（輝度）が異なる場合がある。例えば、図５において、輝度を０～２５５の２５６階調（「０」が暗く、「２５５」が明るい）で表した場合、例えば、重複領域３８ＦＬに含まれる関心領域４０ＦＬの場合、被撮像領域３６Ｆ側の輝度は、「２５０」で明るく、被撮像領域３６ＳＬ側の輝度は、「１００」で被撮像領域３６Ｆ側より暗い。なお、図５において、「１００」等で標記された数字が輝度を示す。また、別の図においては、関心領域４０の中に標記された数字が輝度を表す場合もある。なお、関心領域設定部３１は、関心領域４０の設定位置を予め定めた位置に設定してもよいし、被撮像領域３６の輝度分布に応じて設定位置を変更するようにしてもよい。

【0034】

第１設定部３２は、複数の画像の輝度を補正する補正値を第一の目標輝度に基づいて設定する。具体的には、第１設定部３２は、関心領域４０の輝度を所定の値によって補正する。例えば、車両１０を挟んで離間する一対の被撮像領域３６（例えば被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方である第一の被撮像領域（例えば被撮像領域３６Ｆ）を考える。第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と、当該第一の被撮像領域に隣接する一対の被撮像領域３６のうち一方である第二の被撮像領域(例えば被撮像領域３６ＳＬ)と、が重なる第一の重複領域（例えば重複領域３８ＦＬ）に含まれる第一の関心領域（例えば関心領域４０ＦＬ）の輝度を補正する。同様に、第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と当該第一の被撮像領域に隣接する他方の被撮像領域３６である第三の被撮像領域（例えば被撮像領域３６ＳＲ）とが重なる第二の重複領域(例えば重複領域３８ＦＲ)に含まれる第二の関心領域（関心領域４０ＦＲ）の輝度を補正する。同様に、第１設定部３２は、関心領域４０ＲＬ及び関心領域４０ＲＲの輝度を補正する。

【0035】

本実施形態の場合、第１設定部３２は関心領域４０の輝度を所定の値によって補正する場合、例えば、明モードと暗モードとに応じた目標輝度を用いて行うことができる。

【0036】

例えば、第１設定部３２は、明モードの場合、所定の値として定めた明モード用の目標輝度である明モード用目標輝度値になるような補正値を決定して、輝度の補正を行う。第１設定部３２は、例えば、明モードの場合、予め実験等で導き出した、比較的視認性がよいとされる明モード用目標輝度（例えば、２５６階調の「２００」）に関心領域４０の輝度がなるような補正値を用いて補正を行う。なお、明モード用目標輝度は、例えば、２５６階調の「２００」に限定されず、「１３０」等であってもよい。

【0037】

また、第１設定部３２は、暗モードの場合、関心領域４０の輝度が、暗モード用の目標輝度である暗モード用目標輝度に関心領域４０の輝度がなるような補正値を用いて補正を行う。図６に示すように、暗モード用目標輝度は、全ての関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度の平均値（全関心領域平均輝度）に第一の正の値を加えた値であって、かつ第一の正の値よりも大きい第一の閾値以下の値である。暗モード用目標輝度は、明モード用目標輝度以下である。換言すると、明モード用目標輝度は、暗モード用目標輝度以上である。第一の正の値は、例えば「２０」であるが、これに限定されない。なお、第１設定部３２による補正の具体的な例は後述する。

【0038】

すなわち、第１設定部３２は、暗モード（第一のモード）の場合、第一の補正値と二の補正値とを暗モード用目標輝度（第一の目標輝度）によって設定し、明モード（第二のモード）の場合、第一の補正値と第二の補正値とを暗モード用目標輝度以上の明モード用目標輝度（第二の目標輝度）によって設定する。

【0039】

第２設定部３４は、隣り合う関心領域４０のそれぞれの補正値に基づいて、少なくともその間の輝度を設定する。例えば、被撮像領域３６Ｆの車幅方向左側の関心領域４０ＦＬを第一の関心領域とした場合、例えば、第１設定部３２によって設定された固定の目標輝度に補正する補正値を第一の補正値とする。同様に、被撮像領域３６Ｆの車幅方向右側の関心領域４０ＦＲを第二の関心領域とした場合、例えば、第１設定部３２によって設定された固定の目標輝度に補正する補正値を第二の補正値とする。この場合、線形補間部３４ａは、第一の補正値と第二の補正値とを用いて、線形補間を行うための例えば直線補間式（第一の補正値と第二の補正値とを結ぶ直線）を生成する。そして、生成した線形補間式(例えば直線補間式)に基づいて、二つの関心領域４０の間領域の輝度を補正する。すなわち、線形補間部３４ａは、一例として、隣接する二つの関心領域４０に対する補正値を直線で結ぶことで、直線補間式を生成する。

【0040】

傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きが所定の制限値以上の場合に、直線補間式の傾きを補正する。例えば、隣接する関心領域４０の一方の輝度が第１設定部３２で設定した目標輝度から大きく乖離していた場合、線形補間部３４ａが生成する直線補間式の傾きは大きくなる。その結果、例えば関心領域４０の周辺で、関心領域４０より暗い部分も関心領域４０の輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、必要以上に輝度が高くなるような補正が行われ、いわゆる「白飛び」してしまう場合がある。傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きを所定の倍率によって補正する。この倍率は、例えば、線形補間式の傾きが制限値より小さい場合は１とし、傾きが所定以上の場合に傾きを減少補正するために、０より大きい値であって１未満の値にする。

【0041】

輝度設定部３４ｃは、線形補間部３４ａで生成された線形補間式（例えば、直線補間式）に基づき、少なくとも第一の関心領域（例えば、関心領域４０ＦＬ）と第二の関心領域（例えば、関心領域４０ＦＲ）の間の領域の輝度を補正する個別補正値を設定する。輝度設定部３４ｃは、線形補間部３４ａで生成された線形補間式が、車両１０の前方の被撮像領域３６Ｆに関する線形補間式である場合、この線形補間式にしたがい、被撮像領域３６Ｆにおける車両前後方向の領域に関しても同様に輝度補正を行う。したがって、被撮像領域３６Ｆの場合、車両前後方向の領域は、同様な補正値（補正量）で輝度の補正が実行される。また、輝度設定部３４ｃは、個別補正値に対して補正上限値と補正下限値とを設定する。

【0042】

このように構成される画像処理システム１００（ＥＣＵ２４）の処理の一例について、図７のフローチャート及び図１～図５に加え図８～図１２を用いて説明する。

【0043】

図７のフローチャートを用いて、第１設定部３２により所定の値として、目標輝度（明モード用目標輝度、暗モード用目標輝度）が設定される場合に実行される輝度補正について説明する。

【0044】

まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ１００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ１００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ１０１）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ１００のＮｏ）、一旦、図７のフローを終了する。

【0045】

続いて、モード切替部３０がモード（目標設定モード）を設定する（Ｓ１０２）。モード切替部３０は、明モードと暗モードとを上記の方法で選択的に設定する。

【0046】

続いて、関心領域設定部３１は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ１０３）。

【0047】

また、第１設定部３２が、設定された目標設定モードに応じた目標輝度（明モード用目標輝度、暗モード用目標輝度）を設定する（Ｓ１０４）。以下では、Ｓ４以降の処理として、まずは、明モードの場合を説明する。

【0048】

明モードにおいて、各被撮像領域３６の関心領域４０における輝度が例えば、図５で示すような場合、第１設定部３２は、各関心領域４０に対して、所定の値として定めた明モード用目標輝度（例えば、２５６階調で「２００」）を設定するとともに（Ｓ１０４）、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を設定する（Ｓ１０５）。図８は、車両１０の前方の被撮像領域３６Ｆの輝度を補正する例であって、明モードの場合の補正の例である。被撮像領域３６Ｆの場合、車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調で「２５０」であり、車幅方向右側の関心領域４０ＦＲの輝度が２５６階調で「１５０」となっている例である。これに対して、第１設定部３２が設定した目標輝度が２５６階調で「２００」の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「－５０」の補正値が設定され、関心領域４０ＦＲは、「＋５０」の補正値が設定される。

【0049】

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝－５０）と、関心領域４０ＦＲの補正値（Ｎ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ１０６）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｃは、生成された直線補間式４２Ｆで算出される補正値（個別補正値）に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ１０７）。その結果、図９に示すように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。

【0050】

ＣＰＵ２４ａは、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ１０８）。そして、補正処理が完了していない場合（Ｓ１０８のＮｏ）、Ｓ１０１に戻り、関心領域設定部３１、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。

【0051】

例えば、関心領域設定部３１、第１設定部３２、第２設定部３４は、車両１０の後方の被撮像領域３６Ｒに対して上述と同様な処理を実行する。その結果、補正前の被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が「５０」から「２００」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が「５０」から「２００」に明るくなるように補正される。

【0052】

同様に、関心領域設定部３１、第１設定部３２、第２設定部３４は、図１０に示すように、車両１０の左側方の被撮像領域３６ＳＬ及び右側方の被撮像領域３６ＳＲについても同様な補正を行う。例えば、被撮像領域３６ＳＬの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＬの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＬの輝度が２５６階調で「５０」である。これに対して、第１設定部３２が設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＬは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＬは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋１００）と、関心領域４０ＲＬの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｌを生成する。同様に、被撮像領域３６ＳＲの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＲの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＲの輝度が２５６階調で「５０」である。これに対して、第１設定部３２が設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＲは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＲは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＲの補正値（Ｎ＝＋１００）と、関心領域４０ＲＲの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｒを生成する。

【0053】

その結果、被撮像領域３６ＳＬにおける関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示され、被撮像領域３６ＳＲにおける関心領域４０ＦＲと関心領域４０ＲＲとの間の車両前後方向（Ｚ軸方向）の輝度の個別補正量が直線補間式４２Ｒによって示される。そして、輝度設定部３４ｃは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬの間の領域の輝度及び、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。また、輝度設定部３４ｃは、直線補間式４２Ｒに基づき、関心領域４０ＦＲと関心領域４０ＲＲの間の領域の輝度及び、被撮像領域３６ＳＲにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。

【0054】

ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ１０８のＹｅｓ）、表示制御部２４ｄを用いて、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成して、表示装置１６に表示させて（Ｓ１０９）、次の処理周期でＳ１００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１１に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。

【0055】

上記の処理において、Ｓ１０２にて暗モードが設定された場合には、Ｓ１０４にて暗モード用目標輝度が設定され、この暗モード用目標輝度を用いてＳ１０５以降の処理が明モードの場合と同様に実行される。このとき、一例として、補正前の輝度の一例は下記の通りである。関心領域４０ＦＬにおいては、被撮像領域３６Ｆ側の輝度は、「５０」、被撮像領域３６ＳＬ側の輝度は、「１４０」である。また、関心領域４０ＦＲにおいては、被撮像領域３６Ｆ側の輝度は、「４５」、被撮像領域３６ＳＲ側の輝度は、「１００」である。また、関心領域４０ＲＬにおいては、被撮像領域３６ＳＬ側の輝度は、「３５」、被撮像領域３６Ｒ側の輝度は、「８０」である。関心領域４０ＲＲにおいては、被撮像領域３６ＳＲ側の輝度は、「７０」、被撮像領域３６Ｒ側の輝度は、「３０」である。これらの輝度が暗モード用目標輝度を用いて補正される。なお、輝度は上記に限定されない。

【0056】

ところで、隣接する関心領域４０の輝度差が元々大きい場合がある。このような場合に、上述した場合と同様に、第１設定部３２が目標輝度を設定すると、傾きが大きな直線補間式４２が生成されてしまう場合がある。この場合、例えば、画素が明るく補正されすぎて、いわゆる「白飛び」してしまう場合がある。そこで、傾き設定部３４ｂは、線形補間部３４ａで生成した直線補間式４２の傾きを、上記の所定の倍率によって補正することができる。

【0057】

また、実施形態においては、輝度設定部３４ｃは、直線補間式４２に基づいて輝度を補正する補正値（個別補正値）を設定する場合、補正値に制限を加えてもよい。例えば、図１２に示すように、補正値に対して補正上限値と補正下限値を設定し、直線補間式４２にしたがい、輝度の補正量が増加するのに伴い、設定する個別補正量が補正上限値と補正下限値との間に収まるようにする。この場合も、輝度の補正量が緩和され、「白飛び」を抑制することができる。図１２では、一例として、Ｚ１は関心領域４０ＦＬの座標を示し、Ｚ２は関心領域４０ＲＲの座標を示し、Ｆ１００は、関心領域４０ＦＬの補正前の輝度を示し、Ｆ１０１は、関心領域４０ＲＲの補正前の輝度を示している。なお、補正上限値及び下限補正値は、予め固定値で設定してもよいし、算出した直線補間式４２の傾きに応じて、設定してもよい。

【0058】

以上のように、本実施形態では、暗モード用目標輝度（第一の目標輝度）は、全ての関心領域４０の輝度の平均値に第一の正の値を加えた値であって、かつ第一の正の値よりも大きい第一の閾値以下の値である。

【0059】

このような構成によれば、例えば、第一の目標輝度が、全ての関心領域４０の輝度の平均値に第一の正の値を加えた値であって、かつ第一の正の値よりも大きい第一の閾値以下の値であるので、比較的暗い環境で撮像された画像の輝度を上げることができるとともに、当該画像のノイズ成分が強調されるのを抑制することができる。よって、比較的暗い環境で撮像された複数の画像を繋ぎ合わせて周辺画像を表示する場合であっても、画像が見づらくなるのを抑制することができる。

【0060】

また、本実施形態では、モード切替部３０が、明るさに関する情報に基づいて、暗モード（第一のモード）と明モード（第二のモード）とを切り替える。第１設定部３２は、暗モードの場合、第一の補正値と第二の補正値とを暗モード用目標輝度によって設定し、明モードの場合、第一の補正値と第二の補正値とを暗モード用目標輝度以上の明モード用目標輝度によって設定する。

【0061】

このような構成によれば、暗モードと明モードとに応じて目標輝度を設定することができる。

【0062】

また、明モード用目標輝度は、第一の閾値である。

【0063】

このような構成によれば、明モード用輝度が第一の閾値であるので、暗モードにおいて補正される輝度が高くなりすぎるのを抑制することができる。

【0064】

また、第２設定部３４は、個別補正値に対して補正上限値と補正下限値とを設定する。

【0065】

このような構成によれば、輝度が極端に大きく補正されることを抑制することができ、画像が不自然に明るくなりすぎたり、暗くなりすぎたりすることを抑制することができる。

【0066】

また、第２設定部３４は、個別補正値を、第一の補正値と第二の補正値との間を線形補間する補間式に基づいて算出し、補間式の傾きは、調整可能である。

【0067】

この構成によれば、例えば、輝度が極端に大きく修正されることが抑制され、画像が不自然に明るくなりすぎたり、暗くなりすぎたりすることを抑制することができる。

【0068】

また、本実施形態の場合、撮像部１４ｂは左のドアミラー１０ｂに固定され、撮像部１４ｃは右のドアミラー１０ｃに固定されている。この場合、車両１０のドアが閉まっている状態で撮影された画像を用いることで、撮像部１４ａや撮像部１４ｄが撮像した画像との繋ぎ合わせが正確にできる。したがって、表示制御部２４ｄは、ドアが開いている場合は、画像のつなぎ合わせが正確にできない。そのためＣＰＵ２４ａは、上述したような輝度の補正処理を実行せずに、参考としての周辺画像を生成するようにしてもよい。

【0069】

本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0070】

さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0071】

なお、上記実施形態では、明モード及び暗モードの切り替えに用いられる明るさに関する情報（明るさ情報）が画像の輝度である例が示されたが、これに限定されない。例えば、明るさに関する情報は、車両１０のイルミネーションスイッチの状態（オン状態、オフ状態）を示す情報（イルミネーションスイッチ信号）や、コンライトセンサの検出結果（コンライトセンサ信号）であってもよい。例えば、明るさに関する情報がイルミネーションスイッチの場合には、モード切替部３０は、イルミネーションスイッチがオフの場合に明モードを設定し、イルミネーションスイッチがオンの場合に暗モードを設定する。また、明るさに関する情報がコンライトセンサの場合には、モード切替部３０は、コンライトセンサが検出する車両１０の周辺の明るさが所定の閾値以上の場合に明モードを設定し、コンライトセンサが検出する車両１０の周辺の明るさが所定の閾値未満の場合に暗モードを設定する。

【0072】

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0073】

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ（画像処理装置）、２８…取得部、３０…モード切替部、３１…関心領域設定部、３２…第１設定部（第一の設定部）、３４…第２設定部（第二の設定部）、３６，３６Ｆ，３６ＳＬ，３６ＳＲ，３６Ｒ…被撮像領域、３８，３８ＦＬ，３８ＦＲ，３８ＲＬ，３８ＲＲ…重複領域、４０、４０ＦＬ，４０ＦＲ，４０ＲＬ，４０ＲＲ…関心領域、４２…直線補間式、４４…周辺画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】