特開2018-206323(P2018-206323A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧
<>
  • 特開2018206323-画像処理装置 図000003
  • 特開2018206323-画像処理装置 図000004
  • 特開2018206323-画像処理装置 図000005
  • 特開2018206323-画像処理装置 図000006
  • 特開2018206323-画像処理装置 図000007
  • 特開2018206323-画像処理装置 図000008
  • 特開2018206323-画像処理装置 図000009
  • 特開2018206323-画像処理装置 図000010
  • 特開2018206323-画像処理装置 図000011
  • 特開2018206323-画像処理装置 図000012
  • 特開2018206323-画像処理装置 図000013
  • 特開2018206323-画像処理装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-206323(P2018-206323A)
(43)【公開日】2018年12月27日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 1/00 20060101AFI20181130BHJP
   H04N 7/18 20060101ALI20181130BHJP
   B60R 1/00 20060101ALI20181130BHJP
【FI】
   G06T1/00 330A
   H04N7/18 J
   B60R1/00 A
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2017-114665(P2017-114665)
(22)【出願日】2017年6月9日
(71)【出願人】
【識別番号】000000011
【氏名又は名称】アイシン精機株式会社
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】堀江 治之
(72)【発明者】
【氏名】辻野 美樹
【テーマコード(参考)】
5B057
5C054
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD11
5B057CE08
5B057CE17
5C054CA04
5C054CC02
5C054EA05
5C054FC03
5C054FC07
5C054FC12
5C054FD03
5C054FE12
5C054HA30
(57)【要約】
【課題】撮像画像をつなげて生成される周辺画像の画質をより向上させることができる画像処理装置を提供する。
【解決手段】画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、前記複数の撮像画像の輝度を第1補正で補正するとともに色差を前記第1補正と異なる第2補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、を備え、前記処理部は、前記第1補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、前記第2補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する。
【選択図】図3
【特許請求の範囲】
【請求項1】
移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、
前記複数の撮像画像の輝度を第1補正で補正するとともに色差を前記第1補正と異なる第2補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、
を備え、
前記処理部は、
前記第1補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、
前記第2補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する
画像処理装置。
【請求項2】
前記処理部は、前記第2補正において、全ての前記撮像画像または全ての前記対象領域の前記色差の平均値である全体色差平均値と、一の前記撮像画像に含まれる前記対象領域の前記色差の平均値である撮像画像色差平均値とに基づいて、当該撮像画像の前記色差を補正する
請求項1に記載の画像処理装置。
【請求項3】
前記処理部は、前記対象領域の前記色差の平均値と、予め定められた色差平均閾値とに基づいて、前記第2補正を実行するか否かを判定する
請求項1または2に記載の画像処理装置。
【請求項4】
前記処理部は、前記対象領域の前記色差のばらつきと、予め定められたばらつき閾値とに基づいて、前記第2補正を実行するか否かを判定する
請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色差の平均値の差分と、予め定められた差分閾値とに基づいて、前記第2補正を実行するか否かを判定する
請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記処理部は、前記色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色差の補正値を前記上限補正値に変更するか否かを判定する
請求項1から5のいずれか1項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
移動体に設けられた複数の撮像装置が撮像した複数の撮像画像をつなげて周辺画像を生成する装置が知られている。このような装置は、複数の撮像画像を補正して、周辺画像の画質を向上させている。例えば、色成分(例えば、YUV)のそれぞれの平均値が複数の撮像画像間で等しくなるように補正して、周辺画像を生成している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−181019号公報
【特許文献2】特開2002−324235号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の装置では、色成分の平均値を等しくなるように補正しているので、周辺画像の画質の向上が十分でないといった課題がある。
【0005】
本発明は、上記に鑑みてなされたものであって、撮像画像をつなげて生成される周辺画像の画質をより向上させることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、前記複数の撮像画像の輝度を第1補正で補正するとともに色差を前記第1補正と異なる第2補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、を備え、前記処理部は、前記第1補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、前記第2補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する。
【0007】
このように、画像処理装置は、一の撮像画像の輝度によって対象領域の輝度を補正し、2以上の撮像画像の色差によって撮像画像の色差を補正することによって、輝度の補正と、色差の補正とを異ならせているので、輝度と同様に色差を補正した場合に生じる撮像画像の白とび及び黒つぶれ等を低減することができる。この結果、画像処理装置は、撮像部の特性及び取り付け位置等に起因する撮像画像間の色差のずれを適切に補正して、撮像画像をつなげて生成する周辺画像の画質を向上させることができる。
【0008】
本発明の画像処理装置では、前記処理部は、前記第2補正において、全ての前記撮像画像または全ての前記対象領域の前記色差の平均値である全体色差平均値と、一の前記撮像画像に含まれる前記対象領域の前記色差の平均値である撮像画像色差平均値とに基づいて、当該撮像画像の前記色差を補正してもよい。
【0009】
このように、画像処理装置は、撮像画像毎の撮像画像色差平均値と、全体色差平均値とに基づいて、色差を補正するので、補正処理の演算負荷の増加を低減しつつ、撮像画像間の色差の違和感を低減できる。
【0010】
本発明の画像処理装置では、前記処理部は、前記対象領域の前記色差の平均値と、予め定められた色差平均閾値とに基づいて、前記第2補正を実行するか否かを判定してもよい。
【0011】
このように、画像処理装置は、色差平均値及び色差平均閾値に基づいて補正を実行するか否かを判定するので、撮像画像が路面を含まない場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。
【0012】
本発明の画像処理装置では、前記処理部は、前記対象領域の前記色差のばらつきと、予め定められたばらつき閾値とに基づいて、前記第2補正を実行するか否かを判定してもよい。
【0013】
このように、画像処理装置は、色差のばらつき及びばらつき閾値に基づいて補正を実行するか否かを判定するので、撮像画像に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、周辺画像の画質の劣化を抑制できる。
【0014】
本発明の画像処理装置では、前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色差の平均値の差分と、予め定められた差分閾値とに基づいて、前記第2補正を実行するか否かを判定してもよい。
【0015】
このように、画像処理装置は、一の撮像画像内の色差平均値の差分及び差分閾値とに基づいて補正を実行するか否かを判定するので、一の撮像画像内の色差が一様でなく、ばらつきの大きい場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。
【0016】
本発明の画像処理装置では、前記処理部は、前記色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色差の補正値を前記上限補正値に変更するか否かを判定してもよい。
【0017】
このように、画像処理装置は、設定した補正値及び上限補正値に基づいて、大きい補正値の補正による色の大きな変化によって生じる周辺画像の画質の劣化を抑制できる。
【図面の簡単な説明】
【0018】
図1図1は、第1実施形態の画像処理装置が搭載される車両の平面図である。
図2図2は、車両に搭載される画像処理装置の構成を説明するブロック図である。
図3図3は、情報処理装置の機能を説明する機能ブロック図である。
図4図4は、補正部による撮像画像の補正を説明する図である。
図5図5は、第1実施形態の処理部が実行する画像生成処理のフローチャートである。
図6図6は、補正部が実行する輝度補正処理のフローチャートである。
図7図7は、補正部が実行する色差補正処理のフローチャートである。
図8図8は、第2実施形態の補正部が実行する色差補正処理のフローチャートである。
図9図9は、補正部が実行する色差平均値判定処理のフローチャートである。
図10図10は、補正部が実行する色差ばらつき判定処理のフローチャートである。
図11図11は、補正部が実行する色差差分判定処理のフローチャートである。
図12図12は、補正部が実行する補正値上限判定処理のフローチャートである。
【発明を実施するための形態】
【0019】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【0020】
<第1実施形態>
図1は、第1実施形態の画像処理装置が搭載される車両10の平面図である。車両10は、移動体の一例であって、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両10における車輪13の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【0021】
図1に示すように、車両10は、車体12と、複数(例えば、4個)の撮像部14a、14b、14c、14dとを有する。撮像部14a、14b、14c、14dを区別する必要がない場合、撮像部14と記載する。
【0022】
車体12は、乗員が乗車する車室を構成する。車体12は、車輪13及び撮像部14等の車両10の構成を収容または保持する。
【0023】
撮像部14は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°〜190°の範囲を撮像することができる。撮像部14の光軸は、斜め下方に向けて設定されている。従って、複数の撮像部14は、周辺の路面を含む車両10の周辺を撮像した複数の撮像画像のデータを出力する。
【0024】
撮像部14は、車両10の外周部に設けられている。例えば、撮像部14aは、車両10の前側の左右方向の中央部(例えば、フロントバンパー)に設けられている。撮像部14aは、車両10の前方の周辺を撮像した撮像画像を生成する。撮像部14bは、車両10の後側の左右方向の中央部(例えば、リアバンパー)に設けられている。撮像部14bは、車両10の後方の周辺を撮像した撮像画像を生成する。撮像部14cは、撮像部14a及び撮像部14bと隣接し、車両10の左側部の前後方向の中央部(例えば、左側のサイドミラー12a)に設けられている。撮像部14cは、車両10の左方の周辺を撮像した撮像画像を生成する。撮像部14dは、撮像部14a及び撮像部14bと隣接し、車両10の右側部の前後方向の中央部(例えば、右側のサイドミラー12b)に設けられている。撮像部14dは、車両10の右方の周辺を撮像した撮像画像を生成する。ここで、撮像部14a、14b、14c、14dは、互いに重複する複数の重複領域を含む複数の撮像画像を生成する。
【0025】
図2は、車両10に搭載される画像処理装置20の構成を説明するブロック図である。図2に示すように、画像処理装置20は、複数の撮像部14と、モニタ装置34と、情報処理装置36と、車内ネットワーク38とを備える。
【0026】
モニタ装置34は、車室内のダッシュボード等に設けられている。モニタ装置34は、表示部40と、音声出力部42と、操作入力部44とを有する。
【0027】
表示部40は、情報処理装置36が送信した画像データに基づいて、画像を表示する。表示部40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、または、有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部40は、例えば、情報処理装置36が、複数の撮像部14によって撮像された撮像画像をつなげた周辺画像を表示する。
【0028】
音声出力部42は、情報処理装置36が送信した音声データに基づいて音声を出力する。音声出力部42は、例えば、スピーカである。音声出力部42は、表示部40と異なる車室内の位置に設けられていてもよい。
【0029】
操作入力部44は、乗員の入力を受け付ける。操作入力部44は、例えば、タッチパネルである。操作入力部44は、表示部40の表示画面に設けられている。操作入力部44は、表示部40が表示する画像を透過可能に構成されている。これにより、操作入力部44は、表示部40の表示画面に表示される画像を乗員に視認させることができる。操作入力部44は、表示部40の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、情報処理装置36へ送信する。
【0030】
情報処理装置36は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータである。情報処理装置36は、撮像部14から撮像画像のデータを取得する。情報処理装置36は、撮像画像等に基づいて生成した周辺画像または音声に関するデータをモニタ装置34へ送信する。情報処理装置36は、CPU(Central Processing Unit)36aと、ROM(Read Only Memory)36bと、RAM(Random Access Memory)36cと、表示制御部36dと、音声制御部36eと、SSD(Solid State Drive)36fとを備える。CPU36a、ROM36b及びRAM36cは、同一パッケージ内に集積されていてもよい。
【0031】
CPU36aは、ハードウェアプロセッサの一例であって、ROM36b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。CPU36aは、例えば、撮像画像を補正し、当該撮像画像をつなげて、表示部40に表示させる周辺画像を生成する。
【0032】
ROM36bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM36cは、CPU36aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部36dは、情報処理装置36での演算処理のうち、主として、撮像部14で得られた画像の画像処理、表示部40に表示させる表示用の画像のデータ変換等を実行する。音声制御部36eは、情報処理装置36での演算処理のうち、主として、音声出力部42に出力させる音声の処理を実行する。SSD36fは、書き換え可能な不揮発性の記憶装置であって、情報処理装置36の電源がオフされた場合にあってもデータを維持する。
【0033】
車内ネットワーク38は、例えば、CAN(Controller Area Network)である。車内ネットワーク38は、情報処理装置36と、操作入力部44とを互いに信号及び情報を送受信可能に電気的に接続する。
【0034】
本実施形態では、情報処理装置36は、ハードウェアとソフトウェア(制御プログラム)が協働することにより、車両10の画像生成処理を司る。情報処理装置36は、撮像部14が撮像した周辺の画像を含む撮像画像を補正し、補正した撮像画像をつなげて周辺画像を生成する。
【0035】
図3は、情報処理装置36の機能を説明する機能ブロック図である。図3に示すように、情報処理装置36は、処理部50と、記憶部52とを有する。
【0036】
処理部50は、例えば、CPU36a等の機能によって実現される。処理部50は、補正部54と、生成部56とを有する。処理部50は、例えば、記憶部52に格納された画像生成プログラム58を読み込むことによって、補正部54及び生成部56の機能を実現してよい。補正部54及び生成部56の一部または全ては、ASIC(Application Specific Integrated Circuit)を含む回路等のハードウェアによって構成されてもよい。
【0037】
補正部54は、複数の重複領域を含む撮像画像を、複数の撮像部14のそれぞれから取得する。換言すれば、補正部54は、少なくとも複数の撮像部14の個数だけ撮像画像を取得する。撮像画像の一例は、動画の1フレームの画像であってよい。補正部54は、撮像画像の各画素を構成する輝度及び色差を補正する。輝度は、例えば、YUV空間におけるY値である。色差は、輝度から色信号を引いた値であって例えば、YUV空間におけるU値(青信号から輝度を引いた値)及びV値(赤信号から輝度を引いた値)である。補正部54は、複数の重複領域のそれぞれに対象領域を設定する。補正部54は、第1補正で複数の撮像画像の輝度を補正する。具体的には、補正部54は、第1補正において、複数の撮像画像のうち、一の撮像画像(例えば、前側または後側の撮像画像)の対象領域の輝度に関する値に基づき他の撮像画像(例えば、左側または右側の撮像画像)の対象領域の輝度を補正する。補正部54は、例えば、第1補正において、補正した対象領域の輝度を用いた線形補間に基づいて対象領域外の輝度を補正してよい。補正部54は、第2補正で複数の撮像画像の色差を補正する。具体的には、補正部54は、第2補正において、複数の撮像画像のうち、2以上の撮像画像(例えば、全ての撮像画像)の対象領域の色差に関する値に基づき複数の撮像画像の色差を補正する。2以上の撮像画像は、一の撮像画像及び他の撮像画像の例である。補正部54は、例えば、第2補正において、全ての撮像画像内の対象領域の色差の平均値である全体色差平均値と、一の撮像画像内の対象領域の色差の平均値である撮像画像色差平均値とに基づいて、一の撮像画像の色差を補正する。即ち、補正部54は、第1補正と異なる第2補正によって色差を補正する。補正部54は、補正した撮像画像を生成部56へ出力する。
【0038】
生成部56は、補正部54から取得した補正された複数の撮像画像をつなげて、周辺画像を生成する。生成部56は、生成した周辺画像を表示部40へ出力して、周辺画像を表示させる。
【0039】
記憶部52は、ROM36b、RAM36c、及び、SSD36fの少なくとも1つの機能として実現される。記憶部52は、処理部50が実行するプログラム及びプログラムの実行に必要なデータを記憶する。例えば、記憶部52は、処理部50が実行する画像生成プログラム58を記憶する。記憶部52は、画像生成プログラム58の実行に必要な数値データ60を記憶する。
【0040】
図4は、補正部54による撮像画像の補正を説明する図である。
【0041】
図4の周囲に太線で示す4個の矩形枠は、補正部54が撮像部14a、14b、14c、14dのそれぞれから取得した撮像画像70a、70b、70c、70dを示す。図4の中央に示す太線の矩形枠は、撮像画像70a、70b、70c、70dをつなげて生成された周辺画像72を示す。周辺画像72は、例えば、上方から車両10の周辺を見た俯瞰画像または鳥瞰画像である。周辺画像72は、撮像画像70a、70b、70c、70dが重複する重複領域74FL、重複領域74FR、重複領域74RL及び重複領域74RRを含む。
【0042】
前側撮像画像70a及び左側撮像画像70cは、互いに重複する重複領域74FLa及び重複領域74FLcを含む。重複領域74FLa及び重複領域74FLcは、重複領域74FLに対応する領域である。前側撮像画像70a及び右側撮像画像70dは、互いに重複する重複領域74FRa及び重複領域74FRdを含む。重複領域74FRa及び重複領域74FRdは、重複領域74FRに対応する領域である。後側撮像画像70b及び左側撮像画像70cは、互いに重複する重複領域74RLb及び重複領域74RLcを含む。重複領域74RLb及び重複領域74RLcは、重複領域74RLに対応する領域である。後側撮像画像70b及び右側撮像画像70dは、互いに重複する重複領域74RRb及び重複領域74RRdを含む。重複領域74RRb及び重複領域74RRdは、重複領域74RRに対応する領域である。
【0043】
周辺画像72の領域内に示す直線は、境界線76FL、76FR、76RL、76RRである。境界線76FL、76FR、76RL、76RRを区別する必要がない場合、境界線76と記載する。境界線76FLは、前側撮像画像70aと左側撮像画像70cとの境界である。境界線76FRは、前側撮像画像70aと右側撮像画像70dとの境界である。境界線76RLは、後側撮像画像70bと左側撮像画像70cとの境界である。境界線76RRは、後側撮像画像70bと右側撮像画像70dとの境界である。境界線76FL、76FR、76RL、76RRの角度は、予め設定されて数値データ60として記憶部52に格納されている。
【0044】
境界線76FLと境界線76FRとの間の領域は、前側撮像画像70aが適用される。境界線76FLと境界線76RLとの間の領域は、左側撮像画像70cが適用される。境界線76FRと境界線76RRとの間の領域は、右側撮像画像70dが適用される。境界線76RLと境界線76RRとの間の領域は、後側撮像画像70bが適用される。
【0045】
補正部54は、周辺画像72の重複領域74FL、74FR、74RL、74RRのそれぞれに、ハッチングで示す対象領域78FL、78FR、78RL、78RRを設定する。対象領域78FL、78FR、78RL、78RRは、ROI(Region of Interest:関心領域)とも呼ばれる。対象領域78FL、78FR、78RL、78RRは、特に限定されるものではないが、設定枠80、境界線76の角度、及び、車両10の幅等によって、重複領域74FL、74FR、74RL、74RR内に補正部54が適宜設定してよい。設定枠80の一例は、予め設定された駐車枠である。対象領域78FL、78FR、78RL、78RRを設定するための設定枠80、境界線76の角度、及び、車両10の幅等は、数値データ60として記憶部52に格納されている。
【0046】
前側撮像画像70a内の対象領域78FLa及び対象領域78FRaは、それぞれ周辺画像72の対象領域78FL及び対象領域78FRに対応する。後側撮像画像70b内の対象領域78RLb及び対象領域78RRbは、それぞれ周辺画像72の対象領域78RL及び対象領域78RRに対応する。左側撮像画像70c内の対象領域78FLc及び対象領域78RLcは、それぞれ周辺画像72の対象領域78FL及び対象領域78RLに対応する。右側撮像画像70d内の対象領域78FRd及び対象領域78RRdは、それぞれ周辺画像72の対象領域78FR及び対象領域78RRに対応する。
【0047】
撮像画像70a・・・のそれぞれを区別する必要がない場合、撮像画像70と記載する。重複領域74FL・・・のそれぞれを区別する必要がない場合、重複領域74と記載する。対象領域78FL・・・のそれぞれを区別する必要がない場合、対象領域78と記載する。
【0048】
次に、補正部54による輝度補正処理について説明する。
【0049】
補正部54は、前側撮像画像70aの対象領域78FLaに含まれる全ての画素の輝度(=Y値)の平均値(以下、基準左前側輝度平均値)を算出する。補正部54は、前側撮像画像70aの対象領域78FRaに含まれる全ての画素の輝度の平均値(以下、基準右前側輝度平均値)を算出する。補正部54は、後側撮像画像70bの対象領域78RLbに含まれる全ての画素の輝度の平均値(以下、基準左後側輝度平均値)を算出する。補正部54は、後側撮像画像70bの対象領域78RRbに含まれる全ての画素の輝度の平均値(以下、基準右後側輝度平均値)を算出する。
【0050】
補正部54は、左側撮像画像70cの対象領域78FLcに含まれる全ての画素の輝度の平均値(以下、左前側輝度平均値)を算出する。補正部54は、対象領域78FLaの基準左前側輝度平均値と対象領域78FLcの左前側輝度平均値との差分(以下、左前輝度差分)を算出する。補正部54は、左側撮像画像70cの対象領域78FLcに含まれる全ての画素の輝度に左前輝度差分を足すまたは引くことによって、左前側輝度平均値が基準左前側輝度平均値となるように、左側撮像画像70cの対象領域78FLcの輝度を補正する。
【0051】
補正部54は、左側撮像画像70cの対象領域78RLcに含まれる全ての画素の輝度の平均値(以下、左後側輝度平均値)を算出する。補正部54は、対象領域78RLbの基準左後側輝度平均値と対象領域78RLcの左後側輝度平均値との差分(以下、左後輝度差分)を算出する。補正部54は、左側撮像画像70cの対象領域78RLcに含まれる全ての画素の輝度に左後輝度差分を足すまたは引くことによって、左後側輝度平均値が基準左後側輝度平均値となるように、左側撮像画像70cの対象領域78RLcの輝度を補正する。
【0052】
補正部54は、補正後の対象領域78FLcの左前側輝度平均値と対象領域78RLcの左後側輝度平均値とを用いた線形補間によって、対象領域78FLc及び対象領域78RLc以外の左側撮像画像70c内の領域の輝度を補正する。
【0053】
補正部54は、右側撮像画像70dの対象領域78FRdに含まれる全ての画素の輝度の平均値(以下、右前側輝度平均値)を算出する。補正部54は、対象領域78FRaの基準右前側輝度平均値と対象領域78FRdの右前側輝度平均値との差分(以下、右前輝度差分)を算出する。補正部54は、右側撮像画像70dの対象領域78FRdに含まれる全ての画素の輝度に右前輝度差分を足すまたは引くことによって、右前側輝度平均値が基準右前側輝度平均値となるように、右側撮像画像70dの対象領域78FRdの輝度を補正する。
【0054】
補正部54は、右側撮像画像70dの対象領域78RRdに含まれる全ての画素の輝度の平均値(以下、右後側輝度平均値)を算出する。補正部54は、対象領域78RRbの基準右後側輝度平均値と対象領域78RRdの右後側輝度平均値との差分(以下、右後輝度差分)を算出する。補正部54は、右側撮像画像70dの対象領域78RRdに含まれる全ての画素の輝度に右後輝度差分を足すまたは引くことによって、右後側輝度平均値が基準右後側輝度平均値となるように、右側撮像画像70dの対象領域78RRdの輝度を補正する。
【0055】
補正部54は、補正後の対象領域78FRdの右前側輝度平均値と対象領域78RRdの右後側輝度平均値とを用いた線形補間によって、対象領域78FRd及び対象領域78RRd以外の右側撮像画像70d内の領域の輝度を補正する。
【0056】
次に、補正部54による色差補正処理について説明する。
【0057】
補正部54は、全ての撮像画像70の全ての重複領域74の全ての対象領域78の色差毎の平均である全体色差平均値と、一の撮像画像70に含まれる全ての重複領域の全ての対象領域78の色差の平均である撮像画像色差平均値とに基づいて、色差毎に当該撮像画像70の色差を補正する。
【0058】
まず、色差のうちU値の補正について具体的に説明する。
【0059】
補正部54は、撮像画像70毎(即ち、撮像部14毎)の色差(ここでは、U値)の平均値である撮像画像色差平均値を算出する。
【0060】
具体的には、補正部54は、撮像部14aの前側撮像画像70aの全ての対象領域78FLa、78FRaのU値を全て足した総和を、対象領域78FLa、78FRaの画素数で除算して、前側撮像画像70aのU値の平均値である前側撮像画像U平均値を算出する。
【0061】
補正部54は、撮像部14bの後側撮像画像70bの全ての対象領域78RLb、78RRbのU値を全て足した総和を、対象領域78RLb、78RRbの画素数で除算して、後側撮像画像70bのU値の平均値である後側撮像画像U平均値を算出する。
【0062】
補正部54は、撮像部14cの左側撮像画像70cの全ての対象領域78FLc、78RLcのU値を全て足した総和を、対象領域78FLc、78RLcの画素数で除算して、左側撮像画像70cのU値の平均値である左側撮像画像U平均値を算出する。
【0063】
補正部54は、撮像部14dの右側撮像画像70dの全ての対象領域78FRd、78RRdのU値を全て足した総和を、対象領域78FRd、78RRdの画素数で除算して、右側撮像画像70dのU値の平均値である右側撮像画像U平均値を算出する。
【0064】
前側撮像画像U平均値、後側撮像画像U平均値、左側撮像画像U平均値、及び、右側撮像画像U平均値は、撮像画像色差平均値の一例であり、それぞれを区別する必要がない場合、撮像画像U平均値と記載する。また、V値の撮像画像色差平均値は、撮像画像V平均値とする。撮像画像U平均値及び撮像画像V平均値を区別する必要がない場合、撮像画像色差平均値と記載する。
【0065】
補正部54は、全ての撮像画像70の全ての対象領域78のU値を合算したU合算値を算出する。補正部54は、U合算値を、全ての対象領域78の画素数で除算した全体U平均値を算出する。全体U平均値は、全体色差平均値の一例である。
【0066】
補正部54は、各撮像画像U平均値が全体U平均値となるように、撮像画像70毎に全ての画素のU値を補正する。
【0067】
例えば、補正部54は、前側撮像画像U平均値と全体U平均値との差分を撮像部14aの補正値として算出する。補正部54は、前側撮像画像70aの全ての画素のU値に当該補正値を足すまたは引くことによって、前側撮像画像U平均値が全体U平均値になるように、補正する。
【0068】
補正部54は、後側撮像画像U平均値と全体U平均値との差分を撮像部14bの補正値として算出する。補正部54は、後側撮像画像70bの全ての画素のU値に当該補正値を足すまたは引くことによって、後側撮像画像U平均値が全体U平均値になるように、補正する。
【0069】
補正部54は、左側撮像画像U平均値と全体U平均値との差分を撮像部14cの補正値として算出する。補正部54は、左側撮像画像70cの全ての画素のU値に当該補正値を足すまたは引くことによって、左側撮像画像U平均値が全体U平均値になるように、補正する。
【0070】
補正部54は、右側撮像画像U平均値と全体U平均値との差分を撮像部14dの補正値として算出する。補正部54は、右側撮像画像70dの全ての画素のU値に当該補正値を足すまたは引くことによって、右側撮像画像U平均値が全体U平均値になるように、補正する。
【0071】
同様に、補正部54は、V値を補正する。
【0072】
図5は、第1実施形態の処理部50が実行する画像生成処理のフローチャートである。処理部50は、画像生成プログラム58を読み込むことによって、画像生成処理を実行する。
【0073】
図5に示すように、処理部50の補正部54は、複数の撮像部14のそれぞれから互いに重複する重複領域74を含む撮像画像70を取得する(S102)。換言すれば、補正部54は、複数の撮像部14の個数分だけ撮像画像70を取得する。
【0074】
補正部54は、複数の撮像画像70の輝度を補正する輝度補正処理(第1補正処理)を実行する(S104)。
【0075】
次に、補正部54は、複数の撮像画像70の色差(U値及びV値を含む)を補正する色差補正処理(第2補正処理)を実行する(S106)。
【0076】
生成部56は、補正部54が補正した撮像画像70をつなげて、周辺画像72を生成する(S108)。
【0077】
生成部56は、生成した周辺画像72を表示部40へ出力して、表示させる(S110)。この後、処理部50は、ステップS102以降を繰り返して、周辺画像72の生成を繰り返す。
【0078】
図6は、補正部54が実行する輝度補正処理のフローチャートである。
【0079】
図6に示す輝度補正処理では、補正部54は、前側撮像画像70aの対象領域78FLa、78FRaに含まれる輝度のそれぞれの平均値である基準左前側輝度平均値及び基準右前側輝度平均値を算出する(S202)。補正部54は、後側撮像画像70bの対象領域78RLb、78RRbに含まれる輝度のそれぞれの平均値である基準左後側輝度平均値及び基準右後側輝度平均値を算出する(S204)。
【0080】
補正部54は、左側撮像画像70cの輝度を補正する(S206)。具体的には、補正部54は、左側撮像画像70cの対象領域78FLcの輝度の平均値である左前側輝度平均値と基準左前側輝度平均値との差分に基づいて、左側撮像画像70cの対象領域78FLcの輝度を補正する。補正部54は、左側撮像画像70cの対象領域78RLcの輝度の平均値である左後側輝度平均値と基準左後側輝度平均値との差分に基づいて、左側撮像画像70cの対象領域78RLcの輝度を補正する。補正部54は、補正後の左前側輝度平均値と左後側輝度平均値とを用いた線形補間によって、対象領域78FLc、78RLc以外の左側撮像画像70cの領域の輝度を補正する。
【0081】
補正部54は、右側撮像画像70dの輝度を補正する(S208)。具体的には、補正部54は、右側撮像画像70dの対象領域78FRdの輝度の平均値である右前側輝度平均値と基準右前側輝度平均値との差分に基づいて、右側撮像画像70dの対象領域78FRdの輝度を補正する。補正部54は、右側撮像画像70dの対象領域78RRdの輝度の平均値である右後側輝度平均値と基準右後側輝度平均値との差分に基づいて、右側撮像画像70dの対象領域78RRdの輝度を補正する。補正部54は、補正後の右前側輝度平均値と右後側輝度平均値とを用いた線形補間によって、対象領域78FRd、78RRd以外の右側撮像画像70dの領域の輝度を補正する。
【0082】
これにより、補正部54は、輝度補正処理を終了して、画像生成処理へ戻る。
【0083】
図7は、補正部54が実行する色差補正処理のフローチャートである。
【0084】
図7に示すように、補正部54は、撮像画像70毎(または、撮像部14毎)、かつ、色差毎に、対象領域78の色差の平均値である撮像画像色差平均値を算出する(S302)。具体的には、補正部54は、いずれかの撮像画像70(例えば、撮像画像70a)に含まれる全ての対象領域78(例えば、対象領域78FLa、78FRa)のU値の総和を、当該全ての対象領域78の画素数で除算して、当該撮像画像70(例えば、撮像画像70a)のU値の撮像画像色差平均値である、撮像画像U平均値(例えば、前側撮像画像U平均値)を算出する。同様に、補正部54は、撮像画像70(例えば、撮像画像70a)の撮像画像V平均値(例えば、前側撮像画像V平均値)を算出する。上述の処理を繰り返すことによって、補正部54は、全ての撮像部14の撮像画像70の撮像画像U平均値及び撮像画像V平均値を算出する。
【0085】
補正部54は、全ての撮像画像70の全ての撮像画像U平均値及び撮像画像V平均値を算出すると、全ての撮像画像70に含まれる全ての対象領域78の色差の総和である色差合算値(U合算値及びV合算値)を色差毎に算出する(S306)。補正部54は、色差合算値を全ての対象領域78の画素数で除算することによって、全ての対象領域78の色差の平均値である全体色差平均値(即ち、全体U平均値及び全体V平均値)を色差毎に算出する(S308)。
【0086】
補正部54は、撮像部14毎に各色差の補正値を算出する(S310)。具体的には、補正部54は、撮像部14aの前側撮像画像70aの撮像画像U平均値と全体U平均値との差分を、当該撮像部14aのU値の補正値とする。補正部54は、各撮像部14b、14c、14dに対し同じ処理を繰り返すことによって、全ての撮像部14のU値の補正値を算出する。更に、補正部54は、撮像部14aの前側撮像画像70aの撮像画像V平均値と全体V平均値との差分を、当該撮像部14aのV値の補正値とする。補正部54は、各撮像部14b、14c、14dに対し同じ処理を繰り返すことによって、全ての撮像部14のV値の補正値を算出する。補正部54は、算出した補正値を色差及び撮像部14に関連付けて、記憶部52に格納する。
【0087】
補正部54は、撮像画像70の画素の色差に、当該撮像画像70の撮像部14に関連付けられた補正値を足すまたは引くことによって、撮像画像70を補正する(S312)。例えば、補正部54は、撮像画像U平均値が全体U平均値よりも低い撮像部14のU値にはU値の補正値を足して補正する。補正部54は、撮像画像U平均値が全体U平均値よりも高い撮像部14のU値にはU値の補正値を引いて補正する。
【0088】
これにより、補正部54は、色差補正処理を終了して、画像生成処理へ戻る。
【0089】
上述したように、第1実施形態の画像処理装置20は、一の撮像画像70の対象領域78の輝度によって他の撮像画像70の対象領域78の輝度を補正し、2以上の撮像画像70の色差によって撮像画像70の色差を補正することによって、撮像画像70間の輝度の補正と、色差の補正とを異ならせている。これにより、画像処理装置20は、輝度と同じ方法で色差を補正した場合にいずれかの撮像画像70に生じる白とび及び黒つぶれ等を低減することができる。この結果、画像処理装置20は、撮像部14の特性及び取り付け位置等に起因する撮像画像70間の色差のずれを適切に補正して、撮像画像70をつなげて生成する周辺画像72の画質を向上させることができる。
【0090】
また、画像処理装置20は、撮像画像70毎の撮像画像色差平均値と、全体色差平均値とに基づいて、色差を補正するので、補正処理の演算負荷の増加を低減しつつ、撮像画像70間の色差の違和感を低減できる。
【0091】
<第2実施形態>
次に、上述した色差補正処理を部分的に変更した第2実施形態について説明する。第2実施形態の補正部54は、予め定められた条件に基づいて、色差の補正(即ち、第2補正)を実行するか否かを判定してよい。
【0092】
例えば、補正部54は、対象領域78の色差の平均値である色差平均値(U平均値及びV平均値)と、予め定められた色差平均閾値とに基づいて、色差の補正を実行するか否かを判定してよい。色差平均閾値は、数値データ60として記憶部52に格納されている。
【0093】
補正部54は、対象領域78の色差のばらつきと、予め定められたばらつき閾値とに基づいて、色差の補正を実行するか否かを判定してよい。ばらつき閾値は、数値データ60として記憶部52に格納されている。
【0094】
補正部54は、一の撮像画像70に含まれる複数の対象領域78(例えば、対象領域78FLa、78FRa)の色差平均値の差分と、予め定められた差分閾値とに基づいて、色差の補正を実行するか否かを判定してよい。差分閾値は、数値データ60として記憶部52に格納されている。
【0095】
また、補正部54は、予め定められた条件の場合、補正値を変更してもよい。
【0096】
例えば、補正部54は、色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、色差の補正値を上限補正値に変更するか否かを判定してよい。上限補正値は、補正値の上限を示す値であって、数値データ60として記憶部52に格納されている。
【0097】
図8は、第2実施形態の補正部54が実行する色差補正処理のフローチャートである。第1実施形態と同様のステップには、同じステップ番号を付与して説明を省略する。
【0098】
図8に示すように、第2実施形態の色差補正処理では、補正部54は、ステップS354〜S362までの処理を、対象領域78の個数分(ここでは、8個分)実施する(S352)。
【0099】
補正部54は、複数の対象領域78のうち、補正の可否を判定するための対象領域78を設定する(S354)。対象領域78の設定順序は特に限定されるものではないが、偶数回目に設定される対象領域78が、1つ前の奇数回目に設定された対象領域78と同じ撮像画像70内であればよい。例えば、補正部54は、対象領域78FLaを最初に設定して、時計回りに、対象領域78FRa、78FRd、・・・、78FLcの順序で設定してよい。
【0100】
補正部54は、設定した対象領域78の色差平均値(U平均値及びV平均値)を算出する(S356)。
【0101】
補正部54は、色差の補正を実行するか否かを判定する色差平均値判定処理を実行する(S358)。
【0102】
図9は、補正部54が実行する色差平均値判定処理のフローチャートである。補正部54は、色差平均値判定処理によって、撮像画像70が灰色を含まない場合、即ち、路面を含まない場合の色差の補正値の設定を禁止する。
【0103】
図9に示すように、色差平均値判定処理では、補正部54は、対象領域78のU平均値の絶対値が予め定められたU平均閾値よりも大きいか否かを判定する(S402)。U平均閾値は、例えば、U値が±128階調の間の値の場合、“50”である。
【0104】
補正部54は、対象領域78のU平均値の絶対値がU平均閾値以下と判定すると(S402:No)、補正部54は、対象領域78のV平均値の絶対値が予め定められたV平均閾値よりも大きいか否かを判定する(S404)。V平均閾値は、例えば、V値が±128階調の間の値の場合、“50”である。補正部54は、対象領域78のV平均値の絶対値がV平均閾値以下と判定すると(S404:No)、色差平均値判定処理を終了して、ステップS360を実行する。
【0105】
一方、補正部54は、対象領域78のU平均値の絶対値がU平均閾値より大きいと判定すると(S402:Yes)、または、対象領域78のV平均値の絶対値がV平均閾値より大きいと判定すると(S404:Yes)、色差の補正をすることなく、画像生成処理を終了する(図8の円内のA参照)。
【0106】
図8に戻って、補正部54は、色差の補正を実行するか否かを判定する色差ばらつき判定処理を実行する(S360)。
【0107】
図10は、補正部54が実行する色差ばらつき判定処理のフローチャートである。補正部54は、色差ばらつき判定処理によって、撮像画像70に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止する。
【0108】
図10に示すように、色差ばらつき判定処理では、補正部54は、対象領域78のU値の最大値と最小値との差であるU値のばらつきを算出する(S412)。補正部54は、U値のばらつきが予め定められたUばらつき閾値よりも大きいか否かを判定する(S414)。Uばらつき閾値は、例えば、U値が256階調の場合、“20”である。
【0109】
補正部54は、対象領域78のU値のばらつきがUばらつき閾値以下と判定すると(S414:No)、対象領域78のV値の最大値と最小値との差であるV値のばらつきを算出する(S416)。補正部54は、V値のばらつきが予め定められたVばらつき閾値よりも大きいか否かを判定する(S418)。Vばらつき閾値は、例えば、V値が256階調の場合、“20”である。補正部54は、対象領域78のV値のばらつきがVばらつき閾値以下と判定すると(S418:No)、色差ばらつき判定処理を終了して、ステップS362を実行する。
【0110】
一方、補正部54は、対象領域78のU値のばらつきがUばらつき閾値より大きいと判定すると(S414:Yes)、または、対象領域78のV値のばらつきがVばらつき閾値より大きいと判定すると(S418:Yes)、色差の補正をすることなく、画像生成処理を終了する(図8の円内のA参照)。
【0111】
図8に戻って、補正部54は、色差の補正を実行するか否かを一の撮像画像70内の色差の差分で判定する色差差分判定処理を実行する(S362)。
【0112】
図11は、補正部54が実行する色差差分判定処理のフローチャートである。補正部54は、色差差分判定処理によって、一の撮像画像70内の色差が一様でない場合の色差の補正値の設定を禁止する。
【0113】
図11に示すように、色差差分判定処理では、補正部54は、ステップS352以降のループの回数が偶数回目か否かを判定する(S422)。尚、偶数回目であることは、今回のループのステップS356で算出された色差平均値と同じ撮像部14で撮像された撮像画像70内の他の対象領域78の色差平均値が算出済みであることを意味する。補正部54は、偶数回目でないと判定すると(S422:No)、色差差分判定処理を終了して、ステップS352またはステップS302を実行する。
【0114】
補正部54は、偶数回目であると判定すると(S422:Yes)、一の撮像画像70内の2つの対象領域78(例えば、対象領域78FLa、78FRa)のU平均値の差分であるU差分を算出する(S424)。補正部54は、U差分が予め定められたU差分閾値よりも大きいか否かを判定する(S426)。U差分閾値は、例えば、U値が256階調の場合、“10”である。
【0115】
補正部54は、U差分が予め定められたU差分閾値以下と判定すると(S426:No)、一の撮像画像70内の2つの対象領域78(例えば、対象領域78FLa、78FRa)のV平均値の差分であるV差分を算出する(S428)。補正部54は、V差分が予め定められたV差分閾値よりも大きいか否かを判定する(S430)。V差分閾値は、例えば、V値が256階調の場合、“10”である。補正部54は、V差分が予め定められたV差分閾値以下と判定すると(S430:No)、色差差分判定処理を終了して、ステップS352またはステップS302を実行する。
【0116】
一方、補正部54は、対象領域78のU差分がU差分閾値より大きいと判定すると(S426:Yes)、または、対象領域78のV差分がV差分閾値より大きいと判定すると(S430:Yes)、色差の補正をすることなく、画像生成処理を終了する(図8の円内のA参照)。
【0117】
図8に戻って、補正部54は、ステップS352のループを対象領域78の個数分実行すると、第1実施形態と同様にステップS302からS310の処理を実行して、撮像部14毎に各色差の補正値を算出する。
【0118】
補正部54は、補正値を算出すると、補正値の上限を判定する補正値上限判定処理を実行する(S366)。
【0119】
図12は、補正部54が実行する補正値上限判定処理のフローチャートである。補正部54は、補正値上限判定処理によって、大きい補正値の補正による色の大きな変化による周辺画像72の画質の劣化を抑制する。
【0120】
図12に示すように、補正値上限判定処理では、補正部54は、算出したU値の補正値が予め定められたU上限値よりも大きいか否かを判定する(S442)。U上限値は、例えば、U値が256階調の場合、“35”である。補正部54は、U値の補正値がU上限値よりも大きい場合(S442:Yes)、U値の補正値をU上限値に変更する(S444)。補正部54は、U値の補正値がU上限値以下の場合(S442:No)、U値の補正値を変更することなく、維持する。
【0121】
補正部54は、算出したV値の補正値が予め定められたV上限値よりも大きいか否かを判定する(S446)。V上限値は、例えば、V値が256階調の場合、“35”である。補正部54は、V値の補正値がV上限値よりも大きい場合(S446:Yes)、V値の補正値をV上限値に変更する(S448)。補正部54は、V値の補正値がV上限値以下の場合(S446:No)、V値の補正値を変更することなく、維持する。
【0122】
これにより、補正部54は、補正値上限判定処理を終了する。
【0123】
図8に戻って、補正部54は、算出した補正値に基づいて、または、上限値に変更した補正値に基づいて、撮像画像70の色差を補正して(S312)、色差補正処理を終了する。
【0124】
上述したように第2実施形態では、補正部54が、色差平均値判定処理を実行するので、撮像画像70が路面を含まない場合等に設定された誤った補正値の設定を禁止して、補正による周辺画像72の画質の劣化を抑制する。
【0125】
補正部54は、色差ばらつき判定処理を実行するので、撮像画像70に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、補正による周辺画像72の画質の劣化を抑制する。
【0126】
補正部54は、色差差分判定処理を実行するので、一の撮像画像70内の色差が一様でなく、ばらつきの大きい場合等に設定される誤った補正値の設定を禁止して、誤った補正値による周辺画像72の画質の劣化を抑制する。
【0127】
補正部54は、補正値上限判定処理を実行するので、大きい補正値の補正による色の大きな変化による周辺画像72の画質の劣化を抑制する。
【0128】
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
【0129】
上述の実施形態では、画像生成処理毎に補正値を算出する例を示したが、これに限定されない。例えば、複数回の画像生成処理の間に一度、補正値を算出するようにしてもよく、情報処理装置36の起動時等のみ補正値を算出するようにしてもよい。
【0130】
上述の実施形態では、重複領域74の一部に設定した対象領域78を輝度及び色差の補正をするための領域とした例を挙げたが、対象領域78は、重複領域74の全体に広げて、重複領域74と一致させてもよい。
【0131】
上述の第2実施形態では、色差平均値判定処理、色差ばらつき判定処理、色差差分判定処理、及び、補正値上限判定処理の全てを実行する例を挙げたが、これに限定されない。画像処理装置20は、これらの判定処理のうち、1または複数の判定処理を実行するようにしてもよい。
【0132】
上述の実施形態では、移動体の例として車両10を挙げたが、これに限定されない。例えば、移動体は、飛行機、船、二輪車等であってもよい。
【0133】
上述の実施形態では、補正部54が、全体色差平均値と撮像画像色差平均値との差分に基づいて、色差を補正する例を挙げたが、これに限定されない。例えば、補正部54が、全体色差平均値に対する撮像画像色差平均値の比率に基づいて、色差を補正してもよい。この場合、補正部54は、撮像画像の色差を当該比率で割ることによって、色差を補正してよい。
【0134】
上述の実施形態では、補正部54が、全ての対象領域78の色差の平均値を全体色差平均値として算出する例を挙げたが、全体色差平均値はこれに限定されない。例えば、補正部54は、全ての撮像画像70の色差の平均値を全体色差平均値として算出してもよい。
【符号の説明】
【0135】
10…車両
14…撮像部
20…画像処理装置
36…情報処理装置
50…処理部
54…補正部
56…生成部
70…撮像画像
72…周辺画像
74…重複領域
78…対象領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12