特開 2024-110787 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110787

(43)【公開日】2024-08-16

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   G03B 15/00 20210101AFI20240808BHJP

   H04N 7/18 20060101ALI20240808BHJP

   H04N 23/71 20230101ALI20240808BHJP

   H04N 23/76 20230101ALI20240808BHJP

   H04N 23/75 20230101ALI20240808BHJP

   B60R 11/02 20060101ALI20240808BHJP

   G06T 5/50 20060101ALI20240808BHJP

   G03B 7/00 20210101ALI20240808BHJP

   G03B 19/07 20210101ALI20240808BHJP

   G06T 1/00 20060101ALI20240808BHJP

【ＦＩ】

G03B15/00 V

H04N7/18 E

H04N23/71

H04N23/76

H04N23/75

B60R11/02 Z

G06T5/50

G03B7/00

G03B19/07

H04N7/18 J

G06T1/00 330A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023015588

(22)【出願日】2023-02-03

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001128

【氏名又は名称】弁理士法人ゆうあい特許事務所

(72)【発明者】

【氏名】西川 雅人

【テーマコード（参考）】

2H002

2H054

3D020

5B057

5C054

5C122

【Ｆターム（参考）】

2H002CC00

2H002CC21

2H054BB05

2H054BB07

3D020BA20

3D020BB01

3D020BC04

3D020BC17

3D020BD05

3D020BE03

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB02

5B057CB08

5B057CB12

5B057CB16

5B057CE11

5B057CH18

5B057DB02

5B057DB09

5B057DC32

5C054CA04

5C054CC02

5C054CE11

5C054ED02

5C054ED04

5C054ED09

5C054FC01

5C054FC03

5C054FF02

5C054HA30

5C122DA14

5C122EA12

5C122FA18

5C122FF01

5C122FF03

5C122FF15

5C122FF18

5C122FF23

5C122FH01

5C122FH02

5C122FH10

5C122FH11

5C122HA88

5C122HB01

5C122HB05

(57)【要約】

【課題】撮像装置において、前方監視カメラの周辺部品による影響を低減した画像を得る。
【解決手段】撮像装置１は、前方監視カメラ２、共通領域判定部３１、差分算出部３２及び明るさ調整部３３を備える。前方監視カメラ２は、車両周辺を車室外から撮影する周辺監視カメラ４が撮影する領域の少なくとも一部を含む車両の前方領域を、フロントウィンドシールド５を介して車室内から撮影する。共通領域判定部３１は、前方監視カメラ２が撮影した第１画像と周辺監視カメラ４が撮影した第２画像において同一の対象が撮影された共通領域を判定する。差分算出部３２は、第１画像の中の共通領域の明るさと第２画像の中の共通領域の明るさとの差分を算出する。明るさ調整部３３は、差分算出部３２が算出した差分に基づいて、第１画像の明るさを補正する画像処理を行うか、或いは、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行う。
【選択図】図６

【特許請求の範囲】

【請求項1】

車両周辺を車室外から撮影する周辺監視カメラ（４）が搭載された車両（１０）に搭載される撮像装置であって、
前記周辺監視カメラが撮影する領域の少なくとも一部を含む前記車両の前方領域を、フロントウィンドシールド（５）を介して車室内から撮影する前方監視カメラ（２）と、
前記前方監視カメラが撮影した第１画像と前記周辺監視カメラが撮影した第２画像において同一の対象が撮影された共通領域を判定する共通領域判定部（３１）と、
前記第１画像の中の前記共通領域の明るさと前記第２画像の中の前記共通領域の明るさとの差分を算出する差分算出部（３２）と、
前記差分算出部が算出した差分に基づいて、前記第１画像の明るさを補正する画像処理を行うか、或いは、前記前方監視カメラに対し露出制御、絞り制御または感度制御を行う明るさ調整部（３３）と、を備える撮像装置。

【請求項2】

前記前方監視カメラに対し車両上下方向下側に設けられ、車室内から前記前方監視カメラに入射する光を遮るフード（７）をさらに備え、
前記明るさ調整部は、通常時における前記第１画像の中の前記共通領域の明るさと前記第２画像の中の前記共通領域の明るさとの差分（以下、「通常時の明るさの差分」という）を記憶しており、現状における前記第１画像の中の前記共通領域の明るさと前記第２画像の中の前記共通領域の明るさとの差分（以下、「現状の明るさの差分」という）が前記通常時の明るさの差分と異なるとき、前記現状の明るさの差分を前記通常時の明るさの差分に近づけるよう前記第１画像の明るさを補正する画像処理を行うか、或いは、前記前方監視カメラに対し露出制御、絞り制御または感度制御を行う、請求項１に記載の撮像装置。

【請求項3】

前記明るさ調整部は、前記現状の明るさの差分から、前記通常時の明るさの差分を減算した値を白浮き量として算出し、現状の前記第１画像に対し前記白浮き量を減算する補正を行うか、或いは、現状の前記第１画像から前記白浮き量が減算されるよう前記前方監視カメラに対し露出制御、絞り制御または感度制御を行う、請求項２に記載の撮像装置。

【請求項4】

前記差分算出部は、前記第１画像の中の前記共通領域における画素値と前記第２画像の中の前記共通領域における画素値との差分を色情報それぞれで算出し、
前記明るさ調整部は、前記差分算出部が算出した差分に基づいて、前記第１画像の画素値の色情報をそれぞれ補正する画像処理を行う、請求項１に記載の撮像装置。

【請求項5】

車両周辺を車室外から撮影する周辺監視カメラ（４）が搭載された車両（１０）に搭載される撮像装置であって、
前記周辺監視カメラが撮影する領域の少なくとも一部を含む前記車両の前方領域を、フロントウィンドシールド（５）を介して車室内から撮影する前方監視カメラ（２）と、
前記前方監視カメラが撮影した第１画像と前記周辺監視カメラが撮影した第２画像において同一の対象が撮影された共通領域を判定する共通領域判定部（３１）と、
前記第１画像の中の前記共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、前記第２画像の中の前記共通領域において画像のボケ量が所定の第２判定値より小さいとき、前記フロントウィンドシールドに窓曇りが発生していることを判定する窓曇り判定部（３４）と、を備える撮像装置。

【請求項6】

前記窓曇り判定部は、前記第１画像の中の前記共通領域において画素値の明暗の周期が短い高周波成分が所定の第１閾値より少なく、且つ、前記第２画像の中の前記共通領域において画素値の明暗の周期が短い高周波成分が所定の第２閾値より多いとき、前記フロントウィンドシールドに窓曇りが発生していることを判定する、請求項５に記載の撮像装置。

【請求項7】

前記第１画像の中の前記共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、前記第２画像の中の前記共通領域において画像のボケ量が所定の第２判定値より大きいとき、車外に霧が発生していることを判定する霧判定部（３５）をさらに備える、請求項５または６に記載の撮像装置。

【請求項8】

前記霧判定部は、前記第１画像の中の前記共通領域において画素値の明暗の周期が短い高周波成分が所定の第１閾値より少なく、且つ、前記第２画像の中の前記共通領域において画素値の明暗の周期が短い高周波成分が所定の第２閾値より少ないとき、車外に霧が発生していることを判定する、請求項７に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載される撮像装置に関するものである。

【背景技術】

【0002】

特許文献１に記載の撮像装置は、車両の前方領域を車室内から撮影する前方監視カメラと、その前方監視カメラの撮影した画像を補正する制御ユニットなどを備えている。制御ユニットは、ダッシュボードに設置された照度センサから取得される照度に応じて、前方監視カメラの撮影した画像の中でダッシュボードが映り込む領域の明るさを下げる補正を行う。制御ユニットで補正された画像は、車両周辺に存在する物体などの画像認識に用いられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４５０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、一般に、照度センサは車室内のダッシュボードに上向きに設置されている。そのため、照度センサは、車外の光源（例えば太陽）が車両の上斜め前方にある場合と車両の上斜め後方にある場合とで、ほぼ同じ照度を検出する。それに対し、前方監視カメラは、車両前方からの光が入射されるように設置される。そのため、前方監視カメラの撮影した画像は、車外の光源の位置によって、ダッシュボード又はフード等から受ける影響が異なるものとなる。
また、照度センサにより検出される照度は、フロントウィンドシールドの透過特性または窓曇り等の影響を受けたものとなる。前方監視カメラの撮影した画像も、フロントウィンドシールドの透過特性または窓曇り等の影響を受けたものとなる。そのため、特許文献１に記載の撮像装置の構成では、前方監視カメラの撮影した画像がカメラ周辺部品（例えば、ダッシュボード、フード、フロントウィンドシールド等）から受ける影響を正確に判定することが困難である。

【0005】

本発明は上記点に鑑みて、撮像装置において、前方監視カメラの周辺部品による影響を低減した画像を得ることを目的とする。また、本発明は、前方監視カメラの周辺部品等による影響を判定することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、請求項１に係る発明は、車両周辺を車室外から撮影する周辺監視カメラ（４）が搭載された車両（１０）に搭載される撮像装置であって、
周辺監視カメラが撮影する領域の少なくとも一部を含む車両の前方領域を、フロントウィンドシールド（５）を介して車室内から撮影する前方監視カメラ（２）と、
前方監視カメラが撮影した第１画像と周辺監視カメラが撮影した第２画像において同一の対象が撮影された共通領域を判定する共通領域判定部（３１）と、
第１画像の中の共通領域の明るさと第２画像の中の共通領域の明るさとの差分を算出する差分算出部（３２）と、
差分算出部が算出した差分に基づいて、第１画像の明るさを補正する画像処理を行うか、或いは、前方監視カメラに対し露出制御、絞り制御または感度制御を行う明るさ調整部（３３）と、を備える。

【0007】

これによれば、車両前方を撮影する周辺監視カメラの向きと前方監視カメラの向きとは近似しており、且つ、その周辺監視カメラが撮影した第２画像は前方監視カメラの周辺部品（例えばフロントウィンドシールド、フード等）の影響を受けない。そのため、第１画像の中の共通領域の明るさと第２画像の中の共通領域の明るさとの差分を算出することで、前方監視カメラの周辺部品から第１画像が受ける影響を判定することが可能となる。したがって、撮像装置は、その差分に基づいて、第１画像の明るさを補正する画像処理を行うか、或いは、前方監視カメラに対し露出制御、絞り制御または感度制御を行うことで、前方監視カメラの周辺部品による影響を低減した画像を得ることができる。

【0008】

請求項５に係る発明は、車両周辺を車室外から撮影する周辺監視カメラ（４）が搭載された車両（１０）に搭載される撮像装置であって、
周辺監視カメラが撮影する領域の少なくとも一部を含む車両の前方領域を、フロントウィンドシールド（５）を介して車室内から撮影する前方監視カメラ（２）と、
前方監視カメラが撮影した第１画像と周辺監視カメラが撮影した第２画像において同一の対象が撮影された共通領域を判定する共通領域判定部（３１）と、
第１画像の中の共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、第２画像の中の共通領域において画像のボケ量が所定の第２判定値より小さいとき、フロントウィンドシールドに窓曇りが発生していることを判定する窓曇り判定部（３４）と、を備える。

【0009】

これによれば、第１画像はフロントウィンドシールドの窓曇りの影響を受けるが、第２画像はフロントウィンドシールドの影響を受けない。そのため、窓曇り判定部は、第１画像のボケ量が大きく、且つ、第２画像のボケ量が小さいときは、窓曇りが発生していることを判定できる。なお、画像のボケ量とは、被写体の輪郭がぼやけた状態、或いは、画素値の急激な変動が低減した状態の程度をいう。

【0010】

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る撮像装置が搭載された車両の模式図である。

【図2】第１画像に白浮きが生じる状態を説明するための説明図である。

【図3】第１実施形態に係る撮像装置の概略構成を示すブロック図である。

【図4】第１画像の一例を示す図である。

【図5】第２画像の一例を示す図である。

【図6】第１実施形態に係る撮像装置の制御ユニットが行う制御処理の一例を示すフローチャートである。

【図7】第１実施形態に係る撮像装置の制御ユニットが行う制御処理の別の例を示すフローチャートである。

【図8】第２実施形態に係る撮像装置の制御ユニットが行う制御処理の一例を示すフローチャートである。

【図9】第３実施形態に係る撮像装置の概略構成を示すブロック図である。

【図10】第３実施形態に係る撮像装置の制御ユニットが行う制御処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付し、その説明を省略する。

【0013】

（第１実施形態）
第１実施形態について図面を参照しつつ説明する。図１に示すように、第１実施形態の撮像装置１は、車両１０に搭載され、前方監視カメラ２、フード７および制御ユニット３などを備えている。なお、図１の矢印で示す前、後、上、下はそれぞれ、車両前方、車両後方、車両上方、車両下方を示している。

【0014】

第１実施形態の撮像装置１が搭載される車両１０には、複数の周辺監視カメラが搭載されている。複数の周辺監視カメラは、例えばフロントバンパー１１、リヤバンパー１２、および不図示のサイドミラーなど車室外の部品に取り付けられ、車両周辺を撮影する。複数の周辺監視カメラが撮影した画像は、それらの画像を合成した車両周囲の俯瞰画像の生成に用いられる。図１では、複数の周辺監視カメラのうち車両１０の前方領域を撮影する周辺監視カメラ４のみを示している。以下、車両１０の前方領域を撮影する周辺監視カメラ４を、「前向き周辺監視カメラ４」という。前向き周辺監視カメラ４は、例えばフロントバンパー１１またはフロントグリルなどに車両前方を向けて取り付けられている。

【0015】

図１および図２に示すように、前方監視カメラ２は、車室内の天井付近に車両前方を向けて取り付けられる。図２の矢印Ｌ１に示すように、前方監視カメラ２には、フロントウィンドシールド５を介して車外の前方領域から光が入射する。したがって、前方監視カメラ２は、フロントウィンドシールド５を介して車両１０の前方領域を撮影する。なお、図２では、車両１０の前方領域に存在する被写体の一例として車外の歩行者６を示している。図１に示すように、前方監視カメラ２と前向き周辺監視カメラ４とはいずれも車両前方を向いている。したがって、前方監視カメラ２は、前向き周辺監視カメラ４が撮影する領域の少なくとも一部を含む領域を、フロントウィンドシールド５を介して車室内から撮影する。

【0016】

前方監視カメラ２に対し、車両上下方向下側には、フード７が設けられている。フード７は、前方監視カメラ２の周辺部品の一例である。フード７は、車幅方向（即ち、図２の紙面奥行方向）および車両前後方向に拡がる板形状の遮光部品である。フード７は、車室内の不図示の光源（例えばスマートフォン等）から照射される光がフロントウィンドシールド５で反射して前方監視カメラ２のレンズに入射することを遮るものである。これにより、前方監視カメラ２の撮影する画像に車室内の光源が映り込むことを回避できる。

【0017】

しかしながら、車外の光源Ｌ２（例えば太陽等）が車両１０の上斜め前方にある場合、図２の矢印Ｌ３、Ｌ４、Ｌ５に示すように、車外の光源Ｌ２から照射される光がフード７およびフロントウィンドシールド５の順に反射して前方監視カメラ２に入射することがある。これにより、前方監視カメラ２が撮影する画像に白浮きが生じることがある。なお、白浮きとは、画像全体に明るさが余分に取り込まれた現象、言い替えれば、イメージセンサのダイナミックレンジの範囲内で画像全体の画素値が高くなる現象をいう。

【0018】

この点に鑑みて、第１実施形態の撮像装置１は、フード７による白浮きを低減した画像を得ることを目的とするものである。

【0019】

図３に示すように、前方監視カメラ２は、光学系２１、イメージセンサ２２、および、画像生成部２３等を有している。

【0020】

光学系２１は、レンズ２４および絞り２５等を有している。レンズ２４は、車両１０の前方領域から入射する光をイメージセンサ２２に結像させる。絞り２５は、所定の絞り値によりレンズ２４を通過する光量を調整する。

【0021】

イメージセンサ２２は、例えば、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。イメージセンサ２２は、例えば画素ごとにフォトダイオードを有し、フォトダイオードに下限値以上かつ上限値以下の光が入射すると、その光量に応じた電気信号を出力する。イメージセンサ２２は、電子シャッターを含んでいる。電子シャッターは、イメージセンサ２２内での電子制御（例えばトランジスタの制御切り換えなど）で露光時間を調整する。

【0022】

画像生成部２３は、例えば短シャッター画像と長シャッター画像とを合成し、ハイダイナミックレンジ合成画像(以下、単に「画像」という)を生成する。その画像は、制御ユニット３に出力される。

【0023】

制御ユニット３は、プロセッサと、ＲＯＭ、ＲＡＭ及びフラッシュメモリ等のメモリーとを備えたマイクロコンピュータを中心に構成されている。制御ユニット３は、プロセッサがメモリーに記憶されたプログラムを実行することにより、共通領域判定部３１、差分算出部３２、および、明るさ調整部３３などの機能を実現する。

【0024】

制御ユニット３には、前方監視カメラ２が撮影した画像と、前向き周辺監視カメラ４が撮影した画像が入力されるように構成されている。図４は、前方監視カメラ２が撮影した画像の一例を示し、図５は、前向き周辺監視カメラ４が図４の画像と同時刻に撮影した画像の一例を示す。以下の説明では、前方監視カメラ２が撮影した画像を「第１画像」といい、前向き周辺監視カメラ４が撮影した画像を「第２画像」という。第１画像と第２画像は、歪みや解像度などの各諸元は異なるが、同一の対象が撮影された共通領域が存在する。図５では、第２画像の中の共通領域を符号ＣＡを付した一点鎖線で示している。なお、図４の例では、第１画像の全てが共通領域となっている。

【0025】

再び図３に戻り、共通領域判定部３１は、第１画像と第２画像において同一の対象が撮影された共通領域を判定する。共通領域判定部３１は、前方監視カメラ２および前向き周辺監視カメラ４の作動時に画像認識を行って共通領域を判定する。或いは、共通領域判定部３１は、車両１０に前方監視カメラ２と前向き周辺監視カメラ４を設置したときやメンテナンス時などに共通領域を判定してもよい。

【0026】

明るさ調整部３３は、前方監視カメラ２の作動時に、第１画像の中の共通領域の明るさと第２画像の中の共通領域の明るさとの差分(以下、単に「明るさの差分」という)を算出する。具体的には、明るさ調整部３３は、第１画像の中の共通領域における画素値の平均値と、第２画像の中の共通領域における画素値の平均値との差分を、明るさの差分として算出する。

【0027】

明るさ調整部３３は、通常時の明るさの差分を算出し、メモリーに記憶する。通常時とは、白浮きが発生しない条件を満たす時であり、例えば日射量が所定の閾値より少ない時、または、車外の光源Ｌ２が車両１０の上斜め前方を除く位置にある時などをいう。なお、通常時の明るさの差分は、前方監視カメラ２と周辺監視カメラ４との各諸元の違いや、フロントウィンドシールド５の透過特性などにより生じるものである。明るさ調整部３３は、前方監視カメラ２の作動時において白浮きが発生しない条件を満たした時に、通常時の明るさの差分を算出する。或いは、明るさ調整部３３は、車両１０に前方監視カメラ２と前向き周辺監視カメラ４を設置したときやメンテナンス時などに、通常時の明るさの差分を算出してもよい。

【0028】

そして、明るさ調整部３３は、現状の明るさの差分が、通常時の明るさの差分と異なる場合、現状の明るさの差分を通常時の明るさの差分に近づけるよう第１画像の明るさを補正する画像処理を行う。具体的には、明るさ調整部３３は、現状の明るさの差分から、通常時の明るさの差分を減算した値を白浮き量として算出する。そして、明るさ調整部３３は、現状の第１画像に対し、白浮き量を減算する補正を行う。

【0029】

或いは、明るさ調整部３３は、前方監視カメラ２の作動時に、現状の明るさの差分が、通常時の明るさの差分と異なる場合、前方監視カメラ２に対し、露出制御、絞り制御または感度制御を行ってもよい。その露出制御、絞り制御または感度制御は、現状の明るさの差分を通常時の明るさの差分に近づけるように行われる。具体的には、明るさ調整部３３は、現状における第１画像から白浮き量が減算されるように、前方監視カメラ２のシャッター速度（即ち、露光時間）、絞り値、または、イメージセンサ２２の信号を増幅するゲインなどを設定する。

【0030】

これにより、撮像装置１は、白浮きを低減した画像を得ることができる。撮像装置１により得られた画像は、電子制御装置８（以下、「ＥＣＵ８」という）に伝送される。ＥＣＵ８は、その画像を用いた画像認識を行うことで例えば自動運転制御などの運転支援を実施する。なお、ＥＣＵは、Electronic Control Unitの略である。

【0031】

次に、第１実施形態に係る撮像装置１の制御ユニット３が行う制御処理の一例を、図６のフローチャートを参照して説明する。以下の説明および図では、ステップを「Ｓ」と表記する。また、フローチャートでは、前方監視カメラ２をＦＣＭと表記し、前向き周辺監視カメラ４をＰＶＭと表記している。ＦＣＭは、フロントカメラモジュールの略であり、ＰＶＭはパノラマビューモニターまたはパノラマミックビューモニターの略である。

【0032】

図６に示すように、Ｓ１０で制御ユニット３は、前方監視カメラ２から第１画像を取得し、前向き周辺監視カメラ４から第２画像を取得する。

【0033】

次に、Ｓ２０で共通領域判定部３１は、第１画像と第２画像において同一の対象が撮影された共通領域を判定する。

【0034】

続いて、Ｓ３０で明るさ調整部３３は、第１画像と第２画像を比較し、現状の明るさの差分を算出する。

【0035】

次に、Ｓ４０で明るさ調整部３３は、現状の明るさの差分と、予めメモリーに記憶された通常時の明るさの差分とが異なるか否かを判定する。明るさ調整部３３は、現状の明るさの差分と、通常時の明るさの差分とが同一である場合、白浮きが発生していないと判定し、処理をＳ５０に進める。

【0036】

Ｓ５０で明るさ調整部３３は、前方監視カメラ２が撮影した第１画像を通常制御により、ＥＣＵ８に伝送する。

【0037】

それに対し、Ｓ４０で明るさ調整部３３は、現状の明るさの差分と、通常時の明るさの差分とが異なる場合、白浮きが発生していると判定し、処理をＳ６０に進める。

【0038】

Ｓ６０で明るさ調整部３３は、現状の明るさの差分から、通常時の明るさの差分を減算した値を白浮き量として算出し、現状の第１画像に対し、白浮き量を減算する補正（即ち、画像処理）を行う。そして、制御ユニット３は、そのように画像処理した画像をＥＣＵ８に伝送する。

【0039】

次に、第１実施形態に係る撮像装置１の制御ユニット３が行う制御処理の別の例を、図７のフローチャートを参照して説明する。

【0040】

図７に示すように、Ｓ１０～Ｓ５０の処理は、図６を参照して説明した制御処理の一例と同一である。制御処理の別の例では、Ｓ４０で明るさ調整部３３は、白浮きが発生していると判定した場合（即ち、Ｓ４０の判定Ｙｅｓ）、処理をＳ７０に進める。

【0041】

Ｓ７０で明るさ調整部３３は、現状の明るさの差分から、通常時の明るさの差分を減算した値を白浮き量として算出する。そして、明るさ調整部３３は、現状の第１画像から白浮き量が低減するように、前方監視カメラ２のシャッター速度（即ち、露光時間）、絞り値、イメージセンサ２２の信号を増幅するゲインなどを設定し、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行う。そして、制御ユニット３は、そのようにして得られた画像をＥＣＵ８に伝送する。

【0042】

以上説明した第１実施形態の撮像装置１は、次の作用効果を奏するものである。
（１）第１実施形態では、撮像装置１の備える制御ユニット３は、第１画像と第２画像において明るさの差分を算出し、その差分に基づいて、第１画像の明るさを補正する画像処理を行うか、或いは、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行う。
これによれば、前向き周辺監視カメラ４の向きと前方監視カメラ２の向きとは近似しており、且つ、前向き周辺監視カメラ４が撮影した第２画像は前方監視カメラ２の周辺部品の影響（例えば、フード７による白浮き）を受けない。そのため、第１画像と第２画像において明るさの差分を算出することで、前方監視カメラ２の周辺部品から第１画像が受けている影響を判定することが可能となる。したがって、撮像装置１は、その差分に基づいて、第１画像の明るさを補正する画像処理を行うか、或いは、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行うことで、前方監視カメラ２の周辺部品による影響を低減した画像を得ることができる。

【0043】

（２）第１実施形態では、制御ユニット３は、通常時の明るさの差分を記憶している。そして、制御ユニット３は、現状の明るさの差分と、通常時の明るさの差分とが異なるとき、現状の明るさの差分を通常時の明るさの差分に近づけるよう第１画像の明るさを補正する画像処理を行う。或いは、制御ユニット３は、現状の明るさの差分と、通常時の明るさの差分とが異なるとき、現状の明るさの差分を通常時の明るさの差分に近づけるよう、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行う。
これによれば、制御ユニット３は、現状の明るさの差分と、通常時の明るさの差分とを比較することで、フード７による白浮きが第１画像に生じているか否かを判定可能であり、さらに、その白浮き量を算出可能である。したがって、制御ユニット３は、現状の明るさの差分を通常時の明るさの差分に近づけるよう第１画像の明るさを補正する画像処理を行うか、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行うことで、白浮きを低減した画像を得ることができる。

【0044】

（３）第１実施形態では、制御ユニット３は、現状の明るさの差分から、通常時の明るさの差分を減算した値を白浮き量として算出する。そして、制御ユニット３は、現状の第１画像に対し白浮き量を減算する補正を行うか、或いは、現状の第１画像から白浮き量が減算されるよう前方監視カメラ２に対し露出制御、絞り制御または感度制御を行う。
これによれば、制御ユニット３は、具体的に算出した白浮き量を用いて第１画像の明るさを補正する画像処理を行うか、前方監視カメラ２に対し露出制御、絞り制御または感度制御を行うことで、白浮きを低減した画像を得ることができる。

【0045】

（第２実施形態）
第２実施形態について説明する。第２実施形態は、第１実施形態に対して主に撮像装置１の制御ユニット３が行う制御処理を変更したものであり、その他については第１実施形態と実質的に同様であるため、第１実施形態と異なる部分についてのみ説明する。

【0046】

第２実施形態の撮像装置１も、第１実施形態で図１～図３を参照して説明したものと同様に、前方監視カメラ２および制御ユニット３などを備えている。なお、第２実施形態の撮像装置１は、第１実施形態で説明したフード７を備えていなくてもよい。

【0047】

第２実施形態でも、前方監視カメラ２は、車室内の天井付近に車両前方を向けて取り付けられ、フロントウィンドシールド５を介して車両１０の前方領域を撮影する。第２実施形態において、フロントウィンドシールド５は、前方監視カメラ２の周辺部品の一例である。

【0048】

フロントウィンドシールド５の透過特性（即ち、波長と透過率との関係）は、車種およびグレードなどによって異なる。しかしながら、撮像装置１の車両搭載時にフロントウィンドシールド５の透過特性が撮像装置１に入力されない場合、その透過特性の影響を受けた画像が撮像装置１からＥＣＵ８に伝送されると、ＥＣＵ８において、その画像を用いた画像認識が困難になる恐れがある。例えば、ＥＣＵ８が、撮像装置１から伝送される画像を用いて前方車両のテールランプ認識を行う場合、フロントウィンドシールド５の透過特性の影響を受けた画像の中で赤の輝度情報を正確に測定することが困難になる恐れがある。

【0049】

一般に、撮像装置１は、画像の色味を補正するオートホワイトバランス機能を備えていることがある。しかしながら、前方車両のテールランプ認識を行う場合、画像の中の赤の輝度情報を補正無しで測定したいため、オートホワイトバランスで画像の色味を補正しても意味がない。

【0050】

この点に鑑みて、第２実施形態の撮像装置１は、フロントウィンドシールド５の透過特性による影響を低減した画像を得ることを目的とするものである。

【0051】

第２実施形態に係る撮像装置１の制御ユニット３が行う制御処理の一例を、図８のフローチャートを参照して説明する。

【0052】

図８に示すように、Ｓ１１０で制御ユニット３は、前方監視カメラ２から第１画像を取得し、前向き周辺監視カメラ４から第２画像を取得する。

【0053】

次に、Ｓ１２０で共通領域判定部３１は、第１画像と第２画像において同一の対象が撮影された共通領域を判定する。

【0054】

続いて、Ｓ１３０で明るさ調整部３３は、第１画像と第２画像を比較し、第１画像の中の共通領域における画素値と第２画像の中の共通領域における画素値との差分を色情報（例えば、ＲＧＢ）それぞれで算出する。

【0055】

次に、Ｓ１４０で明るさ調整部３３は、差分算出部３２が算出した色情報それぞれの差分に基づいて、第１画像の画素値の色情報をそれぞれ補正する画像処理を行う。これにより、撮像装置１は、フロントウィンドシールド５の透過特性による影響を低減した画像を得ることができる。そして、撮像装置１は、その画像をＥＣＵ８に伝送する。

【0056】

以上説明した第２実施形態の撮像装置１は、次の作用効果を奏するものである。
第２実施形態では、差分算出部３２は、第１画像の中の共通領域における画素値と第２画像の中の共通領域における画素値との差分を色情報それぞれで算出する。そして、明るさ調整部３３は、差分算出部３２が算出した差分に基づいて、第１画像の画素値の色情報をそれぞれ補正する画像処理を行う。
これによれば、第１画像は、フロントウィンドシールド５の透過特性の影響を受けるが、その一方で、第２画像は、フロントウィンドシールド５の透過特性の影響を受けない。そのため、第１画像の中の共通領域における画素値と第２画像の中の共通領域における画素値との差分を色情報それぞれで算出することで、第１画像がフロントウィンドシールド５から受ける影響、即ち、フロントウィンドシールド５の透過特性を判定可能である。したがって、撮像装置１は、その差分に基づいて、第１画像の画素値の色情報をそれぞれ補正することで、フロントウィンドシールド５の透過特性による影響を低減した画像を得ることができる。その結果、撮像装置１から伝送される画像を用いて画像認識を行うＥＣＵ８において、その画像認識の精度を高めることができる。具体的には、例えば、ＥＣＵ８が前方車両のテールランプ認識を行う場合、画像の中の赤の輝度情報の測定精度を高めることができる。

【0057】

（第３実施形態）
第３実施形態について説明する。上記の特許文献１に記載の撮像装置の構成では、前方監視カメラ２から取得した画像にボケが生じた場合、その原因がフロントウィンドシールド５の窓曇りによるものであるか、或いは、車外に発生した霧によるものであるかの判定が困難である。なお、画像のボケとは、被写体の輪郭がぼやけた状態、或いは、画素値の急激な変動が低減した状態をいうものである。仮に、車両１０の運転者または車両ＥＣＵ８等が、前方監視カメラ２から取得した画像にボケが生じた原因（具体的には、フロントウィンドシールド５の窓曇りまたは車外の霧）に対して適切な対応をしない場合、車両１０の安全な走行に支障をきたす恐れがある。

【0058】

その点に鑑みて、第３実施形態の撮像装置１は、前方監視カメラ２の周辺部品および外部環境による影響（具体的には、フロントウィンドシールド５の窓曇りまたは車外の霧）を判定することを目的とするものである。

【0059】

図９に示すように、第３実施形態の撮像装置１も、前方監視カメラ２および制御ユニット３などを備えている。なお、第３実施形態の撮像装置１は、第１実施形態で説明したフード７を備えていなくてもよい。

【0060】

第３実施形態でも、前方監視カメラ２は、車室内の天井付近に車両前方を向けて取り付けられ、フロントウィンドシールド５を介して車両１０の前方領域を撮影する。第３実施形態において、フロントウィンドシールド５は、前方監視カメラ２の周辺部品の一例である。

【0061】

図９に示すように、第３実施形態の撮像装置１が備える制御ユニット３は、プロセッサがメモリーに記憶されたプログラムを実行することにより、共通領域判定部３１、窓曇り判定部３４、および、霧判定部３５などの機能を実現する。

【0062】

共通領域判定部３１は、第１画像と第２画像において同一の対象が撮影された共通領域を判定する。共通領域判定部３１は、前方監視カメラ２および前向き周辺監視カメラ４の作動時に画像認識を行って共通領域を判定する。或いは、共通領域判定部３１は、車両１０に前方監視カメラ２と前向き周辺監視カメラ４を設置したときやメンテナンス時などに共通領域を判定してもよい。

【0063】

窓曇り判定部３４は、フロントウィンドシールド５に窓曇りが発生しているか否か判定する。ここで、第１画像はフロントウィンドシールド５の窓曇りの影響を受けるが、第２画像はフロントウィンドシールド５の影響を受けない。そのため、窓曇り判定部３４は、第１画像の中の共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、第２画像の中の共通領域において画像のボケ量が所定の第２判定値より小さいとき、フロントウィンドシールド５に窓曇りが発生していることを判定する。なお、第１判定値は、窓曇りによるボケ量を判定可能な値として実験などで予め設定され、制御ユニット３に記憶されている。また、第２判定値は、車外の霧によるボケ量を判定可能な値として実験などで予め設定され、制御ユニット３に記憶されている。

【0064】

ここで、画像のボケ量は、例えば、画素値の明暗の周期が短い高周波成分の量により判定することが可能である。すなわち、画像にその高周波成分が多ければ画像のボケが無く、その高周波成分が少なければ画像のボケが生じていると言える。そのため、具体的に、窓曇り判定部３４は、第１画像の中の共通領域において高周波成分が所定の第１閾値より少なく、且つ、第２画像の中の共通領域において高周波成分が所定の第２閾値より多いとき、フロントウィンドシールド５に窓曇りが発生していることを判定可能である。なお、第１閾値は、窓曇りによるボケ量を判定可能な値として実験などで予め設定され、制御ユニット３に記憶されている。また、第２閾値は、車外の霧によるボケ量を判定可能な値として実験などで予め設定され、制御ユニット３に記憶されている。

【0065】

霧判定部３５は、車外に霧が発生しているか否かを判定する。ここで、車外に霧が発生している場合、第１画像と第２画像の両方にボケが発生する。そのため、霧判定部３５は、第１画像の中の共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、第２画像の中の共通領域において画像のボケ量が所定の第２判定値より大きいとき、車外に霧が発生していることを判定する。

【0066】

また、具体的に、霧判定部３５は、第１画像の中の共通領域において高周波成分が所定の第１閾値より少なく、且つ、第２画像の中の共通領域において高周波成分が所定の第２閾値より少ないとき、車外に霧が発生していることを判定可能である。

【0067】

窓曇り判定部３４および霧判定部３５が判定した結果は、車両１０のＥＣＵ８に伝送される。車両１０のＥＣＵ８は、例えば、車室内のディスプレイ、ランプまたはスピーカー等により、その判定結果を乗員に知らせる。これにより、乗員は、デフロスタをオンにする、或いは、ヘッドライトをハイビームにするなど、各状況に応じた適切な対応が可能となる。

【0068】

次に、第３実施形態に係る撮像装置１の制御ユニット３が行う制御処理の一例を、図１０のフローチャートを参照して説明する。

【0069】

図１０に示すように、Ｓ２１０で制御ユニット３は、前方監視カメラ２から第１画像を取得し、前向き周辺監視カメラ４から第２画像を取得する。

【0070】

次に、Ｓ２２０で共通領域判定部３１は、第１画像と第２画像において同一の対象が撮影された共通領域を判定する。

【0071】

続いて、Ｓ２３０で制御ユニット３は、第１画像の中の共通領域において高周波成分の量を算出すると共に、第２画像の中の共通領域において高周波成分の量を算出する。高周波成分の量は、画素値の明暗の周期を、例えば高速フーリエ変換などの周波数解析により算出する。

【0072】

次に、Ｓ２４０で制御ユニット３は、第１画像の中の共通領域において高周波成分が第１閾値より少ないか否かを判定する。制御ユニット３は、第１画像の中の共通領域において高周波成分が第１閾値より多いと判定した場合（即ち、第１画像のボケ量が小さい場合）、処理をＳ２６０に進める。

【0073】

Ｓ２６０で処理部は、フロントウィンドシールド５に窓曇りが発生しておらず、車外に霧も発生していないと判定する。

【0074】

それに対し、Ｓ２４０で制御ユニット３は、第１画像の中の共通領域において高周波成分が第１閾値より少ないと判定した場合（即ち、第１画像のボケ量が大きい場合）、処理をＳ２５０に進める。

【0075】

Ｓ２５０で制御ユニット３は、第２画像の中の共通領域において高周波成分が第２閾値より少ないか否かを判定する。制御ユニット３は、第２画像の中の共通領域において高周波成分が第２閾値より多い（即ち、第２画像のボケ量が小さい場合）と判定した場合、処理をＳ２７０に進める。

【0076】

Ｓ２７０で処理部は、フロントウィンドシールド５に窓曇りが発生していることを判定する。撮像装置１は、Ｓ２７０の判定結果を車両１０のＥＣＵ８に伝送する。

【0077】

それに対し、Ｓ２５０で制御ユニット３は、第２画像の中の共通領域において高周波成分が第２閾値より少ない（即ち、第２画像のボケ量が大きい場合）と判定した場合、処理をＳ２８０に進める。

【0078】

Ｓ２８０で処理部は、車外に霧が発生していることを判定する。撮像装置１は、Ｓ２８０の判定結果を車両１０のＥＣＵ８に伝送する。

【0079】

以上説明した第３実施形態の撮像装置１は、次の作用効果を奏するものである。
（１）第３実施形態では、窓曇り判定部３４は、第１画像の中の共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、第２画像の中の共通領域において画像のボケ量が所定の第２判定値より小さいとき、フロントウィンドシールド５に窓曇りが発生していることを判定する。
これによれば、第１画像はフロントウィンドシールド５の窓曇りの影響を受けるが、第２画像はフロントウィンドシールド５の影響を受けない。そのため、窓曇り判定部３４は、第１画像のボケ量が大きく、且つ、第２画像のボケ量が小さいときは、窓曇りが発生していることを判定できる。

【0080】

（２）第３実施形態では、窓曇り判定部３４は、第１画像の中の共通領域において高周波成分が所定の第１閾値より少なく、且つ、第２画像の中の共通領域において高周波成分が所定の第２閾値より多いとき、フロントウィンドシールド５に窓曇りが発生していることを判定する。
これによれば、第１画像の中の共通領域において高周波成分が第１閾値より少ないとき、第１画像のボケ量が大きいと言える。第２画像の中の共通領域において高周波成分が第２閾値より多いとき、第２画像のボケ量が小さいと言える。そのため、窓曇り判定部３４は、第１画像のボケ量が大きく、且つ、第２画像のボケ量が小さいときは、窓曇りが発生していることを判定できる。

【0081】

（３）第３実施形態では、霧判定部３５は、第１画像の中の共通領域において画像のボケ量が所定の第１判定値より大きく、且つ、第２画像の中の共通領域において画像のボケ量が所定の第２判定値より大きいとき、車外に霧が発生していることを判定する。
これによれば、霧判定部３５は、第１画像のボケ量が大きく、且つ、第２画像のボケ量も大きいときは、車外に霧が発生していることを判定できる。

【0082】

（４）第３実施形態では、霧判定部３５は、第１画像の中の共通領域において高周波成分が所定の第１閾値より少なく、且つ、第２画像の中の共通領域において高周波成分が所定の第２閾値より少ないとき、車外に霧が発生していることを判定する。
これによれば、霧判定部３５は、第１画像のボケ量が大きく、且つ、第２画像のボケ量も大きいときは、車外に霧が発生していることを判定できる。

【0083】

（他の実施形態）
（１）上記各実施形態では、撮像装置１の備える前方監視カメラ２と制御ユニット３とが別の構成として説明したが、それに限らず、例えば、前方監視カメラ２と制御ユニット３とは一体に構成されていてもよい。

【0084】

（２）上記各実施形態では、撮像装置１の備える制御ユニット３と車両１０のＥＣＵ８とが別の構成として説明したが、それに限らず、例えば、制御ユニット３の機能の一部または全部が車両１０のＥＣＵ８に組み込まれていてもよい。

【0085】

（３）上記第２実施形態では、ＥＣＵ８が行う画像認識の一例として前方車両のテールランプ認識を説明したが、それに限らず、例えば、信号または標識などの画像認識であってもよい。

【0086】

（４）上記第３実施形態では、画素値の明暗の周期が短い高周波成分が少ないときに画像のボケ量が大きいことを判定したが、それに限らない。例えば、画素値の明暗の周期が長い低周波成分が多いときに画像のボケ量が大きいことを判定してもよく、或いは、ディープラーニングなど、種々の方法で判定してもよい。

【0087】

（５）上記第３実施形態では、制御ユニット３の有する窓曇り判定部３４および霧判定部３５による判定結果が車両１０のＥＣＵ８に伝送されるものとして説明したが、それに限らない。例えば、制御ユニット３の判定結果が直接、車室内のディスプレイ、ランプまたはスピーカー等に伝送されてもよい。

【0088】

本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態およびその一部は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。

【0089】

本発明に記載の制御ユニット及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本発明に記載の制御ユニット及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本発明に記載の制御ユニット及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0090】

１ 撮像装置
２ 前方監視カメラ
４ 周辺監視カメラ
５ フロントウィンドシールド
１０ 車両
３１ 共通領域判定部
３２ 差分算出部
３３ 明るさ調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】