特開 2024-157319 撮像装置及び撮像装置の画質補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157319

(43)【公開日】2024-11-07

(54)【発明の名称】撮像装置及び撮像装置の画質補正方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241030BHJP

   G06T 5/73 20240101ALI20241030BHJP

【ＦＩ】

H04N23/60 500

G06T5/00 710

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023071615

(22)【出願日】2023-04-25

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】平田 卓哉

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE03

5B057CE11

5B057DA08

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC04

5B057DC16

5B057DC22

5B057DC32

5C122DA14

5C122EA02

5C122FH01

5C122FH11

5C122FH16

5C122FH23

5C122HB01

5C122HB05

5C122HB06

(57)【要約】

【課題】レンズまたはレンズを覆う透明カバーに雨滴が付着しても、画質の悪化を抑えることができる撮像装置を提供する。
【解決手段】映像フレーム生成部４は、撮像素子２によって被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成する。雨滴付着検出部１４は、各フレームを複数のブロックに分割し、ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて、レンズ１またはレンズ１の前方に設けられた透明カバー１ｃに雨滴が付着した状態であるか否かを検出する。画質補正部５は、各フレームの複数のブロックのうち、雨滴が撮像されている状態のブロックにおける輝度信号を補正することによって、映像信号の画質を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体からの光がレンズを介して入射される撮像素子と、
前記撮像素子によって前記被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成する映像フレーム生成部と、
前記各フレームを複数のブロックに分割し、前記ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて、前記レンズまたは前記レンズの前方に設けられた透明カバーに雨滴が付着した状態であるか否かを検出する雨滴付着検出部と、
前記各フレームの前記複数のブロックのうち、雨滴が撮像されている状態のブロックにおける輝度信号を補正することによって、前記映像信号の画質を補正する画質補正部と、
を備える撮像装置。

【請求項2】

前記雨滴付着検出部は、輝度信号の変化を検出するために前記輝度信号を比較する前記隣接するフレームでは前記ブロックを同じ大きさとし、２以上のフレームごとに前記ブロックの大きさを第１の大きさから第２の大きさまでの間で複数段階に変化させることを繰り返す請求項１に記載の撮像装置。

【請求項3】

前記雨滴付着検出部は、前記撮像装置が移動する速度のレベルが高くなるほど、前記第１の大きさから前記第２の大きさまでの各大きさを大きくする請求項２に記載の撮像装置。

【請求項4】

前記雨滴付着検出部は、降水量のレベルが高くなるほど、前記第１の大きさから前記第２の大きさまでの各大きさを大きくする請求項２に記載の撮像装置。

【請求項5】

前記雨滴付着検出部は、前記ブロックごとの前記隣接するフレーム間で、前記輝度信号を微分することによって得られる高周波成分が第１の閾値以上低下する第１の条件と、前記輝度信号の所定の階調以下の領域の輝度が第２の閾値以上増加する第２の条件との少なくとも一方を満たすと、雨滴が撮像されている状態のブロックであると判定し、
前記画質補正部は、前記映像信号に、雨滴が撮像されている状態のブロックにおける輝度信号のシャープネスを増加させる第１の画質補正と、雨滴が撮像されている状態のブロックにおける輝度信号の前記所定の階調以下の領域の輝度を低下させる第２の画質補正との少なくとも一方を施す
請求項１～４のいずれか１項に記載の撮像装置。

【請求項6】

被写体からの光がレンズを介して入射される撮像素子によって被写体を撮像し、
前記撮像素子が前記被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成し、
前記各フレームを複数のブロックに分割し、前記ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて、前記レンズまたは前記レンズの前方に設けられた透明カバーに雨滴が付着した状態であるか否かを検出し、
前記各フレームの前記複数のブロックのうち、雨滴が撮像されている状態のブロックにおける輝度信号を補正することによって、前記映像信号の画質を補正する
撮像装置の画質補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像装置の画質補正方法に関する。

【背景技術】

【0002】

車両に装着して車両の前方または後方を撮影した画像を記録する撮像装置（いわゆるドライブレコーダ）が普及している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１７６３９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、自動二輪車にドライブレコーダを装着することが増えている。自動二輪車に装着されたドライブレコーダにおいては、降雨時に雨滴がレンズまたはレンズを覆う透明カバーに直接当たることから、降雨時の撮影画像の画質が悪化するという問題点がある。この種の問題点は、自動二輪車に装着されたドライブレコーダに限らず、特許文献１に記載のように車両の外部に装着されている撮像装置においても同様に存在する。

【0005】

本発明は、レンズまたはレンズを覆う透明カバーに雨滴が付着しても、画質の悪化を抑えることができる撮像装置及び撮像装置の画質補正方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、被写体からの光がレンズを介して入射される撮像素子と、前記撮像素子によって前記被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成する映像フレーム生成部と、前記各フレームを複数のブロックに分割し、前記ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて、前記レンズまたは前記レンズの前方に設けられた透明カバーに雨滴が付着した状態であるか否かを検出する雨滴付着検出部と、前記各フレームの前記複数のブロックのうち、雨滴が撮像されている状態のブロックにおける輝度信号を補正することによって、前記映像信号の画質を補正する画質補正部とを備える撮像装置を提供する。

【0007】

本発明は、被写体からの光がレンズを介して入射される撮像素子によって被写体を撮像し、前記撮像素子が前記被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成し、前記各フレームを複数のブロックに分割し、前記ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて、前記レンズまたは前記レンズの前方に設けられた透明カバーに雨滴が付着した状態であるか否かを検出し、前記各フレームの前記複数のブロックのうち、雨滴が撮像されている状態のブロックにおける輝度信号を補正することによって、前記映像信号の画質を補正する撮像装置の画質補正方法を提供する。

【発明の効果】

【0008】

本発明の撮像装置及び撮像装置の画質補正方法によれば、レンズまたはレンズを覆う透明カバーに雨滴が付着しても、画質の悪化を抑えることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係る撮像装置を示すブロック図である。

【図2A】図２Ａは、一実施形態に係る撮像装置が生成するフレームの一例を示す図である。

【図2B】図２Ｂは、一実施形態に係る撮像装置が生成する、レンズまたはレンズを覆う透明カバーに雨滴が付着した状態のフレームの一例を示す図である。

【図3A】図３Ａは、フレームを２０個のブロックに分割した例を示す図である。

【図3B】図３Ｂは、フレームを８０個のブロックに分割した例を示す図である。

【図4】図４は、車両速度のレベルごとにブロックの大きさを変化させる一例を示す図である。

【図5】図５は、降水量のレベルが高くなるほど、ブロックの大きさを大きくする構成例を示す部分ブロック図である。

【図6A】図６Ａは、フレームを２０個のブロックに分割した状態で、雨滴が撮影されているブロックの一例を示す図である。

【図6B】図６Ｂは、フレームを８０個のブロックに分割した状態で、雨滴が撮影されているブロックの一例を示す図である。

【図7A】図７Ａは、映像信号の画質を補正しない場合に用いるガンマ特性の一例を示す図である。

【図7B】図７Ｂは、映像信号の画質を補正する場合に用いるガンマ特性の一例を示す図である。

【図8】図８は、一実施形態に係る撮像装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、一実施形態に係る撮像装置及び撮像装置の画質補正方法について、添付図面を参照して説明する。図１は、一実施形態に係る撮像装置である撮像装置１００を示す。一例として、撮像装置１００は、自動二輪車用のドライブレコーダである。撮像装置１００は、車両の外部に装着されて使用される撮像装置として用いて好適であるが、車両の外部に装着されることに限定されるものではない。また、撮像装置１００は、監視カメラのような車両以外の屋外の所定の箇所に装着されてもよい。

【0011】

図１において、撮像装置１００は、レンズ１、撮像素子２、信号処理部３、符号化部６、書き込み制御部７、メモリ８、ＧＮＳＳ受信部１１、位置算出部１２、車両速度検出部１３、雨滴付着検出部１４、画質補正強度決定部１５を備える。信号処理部３は、映像フレーム生成部４及び画質補正部５を有する。画質補正部５は、シャープネス補正部５１及びガンマ補正部５２を含む。

【0012】

図１では簡略化して図示しているが、レンズ１は複数のレンズよりなる。撮像素子２は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。撮像素子２は、赤色用、緑色用、青色用の３つの撮像素子であってもよい。被写体からの一点鎖線で示す光は、レンズ１を介して撮像素子２に入射する。二点鎖線で示すように、レンズ１の前方にはプラスチックまたはガラスよりなる透明カバー１ｃが設けられていることがある。降雨時に、雨滴はレンズ１または透明カバー１ｃに直接当たって付着する。

【0013】

映像フレーム生成部４は、撮像素子２によって被写体を撮像することによって得られた撮像画像信号に基づいて、映像信号の各フレームを生成する。映像信号は、輝度信号と色信号（または色差信号）とよりなる。画質補正部５は、画質を補正するよう各フレームの輝度信号を補正して、符号化部６に供給する。信号処理部３は信号処理回路によって構成することができる。信号処理部３は集積回路であってもよい。画質補正部５に入力される映像信号は、図示していないＡ／Ｄ変換器によってデジタル信号に変換されていてもよい。画質補正部５が輝度信号をどのように補正するかについては後に詳述する。

【0014】

符号化部６は、入力された映像信号をH.264/MPEG-4 AVC等の圧縮符号化方式を用いて圧縮符号化する。符号化部６は、集積回路によって構成することができる。書き込み制御部７は、圧縮符号化された映像信号をメモリ８に書き込む。書き込み制御部７は、データをメモリ８に書き込む回路によって構成することができる。メモリ８は、着脱自在のメモリカードであってもよい。図１では図示を省略しているが、メモリ８に書き込まれた映像信号は読み出し制御部によって読み出されて、表示部に表示されてもよい。なお、図１においては、音声の収音及び音声信号のメモリ８への書き込みについては省略している。

【0015】

ＧＮＳＳ受信部１１は、全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の３つ以上の衛星から送信されるＧＮＳＳ信号を受信する。ＧＮＳＳ受信部１１は、受信回路によって構成することができる。位置算出部１２は、ＧＮＳＳ受信部１１が受信した３つ以上の衛星からのＧＮＳＳ信号に基づいて車両（自動二輪車）の現在位置（位置情報）を算出する。典型的には、ＧＮＳＳはＧＰＳ（Global Positioning System）である。車両速度検出部１３は、位置算出部１２より供給される位置情報の変化に基づいて車両速度を検出する。車両速度は、撮像装置１００が移動する速度である。位置算出部１２及び車両速度検出部１３は、マイクロプロセッサで構成することができる。

【0016】

撮像装置１００が、ＧＮＳＳ受信部１１、位置算出部１２、及び車両速度検出部１３を備えて車両速度を検出する代わりに、車両のＥＣＵ（Electronic Control Unit）から車両速度（走行速度）を取得してもよい。

【0017】

雨滴付着検出部１４には、映像フレーム生成部４より各フレームの輝度信号が供給される。雨滴付着検出部１４には、図示していないＡ／Ｄ変換器によってデジタル信号に変換された輝度信号が供給される。雨滴付着検出部１４は、各フレームの輝度信号に基づいて、レンズ１または透明カバー１ｃに雨滴が付着した状態であるか否かを検出する。

【0018】

図２Ａは、レンズ１または透明カバー１ｃに雨滴が付着していない状態の映像信号のあるフレームＦを示している。図２Ｂは、レンズ１または透明カバー１ｃに雨滴が付着している状態の映像信号のあるフレームＦを示している。図２Ｂにおいては、フレームＦ内に４か所のハッチングを付して示す雨滴Ｒｄが撮像されている。雨滴Ｒｄの形状は不定である。実際には、雨滴Ｒｄは透明であり、レンズ１または透明カバー１ｃに付着した雨滴Ｒｄは風圧で広がるため、付着した雨滴Ｒｄは撮影されている被写体の画像をぼやかすように作用する。

【0019】

雨滴付着検出部１４は、次のようにして雨滴Ｒｄの付着の有無を検出する。雨滴付着検出部１４は、映像信号の各フレームを複数のブロックに分割し、ブロックごとの隣接するフレーム間での輝度信号の変化に基づいて雨滴Ｒｄの付着の有無を検出する。雨滴Ｒｄが付着すると画像のエッジが滑らかになってぼやけ、輝度信号の中間階調または低階調の領域の輝度が高くなる。

【0020】

雨滴付着検出部１４は、ブロックごとの隣接するフレーム間で、輝度信号を微分することによって得られる高周波成分が第１の閾値以上低下する第１の条件を満たすか否かによって、雨滴Ｒｄが撮像されている状態のブロックであるか否かを判定することができる。また、雨滴付着検出部１４は、ブロックごとの隣接するフレーム間で、輝度信号の所定の階調以下の領域の輝度が第２の閾値以上増加する第２の条件を満たすか否かによって、雨滴Ｒｄが撮像されている状態のブロックであるか否かを判定することができる。

【0021】

第２の閾値は、所定の階調以下の階調ごとに設定された個別の閾値であってもよいし、所定の階調以下の階調の全体の増加割合を示す１つの閾値であってもよい。

【0022】

雨滴付着検出部１４は、第１の条件と第２の条件との少なくとも一方を満たすと、雨滴Ｒｄが撮像されている状態のブロックであると判定する。判定精度をより向上させるため、雨滴付着検出部１４は、第１の条件と第２の条件との双方を満たすと、雨滴Ｒｄが撮像されている状態のブロックであると判定してもよい。隣接するフレーム間で画像は相関を有するため、高周波成分が急激に低下したり、所定の階調以下の領域の輝度が急激に増加したりすることはほとんどない。よって、雨滴付着検出部１４は、第１の条件と第２の条件との少なくとも一方を用いることによって、雨滴Ｒｄが撮像されている状態のブロックを検出することができる。

【0023】

雨滴付着検出部１４は、雨滴Ｒｄが撮像されている状態であると判定したブロックが、各フレームを分割する全ブロック数に対して所定の割合以上であれば、レンズ１または透明カバー１ｃに雨滴Ｒｄが付着した状態であると検出するのがよい。所定の割合は例えば１０％～２０％である。このようにすれば、偶然に第１の条件と第２の条件との少なくとも一方を満たすブロックが発生した場合の誤検出を回避することができる。

【0024】

レンズ１または透明カバー１ｃに付着した雨滴Ｒｄは、中心の輝度が高く、周辺に向かうほど輝度が低くなる山型の特性を有することがある。雨滴付着検出部１４は、輝度の山型の特性に基づいて、レンズ１または透明カバー１ｃに雨滴Ｒｄが付着していることを検出してもよい。

【0025】

図３Ａは、フレームＦを水平方向に５分割、垂直方向に４分割することによって２０個のブロックＢｋに分割した例を示している。図３Ｂは、フレームＦを水平方向に１０分割、垂直方向に８分割することによって８０個のブロックＢｋに分割した例を示している。図３Ａ及び図３Ｂにおいては、雨滴Ｒｄを円形に単純化している。図３Ａに示すように、大きなブロックＢｋに雨滴Ｒｄが撮影されている状態では、雨滴Ｒｄの存在がブロックＢｋ内の輝度信号に及ぼす影響はさほど大きくない。図３Ｂに示すように、小さなブロックＢｋに雨滴Ｒｄが撮影されている状態では、雨滴Ｒｄの存在がブロックＢｋ内の輝度信号に及ぼす影響は大きい。

【0026】

雨滴Ｒｄの大きさは一定ではないから、雨滴付着検出部１４は、ブロックＢｋの大きさを複数段階で変化させることが好ましい。ブロックＢｋの大きさを変化させるとは、フレームＦを分割する分割数を変化させることである。フレームＦの分割数を少なくすれば、ブロックＢｋは大きくなり、フレームＦの分割数を多くすれば、ブロックＢｋは小さくなる。

【0027】

一方で、雨滴付着検出部１４は、輝度信号の変化を検出するために輝度信号を比較する隣接するフレームではブロックＢｋを同じ大きさとする必要がある。そこで、雨滴付着検出部１４は、輝度信号を比較する隣接するフレームではブロックＢｋを同じ大きさとし、２以上のフレームごとにブロックＢｋの大きさを第１の大きさから第２の大きさまでの間で複数段階に変化させることを繰り返すことが好ましい。第１の大きさとは、ブロックＢｋの大きさを複数段階に変化させるときの最小の大きさであり、第２の大きさとは、ブロックＢｋの大きさを複数段階に変化させるときの最大の大きさである。

【0028】

一例として、フレームがＦ１、Ｆ２，Ｆ３、Ｆ４、Ｆ５、Ｆ６、…と進行し、４フレームの期間はブロックＢｋを同じ大きさとし、４フレームごとにブロックＢｋの大きさを変化させるとする。この場合、雨滴付着検出部１４は、フレームＦ１、Ｆ２間、フレームＦ２、Ｆ３間、フレームＦ３、Ｆ４間の各ブロックＢｋで輝度信号を比較する。フレームＦ１～Ｆ４におけるブロックＢｋの大きさは第１の大きさである。

【0029】

雨滴付着検出部１４は、フレームＦ５～Ｆ８におけるブロックＢｋの大きさを、第１の大きさよりも大きくする。雨滴付着検出部１４は、フレームＦ５、Ｆ６間、フレームＦ６、Ｆ７間、フレームＦ７、Ｆ８間の各ブロックＢｋで輝度信号を比較する。ブロックＢｋの大きさの変化を３段階とすれば、雨滴付着検出部１４は、フレームＦ９～Ｆ１２におけるブロックＢｋの大きさを、フレームＦ５～Ｆ８におけるブロックＢｋの大きさよりも大きい第２の大きさとする。雨滴付着検出部１４は、フレームＦ９、Ｆ１０間、フレームＦ１０、Ｆ１１間、フレームＦ１１、Ｆ１２間の各ブロックＢｋで輝度信号を比較する。

【0030】

レンズ１または透明カバー１ｃに付着した雨滴Ｒｄは風圧で広がるため、付着した状態の雨滴Ｒｄの大きさは車両速度が高くなるほど大きくなる。そこで、雨滴付着検出部１４は、車両速度が高くなるほどブロックＢｋの大きさを大きくするのがよい。一例として、車両速度を、４０ｋｍ／ｈ未満（レベル１）、４０ｋｍ／ｈ以上、６０ｋｍ／ｈ未満（レベル２）、６０ｋｍ／ｈ以上、８０ｋｍ／ｈ未満（レベル３）、８０ｋｍ／ｈ以上（レベル４）のように複数のレベルに分ける。雨滴付着検出部１４は、車両速度のレベルが高くなるほど、ブロックＢｋの第１の大きさから第２の大きさまでの各大きさを大きくする。

【0031】

図４は、雨滴付着検出部１４が、車両速度のレベルごとにブロックの大きさを変化させる一例を示している。図４に示すように、雨滴付着検出部１４は、車両速度のレベルが高くなるほど、ブロックＢｋの第１の大きさから第２の大きさまでの各大きさを大きくする。図４において、時刻ｔ０から時刻ｔ１までの時間で車両速度が０ｋｍ／ｈから４０ｋｍ／ｈまで加速し、時刻ｔ１から時刻ｔ２までの時間で車両速度が４０ｋｍ／ｈから６０ｋｍ／ｈまで加速したとする。時刻ｔ２から時刻ｔ３までの時間で車両速度が６０ｋｍ／ｈから８０ｋｍ／ｈまで加速し、時刻ｔ３から時刻ｔ４までの時間で車両速度が８０ｋｍ／ｈから１００ｋｍ／ｈまで加速し、その後、１００ｋｍ／ｈを維持したとする。

【0032】

雨滴付着検出部１４は、車両速度がレベル１の期間では、ブロックＢｋの大きさを、相対値として、大きさ１から大きさ３まで変化させることを繰り返す。レベル１の期間では、大きさ１が第１の大きさであり、大きさ３が第２の大きさである。図４に示す例では、大きさ１、２、３、１、２、３…と繰り返しているが、大きさ１、２、３、２、１、２、３…と繰り返してもよい。第１の大きさから第２の大きさまでは３段階に限定されない。一例として、雨滴付着検出部１４は、大きさを１増大させると、フレームＦの水平方向及び垂直方向の分割数をそれぞれ１減少させる。雨滴付着検出部１４が、大きさを１増大させるたびに、フレームＦの水平方向及び垂直方向の分割数をどのように減少させるかは限定されない。

【0033】

雨滴付着検出部１４は、車両速度がレベル２の期間では、ブロックＢｋの大きさを、相対値として、大きさ４から大きさ６まで変化させることを繰り返す。雨滴付着検出部１４は、車両速度がレベル３の期間では、ブロックＢｋの大きさを、相対値として、大きさ７から大きさ９まで変化させることを繰り返す。雨滴付着検出部１４は、車両速度がレベル４の期間では、ブロックＢｋの大きさを、相対値として、大きさ１０から大きさ１２まで変化させることを繰り返す。

【0034】

レベル２の期間では、大きさ４が第１の大きさであり、大きさ６が第２の大きさである。レベル３の期間では、大きさ７が第１の大きさであり、大きさ９が第２の大きさである。レベル４の期間では、大きさ１０が第１の大きさであり、大きさ１２が第２の大きさである。レベル２～４の期間においても、第１の大きさから第２の大きさまでは３段階に限定されない。

【0035】

図４に示す例では、レベル２の期間における第１の大きさである大きさ４がレベル１の期間における第２の大きさである大きさ３より大きい。レベル３の期間における第１の大きさである大きさ７がレベル２の期間における第２の大きさである大きさ６より大きい。レベル４の期間における第１の大きさである大きさ１０がレベル３の期間における第２の大きさである大きさ９より大きい。

【0036】

レベル１の期間の第２の大きさと、レベル２の期間の第１の大きさが同じであってもよい。レベル２の期間の第２の大きさと、レベル３の期間の第１の大きさが同じであってもよい。レベル３の期間の第２の大きさと、レベル４の期間の第１の大きさが同じであってもよい。このように、車両速度の隣接するレベル間でブロックＢｋの大きさが一部重複していてもよい。また、レベル２の期間における第１の大きさを、レベル１の期間における第２の大きさよりわずかに小さくしてもよい。レベル３の期間における第１の大きさを、レベル２の期間における第２の大きさよりわずかに小さくしてもよい。レベル４の期間における第１の大きさを、レベル３の期間における第２の大きさよりわずかに小さくしてもよい。

【0037】

なお、図４における時間の進行に伴ってブロックＢｋの大きさを変化させることを示す図においては、ブロックＢｋの大きさの変化を、ブロックＢｋの大きさを変化させる実際の周期よりも格段に長い周期で示している。車両速度が高くなるほどブロックＢｋの大きさを大きくする構成は、撮像装置１００を車両に装着する場合に用いるとよい。

【0038】

一般的には、降水量が増えるほど雨粒が大きくなるから、降水量が増えるほどレンズ１または透明カバー１ｃに付着した雨滴Ｒｄは大きくなる。そこで、雨滴付着検出部１４は、降水量が増えるほどブロックＢｋの大きさを大きくしてもよい。一例として、雨滴付着検出部１４は、降水量を複数のレベルに分割し、降水量のレベルが高くなるほど、ブロックＢｋの第１の大きさから第２の大きさまでの各大きさを大きくする。

【0039】

図５は、雨滴付着検出部１４が降水量のレベルが高くなるほど、ブロックＢｋの大きさを大きくする構成例を示している。図５においては、図１と共通の部分の図示を省略している。通信部２１は、ネットワーク３０を介して気象情報提供サーバ３１より降雨に関する気象情報を取得して、雨滴付着検出部１４に供給する。ネットワーク３０は、インターネットであってもよいし、携帯電話通信網であってもよい。降雨に関する気象情報は、降雨量に関する天気予報であってもよいし、各場所及び各時点における実際の降雨量であってもよい。図５に示す構成は、撮像装置１００を車両以外の固定の箇所に装着する場合に用いるとよい。

【0040】

他の例として、雨滴付着検出部１４は、高周波成分が急激に低下したり、所定の階調以下の領域の輝度が急激に増加したりした領域の画素数を雨滴Ｒｄの大きさとしてもよい。雨滴付着検出部１４は、複数の雨滴Ｒｄの大きさの平均値に応じて、ブロックＢｋの大きさを決定してもよい。また、雨滴付着検出部１４は、フレームＦ内の雨滴Ｒｄの数に基づいて降水量を推定して、推定した降水量に応じてブロックＢｋの大きさを決定してもよい。

【0041】

図６Ａは、例えば、車両速度がレベル４で、フレームＦを２０個のブロックＢｋに分割した状態で、ハッチングを付したブロックＢｋは雨滴Ｒｄが撮影されているブロックＢｋを示している。図６Ｂは、例えば、車両速度がレベル１で、フレームＦを８０個のブロックＢｋに分割した状態で、ハッチングを付したブロックＢｋは雨滴Ｒｄが撮影されているブロックＢｋを示している。図６Ａ及び図６Ｂに示すフレームＦを複数のブロックＢｋに分割する分割数は単なる例である。

【0042】

図１に戻り、画質補正強度決定部１５は、雨滴付着検出部１４が検出した輝度信号の変化の程度に応じて、ハッチングを付したブロックＢｋの画質を補正する補正強度を決定する。輝度信号の変化の程度とは、高周波成分が低下する程度であり、所定の階調以下の領域の輝度が増加する程度である。

【0043】

雨滴付着検出部１４及び画質補正強度決定部１５は、マイクロプロセッサで構成することができる。位置算出部１２、車両速度検出部１３、雨滴付着検出部１４、及び画質補正強度決定部１５が１つのマイクロプロセッサで構成されていてもよい。マイクロプロセッサは、マイクロコンピュータの中央処理装置（ＣＰＵ）であってもよい。

【0044】

画質補正部５は、各フレームの複数のブロックＢｋのうち、雨滴Ｒｄが撮像されている状態のハッチングを付したブロックＢｋにおける輝度信号を補正することによって、映像信号の画質を補正する。シャープネス補正部５１は、映像信号に、雨滴Ｒｄが撮像されている状態のブロックＢｋにおける輝度信号のシャープネスを増加させる第１の画質補正を施す。ガンマ補正部５２は、映像信号に、雨滴Ｒｄが撮像されている状態のブロックＢｋにおける所定の階調以下の領域の輝度を低下させる第２の画質補正を施す。

【0045】

なお、画質補正部５に入力される映像信号は図示していない遅延器によって所定の時間だけ遅延されて、雨滴付着検出部１４が雨滴Ｒｄの付着を検出するフレームと、画質補正部５が輝度信号を補正するフレームとのタイミングが合わせられる。これにより、画質補正部５は、雨滴付着検出部１４によって雨滴Ｒｄが撮像されている状態のブロックＢｋが検出されたフレームの輝度信号を補正することができる。

【0046】

シャープネス補正部５１は、画像のエッジにオーバーシュート成分及びアンダーシュート成分を付加することにより、シャープネスを補正する。シャープネス補正部５１は、画質補正強度決定部１５が決定した補正強度に応じてシャープネスを増加させる程度を異ならせる。画像のエッジに付加するオーバーシュート成分及びアンダーシュート成分の大きさを異ならせれば、シャープネスを増加させる程度を異ならせることができる。シャープネス補正部５１は、エッジ強調回路または輪郭補正回路と称される回路であってもよい。

【0047】

ガンマ補正部５２は、映像信号の画質を補正しない場合には、図７Ａに示すようなガンマ特性で、入力輝度信号を出力輝度信号に変換する。雨滴Ｒｄが撮像されている状態のブロックＢｋにおいては所定の階調以下の領域の輝度が増加している。そこで、ガンマ補正部５２は、映像信号の画質を補正する場合には、図７Ｂに示すような所定の階調以下の領域の輝度を低下させるような補正ガンマ特性で、入力輝度信号を出力輝度信号に変換する。図７Ａ及び図７Ｂは、画質補正部５に入力される映像信号が８ビットである場合を例としている。

【0048】

図７Ｂでは１つのガンマ特性しか示していないが、ガンマ補正部５２には、所定の階調以下の領域の輝度を低下させる程度を異ならせた複数の補正ガンマ特性が設定されている。ガンマ補正部５２は、画質補正強度決定部１５が決定した補正強度に応じて適切な補正ガンマ特性を選択して、所定の階調以下の領域の輝度を低下させる程度を異ならせる。

【0049】

画質補正部５は、シャープネス補正部５１のみを有して、映像信号に第１の画質補正のみを施してもよい。画質補正部５は、ガンマ補正部５２のみを有して、映像信号に第２の画質補正を施してもよい。画質補正部５は、シャープネス補正部５１及びガンマ補正部５２を有し、映像信号に第１及び第２の画質補正の双方を施すのがよい。

【0050】

撮像装置１００は、画質補正強度決定部１５を省略した構成とされてもよい。この場合、画質補正部５は、雨滴付着検出部１４が検出した輝度信号の変化の程度にかかわらず、一律に輝度信号を補正する。撮像装置１００が画質補正強度決定部１５を備えれば、輝度信号の変化の程度に応じて輝度信号を補正することができるので、画質補正強度決定部１５を備えることが好ましい。

【0051】

フレームＦにおいて雨滴Ｒｄが撮影されているブロックＢｋが全てのブロックＢｋのうちの大方を占める場合、画質補正部５は、フレームＦの全体で第１の画質補正を施したり、第２の画質補正を施したりしてもよい。雨滴Ｒｄが撮影されているブロックＢｋが全てのブロックＢｋのうちの大方を占める場合とは、例えば、雨滴Ｒｄが撮影されているブロックＢｋが全てのブロックＢｋのうちの８０％以上を占める場合である。

【0052】

図８に示すフローチャートを用いて、撮像装置１００の動作であり、撮像装置１００が実行する画質補正方法を説明する。撮像装置１００の電源がオンされて処理が開始されると、映像フレーム生成部４は、ステップＳ１にて、撮影画像に基づき映像信号の各フレームを生成する。雨滴付着検出部１４は、ステップＳ２にて、車両速度（撮像装置１００の移動速度）を取得する。雨滴付着検出部１４は、ステップＳ３にて、各フレームを車両速度のレベルに応じて複数のブロックに分割する。

【0053】

雨滴付着検出部１４は、ステップＳ４にて、ブロックごとに隣接フレーム間で輝度の急激な変化の有無を判定する。雨滴付着検出部１４は、ステップＳ５にて、輝度が急激に変化したブロック数は全てのブロックのうち所定の割合以上であるか否かを判定する。急激に変化したブロック数が所定の割合以上でなければ（ＮＯ）、雨滴付着検出部１４は処理をステップＳ６に移行させる。

【0054】

ステップＳ５にて急激に変化したブロック数が所定の割合以上であれば（ＹＥＳ）、画質補正強度決定部１５は、ステップＳ１１にて、輝度の変化の程度に応じて画質補正強度を決定する。画質補正部５は、ステップＳ１２にて、フレーム内の輝度が急激に変化したブロックの画質を補正して、ステップＳ６に移行させる。

【0055】

雨滴付着検出部１４は、ステップＳ６にて、車両速度を取得する。雨滴付着検出部１４は、ステップＳ７にて、車両速度のレベルが変化したか否かを判定する。車両速度のレベルが変化していなければ（ＮＯ）、雨滴付着検出部１４は、ステップＳ８にて、同じレベル内でブロックの大きさを変更して、処理をステップＳ１０に移行させる。車両速度のレベルが変化していれば（ＹＥＳ）、雨滴付着検出部１４は、ステップＳ９にて、変化したレベル内で用いるブロックの大きさを設定して、処理をステップＳ１０に移行させる。

【0056】

撮像装置１００は、ステップＳ１０にて、電源のオフ等によって撮像装置１００の動作を終了させるか否かを判定する。撮像装置１００の動作を終了させなければ（ＮＯ）、撮像装置１００は、ステップＳ４以降の処理を繰り返す。動作を終了させれば（ＹＥＳ）、撮像装置１００は処理を終了させる。

【0057】

以上のようにして、撮像装置１００によれば、透明カバー１ｃを有さない構成であればレンズ１に雨滴Ｒｄが付着しても、透明カバー１ｃを有する構成であれば透明カバー１ｃに雨滴Ｒｄが付着しても、画質の悪化を抑えることが可能となる。

【0058】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0059】

１ レンズ
１ｃ 透明カバー
２ 撮像素子
３ 信号処理部
４ 映像フレーム生成部
５ 画質補正部
６ 符号化部
７ 書き込み制御部
８ メモリ
１１ ＧＮＳＳ受信部
１２ 位置算出部
１３ 車両速度検出部
１４ 雨滴付着検出部
１５ 画質補正強度決定部
２１ 通信部
３０ ネットワーク
３１ 気象情報提供サーバ
５１ シャープネス補正部
５２ ガンマ補正部
１００ 撮像装置

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】