特開 2018-132907 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-132907(P2018-132907A)

(43)【公開日】2018年8月23日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20180727BHJP

   H04N 5/21 20060101ALI20180727BHJP

   H04N 5/232 20060101ALI20180727BHJP

   G01C 3/06 20060101ALI20180727BHJP

   G06T 7/20 20170101ALI20180727BHJP

【ＦＩ】

   G06T5/00 710

   H04N5/21

   H04N5/232 480

   G01C3/06 110V

   G06T7/20 100

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】16

(21)【出願番号】特願2017-25501(P2017-25501)

(22)【出願日】2017年2月15日

(71)【出願人】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】白井 孝昌

(72)【発明者】

【氏名】シュー ユーチュエン

(72)【発明者】

【氏名】三田 誠一

【テーマコード（参考）】

2F112

5B057

5C021

5C122

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112BA06

2F112CA05

2F112CA12

2F112FA03

2F112FA21

2F112FA27

2F112FA33

2F112FA35

2F112FA36

2F112FA45

2F112FA50

2F112GA01

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CE02

5B057CE03

5B057CH20

5B057DA07

5B057DA08

5B057DA15

5B057DA16

5B057DB02

5B057DB09

5B057DC32

5C021PA56

5C021RB06

5C021RB08

5C021XA03

5C021YA01

5C122DA14

5C122EA12

5C122EA61

5C122FH12

5C122FH14

5C122FH16

5C122HA88

5L096AA06

5L096BA08

5L096CA04

5L096DA01

5L096EA05

5L096EA07

5L096FA23

5L096FA66

5L096JA03

(57)【要約】

【課題】画像の動きぼけとノイズとを低減する。
【解決手段】画像処理装置（１０）は、ノイズ低減部（１１）と、動きぼけ低減部（１２）と、類似画像特定部（１３）とを備える。類似画像特定部は、画像処理装置に入力される撮像画像（Ｆａ）のノイズが低減されて得られたノイズ低減画像（Ｆｂ）に対して動きぼけが低減されて得られた動きぼけノイズ低減画像（Ｆｃ）と、ノイズ低減画像と、を用いて、動きぼけノイズ低減画像に動きぼけを加えた画像と、ノイズ低減画像と、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた類似画像（Ｆｄ）を特定する。動きぼけ低減部は、類似画像の動きぼけを低減させることにより、撮像画像の動きぼけおよびノイズが低減された処理後画像（Ｆｅ）を得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像処理装置（１０）であって、
画像のノイズを低減するノイズ低減部（１１）と、
画像の動きぼけを低減する動きぼけ低減部（１２）と、
類似画像特定部（１３）であって、前記画像処理装置に入力される撮像画像（Ｆａ）のノイズが前記ノイズ低減部により低減されて得られたノイズ低減画像（Ｆｂ）に対して前記動きぼけ低減部により動きぼけが低減されて得られた動きぼけノイズ低減画像（Ｆｃ）と、前記ノイズ低減画像と、を用いて、前記動きぼけノイズ低減画像に動きぼけを加えた画像と、前記ノイズ低減画像と、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた類似画像（Ｆｄ）を特定する類似画像特定部と、
を備え、
前記動きぼけ低減部は、前記類似画像特定部により特定された前記類似画像の動きぼけを低減させることにより、前記撮像画像の動きぼけおよびノイズが低減された処理後画像（Ｆｅ）を得る、
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記類似画像特定部は、
前記動きぼけノイズ低減画像に動きぼけを加えた画像と、仮の類似画像と、の各画素の画素値の差分の大きさと、
前記ノイズ低減画像と、前記仮の類似画像と、の各画素の画素値の差分の大きさと、
前記ざらつきを示す前記仮の類似画像における隣接する画素の画素値の変化の大きさと、
の合計が最も小さくなるときの前記仮の類似画像を、前記類似画像として特定する、
画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記撮像画像を撮像する撮像装置（２０１、２０２）の移動速度を取得する移動速度取得部（１４）を、さらに備え、
前記動きぼけ低減部は、動きぼけを低減する対象の画像である対象画像の各画素位置の動きベクトルを前記移動速度から求める予め定められた演算式を利用して、前記動きベクトルとは逆相の特性を、前記対象画像の周波数特性を示す画像周波数特性に与えることにより、前記対象画像のノイズを低減する、
画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記動きぼけ低減部は、式（１）に示すＥ（ｌ’）が最小となるｌ’を求めることにより、前記動きぼけノイズ低減画像を得る、
画像処理装置。

【数1】

上記式（１）において、ｌ’は前記動きぼけノイズ低減画像を示し、ｂは前記ノイズ低減画像を示し、ωｉは窓関数の重み付け係数を示し、ｆｉは位置ｉにおける点広がり関数の値を示し、λ１は滑らかさを示す係数を示し、∇ｌ’は、前記動きぼけノイズ低減画像における隣り合う画素の画素値の変化の大きさを示す。

【請求項5】

請求項４に記載の画像処理装置において、
前記類似画像特定部は、式（１０）に示すＥ（ｂ’）が最小となるｂ’を求めることにより、前記類似画像を得る、
画像処理装置。

【数10】

上記式（１０）において、ｂ’は前記類似画像を示し、ｌ’は前記動きぼけノイズ低減画像を示し、ｂは前記ノイズ低減画像を示し、ωｉは窓関数の重み付け係数を示し、ｆｉは位置ｉにおける点広がり関数の値を示し、λ２は滑らかさを示す係数を示し、∇ｂ’は前記類似画像における隣り合う画素の画素値の変化の大きさを示し、λ３は滑らかさを示す係数を示す。

【請求項6】

請求項５に記載の画像処理装置において、
前記動きぼけ低減部は、式（１１）に示すＥ（ｌ）が最小となるｌを求めることにより、前記処理後画像を得る、
画像処理装置。

【数11】

上記式（１１）において、ｂ’は前記類似画像を示し、ｌは前記処理後画像を示し、ωｉは窓関数の重み付け係数を示し、ｆｉは位置ｉにおける点広がり関数の値を示し、γは滑らかさを示す係数を示し、∇ｌは前記処理後画像における隣り合う画素の画素値の変化の大きさを示す。

【請求項7】

請求項１から請求項６までのいずれか一項に記載の画像処理装置において、
前記撮像画像は、車両に搭載された撮像装置により前記車両が移動中に撮像されて得られた画像である、
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像の動きぼけおよびノイズの低減に関する。

【背景技術】

【0002】

車両に搭載された２つの撮像装置により撮像を行い、得られた２つの撮像画像に共通して写っている物体の視差を利用して、車両から物体までの距離を測定する装置が用いられている。撮像画像にぼけ（物体からの反射光が一点に収束せずに面状に広がった状態）やノイズがあると視差の算出精度が低下するおそれがある。そこで、ぼけを低減する方法（特許文献１）や、ノイズを除去する方法（特許文献２）が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−２６８４１号公報

【特許文献2】特開２００３−２８８５８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の方法では、撮像装置が有するレンズの球面収差に起因するぼけの影響を低減させているに過ぎず、撮像装置と物体との相対的な動きに起因する動きぼけの影響を低減することができない。夜間の撮像やトンネル内での撮像などの暗所撮像では、受光量の増加のためにシャッタースピードが遅くなり、動きぼけが増加する傾向にある。また、特許文献２の方法では、十分にノイズを低減できないのが実情である。特に、暗所撮像においては、撮像素子の感度の増加が行われるために、かかる増感に伴うノイズが増加する。このような暗所撮像時に増加するノイズを、特許文献２の方法では、十分に低減できない。これらの問題は、車両に搭載された２つの撮像装置により得られた撮像画像に限らず、動きぼけおよびノイズが含まれ得る任意の画像について生じ得る。そこで、画像の動きぼけとノイズとを低減可能な技術が望まれる。

【課題を解決するための手段】

【0005】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

【0006】

本発明の一形態によれば、画像処理装置（１０）が提供される。この画像処理装置は；画像のノイズを低減するノイズ低減部（１１）と；画像の動きぼけを低減する動きぼけ低減部（１２）と；類似画像特定部（１３）であって、前記画像処理装置に入力される撮像画像（Ｆａ）のノイズが前記ノイズ低減部により低減されて得られたノイズ低減画像（Ｆｂ）に対して前記動きぼけ低減部により動きぼけが低減されて得られた動きぼけノイズ低減画像（Ｆｃ）と、前記ノイズ低減画像と、を用いて、前記動きぼけノイズ低減画像に動きぼけを加えた画像と、前記ノイズ低減画像と、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた類似画像（Ｆｄ）を特定する類似画像特定部と；を備え；前記動きぼけ低減部は、前記類似画像特定部により特定された前記類似画像の動きぼけを低減させることにより、前記撮像画像の動きぼけおよびノイズが低減された処理後画像（Ｆｅ）を得る。

【0007】

この形態の画像処理装置によれば、動きぼけノイズ低減画像に動きぼけを加えた画像と、ノイズ低減画像と、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた類似画像を特定し、かかる類似画像の動きぼけを低減することにより、撮像画像の動きぼけおよびノイズが低減された処理後画像を得るので、画像の動きぼけとノイズとを低減できる。また、類似画像は、動きぼけノイズ低減画像に動きぼけを加えた画像と、ノイズ低減画像と、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた画像であるので、撮像画像から大きく異なる画像が処理後画像として得られることを抑制できると共に、動きぼけ低減のためにノイズが増幅されてしまい過剰なエッジ強調や平滑化された画像が処理後画像として得られることを抑制できる。

【0008】

本発明は、画像処理装置以外の種々の形態で実現することも可能である。例えば、視差検出装置、測距装置、画像処理方法、視差検出方法、測距方法、これらの装置や方法を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の画像処理装置の一実施形態としての画像処理部を備えるカメラＥＣＵの構成を示すブロック図である。

【図2】動きぼけ及びノイズ低減処理の手順を示すフローチャートである。

【図3】実施形態における撮像画像の一例を示す説明図である。

【図4】実施形態における測距結果の一例を示す説明図である。

【図5】実施形態における物体認識結果の一例を示す説明図である。

【図6】比較例における測距結果の一例を示す説明図である。

【図7】比較例における物体認識結果の一例を示す説明図である。

【発明を実施するための形態】

【0010】

Ａ．実施形態：
Ａ１．装置構成：
図１に示す本実施形態の画像処理部１０は、車両に搭載されているカメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１００の一機能部として構成されている。カメラＥＣＵ１００は、同様に車両に搭載されている第１撮像装置２０１と、第２撮像装置２０２と、認識処理ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３００と、車速センサ２１０とに接続されている。本実施形態において、２つの撮像装置２０１、２０２は、車両前方の領域を互いに共通して撮像可能に設置されており、ＲＧＢの各階調値からなる撮像画像を得る。カメラＥＣＵ１００は、２つの撮像装置２０１、２０２の各々の撮像により得られた２つの撮像画像を入力し、２つの撮像画像に写った車外の物体の視差を示す視差情報を、認識処理ＥＣＵ３００に出力する。認識処理ＥＣＵ３００は、カメラＥＣＵ１００から入力される視差情報を利用して物体までの距離を特定し、かかる距離と物体とを示す情報を衝突推定ＥＣＵ４００に出力する。衝突推定ＥＣＵ４００は、認識処理ＥＣＵ３００から入力される情報や、車両の速度を示す情報などに基づき、物体と車両とが衝突するか否かを推定し、かかる推定結果および衝突推定時間を示す情報を動作制御ＥＣＵ５００に出力する。動作制御ＥＣＵ５００は、衝突推定ＥＣＵ４００から入力される情報に基づき衝突回避のための動作を実行する。衝突回避動作としては、例えば、ブレーキを作動させる、乗員室に設けられたインストルメントパネルやスピーカーを利用して警告を行う、シートベルトを自動的に巻き取る、衝突を回避する方向に操舵する、などの動作が該当する。

【0011】

カメラＥＣＵ１００は、画像処理部１０と、類似度算出部２０と、視差算出部３０とを備える。カメラＥＣＵ１００は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有するマイクロコンピュータとして構成されており、ＣＰＵがＲＯＭに予め記憶されている制御用プログラムをＲＡＭに展開して実行することにより、画像処理部１０、類似度算出部２０および視差算出部３０として機能する。

【0012】

画像処理部１０は、第１撮像装置２０１および第２撮像装置２０２がそれぞれ撮像して得た２つの撮像画像を入力し、各撮像画像の動きぼけおよびノイズを低減して、処理結果の画像（以下、「処理後画像」と呼ぶ）を類似度算出部２０に出力する。画像処理部１０は、ノイズ低減部１１と、動きぼけ低減部１２と、類似画像特定部１３と、移動速度取得部１４とを備える。ノイズ低減部１１は、２つの撮像画像のノイズを低減する。動きぼけ低減部１２は、処理対象の画像の動きボケを低減する。処理対象の画像の１つは、撮像画像である。類似画像特定部１３は、後述する動きぼけ及びノイズ低減処理において、類似画像を特定する。類似画像の詳細については、後述する。移動速度取得部は、車速センサ２１０から出力される車速を示す情報を入力することにより、第１撮像装置２０１および第２撮像装置２０２と、物体との相対移動速度を取得する。車両走行中に得られる撮像画像内において、静止した物体、例えば、道路やガードレールやトンネルの壁面などに動きぼけが生じる場合が多い。この場合の相対移動速度は、車速と一致する。そこで、移動速度取得部１４は、車速を相対移動速度として取得する。

【0013】

類似度算出部２０は、画像処理部１０から出力される２つの処理後画像をそれぞれ予め定められた大きさのブロックに区分し、一方の処理後画像の各ブロックと、他方の処理後画像の各ブロックとの類似度を算出する。ブロックとしては、例えば、８画素×８画素のブロックや８画素×１６画素のブロックなど、任意の大きさのブロックを採用してもよい。

【0014】

視差算出部３０は、類似度算出部２０から入力する類似度を利用して、２つの撮像画像の視差を算出する。本実施形態では、各ブロックの類似度と各ブロックの位置とからなる類似度空間における最適な移動経路を、複数方向に亘って既知のビタビアルゴリズムを用いて算出し、かかる最適な移動経路に基づき各ブロックについての視差を求める。なお、認識処理ＥＣＵ３００は、各ブロックについて算出された視差に基づき周知の距離算出式を用いて距離を算出し、物体までの距離を特定する。

【0015】

車両走行中に２つの撮像装置２０１、２０２により得られる撮像画像には、動きぼけとノイズとが含まれる場合がある。特に、夜間に得られた撮像画像やトンネル内で得られた撮像画像には、シャッタースピードの長時間化に伴う動きぼけや、２つの撮像装置２０１、２０２の受光素子の増感に伴うノイズが含まれ易い。しかし、後述する動きぼけ及びノイズ低減処理が実行されることにより、各撮像画像の動きぼけおよびノイズが低減される。

【0016】

Ａ２．動きぼけ及びノイズ低減処理：
画像処理部１０では、２つの撮像装置２０１、２０２から撮像画像が入力されると、図２に示す動きぼけ及びノイズ低減処理が実行される。なお、動きぼけ及びノイズ低減処理では、入力される２つの撮像画像に対してそれぞれ同じ処理が行われる。そこで、一方の撮像画像について代表して説明し、他方の撮像画像についての説明を省略する。また、２つの撮像装置２０１、２０２から入力される撮像画像を、説明の便宜上、共通的に撮像画像Ｆａと呼ぶ。

【0017】

ノイズ低減部１１は、撮像画像Ｆａのノイズを低減して、ノイズ低減画像Ｆｂを得る（ステップＳ１０５）。本実施形態では、公知のＮＬＭ（Ｎｏｎ−Ｌａｃａｌ Ｍｅａｎ）法によりノイズを低減する。すなわち、撮像画像Ｆａを予め定められた大きさのブロックに区分し、注目ブロックを１つずつずらしながら、各注目ブロックについて、類似度が予め定められた度合い以上のブロックを集めて、その類似度に応じた加重平均を求めて注目ブロックの画素値とする処理を行い、ノイズ低減画像Ｆｂを得る。なお、ＮＬＭ法に限らず、他の任意の方法によりノイズを低減してもよい。

【0018】

動きぼけ低減部１２は、ノイズ低減画像Ｆｂの動きぼけを低減して、動きぼけノイズ低減画像Ｆｃを得る（ステップＳ１１０）。具体的には、低減部１２は、下記式（１）で示される演算を実行することにより、Ｅ（ｌ’）を求め、かかるＥ（ｌ’）が最小となる画像（ｌ’）を、動きぼけノイズ低減画像Ｆｃとして得る。

【0019】

【数1】

【0020】

上記式（１）において、ｂは、ノイズ低減画像Ｆｂを示す。また、Ｚは窓関数を示し、ｉは、ブロックの位置を示し、ωｉは窓関数の重み付け係数を示し、ｌ’は動きぼけが低減された画像（言い換えると、動きぼけノイズ低減画像Ｆｃの候補画像）を示し、ｆｉは、位置ｉにおける点広がり関数ｆの値を示し、λ１は滑らかさを示す係数を示し、∇ｌ’は、動きぼけが低減された画像における隣り合う画素の画素値の変化の大きさ（微分画像）を示す。以降に示す演算において「画像」とは、各画素の輝度値を意味する。輝度値は、例えば、撮像画像Ｆａにおける各画素のＲＧＢ値を用いて既知の演算式により求めてもよい。本実施形態において窓関数は、ブロックの横軸（撮像画像Ｆａの横軸と一致する軸：以下、「Ｘ軸」と呼ぶ）と平行な方向に沿って中央の重み付け係数が最大値となり、ブロックの両端重み付け係数がゼロとなるように屈曲した直線からなる三角形状の窓関数である。点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）は、本実施形態では、動きぼけを表す関数として用いられている。２つの撮像装置２０１、２０２により得られる撮像画像Ｆａの動きぼけは、画像の中心において動きぼけのベクトル（動きベクトル）が０（ゼロ）となり、画像の中心から外縁に向かうにつれて動きベクトルの大きさ（ノルム）が大きくなる特性を有する。そこで、本実施形態では、動きぼけを点広がり関数を用いて各種演算を行う。なお、撮像画像Ｆａの動きぼけの大きさは、車速に応じて変化する。具体的には、車速が大きくなるにつれて動きぼけの大きさも大きくなる。そこで、本実施形態の動きぼけの低減では、車速センサ２１０から入力される車速を適用した点広がり関数を用いる。滑らかさを示す係数λ１は、予め予め定められた程度の滑らかさとなるように設定されている。

【0021】

上記式（１）の右辺第１項は、動きぼけが低減された画像ｌ’に対して窓関数の重み付け係数を畳み込んで得られる各画素の輝度値を積算し、その値に点広がり関数、すなわち、動きぼけを適用して（動きぼけを加えて）得られた画像と、動きぼけを低減する前のノイズ低減画像Ｆｂとの差分の大きさ（ノルム）の２乗を意味する。また、式（１）の右辺第２項は、動きぼけが低減された画像自身におけるざらつきの大きさの２乗を意味する。ステップＳ１０５でノイズは低減されているものの、わずかなノイズは残る。かかるノイズを含んだ画像に対して点広がり関数を適用した際に（動きぼけを加えた際に）、大きなノイズ（ざらつき）として現れるおそれがある。例えば、過度な先鋭化や平滑化として現れるおそれがある。そこで、そのようなざらつきの大きさを右辺第２項で求めている。上述の右辺の第１項および第２項を足し合わせて得られた値Ｅ（ｌ’）が最小になる画像を求め、かかる画像を動きノイズ低減画像Ｆｃとすることで、動きぼけを低減できるだけでなく、動きぼけの低減前の画像と全く異なる（非類似な）画像が得られることを抑制しつつ、動きぼけの低減の際に生じたノイズの増幅を抑制して動きノイズ低減画像Ｆｃを得ることができる。上記式（１）を演算して動きノイズ低減画像Ｆｃを求める演算方法について、さらに詳細に説明する。

【0022】

上記式（１）を演算して動きノイズ低減画像Ｆｃを求める場合、まず、下記式（２）、（３）、（４）、（５）で示すフーリエ変換を行う。式（２）により、画像ｌを予め定められた大きさのブロックに区分した場合の各ブロックについて、輝度ｌの周波数特性Ｌが算出される。式（３）に示す各ブロックにおける点広がり関数ｆの二次元分布に対するフーリエ変換により、点広がり関数ｆの周波数特性Ｆが算出される。式（４）により、Ｘ軸方向の微分演算子ｆｘに対するフーリエ変換により、微分演算子ｆｘの周波数特性Ｆｘが算出される。式（５）により、Ｘ軸と直交するＹ軸方向の微分演算子ｆｙに対するフーリエ変換により、微分演算子ｆｙの周波数特性Ｆｙが算出される。なお、微分演算子ｆｘは、下記式（６）で定義され、微分演算子ｆｙは、下記式（７）で定義される。

【0023】

【数2】

【数3】

【数4】

【数5】

【数6】

【数7】

【0024】

すべてのブロックについて上記式（２）〜（５）のフーリエ変換が行われた後、各ブロックについて下記式（８）で示す逆フーリエ変換を実行する。式（８）において、左辺ｘは、動きぼけが低減された後のブロックの輝度の二次元分布を示す。また、式（８）において、括弧内の分子は、周波数特性ＬとインバースＦとの積を意味する。インバースＦは、（１／Ｆ）であり、動きベクトルｆの周波数特性Ｆを掛け合わせることにより振幅が１となり位相が０（ゼロ）になるものである。式（８）のλは、上記式（１）のλ１と同様に滑らかさを表す係数である。

【0025】

【数8】

【0026】

次に、境界効果による影響を軽減するために、上述の窓関数を適用して境界値を０（ゼロ）とする。すべてのブロックについて上記式（８）および窓関数の適用を実行した後、下記式（９）により動きノイズ低減画像Ｆｃを作成する。式（９）において左辺Ｔは、式（１）においてＥ（ｌ’）が最小となるときの画像（ｌ’）に相当する。

【0027】

【数9】

【0028】

図２に示すように、上述のステップＳ１１０の実行後、類似画像特定部１３は、ノイズ低減画像Ｆｂと、動きノイズ低減画像Ｆｃとを用いて、以下の条件（ｉ）〜（ｉｉｉ）を可能な限り満たす画像（以下、「類似画像」と呼ぶ）を特定する（ステップＳ１１５）。
（ｉ）動きぼけノイズ低減画像Ｆｃに動きぼけを加えた画像に類似する。
（ｉｉ）ノイズ低減画像Ｆｂに類似する。
（ｉｉｉ）ざらつきが抑えられている。
具体的には、類似画像特定部１３は、下記式（１０）で示される演算を実行することによりＥ（ｂ’）を求め、かかるＥ（ｂ’）が最小となる画像（ｂ’）を、類似画像Ｆｄとして特定する。

【0029】

【数10】

【0030】

上記式（１０）において、ｂ’は、類似画像（より正確には、類似画像の候補となる画像）を示す。また、λ２は、滑らかさを示す予め定められた係数を示し、∇ｂ’は、類似画像（より正確には、類似画像の候補となる画像）における隣り合う画素の画素値の変化の大きさ（微分画像）を示す。なお、ｂ、Ｚ、ｉ、ωｉ、ｌ’ ｆｉは、いずれも、上記式（１）と同じであるので、その詳細な説明を省略する。上述の類似画像の候補となる画像を「仮の類似画像」とも呼ぶ。

【0031】

上記式（１０）の右辺第１項は、動きぼけノイズ低減画像Ｆｃ（ｌ’）に対して窓関数の重み付け係数を畳み込んで得られる各画素の輝度値を積算し、その値に点広がり関数、すなわち、動きぼけを適用して（動きぼけを加えて）得られた画像と、類似画像Ｆｄ（ｂ’）との差分の大きさ（ノルム）の２乗を意味する。また、式（１０）の第２項は、類似画像Ｆｄ（ｂ’）自身におけるざらつきの大きさの２乗を意味する。また、式（１０）の第３項は、撮像画像Ｆａと類似画像Ｆｄとの差分の（ノルム）の２乗を意味する。このような右辺の第１ないし第３項を足し合わせて得られたＥ（ｂ’）が最小になる画像（仮の類似画像）を求め、かかる仮の類似画像を類似画像Ｆｄとして特定する。このような演算により、ノイズ低減画像Ｆｃに動きぼけを加えた画像と、ノイズ低減画像Ｆｂとに、それぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた画像を、類似画像Ｆｄとして特定できる。

【0032】

図２に示すように、上述のステップＳ１１５の実行後、動きぼけ低減部１２は、ステップＳ１１５で得られた類似画像Ｆｄの動きぼけを低減することにより、処理後画像Ｆｅを得る（ステップＳ１２０）。具体的には、動きぼけ低減部１２は、下記式（１１）で示される演算を実行することにより、Ｅ（ｌ）を求め、かかるＥ（ｌ）が最小となる画像（ｌ）を、処理後画像Ｆｅとして得る。

【0033】

【数11】

【0034】

上記式（１１）は、上記式（１）において、ｌ’をｌに置き換え、ｂをｂ’に置き換えた式とほぼ等しい。式（１１）においてγは、滑らかさを示す予め定められた係数を示し、右辺第２項は、処理後画像Ｆｅ自身におけるざらつきを大きさの２乗を意味する。上述のように、上記ステップＳ１１５で得られる類似画像Ｆｄは、ノイズ低減画像Ｆｃに動きぼけを加えた画像と、ノイズ低減画像Ｆｂとに類似しており、動きぼけを含む画像である。したがって、このような画像に対して、上記式（１１）の演算結果を利用して動きぼけを低減することにより、動きぼけとノイズとがいずれも低減された画像を、処理後画像として得ることができる。

【0035】

図３に示す撮像画像Ｆａ１は、車両がトンネル内を走行中に第１撮像装置２０１によって得られた撮像画像の一例である。撮像画像Ｆａの中心から外縁に向かうにつれて動きぼけが大きくなっているのが分かる。

【0036】

図４に示す画像Ｆ１ｍは、図３に示す撮像画像Ｆａに対して、上述した本実施形態の動きぼけ及びノイズ低減処理を行って得られた処理後画像Ｆｅに基づき視差を求め、かかる視差から得られた測距結果（距離の推定結果）を模式的に示している。画像Ｆ１ｍでは、２つの撮像装置２０１、２０２から物体までの距離の長短を示す濃淡の画像内における相違が明確になっている。例えば、道路に相当する領域Ａｒ１における各位置までの距離の長短が明確になっており、道路の各位置までの距離が正確に特定されていることが分かる。

【0037】

図５は、図４に示す画像Ｆ１ｍを用いて物体を認識した結果を画像Ｆ１ｎとして模式的に表わしている。画像Ｆ１ｎでは、道路として認識した領域が明るい領域として表わされ、道路以外として認識された領域が暗い領域として表わされている。図５に示すように、画像内の道路のうち、画像の外縁、特に中心から遠い画像の隅の２つの領域Ａｒ１１、Ａｒ１２は、いずれも道路の一部として正しく認識されている。これは、かかる領域Ａｒ１１、Ａｒ１２の動きぼけおよびノイズが低減されたことにより、正確に距離を測定（推定）でき、道路の一部として正確に認識できたためである。なお、道路の認識は、例えば、ＵＶ−ｄｉｓｐｌａｙ法を用いて実現できる。

【0038】

他方、比較例における測距結果を模式的に表わす図６の画像Ｆ２ｍからも理解できるように、本実施形態の動きぼけ及びノイズ低減処理を実行しないで視差を求め、かかる視差から撮像装置から物体までの距離を測定（推定）する比較例では、かかる距離の長短を表す濃淡の相違が図４に示す本実施形態の相違に比べて明確ではなく、推定される距離と実際の距離とにずれが生じている。例えば、道路に相当する領域Ａｒ１における各位置までの距離の長短が斑状になって不明確であり、道路の各位置までの距離の推定精度が低いことが分かる。

【0039】

したがって、図７に示すように、比較例の物体の認識結果を模式的に表わす画像Ｆ２ｎでは、画像内の道路のうち、上述した画像の隅の２つの領域Ａｒ１１、Ａｒ１２は、いずれも道路以外の物体として認識されており、誤認識が生じている。これは、かかる領域Ａｒ１１、Ａｒ１２の動きぼけ及びノイズに起因してかかる領域Ａｒ１１、Ａｒ１２までの距離が正確に測定（推定）できず、道路の一部であると認識できなかったためである。

【0040】

以上説明した本実施形態の画像処理部１０によれば、動きぼけノイズ低減画像Ｆｃに動きぼけを加えた画像と、ノイズ低減画像Ｆｂと、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた類似画像Ｆｄを特定し、かかる類似画像Ｆｄの動きぼけを低減することにより処理後画像Ｆｅを得るので、撮像画像Ｆａの動きぼけとノイズとを低減することができる。したがって、２つの撮像画像Ｆａの視差を精度良く測定（推定）でき、物体を正確に認識できる。

【0041】

また、類似画像Ｆｄは、動きぼけノイズ低減画像Ｆｃに動きぼけを加えた画像と、ノイズ低減画像Ｆｂと、にそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた画像であるので、撮像画像Ｆａから大きく異なる画像が処理後画像Ｆｅとして得られることを抑制できると共に、動きぼけ低減のためにノイズが増幅されてしまい過剰なエッジ強調や平滑化された画像が処理後画像Ｆｅとして得られることを抑制できる。

【0042】

また、類似画像特定部１３は、動きぼけノイズ低減画像Ｆｃに動きぼけを加えた画像と仮の類似画像との各画素の画素値の差分の大きさと、ノイズ低減画像Ｆｂと仮の類似画像との各画素の画素値の差分の大きさと、ざらつきを示す仮の類似画像における隣接する画素の画素値の変化の大きさと、の合計が最も小さくなるときの仮の類似画像を、類似画像として特定するので、ノイズ低減画像Ｆｃに動きぼけを加えた画像とノイズ低減画像Ｆｂとにそれぞれ類似すると共に、ざらつきが予め定められた程度よりも抑えられた画像を、類似画像Ｆｄとして特定できる。

【0043】

また、画像処理部１０は、撮像画像Ｆａを撮像する２つの撮像装置２０１、２０２の移動速度に相当する車速を取得する移動速度取得部を、さらに備えており、動きぼけ低減部１２は、動きぼけを低減する対象の画像である対象画像（ステップＳ１０５における撮像画像Ｆａ、およびステップＳ１２０における類似画像Ｆｄ）の各画素位置の動きベクトルを移動速度から求める予め定められた演算式（点広がり関数ｆ）を利用して、動きベクトルとは逆相の特性を、対象画像の周波数特性を示す画像周波数特性（周波数特性Ｌ）に与えることにより、対象画像のノイズを低減するので、撮像する時刻が異なる複数の画像を用いて動きベクトルを求め、かかる動きベクトルとは逆相の特性を画像周波数特性に与えてノイズを低減する方法に比べて、処理負荷を低減でき、処理速度の高速化を実現できる。

【0044】

Ｂ．変形例：
Ｂ１．変形例１：
上記実施形態では、２つの撮像装置２０１、２０２により得られる２つの撮像画像Ｆａを用いて視差を算出していたが、本開示はこれに限定されない。３台以上の撮像装置により得られた３つ以上の撮像画像を用いて視差を算出してもよい。また、ステレオカメラを搭載した１台の撮像装置により得られる２つの撮像画像を用いて視差を算出してもよい。

【0045】

Ｂ２．変形例２：
上記実施形態では、動きぼけ及びノイズ低減処理の対象となる画像は、視差を算出するために２つの撮像装置２０１、２０２により得られる撮像画像Ｆａであったが、本開示はこれに限定されない。車両の電子ミラー（車両のサイドミラーに相当する機能を実現する表示装置）に表示するために車両の側方や後方を撮像する撮像装置により得られる撮像画像であってもよい。また、ドライブレコーダー用の撮像装置により得られる撮像画像であってもよい。すなわち、一般には、移動体に搭載された撮像装置または自身が移動可能な撮像装置により得られた撮像画像を、本開示に適用できる。

【0046】

Ｂ３．変形例３：
上記実施形態では、画像処理部１０は、車両に搭載されるカメラＥＣＵ１００の一機能として構成されていたが、本開示はこれに限定されない。画像処理部１０を、カメラＥＣＵ１００とは独立した１つの装置、すなわち、画像処理装置として構成してもよい。この構成を適用する場合、画像処理装置は、車両に搭載されなくてもよい。例えば、上述の変形例２のように、動きぼけ及びノイズ低減処理の対象となる画像がドライブレコーダー用の撮像画像により得られる撮像画像である場合、ドライブレコーダーに記録されている撮像画像データを、有線又は無線のネットワークを介して、或いは、記録媒体を介して画像処理装置に転送し、画像処理装置において動きぼけ及びノイズ低減処理を実行してもよい。この構成においても、動きぼけ及びノイズが低減された撮像画像を得ることができるので、かかる撮像画像を用いて、各種アプリケーションを実行できる。

【0047】

Ｂ４．変形例４：
上記実施形態において、動きぼけ低減部１２は、式（１）に示すＥ（ｌ’）が最小となるｌ’を求めることにより、前記動きぼけノイズ低減画像Ｆｃを得ていたが、本発明はこれに限定されない。ノイズ低減画像Ｆｂから動きぼけを低減可能な任意の演算式により動きぼけノイズ低減画像Ｆｃを得てもよい。また、類似画像特定部１３は、式（１０）に示すＥ（ｂ’）が最小となるｂ’を求めることにより、類似画像Ｆｄを得ていたが、本発明は、これに限定されない。動きぼけノイズ低減画像Ｆｃとノイズ低減画像Ｆｂとを用いて上記条件（ｉ）〜（ｉｉｉ）を満たす画像を特定可能な任意の演算式により類似画像Ｆｄを得てもよい。また、動きぼけ低減部１２は、式（１１）に示すＥ（ｌ）が最小となるｌを求めることにより、処理後画像Ｆｅを得ていたが、本発明はこれに限定されない。類似画像Ｆｄから動きぼけを低減可能な任意の演算式により処理後画像Ｆｅを得てもよい。

【0048】

Ｂ５．変形例５：
上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、ノイズ低減部１１、低減部１２、類似画像特定部１３、移動速度取得部１４のうちの少なくとも１つの機能部を、集積回路、ディスクリート回路、またはそれらの回路を組み合わせたモジュールにより実現してもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。

【0049】

本発明は、上記実施形態および変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する本実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0050】

１０ 画像処理部、１１ ノイズ低減部、１２ 動きぼけ低減部、１３ 類似画像特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】