特許 6358084 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6358084

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20180709BHJP

   H04N 17/02 20060101ALI20180709BHJP

【ＦＩ】

   G06T7/60 150Z

   H04N17/02 D

【請求項の数】2

【全頁数】12

(21)【出願番号】特願2014-264955(P2014-264955)

(22)【出願日】2014年12月26日

(65)【公開番号】特開2016-126418(P2016-126418A)

(43)【公開日】2016年7月11日

【審査請求日】2017年4月19日

(73)【特許権者】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】100110319

【弁理士】

【氏名又は名称】根本 恵司

(72)【発明者】

【氏名】永見 睦

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１４−１２７０２７（ＪＰ，Ａ）

【文献】 特開２００９−１１８０７９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１１２６４０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２９４３１９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１７／０６

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

画像のエッジ部を抽出するエッジ抽出手段と、
該エッジ抽出手段により抽出されたエッジ部の画素の画素値に基づき、前記エッジ部のボケ量の推定値σを算出するボケ量推定値算出手段と、
を有し、
前記エッジ部の画素は、エッジ中心画素と、その両側の一対の画素であり、
前記ボケ量推定値算出手段は、
画素の位置をＸ軸とし、画素の画素値をＹ軸としたＸＹ座標における前記エッジ中心画素の位置、前記一対の画素の位置がそれぞれＸ_０、Ｘ_−ｋ、Ｘ_ｋかつＸ_０−Ｘ_−ｋ＝ｋ、Ｘ_ｋ−Ｘ_０＝ｋであり、位置がＸ_０、Ｘ_−ｋ、Ｘ_ｋの画素の画素値がそれぞれＹ_０、Ｙ_−ｋ、Ｙ_ｋである場合、
σ=√［−ｋ^２／｛Ｌｎ(Ｙ_−ｋ・Ｙ_ｋ／Ｙ_０^２)｝］（ただし、ｋは１，２、Ｌｎは自然対数）
の数式により前記推定値σを算出する画像処理装置。

【請求項2】

請求項１に記載された画像処理装置において、
Ｘ_０＝０、Ｘ_−ｋ＝−ｋ、Ｘ_ｋ＝ｋである場合、
前記ボケ量推定値算出手段により算出された前記推定値σと、
Ｘ_Ｚ＝(−１／２ｋ)｛ｋ^２＋２σ^２・Ｌｎ(Ｙ_−ｋ／Ｙ_０)｝
又は
Ｘ_Ｚ＝(１／２ｋ)｛ｋ^２−２σ^２・Ｌｎ(Ｙ_０／Ｙ_ｋ)｝
の数式とから前記エッジ部の真の中心の位置Ｘ_Ｚを検出するエッジ中心検出手段を有する画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、より詳しくは、画像のボケ量を推定する機能を有する画像処理装置に関する。

【背景技術】

【0002】

近年、道路における交通量の計測、走行車両の特定、走行車両の速度計測、或いは所定の敷地内へ侵入した物体の特定等を目的として、テレビカメラに代表される撮像装置を用いた監視システムが提案されている。

【0003】

このような監視システムにおいて、検出対象物体と背景画像を含む入力画像から、背景画像を引くことにより検出対象物体の像を得る背景差分法や、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域（変化領域）を移動物体として検知するフレーム間差分法など、画像の変化に基づいて物体を検知する手法を用いて、物体を検知するものがある。また、撮像装置から検知された物体までの距離を測定することで侵入した物体を特定するものがある。

【0004】

従来、撮像装置からの画像を処理して被写体までの距離を測定する方法として広く知られているのはステレオ法である。これは測距対象となる被写体を複数の撮像装置で撮像し、撮像装置間の距離（基線長）と画像上での差異（視差）を用い、三角測距の原理で距離を測定するものである。

【0005】

また、他の方法としてＤＦＤ（Depth from Defocus）法がある。これは画像のボケ量と被写体距離との相関情報から距離を測定するものであり、単眼カメラで実現できるため、システムの小型化に有利である。

【0006】

また、画像のボケ量を推定する手法として、画像の対数振幅スペクトル上に現れる暗い円環の半径から、ボケの特性を表現するＰＳＦ（Point Spread Function：点像分布関数）の推定を行う手法（非特許文献１）、画像の対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケの特性を表現し、ＰＳＦの推定を行う手法（非特許文献２）がある。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Ｄ．Ｂ．Gennery，“Determination of optical transfer function by inspection of frequency-domain plot，”Journal of the Optical Society of America，vol.63，pp.1571-1577，1973．

【非特許文献2】電子情報通信学会論文誌 Ｄ Vol. J90-D，No.10，pp.2848-2857「対数振幅スペクトル上の輝度こう配ベクトル分布を利用したノイズに頑健な焦点ずれＰＳＦ推定」，坂野盛彦、末竹規哲、内野英治

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、画像のボケ量を推定する上記の手法は、画像の周波数解析を伴うため、処理の負荷が重く、処理に時間がかかるという問題がある。

【0009】

本発明は、上記従来の問題を解決するためになされたものであって、その目的は、画像のボケ量の推定を、周波数解析を伴わない単純な処理で実現することである。

【課題を解決するための手段】

【0010】

本発明に係る画像処理装置は、画像のエッジ部を抽出するエッジ抽出手段と、該エッジ抽出手段により抽出されたエッジ部の画素の画素値に基づき、前記エッジ部のボケ量の推定値σを算出するボケ量推定値算出手段と、を有し、前記エッジ部の画素は、エッジ中心画素と、その両側の一対の画素であり、前記ボケ量推定値算出手段は、画素の位置をＸ軸とし、画素の画素値をＹ軸としたＸＹ座標における前記エッジ中心画素の位置、前記一対の画素の位置がそれぞれＸ_０、Ｘ_−ｋ、Ｘ_ｋかつＸ_０−Ｘ_−ｋ＝ｋ、Ｘ_ｋ−Ｘ_０＝ｋであり、位置がＸ_０、Ｘ_−ｋ、Ｘ_ｋの画素の画素値がそれぞれＹ_０、Ｙ_−ｋ、Ｙ_ｋである場合、σ=√［−ｋ^２／｛Ｌｎ(Ｙ_−ｋ・Ｙ_ｋ／Ｙ_０^２)｝］（ただし、ｋは１，２、Ｌｎは自然対数）の数式により前記推定値σを算出する画像処理装置である。

【発明の効果】

【0011】

本発明によれば、画像のボケ量の推定を、周波数解析を伴わない単純な処理で実現することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。

【図2】図１におけるボケ量推定手段の機能構成を示すブロック図である。

【図3】ボケ画像のエッジ部の輝度値と画素位置との関係に近似する累積分布曲線を示す図である。

【図4】図３に示す累積分布曲線の微分処理により取得される正規分布曲線を示す図である。

【図5】画像のエッジ部のデータの一例を示す図である。

【図6】図５に示すデータに対してガウシアンフィルタを適用したボケ画像のデータを示す図である。

【図7】図５に示すデータの標準偏差値毎の累積分布曲線の中心を０．５ずらして、分布率を２５５倍したデータを示す図である。

【図8】実際のボケ画像におけるエッジ部画素の位置について説明するための図である。

【図9】図２におけるボケ量推定手段の処理手順を示すフローチャートである。

【図10】図２に示すボケ量推定手段により処理されるモノクロ画像の一例を示す図である。

【図11】図１０に示す画像のボケ量の推定値を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理装置を含む画像処理システム〉
図１は本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。この画像処理システムは、ＰＣ（パーソナルコンピュータ）１と、それぞれがＰＣ１に接続されたカメラ２、キーボード３、マウス４、およびモニタ５を備えている。

【0014】

ここで、ＰＣ１が、本発明の実施形態に係る画像処理装置であり、カメラ２からの画像データを処理することで、各種画像処理（詳細については後述）を行う。

【0015】

カメラ２は、所定のエリアを撮像するように配置された撮像装置である。本実施形態では、カラーカメラを採用したが、モノクロカメラを用いることもできる。

【0016】

キーボード３およびマウス４は、ユーザがＰＣ１に種々の指示を与えるための入力装置であり、モニタ５はカメラ２が所定のエリアを撮像して生成した画像などを表示する出力装置である。

【0017】

ＰＣ１は、ＣＰＵ（Central Processing Unit）１１と、それぞれがＣＰＵ１１に接続された入力部１２、カメラ制御部１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ストレージ１６、および出力部１７を備えている。

【0018】

入力部１２は、カメラ２、キーボード３、およびマウス４と通信を行うためのインタフェースであり、出力部１７はモニタ５と通信を行うためのインタフェースである。また、カメラ制御部１３は、カメラの焦点距離、絞り、シャッター速度などを制御するためのインタフェースである。

【0019】

ＣＰＵ１１はＰＣ１全体の動作を制御するプロセッサである。ＲＯＭ１４は、ＣＰＵ１１が実行するプログラムや固定データを記憶するメモリ（書き換え可能なものを含む）であり、ＲＡＭ１５は、ＣＰＵ１１のワークエリアとなるメモリである。ストレージ１６は、ハードディスクなどの大容量記憶装置からなり、カメラ２で生成され、ＣＰＵ１１で画像処理を受けた画像データ、ＣＰＵ１１が生成したデータ、画像処理に関するアプリケーションプログラムなどが格納される。

【0020】

ＣＰＵ１１は、ＲＯＭ１４やストレージ１６に格納されたプログラムを実行することにより実現される機能ブロックとして、ボケ量推定手段２１およびエッジ中心検出手段２２を備えている。

【0021】

ボケ量推定手段２１は、カメラ２が所定のエリアを撮像して生成した画像のボケ量を推定する。エッジ中心検出手段２２は、カメラ２が所定のエリアを撮像して生成した画像のエッジの中心を検出する。なお、ＳＤメモリカード（SD Memory Card）、ＵＳＢメモリ（Universal Serial Bus Memory）等の記憶媒体の書込み／読出し装置を入力部１２に接続し、それらの記憶媒体に記憶されている画像のボケ量を推定したり、エッジ中心を検出したりするように構成してもよい。

【0022】

〈ボケ量推定手段の機能ブロック図〉
図２は、図１におけるボケ量推定手段２１の機能構成を示すブロック図である。図示のように、ボケ量推定手段２１は、画像取得手段２１１、モノクロ変換手段２１２、ノイズ除去手段２１３、エッジベクトル算出手段２１４、エッジ判定手段２１５、および標準偏差値算出手段２１６を備えている。

【0023】

画像取得手段２１１は、カメラ２が所定のエリアを撮像して生成した画像を入力部１２を介して受け取ることで、カメラ２からの画像を取得する。このとき、カメラ２の光学系は、カメラ制御部１３による焦点距離及び絞りの制御により、被写界深度の浅い状態、換言すればピントの合う範囲の狭い状態に設定されている。

【0024】

モノクロ変換手段２１２は、画像取得手段２１１が取得した画像であるカラー画像をモノクロ画像に変換する。この変換は、カラー画像の各色成分の合成による輝度（Ｙ）成分の生成、または任意の色成分（例．Ｇ）の抽出として行う。カメラ２としてモノクロカメラを用いた場合は、モノクロ変換手段２１２は不要である。

【0025】

ノイズ除去手段２１３は、例えば、メディアンフィルタ、ガウシアンフィルタ等を備え、モノクロ変換手段２１２によりモノクロ画像に変換された画像からピクセルノイズを除去する（即ち、ノイズを平滑化処理した画像を作成する）。このように、ノイズ除去手段２１３によりピクセルノイズを予め除去しておくことで、エッジベクトル算出手段２１４およびエッジ判定手段２１５でエッジ部を精度よく抽出できる。

【0026】

エッジベクトル算出手段２１４は、３×３のSobel（ソーベル）フィルタやCanny（キャニー）フィルタを備え、ノイズ除去されたモノクロ画像の各画素のエッジベクトルの強度（以下、エッジ強度）およびエッジベクトルの方向（以下、エッジ方向）を算出する。

【0027】

具体的には、エッジベクトル算出手段２１４は、画像の横軸（以下、ｘ軸）方向の３×３のSobelフィルタＳｘの出力をｆx、画像の縦軸（以下、ｙ軸）方向の３×３のSobelフィルタＳｙの出力をｆyとすると、下記の式〔１〕、式〔２〕により、エッジ強度およびエッジ方向を算出する。
エッジ強度＝√（ｆx^２＋ｆy^２） …式〔１〕
エッジ方向＝tan^−１（ｆy/ｆx） …式〔２〕

【0028】

エッジ判定手段２１５は、エッジベクトル算出手段２１４によりエッジ強度が算出された各画素のうち、そのエッジ強度が算出された画素の両側の画素のエッジ強度と比べて、エッジ強度の差または比が所定の閾値を超える画素（注目画素）を、エッジ部画素と判定することでエッジ部を抽出する。このように、エッジベクトル算出手段２１４およびエッジ判定手段２１５はエッジ抽出手段として機能する。

【0029】

標準偏差値算出手段２１６は、Sobel（ソーベル）フィルタ処理によって得た、エッジ中心画素の画素値としての輝度値の微分値と、その両隣の一対の画素の画素値としての輝度値の微分値から、該当エッジ部分の輝度分散の標準偏差値を算出することにより、エッジ部のボケ量の推定値を算出する。

【0030】

〈ボケ量推定の原理〉
次に標準偏差値算出手段２１６により算出される正規分布の標準偏差値がエッジ部のボケ量の推定値として利用できる理由について説明する。

【0031】

《エッジ部の輝度値の累積分布曲線および正規分布曲線》
図３は、ボケ画像のエッジ部の輝度値と画素位置との関係に近似する累積分布曲線を示す図であり、図４は、図３に示す累積分布曲線の微分処理により取得される正規分布曲線を示す図である。

【0032】

図３において、横軸は画像におけるｘ軸方向の位置を表し、縦軸は画像の輝度値を表す。また、Ｘ_０はエッジ中心画素の位置、Ｘ_１〜Ｘ_３はエッジ中心画素に対してｘ軸のプラス方向に隣接する３つのエッジ隣接画素の位置、Ｘ_−１〜Ｘ_−３はエッジ中心画素に対してｘ軸のマイナス方向に隣接するエッジ隣接画素の位置である。このエッジ中心画素およびその両側のエッジ隣接画素がエッジ部画素、すなわちエッジ部の画素である。また、図４において、横軸は図３と同じであり、縦軸は画像の輝度差（輝度値の微分値）を表す。

【0033】

画像にボケを与える画像処理として、画像にガウシアンフィルタを掛ける処理が一般的である。これは、レンズの焦点ボケがガウス分布（正規分布）に近似しているからである。例えば、点光源のレンズの焦点ボケによる散乱円の輝度値と、点画像にガウシアンフィルタを掛けた画像の散乱円の輝度値は近似している。

【0034】

統計学上、正規分布における平均値±３×σの範囲に９９．７３％のデータが分布するため、焦点ボケによる錯乱円が正規分布に近似するとすれば、錯乱円の直径≒６σが成り立つことになり、ボケ量と標準偏差値σとが比例関係にあることが分かる。よって、標準偏差値σをボケ量の推定値として利用することができる。

【0035】

このようにボケ量が正規分布に近似することから、ボケ画像のエッジ部の輝度値は図３に示すような累積分布曲線に近似することになる。よって、この累積分布曲線を微分することにより、図４に示すような正規分布曲線が得られることになる。

【0036】

そこで、本実施形態におけるボケ量推定手段２１では、エッジ部の画素の輝度値を微分することにより図４に示すような正規分布曲線を取得し、その標準偏差値σをボケ量の推定値とする。

【0037】

ここで、ボケ画像のエッジ部の輝度値が図３に示すような累積分布曲線に近似することについて、計算例を示す。図５は、画像のエッジ部のデータ（以下、エッジデータということがある）の一例を示す図である。また、図６は、図５に示すエッジデータに対してガウシアンフィルタを適用したボケ画像のエッジデータを示し、図７は、図５に示すエッジデータの標準偏差値毎の累積分布曲線の中心を０．５ずらして、分布率を２５５倍したデータを示す図である。これらの図において、横軸は画素位置を表し、縦軸は画素の輝度値を表す。

【0038】

図５に示すエッジデータでは、画素位置が−８から０まで輝度値が０、画素位置が１から８まで輝度値が２５５である。すなわち、ボケのない画像のエッジデータである。

【0039】

図６および図７に示すように、エッジデータに対してガウシアンフィルタを適用したボケ画像のエッジデータと、エッジデータの累積分布曲線とはほぼ同じであることから、ボケ画像のエッジ部の輝度値が累積分布曲線に近似することが分かる。

【0040】

〈実際のボケ画像におけるエッジ部画素の位置〉
図８は、実際のボケ画像におけるエッジ部画素の位置について説明するための図である。この図における横軸、縦軸は、図４における横軸、縦軸と同じである。また、Ｙ_−１、Ｙ_０、Ｙ_１は、それぞれ、Ｘ_−１、Ｘ_０、Ｘ_１に位置する画素の輝度差であり、Ｘ_Ｚはエッジの真の中心位置である。

【0041】

図示のように、実際のボケ画像においては、エッジ抽出手段により抽出されるエッジ中心画素の位置Ｘ_０がエッジ部の真の中心位置Ｘ_Ｚに一致しないことがある。そこで、本実施形態に係る標準偏差値算出手段２１６は下記のアルゴリズムにより、標準偏差値を算出する。

【0042】

正規分布の確率密度関数Ｆ(ｘ)は、良く知られているように下記の式〔３〕で表される。
Ｆ(ｘ)＝｛１／√（２πσ^２）｝・exp｛−(ｘ−μ)^２／２σ^２｝ …式〔３〕
この式において、μは平均値、σ^２は分散値（σは標準偏差値）である。

【0043】

図４において、Ｘ_Ｚを平均値（すなわちμ＝Ｘ_Ｚ）_、Ｘ_１−Ｘ_０＝１、Ｘ_０−Ｘ_−１＝１、Ｘ_１＞Ｘ_Ｚ＞Ｘ_０＞Ｘ_−１、Ｈ＝１／√（２π）とした場合、下記の式〔４〕〜式〔６〕が成り立つ。
Ｆ(Ｘ_−１)＝Ｙ_−１＝(Ｈ／σ)・exp｛−(Ｘ_−１−Ｘ_Ｚ)^２／２σ^２｝ …式〔４〕
Ｆ(Ｘ_０)＝Ｙ_０＝(Ｈ／σ)・exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝ …式〔５〕
Ｆ(Ｘ_１)＝Ｙ_１＝(Ｈ／σ)・exp｛−(Ｘ_１−Ｘ_Ｚ)^２／２σ^２｝ …式〔６〕

【0044】

式〔４〕〜〔６〕を変形すると、下記の式〔７〕〜式〔９〕が得られる。
(σ／Ｈ)＝exp｛−(Ｘ_−１−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_−１ …式〔７〕
(σ／Ｈ)＝exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_０ …式〔８〕
(σ／Ｈ)＝exp｛−(Ｘ_１−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_１ …式〔９〕

【0045】

式〔７〕の右辺＝式〔８〕の右辺、式〔８〕の右辺＝式〔９〕の右辺より、下記の式〔１０〕、式〔１１〕が成り立つ。
exp｛−(Ｘ_−１−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_−１＝exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_０ …式〔１０〕
exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_０＝exp｛−(Ｘ_１−Ｘ_Ｚ)^２／２σ^２｝／Ｙ_１ …式〔１１〕

【0046】

式〔１０〕、式〔１１〕を変形すると、下記の式〔１２〕、式〔１３〕が得られる。
Ｙ_−１／Ｙ_０＝exp｛−(Ｘ_−１−Ｘ_Ｚ)^２／２σ^２｝／exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝ …式〔１２〕
Ｙ_０／Ｙ_１＝exp｛−(Ｘ_０−Ｘ_Ｚ)^２／２σ^２｝／exp｛−(Ｘ_１−Ｘ_Ｚ)^２／２σ^２｝ …式〔１３〕

【0047】

式〔１２〕、式〔１３〕の右辺を変形すると、下記の式〔１４〕、式〔１５〕が得られる。
Ｙ_−１／Ｙ_０＝exp［｛−(Ｘ_−１−Ｘ_Ｚ)^２＋(Ｘ_０−Ｘ_Ｚ)^２｝／２σ^２］ …式〔１４〕
Ｙ_０／Ｙ_１＝exp［｛−(Ｘ_０−Ｘ_Ｚ)^２＋(Ｘ_１−Ｘ_Ｚ)^２｝／２σ^２］ …式〔１５〕

【0048】

式〔１４〕、式〔１５〕の両辺の自然対数Ｌｎをとると、下記の式〔１６〕、式〔１７〕が得られる。
Ｌｎ(Ｙ_−１／Ｙ_０)＝｛−(Ｘ_−１−Ｘ_Ｚ)^２＋(Ｘ_０−Ｘ_Ｚ)^２｝／２σ^２ …式〔１６〕
Ｌｎ(Ｙ_０／Ｙ_１)＝｛−(Ｘ_０−Ｘ_Ｚ)^２＋(Ｘ_１−Ｘ_Ｚ)^２｝／２σ^２ …式〔１７〕

【0049】

式〔１６〕、式〔１７〕の右辺を変形すると、下記の式〔１８〕、式〔１９〕が得られる。
Ｌｎ(Ｙ_−１／Ｙ_０)＝(Ｘ_０−Ｘ_−１)(Ｘ_−１＋Ｘ_０−２Ｘ_Ｚ)／２σ^２ …式〔１８〕
Ｌｎ(Ｙ_０／Ｙ_１)＝(Ｘ_１−Ｘ_０)(Ｘ_０＋Ｘ_１−２Ｘ_Ｚ)／２σ^２ …式〔１９〕

【0050】

式〔１８〕、式〔１９〕の右辺にＸ_０−Ｘ_−１＝１、Ｘ_１−Ｘ_０＝１を代入すると、下記の式〔２０〕、式〔２１〕が得られる。
Ｌｎ(Ｙ_−１／Ｙ_０)＝(Ｘ_−１＋Ｘ_０−２Ｘ_Ｚ)／２σ^２ …式〔２０〕
Ｌｎ(Ｙ_０／Ｙ_１)＝(Ｘ_０＋Ｘ_１−２Ｘ_Ｚ)／２σ^２ …式〔２１〕

【0051】

式〔２０〕から式〔２１〕を減算すると、下記の式〔２２〕が得られる。
Ｌｎ(Ｙ_−１／Ｙ_０)−Ｌｎ(Ｙ_０／Ｙ_１)＝｛(Ｘ_−１＋Ｘ_０−２Ｘ_Ｚ)−(Ｘ_０＋Ｘ_１−２Ｘ_Ｚ)｝／２σ^２ …式〔２２〕

【0052】

式〔２２〕の両辺を整理すると、下記の式〔２３〕が得られる。
Ｌｎ(Ｙ_−１・Ｙ_１／Ｙ_０^２)＝(Ｘ_−１−Ｘ_１)／２σ^２ …式〔２３〕

【0053】

よって標準偏差値σは、式〔２３〕をσについて解くことにより、
σ＝√［(Ｘ_−１−Ｘ_１)／｛２・Ｌｎ(Ｙ_−１・Ｙ_１／Ｙ_０^２)｝］ …式〔２４〕
となる。

【0054】

Ｘ_−１−Ｘ_１＝−２であるから、
σ＝√［−１／Ｌｎ(Ｙ_−１・Ｙ_１／Ｙ_０^２)］ …式〔２５〕
となる。

【0055】

このように本発明の実施形態に係る画像処理装置によれば、エッジ中心画素Ｘ_０およびその両隣のエッジ隣接画素Ｘ_１，Ｘ_−１における輝度値の微分値から標準偏差値σを算出し、ボケ量の推定値とするので、周波数解析を伴わない単純な処理で画像のボケ量を推定することができる。また、エッジ中心画素とその両隣の画素から算出するため、小さなボケ量にも対応できる。

【0056】

なお、以上の説明では、標準偏差値σの算出に用いるエッジ隣接画素として、エッジ中心画素Ｘ_０の両隣の画素を用いるものとしたが、両隣から１つ離れたエッジ画素隣接画素Ｘ_２，Ｘ_−２を用いることもできる。ボケ量の大きい画像の場合、エッジ画素隣接画素Ｘ_２，Ｘ_−２を用いて算出した標準偏差値σの方がエッジ画素隣接画素Ｘ_１，Ｘ_−１を用いて算出した標準偏差値σよりも精度の高い推定値を得ることができる。

【0057】

〈ボケ量推定手段の処理手順〉
図９は、図２におけるボケ量推定手段２１の処理手順を示すフローチャートである。この図を参照して、ボケ量推定手段２１の処理手順について詳細に説明する。

【0058】

まず、ボケ量推定手段２１は、被写界深度の浅い状態に設定されているカメラ２からの画像を画像取得手段２１１により取得する（ステップＳ１）。次に、ボケ量推定手段２１は、モノクロ変換手段２１２によりカラー画像をモノクロ画像に変換し（ステップＳ２）、ノイズ除去手段２１３によりモノクロ画像からノイズを除去する（ステップＳ３）。

【0059】

ボケ量推定手段２１は、次に、エッジベクトル算出手段２１４により、ノイズが除去されたモノクロ画像の各画素に対して、ｘ軸方向およびｙ軸方向にSobelフィルタによる微分処理を行い、エッジ強度とエッジ方向を算出して、ｚ軸方向とｙ軸方向のベクトル合成を行う（ステップＳ４）。さらに、エッジ判定手段２１５により、合成したエッジベクトルの角度の量子化（縦、横、および斜め２方向）を行い、エッジベクトルの角度に沿って、輝度のピーク点画素を抽出することにより、エッジ中心画素を求める（ステップＳ５）。

【0060】

ボケ量推定手段２１は、次に、標準偏差値算出手段２１６により、前述した式〔２４〕を用いて、エッジ部のボケ量の推定値として標準偏差値σを算出する（ステップＳ６）。このとき、Ｙ_０，Ｙ_１，Ｙ_−１はSobelフィルタにより算出する。したがって、ステップＳ４の微分処理の結果を利用することができる。

【0061】

〈ボケ量の推定値の例〉
次にボケ量推定手段２１により実際に算出した画像のボケ量の推定値の一例について説明する。

【0062】

図１０は、図２に示すボケ量推定手段２１により処理されるモノクロ画像（以下、処理対象画像）の一例を示す図であり、図１１は、図１０に示す処理対象画像のボケ量の推定値を示す図である。

【0063】

図１０に示すように、処理対象画像は、ｙ軸方向の所定の位置ｙ_ｃを境界として、上が白（輝度値２５５）、下が黒（輝度値０）を基本とし、ｘ軸方向の位置が右に進む（ｘ座標の値が大きくなる）ほど、境界のボケ量がリニアに増加するパターンを持つ。

【0064】

そして、図１１に示すように、この処理対象画像の上下の境界のボケ量を算出すると、ｘ軸方向の画素位置の値がほぼ８０までは、ボケ量の推定値がほぼ正確にリニアに増加している。８０を超えると、誤差はあるものも概ねリニアに増加している。前述したように、このようなボケ量の大きい部分については、Ｙ_−１およびＹ_１に代えて、Ｙ_−２およびＹ_２を標準偏差値σの算出に用いることでとり、誤差を低減することができる。

【0065】

〈真のエッジ中心の検出〉
図８を参照して説明したように、エッジ中心画素の位置Ｘ_０と真のエッジ中心Ｘ_Ｚとが一致するとは限らない。本実施形態に係る画像処理装置では、エッジ中心検出手段２２がボケ量推定手段２１における標準偏差値算出手段２１６の算出結果を用いて、真のエッジ中心Ｘ_Ｚを検出することができる。

【0066】

すなわち、前記の式〔２０〕において、Ｘの値をピクセル単位とし、Ｘ_−１＝−１、Ｘ_０＝０、Ｘ_１＝１の場合に、下記の式〔２６〕が得られる。
Ｌｎ(Ｙ_−１／Ｙ_０)＝(１−２Ｘ_Ｚ)／２σ^２＝(１−２Ｘ_Ｚ)／２σ^２ …式〔２６〕
この式〔２６〕をＸ_Ｚについて解くことで、下記の式〔２７〕が得られる。
Ｘ_Ｚ＝(−１／２)｛１＋２σ^２・Ｌｎ(Ｙ_−１／Ｙ_０)｝ …式〔２７〕

【0067】

同様に、前記の式〔２１〕にＸ_−１＝−１、Ｘ_０＝０、Ｘ_１＝１を代入し、Ｘ_Ｚについて解くと、下記の式〔２８〕が得られる。
Ｘ_Ｚ＝(１／２)｛１−２σ^２・Ｌｎ(Ｙ_０／Ｙ_１)｝ …式〔２８〕

【0068】

よって、式〔２７〕または式〔２８〕を用いることで、真のエッジ中心Ｘ_Ｚを算出することができる。

【符号の説明】

【0069】

２１…ボケ量推定手段、２１４…エッジベクトル算出手段、２１５…エッジ判定手段、２１６…標準偏差値算出手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】