特許 6341087 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6341087

(24)【登録日】2018年5月25日

(45)【発行日】2018年6月13日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20180604BHJP

   H04N 5/232 20060101ALI20180604BHJP

【ＦＩ】

   G06T5/00 700

   H04N5/232 190

   H04N5/232 290

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2014-524894(P2014-524894)

(86)(22)【出願日】2013年7月12日

(86)【国際出願番号】JP2013069143

(87)【国際公開番号】WO2014010726

(87)【国際公開日】20140116

【審査請求日】2016年6月16日

(31)【優先権主張番号】特願2012-156100(P2012-156100)

(32)【優先日】2012年7月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100166338

【弁理士】

【氏名又は名称】関口 正夫

(74)【代理人】

【識別番号】100152054

【弁理士】

【氏名又は名称】仲野 孝雅

(72)【発明者】

【氏名】本間 行

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１０−０８８０２４（ＪＰ，Ａ）

【文献】 特開２００８−１７６７３５（ＪＰ，Ａ）

【文献】 特表２０１２−５０５４８９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０９８０５４（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０８６１２７（ＷＯ，Ａ１）

【文献】 特開２０１２−１５５４５６（ＪＰ，Ａ）

【文献】 吉崎 茜、外３名，“ぶれによる劣化画像の高精度な復元に関する検討”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２０１２年 ２月１３日，Vol.36, No.9，pp.27-32

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００，５／２０，７／００−７／９０

Ｈ０４Ｎ １／４０９，５／２３２

(57)【特許請求の範囲】

【請求項1】

入力画像から、ぼかし画像を生成するぼかし画像生成部と、
前記入力画像中の領域を、非有効領域と有効領域とに分ける領域識別部と、
前記非有効領域においては前記有効領域より重みを大きくし、前記有効領域においては前記非有効領域との境界からの距離に応じて重みを減少させる重みマスクを作成する重みマスク作成部と、
前記重みマスク作成部により作成された前記重みマスクにより重みを付けたぼかし画像と、前記重みマスクを反転させたマスクにより重みを付けた入力画像と、を加算して解析用画像を生成する解析用画像生成部と、
前記解析用画像を用いて点広がり関数の推定を行うＰＳＦ推定部と、
を備えること、を特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記重みマスク作成部は、
前記非有効領域を１とし、前記有効領域は、前記非有効領域との境界を１とし、前記非有効領域との境界からの距離に応じて減少させて一定の距離以上では０とする重みマスクを作成すること、
を特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記重みマスク作成部は、
前記非有効領域を１とし、前記有効領域を０とした一次予備マスクを作成し、該一次予備マスクに対して前記非有効領域を拡大する膨張処理を行ない二次予備マスクを作成し、該二次予備マスクにぼかし処理を行うことで、前記有効領域において前記非有効領域との境界からの距離に応じて前記ぼかし画像の重みが減少する重みマスクを作成すること、
を特徴とする画像処理装置。

【請求項4】

請求項１〜３のいずれか１項に記載の画像処理装置であって、
前記領域識別部は、撮像素子における画素の出力が、上限値以上、または、下限値以下の領域を、前記非有効領域とすること、
を特徴とする画像処理装置。

【請求項5】

請求項１〜４のいずれか１項に記載の画像処理装置であって、
前記領域識別部は、主要被写体認識、顔認識およびまたはオブジェクト認識によって識別された領域を有効領域とすること、
を特徴とする画像処理装置。

【請求項6】

請求項１〜４のいずれか１項に記載の画像処理装置であって、
前記領域識別部は、主要被写体、顔およびまたはオブジェクトを認識し、これらの領域を非有効領域、それ以外の領域を有効領域と認識すること、
を特徴とする画像処理装置。

【請求項7】

請求項１〜６のいずれか１項に記載の画像処理装置であって、
前記ぼかし画像生成部は、ガウスフィルタ、ディスクフィルタまたはバイノミアルフィルタを用いること、
を特徴とする画像処理装置。

【請求項8】

入力画像からぼかし画像を生成するぼかし画像生成部と、
前記入力画像の高輝度領域及び低輝度領域の少なくとも一方に対応する第１領域と、第１領域とは異なる第２領域とを設定する設定部と、
前記第２領域に前記第１領域よりも大きな重み付けがされた前記入力画像と、前記第１領域に対応する領域に前記第２領域に対応する領域よりも大きな重み付けがされた前記ぼかし画像とを用いて演算用画像を生成する演算用画像生成部と、
前記演算用画像を用いて点広がり関数を演算する演算部とを備える
ことを特徴とする画像処理装置。

【請求項9】

入力画像の高輝度領域及び低輝度領域の少なくとも一方に対応する第１領域と、第１領域とは異なる第２領域とを設定する設定部と、
前記設定部が設定した第１領域に、前記第２領域からの距離に基づいた重み設定し、設定した重みを用いて生成された画像を用いて点広がり関数を演算する演算部とを備える画像処理装置。

【請求項10】

入力した第１画像に所定の画像処理を施して第２画像を生成する第１生成部と、
前記第１画像の輝度値に基づいて、第１領域と、前記第１領域とは異なる第２領域とを設定する設定部と、
前記第１領域に対応する領域に前記第２領域に対応する領域よりも大きな重み付けがされた前記第２画像を用いて生成された第３画像を用いて点広がり関数を演算する演算部とを備える画像処理装置。

【請求項11】

請求項１〜１０のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関するものである。

【背景技術】

【0002】

従来、画像内の手振れやピントのずれによるボケを表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点広がり関数）を高速で推定する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１５７２１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、多くのＰＳＦ推定方法が輝度勾配情報を用いるために、画像の中に光源などが写り込んで飽和した白飛び画素や、輝度が極端に低い黒つぶれ画素などがあると、正確な輝度勾配が得られず、その結果、良好な推定精度が得られない。
また、被写体ブレなどの影響で画像内に異なるＰＳＦを持つ領域が混在する場合にも、正確なＰＳＦの推定が困難である。

【0005】

本発明の課題は、良好なＰＳＦ推定精度を得ることのできる画像処理装置及び画像処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、以下のような解決手段により前記課題を解決する。
本発明の第１の見地によると、入力画像から、ぼかし画像を生成するぼかし画像生成部と、前記入力画像中の領域を、非有効領域と有効領域とに分ける領域識別部と、前記非有効領域においては前記有効領域より重みを大きくし、前記有効領域においては前記非有効領域との境界からの距離に応じて重みを減少させる重みマスクを作成する重みマスク作成部と、前記重みマスク作成部により作成された前記重みマスクにより重みを付けたぼかし画像と、前記重みマスクを反転させたマスクにより重みを付けた入力画像と、を加算して解析用画像を生成する解析用画像生成部と、前記解析用画像を用いて点広がり関数の推定を行うＰＳＦ推定部と、を備えること、を特徴とする画像処理装置を提供する。
前記重みマスク作成部は、前記非有効領域を１とし、前記有効領域は、前記非有効領域との境界を１とし、前記非有効領域との境界からの距離に応じて減少させて一定の距離以上では０とする重みマスクを作成してもよい。
前記重みマスク作成部は、前記非有効領域を１とし、前記有効領域を０とした一次予備マスクを作成し、該一次予備マスクに対して前記非有効領域を拡大する膨張処理を行ない二次予備マスクを作成し、該二次予備マスクにぼかし処理を行うことで、前記有効領域において前記非有効領域との境界からの距離に応じて前記ぼかし画像の重みが減少する重みマスクを作成してもよい。
前記領域識別部は、撮像素子における画素の出力が、上限値以上、または、下限値以下の領域を、前記非有効領域としてもよい。
前記領域識別部は、主要被写体認識、顔認識およびまたはオブジェクト認識によって識別された領域を有効領域としてもよい。
前記領域識別部は、主要被写体、顔およびまたはオブジェクトを認識し、これらの領域を非有効領域、それ以外の領域を有効領域と認識してもよい。
前記ぼかし画像生成部は、ガウスフィルタ、ディスクフィルタまたはバイノミアルフィルタを用いること、を特徴としてもよい。
本発明の第２の見地によると、入力画像からぼかし画像を生成するぼかし画像生成部と、前記入力画像の高輝度領域及び低輝度領域の少なくとも一方に対応する第１領域と、第１領域とは異なる第２領域とを設定する設定部と、前記第２領域に前記第１領域よりも大きな重み付けがされた前記入力画像と、前記第１領域に対応する領域に前記第２領域に対応する領域よりも大きな重み付けがされた前記ぼかし画像とを用いて演算用画像を生成する演算用画像生成部と、前記演算用画像を用いて点広がり関数を演算する演算部とを備えることを特徴とする画像処理装置を提供する。
本発明の第３の見地によると、入力画像の高輝度領域及び低輝度領域の少なくとも一方に対応する第１領域と、第１領域とは異なる第２領域とを設定する設定部と、前記第２領域を用いて点広がり関数を演算する演算部とを備えることを特徴とする画像処理装置を提供する。
第３の見地の画像処理装置において、前記演算用画像生成部は、前記第２領域に所定の面積を有する複数の所定領域を生成し、前記演算部は、前記複数の所定領域を用いて点広がり関数を演算するものであってもよい。
本発明の第４の見地によると、上記画像処理装置の機能をコンピュータに実行させるための画像処理プログラムを提供する。

【発明の効果】

【0007】

本発明によれば、良好なＰＳＦ推定精度を得ることのできる画像処理装置及び画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明に係る画像処理装置の一実施形態のブロック構成図である。

【図2】ＰＳＦ情報作成部のブロック構成図である。

【図3】元画像を示す図である。

【図4】ＰＳＦ情報作成部によるＰＳＦ情報作成工程を示すフローチャートである。

【図5】ＰＳＦ情報作成工程における画像およびマスクを段階的に示す説明図である。

【図6】ＰＳＦ情報作成部による解析用画像を示す図である。

【図7A】解析ＰＳＦを示す図である。

【図7B】解析ＰＳＦを示す図である。

【図7C】解析ＰＳＦを示す図である。

【図8】第２実施形態におけるＰＳＦ情報作成部によるＰＳＦ情報作成工程を示すフローチャートである。

【図9A】重みマスク作成部における画像およびマップ等の輝度を示す説明図である。

【図9B】重みマスク作成部における画像およびマップ等の輝度を示す説明図である。

【図9C】重みマスク作成部における画像およびマップ等の輝度を示す説明図である。

【図10】第３実施形態のＰＳＦ情報作成部のブロック構成図である。

【図11】元画像を示す説明図である。

【図12】第３実施形態のＰＳＦ情報作成部によるＰＳＦ情報作成工程を示す別のフローチャートである。

【図13】有効領域が含まれていないメッシュと、有効領域が含まれているメッシュとを分類した図である。

【発明を実施するための形態】

【0009】

（第１実施形態）
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、本発明に係る画像処理装置の一実施形態のブロック構成図である。図２は、そのＰＳＦ情報作成部のブロック構成図である。図３は、元画像３０を示す図である。図４は、ＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートである。図５は、ＰＳＦ情報作成工程における画像およびマップ等を段階的に示す説明図である。図６は、ＰＳＦ情報作成部１０による解析用画像３０′を示す図である。図７は、解析ＰＳＦを示す図である。

【0010】

画像処理装置１は、ＰＳＦ情報作成部１０と、画像処理部２０と、により構成されている。なお、本実施形態は、たとえば、ＰＣ（パソコン）をプログラムによって画像処理装置１として機能させる例である。
画像処理装置１（ＰＣ）には、メモリカードを介して、または、ケーブルや無線伝送路を介して接続されたカメラ等から、処理対象画像が入力される。

【0011】

ＰＳＦ情報作成部１０は、入力された処理対象画像に基づいて、解析用画像を作成し、画像内の手振れやピントのずれによるボケを表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点像分布関数）を推定する。
画像処理部２０は、ＰＳＦ情報作成部１０が推定したＰＳＦに基づいて、入力画像に対して手振れやピントのずれによるボケを補正する画像処理を施す。
そして、画像処理装置１は、ボケを補正した画像を出力する。

【0012】

以下、ＰＳＦ情報作成部１０について、詳細に説明する。
ＰＳＦ情報作成部１０は、領域識別部１１、重みマスク作成部１２、ぼかし画像生成部１３、解析用画像生成部１４、ＰＳＦ推定部１５、の各機能部を備えている。
本構成におけるＰＳＦ情報作成部１０は、画像の中に光源等の飽和した白飛び画素や輝度が極端に低い黒つぶれ画素等が有る場合であっても、精度の高いＰＳＦ推定を行う。
すなわち、たとえば、図３に示すように、撮影時に手振れが生じた画像３０（主要被写体３１はブレている）内に、蛍光灯等の光源３２が写り込んで飽和した白飛びを起こしている画像があるとする。この場合、光源３２の像はブレを生じていてもその輪郭のエッジが鋭い（輝度勾配が大きい）ためにブレと認識できない。その結果、良好な推定精度が得られない。ＰＳＦ情報作成部１０は、このような白飛びや黒つぶれに起因するＰＳＦの誤推定を抑制し、精度の高いＰＳＦ推定情報を出力する。

【0013】

つぎに、ＰＳＦ情報作成部１０における各機能部の作用とＰＳＦ情報作成部１０によるＰＳＦ情報作成工程とを、図４に示すフローチャートに沿って図５のＡ−Ｆを参照しつつ説明する。なお、図中および以下の説明においてステップを「Ｓ」とも略記する。
まず、入力画像Ｉを取得し（Ｓ４０１）、そのグレースケール画像Ｉｇを作成する（Ｓ４０２）。入力画像Ｉは、図５のＡである。

【0014】

ついで、ぼかし画像生成部１３によって、ぼかし画像Ｂを作成する（Ｓ４０３）。
ぼかし画像Ｂは、グレースケール画像Ｉｇと、ぼかしフィルタＢ＿ｆｉｌｔ１とのコンボリューションにより作成される。
すなわち、

【数1】

Ｂ＿ｆｉｌｔ１は、ぼかしフィルタであって、本実施形態では次の式で表されるガウス型のフィルタを使用する。

【数2】

（ｘｃ，ｙｃ）は、ぼかしフィルタの中心の座標を表す。
分母の和は次の範囲で行い、フィルタＢ＿ｆｉｌｔ１の和が１になるように規格化する。
１≦ｘ，ｙ≦ｆｓ

【0015】

ここで、ＰＳＦのカーネルサイズをｍ×ｎ、ｋｓ＝ｍａｘ（ｍ，ｎ）とし、ぼかしフィルタのサイズをｆｓ×ｆｓとする。ｆｓは、０．５×ｋｓ以上、２×ｋｓ以下程度とし、好ましくは、ｆｓ＝ｋｓの奇数（中心から均等に振り分けてぼかすため）とする。
また、σは、ボケ分布のほとんど全てを網羅するために、ぼかしフィルタサイズの、１／４とするのが好ましい。

【0016】

カーネルサイズは、ブレの軌跡の大きさであって、当該画像処理装置１の操作者に入力を要求し、設定する。なお、ぼかしフィルタは、上記のようなガウス型のフィルタに限らず、ディスク型やバイノミアルフィルタなどでもかまわない。
ぼかし画像Ｂを、図５のＢに示す。

【0017】

つぎに、領域識別部１１により、入力画像Ｉに基づいて、白飛びや黒つぶれのために輝度勾配が不連続になっている可能性のある領域を非有効領域ｎｏｎ＿ｖａｌｉｄと定義し、その他の領域を有効領域ｖａｌｉｄと定義する（Ｓ４０４）。
非有効領域ｎｏｎ＿ｖａｌｉｄと有効領域ｖａｌｉｄは、Ｒ，Ｇ，Ｂ各画素の輝度を、明暗それぞれの定められた所定の閾値（Ｈ＿ｔｈ，Ｌ＿ｔｈ）と比較して、以下の方法で求める。

【0018】

すなわち、非有効領域ｎｏｎ＿ｖａｌｊｄ、および有効領域ｖａｌｉｄは、Ｒ，Ｇ，Ｂ各画素の輝度が、
ｍａｘ（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））＞Ｈ＿ｔｈ
または、
ｍｉｎ（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））＜Ｌ＿ｔｈ
ならば
ｎｏｎ＿ｖａｉｄ（ｘ，ｙ）＝１
ｖａｌｉｄ（ｘ，ｙ） ＝０
それ以外は、
ｎｏｎ＿ｖａｉｄ（ｘ，ｙ）＝０
ｖａｌｉｄ（ｘ，ｙ）＝１
とする。

【0019】

ここで、ｍａｘ（Ａ，Ｂ，…）はＡ，Ｂ，…の中で最も大きい値を表し、ｍｉｎ（Ａ，Ｂ，…）はＡ，Ｂ，…の中で最も小さい値を表す。
なお、このステップ４０４は、入力画像Ｉに基づいて非有効領域と有効領域とを定義するため、ステップ４０１以降で有れば、前述の各ステップより前であっても良く、また、前述の各ステップと並行して行っても良い。

【0020】

ついで、重みマスク作成部１２によって各画素の非有効領域からの距離に応じた距離マップｄｉｓｔ（ｘ，ｙ）を求める（Ｓ４０５）。図５のＣに距離マップｄｉｓｔ（ｘ，ｙ）を示す。そして、ステップ４０５で求められた距離マップｄｉｓｔ（ｘ，ｙ）に基づいて重みマスクｗ（ｘ，ｙ）を作成し（Ｓ４０６）する。
ステップ４０５における重みマスクｗ（ｘ，ｙ）は、
ｗ（ｘ，ｙ）＝ｍａｘ（１−ｃｏｅｆ１×ｄｉｓｔ（ｘ，ｙ），０）
によって求める。
ここで、ｃｏｅｆ１は、０．５×ｆｓ以上、２×ｆｓ以下程度が良好な結果を得られる。これにより得られた重みマスクは、図５のＤに示すようになる。

【0021】

さらに、解析用画像生成部１４が、さらに、その重みマスクｗ（ｘ，ｙ）を用いて解析用の画像を形成する（Ｓ４０７）。
ステップ４０７における解析用の画像形成は、図５のＡで示す入力画像Ｉにステップ４０６において作成された重みマスク［図５のＤ］を１から引いた（１−ｗ（ｘ，ｙ））［図５のＥ］を掛けた画像と、ステップ４０３において作成されたぼかし画像［図５のＢ］にステップ４０６において作成された重みマスク［図５のＤ］を掛けた画像とを得て、それらを加算する。得られた画像が図５のＦである。

【0022】

すなわち、
Ｉａ（ｘ，ｙ）＝（１−ｗ（ｘ，ｙ））×Ｉ（ｘ，ｙ）＋ｗ（ｘ，ｙ）×Ｂ（ｘ，ｙ）
これにより、図６に示すように、白飛び部分（光源３２）がボケたような解析用画像３０′が作成される。

【0023】

そして、ＰＳＦ推定部１５によって、ステップ４０７において作成された解析用画像を用いて、ＰＳＦを求める（Ｓ４０８）。
図７Ｂに、このようにして推定したＰＳＦを示す。図７Ａが正しいＰＳＦであり、図７Ｃは、従来の手法による推定ＰＳＦを示す。このように、白飛び部分の周りの鋭いエッジが弱められているため、正解ＰＳＦに近い推定結果が得られる。

【0024】

（第２実施形態）
つぎに、図８及び図９Ａ−図９Ｃを参照して、本発明の第２実施形態について説明する。
図８は第２実施形態のＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートである。図９Ａ−図９Ｃは、重みマスク作成部１２における画像およびマップ等の輝度を示す説明図である。

【0025】

前述した第１実施形態では、領域識別部１１によって非有効領域と有効領域とを識別した後、重みマスク作成部１２によって各画素の非有効領域からの距離マップを求め、その距離マップに基づいて解析用画像生成部１４で重みマスクを作成している。これに対して第２実施形態は、距離マップを用いることなく、以下のように重みマスクを作成する。

【0026】

なお、前述した第１実施形態と同機能の構成要素には、同符号を付して説明は省略する。また、図８に示すＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートも、第１実施形態における距離マップ作成（Ｓ４０５）が、非有効領域の膨張処理（Ｓ９０５）に置き換わるのみであり、他の工程は同一である。

【0027】

第２実施形態における重みマスク作成部１２は、ステップ９０４において図９Ａに示すように有効領域と非有効領域とを特定し、非有効領域で１、有効領域で０の一次予備マスクを作成する。
次いで図９Ｂに示すように非有効領域の膨張処理を行い（Ｓ９０５）、二次予備マスクを作成する。
そして、その二次予備マスクにぼかし処理を施して図９Ｃに示すような重みマスクを作成する。

【0028】

ステップ９０５において膨張させる大きさは、０．２５×ｆｓ以上、２×ｆｓ以下程度が良好な結果を得られる。
本第２実施形態によっても、図９Ｃに示すように、前述した第１実施形態における図５のＤに示す重みマスクと略同等の重みマスクが得られる。
以下、第１実施形態と同様の計算を行うことで、正確なＰＳＦが得られる。

【0029】

以上、本実施形態によると、以下の効果を有する。
（１）第１実施形態における画像処理装置１のＰＳＦ情報作成部１０では、白飛びなどの領域とその他の領域との境界からの距離に応じて入力画像と入力画像をぼかしたぼかし画像とを加算した解析用の画像を作成する。そして、この解析用画像からＰＳＦを推定することにより、推定精度の劣化を最小限に抑えることが可能である。

【0030】

（２）第２実施形態におけるＰＳＦ情報作成部１０では、白飛びなどの非有効領域に膨張処理を行った後にぼかし処理を施して重みマスクを作成する。そして、重みマスクの重みをつけたぼかし画像と、重みマスクを反転させたマスクの重みをつけた入力画像とを加算した解析用画像を生成し、この解析用画像からＰＳＦを推定する。これにより、簡便な処理によって推定精度の劣化を抑えることができる。

【0031】

（第３実施形態）
つぎに、図１０及び図１１を参照して、本発明の第３実施形態について説明する。
図１０は、そのＰＳＦ情報作成部の別のブロック構成図である。図１１は、元画像３００を示す説明図である。図１２は第３実施形態のＰＳＦ情報作成部によるＰＳＦ情報作成工程を示す別のフローチャートである。

【0032】

本発明の第３実施形態について、図１２に示すフローチャートに沿って図１０、図１１を参照しつつ説明する。
まず、入力画像Ｉを取得し（Ｓ４０１）、そのグレースケール画像Ｉｇを作成する（Ｓ４０２）。
次に、グレースケール画像Ｉｇに複数のメッシュＭｅを生成する（Ｓ５０３）。本実施例において、複数のメッシュＭｅのそれぞれは、同一の面積を有し、互いに重ならないように隣接して備えられている。
なお、複数のメッシュのそれぞれは、異なる面積を有していても良い。複数のメッシュのそれぞれは、少なくとも一部が重なるように備えられていても良いし、互いに間隔を隔てて備えられていてもよい。

【0033】

つぎに、領域識別部１１により、入力画像Ｉに基づいて、白飛びや黒つぶれのために輝度勾配が不連続になっている可能性のある領域を非有効領域ｎｏｎ＿ｖａｌｉｄと定義し、その他の領域を有効領域ｖａｌｉｄと定義する（Ｓ４０４）。
次に、ステップ５０７において、解析用画像生成部１４は、複数のメッシュＭｅのそれぞれについて、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれているか否かを判断し、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれているメッシュＭｅ０と、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれていないメッシュＭｅ１とに分類する。
解析用画像生成部１４は、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれていないメッシュＭｅ１を選択し解析用の画像を形成する。
次に、ＰＳＦ推定部１５によって、ステップ５０７において作成された解析用画像を用いて、ＰＳＦを求める（Ｓ４０８）。

【0034】

（変形形態）
本発明は、以上説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態では、領域識別部１１により、白飛びや黒つぶれのために輝度勾配が不連続になっている領域を非有効領域とし、その他の領域を有効領域とした。しかし、画像における目標被写体等の任意のエリアを有効領域として設定するように構成しても良い。これにより、画面内に様々な異なるＰＳＦを持つ領域が混在している場合において、目標被写体に限定したＰＳＦの推定が可能となる。
例えば、図１３においては、領域識別部１１は、目標被写体である人物の顔、頭に対応する有効領域が含まれていないメッシュＭｅ２と、人物の顔、頭に対応する有効領域が含まれているメッシュＭｅ３とに分類する。解析用画像生成部１４は、有効領域が含まれているメッシュＭｅ３を選択し解析用の画像を形成する。

【0035】

たとえば、複数の人がそれぞれ自由に動いている場面を撮影した場合、特定の人物のブレを表すＰＳＦを計算しようとしても、そのままの画像で推定を行ったのでは、様々なＰＳＦが影響し合い、正確には求められない。
そこで、ＰＳＦを求めたい特定の人物を有効領域、その他の部分を非有効領域として、上記の方法で解析用画像を作成し、その解析用画像でＰＳＦを推定すると、該当する特定の人物のＰＳＦを求めることができる。

【0036】

人物の特定方法は、既知の顔認識や、ユーザーにエリアを指定してもらう等の方法を用いることができる。
また、人物以外にも、車や、動物などの特定の目標物を認識（オブジェクト認識）し、同様に解析用の画像を作成して、任意形状の一部分だけのＰＳＦを得ることも可能である。

【0037】

（２）上記実施の形態は、本発明を画像処理装置として説明したが、本発明は画像処理プログラムとして供給されるものを含む。その場合、プログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。画像処理装置は、カメラに内蔵されていてもよい。

【0038】

上記実施形態および変形形態は適宜に組み合わせて用いることができるが、各実施形態の構成は図示と説明により明らかであるため、詳細な説明を省略する。さらに、本発明は以上説明した実施形態によって限定されることはない。

【符号の説明】

【0039】

１：画像処理装置、１０：ＰＳＦ情報作成部、１１：領域識別部、１２：重みマスク作成部、１３：ぼかし画像生成部、１４：解析用画像生成部、１５：ＰＳＦ推定部、２０：画像処理部、３０：画像、３１：主要被写体、３２：光源

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】