特許 6351105 画像処理装置、撮像装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6351105

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】画像処理装置、撮像装置および画像処理方法

(51)【国際特許分類】

   G01N 21/27 20060101AFI20180625BHJP

   G06T 7/00 20170101ALI20180625BHJP

【ＦＩ】

   G01N21/27 A

   G06T7/00 Z

【請求項の数】12

【全頁数】15

(21)【出願番号】特願2014-198939(P2014-198939)

(22)【出願日】2014年9月29日

(65)【公開番号】特開2016-70753(P2016-70753A)

(43)【公開日】2016年5月9日

【審査請求日】2017年8月29日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(72)【発明者】

【氏名】三本木 將夫

(72)【発明者】

【氏名】津村 徳道

(72)【発明者】

【氏名】馬場 佳織

【審査官】 嶋田 行志

(56)【参考文献】

【文献】 特開２００６−２０８３３３（ＪＰ，Ａ）

【文献】 特開２００６−２３４６１３（ＪＰ，Ａ）

【文献】 特開平１１−０３２２５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００１９９１４（ＵＳ，Ａ１）

【文献】 国際公開第２００９／１４７８１４（ＷＯ，Ａ１）

【文献】 特開２０１０−０５４３２０（ＪＰ，Ａ）

【文献】 特開２０１３−１５７６７４（ＪＰ，Ａ）

【文献】 特開２０１４−１５８０７０（ＪＰ，Ａ）

【文献】 特開２０１３−２５８６７５（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０２４４９５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／９５８

Ｇ０６Ｔ １／００− ９／８９８

Ｈ０４Ｎ ５／００− ５／９５６

Ｈ０４Ｎ １３／００−１７／０６

Ｇ０２Ｂ ７／００− ７／４０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号において、所定の閾値より高い輝度の領域である高輝度領域を抽出する高輝度領域抽出部と、
該高輝度領域抽出部において抽出された複数の前記高輝度領域を用いて、前記被写体の各部において合焦している局所領域を抽出する局所領域抽出部と、
該局所領域抽出部において抽出された各局所領域において、前記高輝度領域の光源特性を用いて前記被写体の反射特性を推定する反射特性推定部とを備える画像処理装置。

【請求項2】

前記反射特性推定部が、前記高輝度領域の光源特性として、前記光源のエッジ勾配を使用する請求項１に記載の画像処理装置。

【請求項3】

前記反射特性推定部が、前記反射特性として鏡面反射点拡がり関数を推定する請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記反射特性推定部により推定された前記反射特性と、仮想光源の画像とに基づいて、前記被写体を前記仮想光源下で観察した際の再現画像を生成する再現画像生成部を備える請求項１から請求項３のいずれかに記載の画像処理装置。

【請求項5】

前記再現画像生成部が、前記被写体の各点における焦点からの距離に基づいて前記再現画像を生成する請求項４に記載の画像処理装置。

【請求項6】

既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号を取得する画像信号取得部と、
該画像信号取得部により取得された複数の画像信号から被写体の反射特性を推定する請求項１から請求項５のいずれかに記載の画像処理装置とを備える撮像装置。

【請求項7】

前記画像信号取得部は、主光線が互いに異なる複数の光学系の組み合わせによって得られる像に基づく画像信号を取得する請求項６に記載の撮像装置。

【請求項8】

前記被写体からの光を集光する撮像光学系を備え、
前記複数の光学系が、前記撮像光学系の射出瞳を分割する請求項７に記載の撮像装置。

【請求項9】

前記複数の光学系が、互いに異なる光軸を有する請求項７に記載の撮像装置。

【請求項10】

前記画像信号取得部が、前記撮像光学系の焦点距離を変更しながら複数回撮像することにより、複数の前記画像信号を取得する請求項８に記載の撮像装置。

【請求項11】

既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号を取得された各画像信号において、所定の閾値より高い輝度の領域である高輝度領域を抽出する高輝度領域抽出ステップと、
該高輝度領域抽出ステップにおいて抽出された複数の前記高輝度領域を用いて、前記被写体の各部において合焦している局所領域を抽出する局所領域抽出ステップと、
該局所領域抽出ステップにおいて抽出された各局所領域において、前記高輝度領域の光源特性を用いて前記被写体の反射特性を推定する反射特性推定ステップとを含む画像処理方法。

【請求項12】

前記反射特性推定ステップにより推定された前記反射特性と、仮想光源の画像とに基づいて、前記被写体を前記仮想光源下で観察した際の再現画像を生成する再現画像生成ステップを含む請求項１１に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置および画像処理方法に関するものである。

【背景技術】

【0002】

従来、物体の光沢感等の反射特性を１枚の撮影画像から推定する手法が知られている（例えば、非特許文献１参照。）この手法は、光源のぼけを表す鏡面反射点拡がり関数を使用し、１枚の焦点の合った画像から反射特性を推定している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｉｎｏｕｅ Ｓ．，ａｎｄ Ｔｓｕｍｕｒａ Ｎ．，「Ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ＰＳＦ ａｎｄ Ｇｏｎｉｏｒｅｆｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｓｐｅｃｕｌａｒ Ｒｅｆｌｅｃｔｉｏｎ」，Ｐｒｏｃ．ＣＧＩＶ，ｐｐ．３０１−３０６，（２０１２）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、一般的な撮影シーンにおいては、被写体に奥行きがあるため、ある領域に焦点を合わせると他の領域においては焦点が合わなくなるので、非特許文献１の手法では、焦点の合っていない領域に配置されている物体の反射特性を正しく算出することができないという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、奥行きのある被写体の撮影に際しても、被写体各部の反射特性を精度よく求めることができる画像処理装置、撮像装置および画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号において、所定の閾値より高い輝度の領域である高輝度領域を抽出する高輝度領域抽出部と、該高輝度領域抽出部において抽出された複数の前記高輝度領域を用いて、前記被写体の各部において最も合焦している局所領域を抽出する局所領域抽出部と、該局所領域抽出部において抽出された各局所領域において、前記高輝度領域の光源特性を用いて前記被写体の反射特性を推定する反射特性推定部とを備える画像処理装置を提供する。

【0006】

本態様によれば、既知の光源から出射された光が被写体に対して照射され、被写体の各部における反射光の像を、互いに異なる複数の視点から撮影した複数の画像信号が、高輝度領域抽出部において閾値と比較され、閾値より高い輝度の高輝度領域が抽出される。抽出された高輝度領域は局所領域抽出部において各画像信号間において比較され、被写体の各部において最も合焦している局所領域が抽出される。

【0007】

すなわち、異なる複数の視点から撮影した複数の画像信号には奥行きの異なる位置に配置されている被写体の各部からの反射光の信号が含まれており、これを比較して最も合焦している局所領域を抽出することで、いずれかの画像信号内に、奥行きの異なる各部において合焦している局所領域を抽出することができる。したがって、これらの局所領域において、反射特性推定部が、高輝度領域の光源特性を用いることにより、焦点ぼけである光学系の点拡がり関数をデルタ関数とみなすことができて、被写体各部の反射特性を精度よく推定することができる。

【0008】

上記態様においては、前記反射特性推定部が、前記高輝度領域の光源特性として、前記光源のエッジ勾配を使用してもよい。
このようにすることで、表現しやすい光源特性として光源のエッジ勾配を用いることにより、簡易に被写体各部の反射特性を精度よく推定することができる。

【0009】

また、上記態様においては、前記反射特性推定部が、前記反射特性として鏡面反射点拡がり関数を推定してもよい。
このようにすることで、反射特性推定部は、反射特性としての表面反射点拡がり関数を、取得された画像信号と、光学系の点拡がり関数と、光源特性とによって計算することができる。合焦した局所領域の画像信号を用いることにより、光学系の点拡がり関数をデルタ関数とみなすことができ、反射特性を簡易に計算することができる。

【0010】

また、上記態様においては、前記反射特性推定部により推定された前記反射特性と、仮想光源の画像とに基づいて、前記被写体を前記仮想光源下で観察した際の再現画像を生成する再現画像生成部を備えていてもよい。
このようにすることで、再現画像生成部により、反射特性を推定するために使用した光源とは異なる仮想光源を用いて撮影を行うことなく、当該仮想光源を用いて観察したときに得られる再現画像を生成することができる。

【0011】

また、上記態様においては、前記再現画像生成部が、前記被写体の各点における焦点からの距離に基づいて前記再現画像を生成してもよい。
このようにすることで、被写体の各点における焦点からの距離により光学系の点拡がり関数を計算することができ、焦点位置の異なる再現画像を生成することができる。

【0012】

また、本発明の他の態様は、既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号を取得する画像信号取得部と、該画像信号取得部により取得された複数の画像信号から被写体の反射特性を推定する上記いずれかの画像処理装置とを備える撮像装置を提供する。

【0013】

本態様によれば、既知の光源から出射され、被写体の各部において反射された反射光が、画像信号取得部により、互いに異なる複数の視点から撮影した複数の画像信号として取得され、これら複数の画像信号に基づいて、被写体の各部の反射特性が画像処理装置において推定される。これにより、奥行きのある被写体を撮影する撮影シーンにおいても被写体各部の反射特性を精度よく推定することができる。

【0014】

上記態様においては、前記画像信号取得部が、主光線が互いに異なる複数の光学系の組み合わせによって得られる像に基づく画像信号を取得してもよい。
このようにすることで、互いに異なる複数の視点からの被写体における反射光を撮影した複数の画像信号として、視差の異なる複数の画像から、異なる複数の視点から撮影した複数の画像信号を容易に得ることができる。

【0015】

また、上記態様においては、前記被写体からの光を集光する撮像光学系を備え、前記複数の光学系が、前記撮像光学系の射出瞳を分割してもよい。
このようにすることで、複数の光学系によって射出瞳が分割されて、視差を有する複数の画像をワンショットで取得することができ、この視差を有する画像を用いて、異なる複数の視点から撮影した複数の画像信号を容易に得ることができる。

【0016】

また、上記態様においては、前記複数の光学系が、互いに異なる光軸を有していてもよい。
このようにすることで、被写体からの反射光が複数の光学系を通過させられることにより、撮像光学系の入射瞳を容易に分割して、視差を有する複数の画像をワンショットで取得することができる。

【0017】

また、上記態様においては、前記画像信号取得部が、前記撮像光学系の焦点距離を変更しながら複数回撮像することにより、複数の前記画像信号を取得してもよい。
このようにすることで、視差を有する画像を経由することなく、異なる焦点位置において合焦した複数の画像信号を容易に得ることができる。

【0018】

また、本発明の他の態様は、既知の光源から出射された光を照射し、互いに異なる複数の視点から被写体における反射光を撮影した複数の画像信号において、所定の閾値より高い輝度の領域である高輝度領域を抽出する高輝度領域抽出ステップと、該高輝度領域抽出ステップにおいて抽出された複数の前記高輝度領域を用いて、前記被写体の各部において合焦している局所領域を抽出する局所領域抽出ステップと、該局所領域抽出ステップにおいて抽出された各局所領域において、前記高輝度領域の光源特性を用いて前記被写体の反射特性を推定する反射特性推定ステップとを含む画像処理方法を提供する。

【0019】

上記態様においては、前記反射特性推定ステップにより推定された前記反射特性と、仮想光源の画像とに基づいて、前記被写体を前記仮想光源下で観察した際の再現画像を生成する再現画像生成ステップを含んでいてもよい。

【発明の効果】

【0020】

本発明によれば、奥行きのある被写体の撮影に際しても、被写体各部の反射特性を精度よく求めることができるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】本発明の第１の実施形態に係る撮像装置を示す全体図である。

【図2】図１の撮像装置の高輝度領域抽出部によって抽出された（ａ）基準画像信号の高輝度領域、（ｂ）（ａ）と焦点位置の異なる画像信号１の高輝度領域、（ｃ）（ａ）および（ｂ）と焦点位置の異なる画像信号２の高輝度領域をそれぞれ示す図である。

【図3】図１の撮像装置の反射特性推定部によって、（ａ）合焦している場合、（ｂ）合焦していない場合におけるモデルをそれぞれ示す図である。

【図4】図１の撮像装置によって撮像された（ａ）被写体に写る光源の画像、（ｂ）（ａ）の画像のエッジ部分の一部を拡大して示す図である。

【図5】既知の光源である（ａ）電球、（ｂ）蛍光灯、（ｃ）蛍光源の写真、（ｄ）電球、（ｅ）蛍光灯、（ｆ）蛍光源の光源特性をそれぞれ示す図である。

【図6】本発明の第１の実施形態に係る画像処理方法のフローチャートを示す図である。

【図7】図１の変形例に係る撮像装置を示す全体図である。

【図8】本発明の第２の実施形態に係る撮像装置を示す全体図である。

【図9】図８の撮像装置の光沢再現部を示すブロック図である。

【図10】図８の撮像装置の光源分布画像作成部によって作成される光源分布画像の一例を示す図である。

【図11】図８の撮像装置の光沢除去部によって生成される光沢のない撮影画像のモデルを示す図である。

【図12】図８の撮像装置の合成部によって生成される再現画像の一例を示す図である。

【発明を実施するための形態】

【0022】

本発明の第１の実施形態に係る撮像装置１、画像処理装置２および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、カメラであって、画像取得部（画像信号取得部）３と、画像処理装置２と、これらを制御する制御部４と、外部入力を受け付ける外部Ｉ／Ｆ部５とを備えている。

【0023】

画像取得部３は、光源Ｓから発せられ、被写体Ｐにおいて反射した光を集光する撮像光学系（例えば、撮像レンズ）６と、絞り７と、撮像光学系６によって集光された光を撮影する撮像素子８と、該撮像素子８と撮像光学系６との間に配置され、撮像光学系６の光軸に交差する方向に複数のマイクロレンズを２次元的に配列してなるマイクロレンズアレイ９と、撮像光学系６を光軸方向に移動させるＡＦモータ１０と、絞り７の開口径を変化させる絞り用モータ１１と、撮像素子８により取得された画像信号をデジタル信号に変換するＡ／Ｄ変換部１２と、デジタル信号に変換された画像信号を格納するバッファ１３と、撮像制御部１４とを備えている。

【0024】

外部Ｉ／Ｆ部５を介して、ＩＳＯ感度や露出などの撮影条件を設定し、図示しないシャッタボタンを半押しにすることで、プリ撮影モードに入り、撮像素子８によりプリ撮影が行われるようになっている。プリ撮影により取得されたプリ撮影画像信号は、Ａ／Ｄ変換部１２によりデジタル信号に変換されてバッファ１３に格納され、撮像制御部１４に転送される。
撮像素子８は、例えば、ＲＧＢ原色系の単板ＣＣＤである。撮像素子８としては、ＣＭＯＳを採用してもよい。

【0025】

撮像制御部１４は、プリ撮影画像信号に基づいて焦点距離を算出し、ＡＦモータ１０を駆動して撮像光学系６を光軸方向に移動させて被写体Ｐに合焦させるようになっている。また、撮像制御部１４は、プリ撮影画像信号中の輝度レベルや図示しない輝度センサを用いて取得された輝度レベルに応じて、入射光量の調整のための絞り７の開口寸法や撮像素子８の電子シャッタ速度を算出するようになっている。

【0026】

そして、外部Ｉ／Ｆ部５を介してシャッタボタンが全押しされることにより本撮影が行われるようになっている。この際に、撮像制御部１４において求められた焦点距離や露光条件に基づいてＡＦモータ１０、絞り用モータ１１および撮像素子８が制御されるとともに、これらの撮像時の情報は制御部４に転送されるようになっている。

【0027】

マイクロレンズアレイ９は、被写体Ｐの実像が結像される位置に配置されている。そしてマイクロレンズアレイ９において結像された実像は、さらに撮像素子８に投影されるようになっている。これにより、撮像素子８によって、複数の視差画像がアレイ状に並べられた画像を取得することができる。撮像素子８によって取得された画像は、Ａ／Ｄ変換部１２によってデジタル信号に変換された後に、画像処理装置２に送られるようになっている。

【0028】

前処理装置２は、Ａ／Ｄ変換部１２においてデジタル信号に変換された画像を適切な位置で切り出すことにより、画像に含まれている複数の視差画像を生成するとともに、生成された視差画像を用いて公知のリフォーカス処理を行うことにより焦点位置の異なる複数の画像信号を生成するようになっている。

【0029】

画像処理装置２は、信号処理部１５と、高輝度領域抽出部１６と、局所領域抽出部１７と、反射特性推定部１８とを備えている。
信号処理部１５は、Ａ／Ｄ変換部１２においてデジタル信号に変換された画像を適切な位置で切り出すことにより、画像に含まれている複数の視差画像を生成するとともに、生成された視差画像を用いて公知のリフォーカス処理を行うことにより焦点位置の異なる複数の画像信号を生成するようになっている。また、信号処理部１５は、生成された複数の単板状態の画像信号を読み込んで、公知のデモザイキング処理およびホワイトバランス処理を行って、各画素においてＲＧＢの三板状態の画像信号を生成するようになっている。

【0030】

高輝度領域抽出部１６は、信号処理部１５で処理された複数の画像信号のうち、まず、１枚の基準画像信号を用いて高輝度領域を抽出するようになっている。次いで、高輝度領域抽出部１６は、基準画像信号とは焦点位置の異なる他の画像信号について、基準画像信号について抽出された高輝度領域と同一位置の領域を高輝度領域として抽出するようになっている。
高輝度信号を抽出するには、式１に示されるようにＹＣｂＣｒ信号に変換したＹ信号を用いてもよいし、Ｇ信号をそのまま用いてもよい。

【0031】

【数1】

【0032】

高輝度領域抽出部１６による高輝度領域の抽出は、各画素の画像信号を閾値と比較することにより行われる。例えば、画像信号がｎビットの場合には、ｒ×２^ｎを閾値として用い、閾値以上の画像信号を有する画素を高輝度領域として抽出する。ここで、係数ｒは０＜ｒ＜１の実数を表す。例えば、ｎ＝８、ｒ＝０．９の場合には、２３０以上の信号値を有する場合に、その画素が高輝度領域として抽出される。

【0033】

図２（ａ）に基準画像信号について抽出された高輝度領域を示す。図に示す例では、３つの高輝度領域Ｈｒ１ａ，Ｈｒ２ａ，Ｈｒ３ａが抽出されている。図２（ｂ），（ｃ）はそれぞれ、焦点位置の異なる他の２つの画像信号に対して、基準画像信号について抽出された高輝度領域Ｈｒ１ａ，Ｈｒ２ａ，Ｈｒ３ａと同一位置に抽出された高輝度領域Ｈｒ１ｂ，Ｈｒ２ｂ，Ｈｒ３ｂ，Ｈｒ１ｃ，Ｈｒ２ｃ，Ｈｒ３ｃを示している。

【0034】

局所領域抽出部１７は、高輝度領域抽出部１６において抽出された全ての高輝度領域について、式２に従ってコントラスト値を算出し、対応する高輝度領域間でコントラスト値を比較するようになっている。

【0035】

【数2】

【0036】

ここで、ｇｉ（ｘ，ｙ∈ω）ｍａｘおよびｇｉ（ｘ，ｙ∈ω）ｍｉｎは、それぞれ、画像信号ｉの高輝度領域ωにおける画像信号の最大値および最小値を示し、ｘ，ｙは画像信号の座標値を示している。
局所領域抽出部１７は、コントラスト値を比較して最もコントラスト値が高い領域を合焦している局所領域として抽出し、その領域の情報を反射特性推定部１８に転送するようになっている。

【0037】

反射特性推定部１８は、局所領域抽出部１７から送られてきた局所領域の情報を元に、被写体Ｐの各部の反射特性の推定を行うようになっている。
ここでは、反射特性推定部１８は、反射特性として、鏡面反射点拡がり関数（以下、ＳＲ−ＰＳＦともいう。）を推定するようになっている。

【0038】

具体的には、反射特性推定部１８は、既知の光源Ｓの光源特性と、局所領域抽出部１７から送られてきた局所領域の画像信号と、光学系の点拡がり関数（以下、単にＰＳＦともいう。）とに基づいて、ＳＲ−ＰＳＦを算出するようになっている。
図３は、反射特性推定部１８においてＳＲ−ＰＳＦの算出に用いられるモデルを示している。簡単のため、信号を１次元としている。

【0039】

図１に示されるように、既知の光源Ｓから出射された光が被写体Ｐの各部において反射され撮像装置１によって撮影される場合において、被写体Ｐの反射特性は、図４に示されるように被写体Ｐに写る光源Ｓの像と、図５に示されるような既知の光源Ｓの光源特性との対比により求めることができる。すなわち、図３のモデルにおいて、画像信号は、光源特性と、ＳＲ−ＰＳＦと、ＰＳＦとの積として表すことができる。したがって、反射特性推定部１８は、このモデルを用いてＳＲ−ＰＳＦを式３により推定するようになっている。

【0040】

【数3】

【0041】

ここで、「ＰＳＦ_ＳＲ」はＳＲ−ＰＳＦ、「ＰＳＦ」は光学系のＰＳＦを示している。
また、ｅ（ｘ）は式４のようなエッジを含んだ光源特性を示している。

【0042】

【数4】

【0043】

光源特性として式４を用いることができる場合、式３は式５のようになる。

【0044】

【数5】

【0045】

ここで、ｘ″＝ｘ′−ｘである。したがって、式６のように変形でき、信号値ｇ（ｘ）の１次微分によってｘの関数であるＳＲ−ＰＳＦ（ｘ）を算出することができる。

【0046】

【数6】

【0047】

すなわち、図３のモデルにおいては、図４に示された被写体Ｐに写る光源Ｓの像および図５に示される既知の光源Ｓの光源特性のうち、それぞれのエッジ部分の領域Ａの特性を用いている。図５（ａ）電球、（ｂ）蛍光灯、（ｃ）蛍光源のような既知の光源Ｓでは、そのエッジ部分において輝度がステップ状に変化する光源特性を有しているのに対し、被写体Ｐにおいて反射される光源Ｓの像のエッジ部分は、被写体Ｐの反射特性に応じた鈍り方でステップ形状が鈍った輝度分布を有する。このため、エッジ部分の領域Ａの特性を用いることにより、被写体Ｐの反射特性を精度よく抽出することができるようになっている。

【0048】

本実施形態の画像処理方法は、図６に示されるように、画像取得部３において取得された焦点位置の異なる複数の画像信号から高輝度領域を抽出し（高輝度領域抽出ステップＳ１）、抽出された高輝度領域を比較して、コントラスト値の最も高い局所領域を抽出し（局所領域抽出ステップＳ２）、抽出された局所領域を用いて図３のモデルにより被写体Ｐの反射特性を推定する（反射特性推定ステップＳ３）ものである。

【0049】

すなわち、この画像処理方法によれば、焦点位置の異なる複数の画像信号間で、同一の領域に存在する高輝度領域を比較して局所領域を抽出するので、被写体Ｐの各部の奥行きが異なっても、各部において合焦している局所領域を抽出することができる。
ＰＳＦは光学系による焦点ぼけの成分であるため、図３（ｂ）に示されるように、合焦していない場合には、未知の関数となるため、精度のよい推定が困難になるが、合焦している場合には、図３（ａ）に示されるようにデルタ関数とみなすことができる。

【0050】

このように、本実施形態に係る画像処理方法によれば、被写体Ｐの各部において合焦している局所領域を抽出するので、ＰＳＦとしてデルタ関数を用いて、図３（ａ）のモデルによってＳＲ−ＰＳＦを簡易にかつ精度よく推定することができるという利点がある。

【0051】

また、本実施形態に係る撮像装置１によれば、画像取得部３が、マイクロレンズアレイ９を用いて、公知のライトフィールドカメラのように視差の異なる複数の画像信号をワンショットで取得することができる。したがって、本実施形態にかかる撮像装置１によれば、取得された複数の視差画像を用いて、互いに焦点位置の異なる複数の画像信号を生成するので、操作が簡単であり、奥行きを有する被写体Ｐ各部の反射特性を簡易かつ短時間に推定することができるという利点がある。

【0052】

なお、本実施形態においては、被写体Ｐの実像をマイクロレンズアレイ９に結像させる場合について説明したが、これに代えて、図７に示されるように、実像から光軸方向に離れた位置にマイクロレンズアレイ９を配置した構成を採用してもよい。

【0053】

また、本実施形態においては、画像取得部３がマイクロレンズアレイ９を有するものを例示したが、これに代えて、被写界深度の大きな単一の撮像光学系６を光軸方向に交差する方向に移動させながら複数回撮影することにより、複数の視差画像を取得してもよい。
また、被写界深度の比較的小さい単一の撮像光学系６の焦点位置を変化させながら複数回取得することにより焦点位置の異なる複数の画像信号を取得することにしてもよい。
また、画像取得部３として、被写界深度の大きな複数の撮像光学系６および撮像素子８を光軸に交差する方向に並べて、複数の視差画像を一度に取得することにしてもよい。

【0054】

また、本実施形態においては、高輝度領域抽出部１６における閾値として、ｒ２^ｎを用いたが、これに代えて、複数の画像信号の最大値Ｍに係数ｒを乗算したｒＭを閾値として使用してもよい。また、抽出された高輝度領域の画像信号に対して公知の膨張・収縮処理を行って、小さな画像信号の領域を除外してもよい。

【0055】

また、本実施形態においては、局所領域抽出部１７において複数の画像信号の中から被写体Ｐの各部において合焦している局所領域を抽出することとしたが、撮影時に光学系のＦナンバーを変化させること等により、被写界深度の大きな基準画像信号が取得できた場合には、局所領域抽出部１７による処理を行うことなく、基準画像信号の高輝度領域のみを用いて、ＳＲ−ＰＳＦを推定することにしてもよい。また、マイクロレンズアレイ９を用いた撮影によって取得された各視差画像も大きな被写界深度を有しているので、同様に、いずれかの視差画像の高輝度領域のみを用いてＳＲ−ＰＳＦを推定することにしてもよい。

【0056】

次に、本発明の第２の実施形態に係る撮像装置１９、画像処理装置２０および画像処理方法について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る撮像装置１、画像処理装置２および画像処理方法と構成を共通とする箇所には同一符号を付して説明を省略する。

【0057】

本実施形態に係る撮像装置１９は、図８および図９に示されるように、画像処理装置２０に光沢再現部（再現画像生成部）２１を備えている点において第１の実施形態に係る撮像装置１と相違している。
光沢再現部２１は、図９に示されるように、反射特性推定部１８により推定された被写体Ｐの反射特性を用いて、信号処理部１５から送られてきた画像信号に対して撮影時とは異なる光源下で観察した場合の画像信号を生成するようになっている。

【0058】

具体的には、光沢再現部２１は、予め用意された１以上の光源（仮想光源）Ｓの画像を光源画像記憶部２２に記憶しており、図９に示されるように、外部Ｉ／Ｆ部５から選択された光源Ｓの画像と、反射特性推定部１８により推定された被写体Ｐの反射特性とを用いて、被写体Ｐ上の光源分布を作成する光源分布画像作成部２３を備えている。
光源分布画像作成部２３は、図１０に示されるように、推定された反射特性と選択された光源画像とを乗算して光源分布を作成するようになっている。

【0059】

また、光沢再現部２１は、図９に示されるように、信号処理部１５から送られてきた画像信号に対し公知のイメージインペインティング法等により、光沢部分を除去した撮影画像を生成する光沢除去部２４を備えている。光沢除去部２４は、図１１に示されるように、画像信号に含まれる光沢部分を除去し、光沢のない撮影画像を生成するようになっている。

【0060】

そして、光沢再現部２１は、図９および図１２に示されるように、光沢除去部２４において生成された撮影画像に、光源分布画像作成部２３において作成された光源分布を合成して再現画像を生成する合成部２５を備えている。

【0061】

本実施形態に係る画像処理装置２０を用いた画像処理方法は、反射特性推定部１８において推定された反射特性と、光源画像記憶部２２に記憶された中から選択された光源画像とを乗算して光源分布を作成し（光源画像作成ステップ）、光沢除去部２４において光沢のない撮影画像を生成し（光沢除去ステップ）、生成された撮影画像と光源分布とを合成する（合成ステップ）。これにより、本実施形態に係る撮像装置１９、画像処理装置２０および画像処理方法によれば、撮影時とは異なる仮想光源下で観察したかのような再現画像を簡易に精度よく取得することができるという利点がある。

【0062】

なお、上記においては、記憶している光源Ｓの画像と反射特性とから光源分布を作成するので、被写体Ｐに焦点が合った再現画像が生成されるが、図３（ｂ）に示されるように合焦していない場合のＰＳＦをさらに積算した光源分布を作成することにより、焦点位置のことなる再現画像を作成することにしてもよい。すなわち、被写体Ｐの各部の焦点位置からの距離を考慮することにより、光学系のＰＳＦを算出することができ、算出されたデルタ関数以外のＰＳＦを用いて合焦していない場合の再現画像を生成することができる。

【符号の説明】

【0063】

１，１９ 撮像装置
２，２０ 画像処理装置
３ 画像取得部（画像信号取得部）
６ 撮像光学系
１６ 高輝度領域抽出部
１７ 局所領域抽出部
１８ 反射特性推定部
２１ 光沢再現部（再現画像生成部）
Ｐ 被写体
Ｓ 光源（既知の光源）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】