特許 7516090 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240708BHJP

   G06T 5/73 20240101ALI20240708BHJP

【ＦＩ】

H04N23/60

G06T5/73

【請求項の数】 16

(21)【出願番号】P 2020063807

(22)【出願日】2020-03-31

(65)【公開番号】P2021164059

(43)【公開日】2021-10-11

【審査請求日】2023-03-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】鈴木 朝日

(72)【発明者】

【氏名】佐々木 貴志

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１７－０５４３３７（ＪＰ，Ａ）

【文献】特開２０１７－０１１４５１（ＪＰ，Ａ）

【文献】特開２０１５－０９６８１２（ＪＰ，Ａ）

【文献】韓国公開特許第２００３－００８１５３９（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ５／７３

(57)【特許請求の範囲】

【請求項1】

画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得手段と、
前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第１の被写体領域マップを生成するマップ生成手段と、
前記第１の被写体領域マップと、前記画像評価値マップを用いずに生成された第２の被写体領域マップとの、少なくともいずれかを用いて、前記画像に補正処理を行う処理手段と、を有し、
前記処理手段は、前記画像を基に前記第１の被写体領域マップを補正し、前記補正した第１の被写体領域マップと前記第２の被写体領域マップとの間の、前記第１の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で且つ前記第２の被写体領域マップの被写体領域となる領域の面積値に基づく乖離度を求め、前記乖離度が高いほど、前記第１の被写体領域マップよりも前記第２の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする画像処理装置。

【請求項2】

前記処理手段は、前記第１の被写体領域マップの前記補正された領域から前記第２の被写体領域マップの被写体領域を除いた領域の面積値と、前記第１の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で且つ前記第２の被写体領域マップの被写体領域となる領域の面積値とを、合成した面積値に基づく前記乖離度を求めることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記処理手段は、
前記乖離度が高いほど、前記第１の被写体領域マップよりも前記第２の被写体領域マップを優先的に用いた第３の被写体領域マップを生成するマップ補正手段と、
前記第３の被写体領域マップを用いて前記画像の補正処理を行う画像補正手段と、
を有することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記マップ補正手段は、前記画像を分割した領域を基に、前記第１の被写体領域マップの補正を行うことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記マップ補正手段は、前記画像の色分布情報と、前記画像の輝度分布情報と、前記画像の意味的領域分割の確率分布情報と、被写体に照射して反射された赤外線の分布情報との、少なくともいずれかを用いて、前記画像の分割を行うことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記マップ補正手段は、前記画像の色分布情報と前記画像の輝度分布情報との少なくともいずれかを基に、前記画像が低輝度と低彩度の少なくともいずれかであると判定した場合には、前記画像に対してトーンカーブ補正を行い、前記トーンカーブ補正を行った後の画像を前記分割することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記マップ補正手段は、前記画像の中の被写体領域の面積もしくは被写体領域内の特定の領域の面積が、所定の面積閾値以上である場合には前記トーンカーブ補正を行わないことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記マップ補正手段は、前記画像から特定の被写体の色を抽出して前記抽出した色に応じた領域を前記画像から分割し、その後に残りの領域を分割することを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記マップ補正手段は、前記被写体が人物である場合には前記被写体の肌の色を抽出し、前記被写体の肌の色に応じた領域を前記画像から分割し、その後に残りの領域を分割することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記マップ補正手段は、前記分割した領域のうち所定の上限値以上の面積の領域には前記補正を行わないことを特徴とする請求項４乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記マップ補正手段は、前記分割した領域のなかで、前記第１の被写体領域マップの被写体領域の面積値が所定の面積値以上であるときには、前記第１の被写体領域マップの被写体領域の補正を行うことを特徴とする請求項４乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記所定の面積値は、前記分割した領域の面積に応じて変更されることを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記所定の面積値は、前記分割した領域の面積が所定の下限値以下である場合に固定値とすることを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記画像評価値マップは、デフォーカス量分布情報と、色分布情報と、輝度分布情報と、視差分布情報と、距離分布情報と、意味的領域分割の確率分布情報と、赤外線分布情報と、オプティカルフロー分布情報と、のうちのいずれかを含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。

【請求項15】

画像処理装置が実行する画像処理方法であって、
画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得工程と、
前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第１の被写体領域マップを生成するマップ生成工程と、
前記第１の被写体領域マップと、前記画像評価値マップを用いずに生成された第２の被写体領域マップとの、少なくともいずれかを用いて、前記画像に補正処理を行う処理工程と、を有し、
前記処理工程では、前記画像を基に前記第１の被写体領域マップを補正し、前記補正した第１の被写体領域マップと前記第２の被写体領域マップとの間の、前記第１の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で且つ前記第２の被写体領域マップの被写体領域となる領域の面積値に基づく乖離度を求め、前記乖離度が高いほど、前記第１の被写体領域マップよりも前記第２の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする画像処理方法。

【請求項16】

コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像された画像に対する画像処理技術に関する。

【背景技術】

【0002】

従来、撮像された画像から被写体領域を検出し、その検出した被写体領域に対して、補正処理を施す技術が知られている。例えば、検出した被写体領域に対して、明るさを補正するリライティング処理などの技術が知られている。このリライティング処理により、環境光によって生じた影などの暗部領域を明るくし、好ましい画像を得ることが可能となる。
一方、特許文献１には赤外線画像を用いた被写体領域に対し、ＲＧＢ画像の肌色領域を用いて補正する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－５２０９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、色情報を用いて補正を行うため、背景に被写体と似た色が存在していた場合に、正しく補正することができない。このため、補正された被写体領域は不自然なもの（不自然なアーティファクトが発生したもの）となってしまう。

【0005】

そこで、本発明は、被写体領域の不自然なアーティファクトの発生を低減可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得手段と、前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第１の被写体領域マップを生成するマップ生成手段と、前記第１の被写体領域マップと、前記画像評価値マップを用いずに生成された第２の被写体領域マップとの、少なくともいずれかを用いて、前記画像に補正処理を行う処理手段と、を有し、前記処理手段は、前記画像を基に前記第１の被写体領域マップを補正し、前記補正した第１の被写体領域マップと前記第２の被写体領域マップとの間の、前記第１の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で且つ前記第２の被写体領域マップの被写体領域となる領域の面積値に基づく乖離度を求め、前記乖離度が高いほど、前記第１の被写体領域マップよりも前記第２の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする。

【発明の効果】

【0007】

本発明によれば、被写体領域の不自然なアーティファクトの発生を低減可能になる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置の機能構成を示すブロック図である。

【図2】画像と各マップの一例を示す図である。

【図3】被写体領域補正処理のフローチャートである。

【図4】被写体領域判定に用いる所定の下限面積と固定値の関係を示す図である。

【図5】マップに過補正が発生する画像と各マップの一例を示す図である。

【図6】第１の実施形態における画像処理のフローチャートである。

【図7】第１の実施形態における補正評価値算出の説明に用いる図である。

【図8】第２実施形態における画像処理のフローチャートである。

【図9】加重合成処理の一例説明に用いる図である。

【図10】マップに補正不足が発生する画像と各マップの一例を示す図である。

【図11】第３実施形態における補正評価値算出の説明に用いる図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。さらに、以下で説明する図面において、同じ機能を有するものには同一の符号を付し、その説明を省略又は簡潔にすることもある。

【0010】

＜第１の実施形態＞
図１は、例えば撮像装置（デジタルカメラ）に本実施形態の画像処理装置１００が適用された場合の概略的な機能構成例を示したブロック図である。
図１に示すように、本実施形態の画像処理装置１００は、システム制御部１０１、ＲＯＭ１０２、及びＲＡＭ１０３を有している。さらに本実施形態の画像処理装置１００は、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、記録媒体１０８、被写体検出部１０９、領域抽出部１１０、領域補正部１１１、領域別画像処理部１１２、及びバス１１３を有している。光学系１０４を除く各ブロックは、それぞれバス１１３に接続されている。

【0011】

システム制御部１０１は、画像処理装置１００全体を制御するものであり、例えばＣＰＵである。システム制御部１０１は、本実施形態に係るプログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより画像処理装置１００が備える各ブロックの動作を制御する。

【0012】

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等が用いられている。ＲＯＭ１０２は、画像処理装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

【0013】

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、画像処理装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。システム制御部１０１及び画像処理部１０７は、ＲＡＭ１０３をワークメモリとして使用する。

【0014】

光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

【0015】

撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子に結像された光学像を光電変換し、得られた撮像信号（アナログ信号）をＡ／Ｄ変換部１０６に出力する。
Ａ／Ｄ変換部１０６は、入力された撮像信号にＡ／Ｄ変換処理を適用し、得られた画像データをＲＡＭ１０３に出力して記憶させる。

【0016】

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して画像処理を行う。具体的には、画像処理部１０７は、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの様々な処理や、画素毎の距離情報の生成等の様々な画像処理を行う。そして、画像処理部１０７は、画像処理後の画像データをＲＡＭ１０３や記録媒体１０８に記録する。

【0017】

また本実施形態において、画像処理部１０７は、画素毎の距離情報を基に、撮像された画像に対応した画像評価値分布を表す画像評価値マップを取得するようなマップ取得処理を行う。本実施形態において、画像処理部１０７は、画素毎の距離情報に基づいて、画像一面におけるピント情報を表すデフォーカス量分布を生成し、そのデフォーカス量分布を、画像評価値分布を表す画像評価値マップとして取得する。本実施形態では、デフォーカス量の算出技術として、例えば、特開２００８－１５７５４号公報に記載されている、画像の位相差から画像一面のピント情報を取得する技術を用いるが、これに限定されるものではない。特開２００８－１５７５４号公報には、微小ブロックにおける一対の画素データを相対的にずらしながら、二つの画素データ間のずらし量に基づいてデフォーカス量分布を算出している。

【0018】

記録媒体１０８は、例えば画像処理装置１００に対して着脱可能なメモリカード等である。記録媒体１０８には、画像処理部１０７で処理されて一時的にＲＡＭ１０３に記憶されている画像データや、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像データ等が、記録画像として記録される。

【0019】

被写体検出部１０９は、画像処理部１０７で処理された画像から特定の被写体の位置や向き等を検出する。例えば、被写体検出部１０９は、特定の被写体の位置や向きとして、顔や器官の位置や向き等を検出する。

【0020】

領域抽出部１１０は、画像処理部１０７で処理された画像から被写体領域を抽出する。例えば、領域抽出部１１０は、画像の距離情報等の画像評価値マップと被写体検出部１０９で検出された顔等の検出位置とを基に、被写体領域を抽出する。そして、領域抽出部１１０は、それら画像評価値等を用いて抽出した被写体領域に基づいて第１の被写体領域マップを生成するようなマップ生成処理を行う。領域抽出部１１０における被写体領域の抽出処理、第１の被写体領域マップ生成処理の詳細は後述する。

【0021】

領域補正部１１１は、領域抽出部１１０で抽出された被写体領域に対する補正処理を行う。詳細は後述するが、本実施形態の場合、領域補正部１１１は、領域抽出部１１０にて生成された第１の被写体領域マップに対して、後述するようなマップ補正処理を施す。さらに領域補正部１１１は、そのマップ補正処理後の第１の被写体領域マップと、画像評価値マップを用いずに予め生成した第２の被写体領域マップとの、乖離度を評価する。そして、領域補正部１１１は、その乖離度が高いほど、第１の被写体領域マップよりも第２の被写体領域マップを優先的に用いた第３の被写体領域マップを生成するような処理を行う。

【0022】

詳細は後述するが、第２の被写体領域マップは、被写体検出部１０９が検出した顔や器官の位置や向きに応じて、事前に作成したモデルを当てはめることで生成される被写体領域マップである。また詳細は後述するが、第１の実施形態における乖離度は、マップ補正処理によって補正した第１の被写体領域マップから、第２の被写体領域マップの被写体領域を除いた後の領域の面積値とする。なお、第１の被写体領域マップに対するマップ補正処理、第２の被写体領域マップの詳細については後述する。

【0023】

領域別画像処理部１１２は、画像評価値マップを用いて生成された第１の被写体領域マップと、画像評価値マップを用いずに生成された第２の被写体領域マップとの、少なくともいずれかを用いて、領域別の画像補正処理を行う。すなわち本実施形態の場合、領域別画像処理部１１２は、領域補正部１１１で生成された第３の被写体領域マップを用いて、領域別の画像処理を行う。領域別の画像補正処理は、例えば、被写体領域のなかの特定の領域についてだけ、明るさを調整するリライティング処理などの領域別画像補正処理を挙げることができる。

【0024】

バス１１３は、画像処理装置１００の各ブロックを接続し、各ブロックはバス１１３を介して信号のやり取りを行う。

【0025】

図２（ａ）は、画像処理部１０７が画像処理を行った後の画像２０１の一例を示した図である。画像２０１は、室内で人物２１０を被写体として撮像した画像であるとする。また画像２０１は、画素毎に距離情報を有する画像であるとする。

【0026】

図２（ｂ）は、領域抽出部１１０が、画像２０１の距離情報をもとに被写体領域を抽出した被写体領域マップ２０２を示した図である。本実施形態において、被写体領域マップ２０２は、画像の画素毎の距離情報に基づくデフォーカス量分布による画像評価値マップを用いて生成される第１の被写体領域マップの一例である。被写体領域マップ２０２は、例えば、白が２５５で黒が０の８ビットの２値で表されるマップであり、白部分は被写体領域を表す被写体領域ラベルとして用いられ、黒部分は被写体領域外（非被写体領域）を表す非被写体ラベルラベルとして用いられる。このように、被写体領域マップは、白部分で表される被写体ラベルと、黒部分で表される非被写体ラベルとの、少なくとも二つのラベル領域にクラス分けされている。

【0027】

ここで、人物における、顔の頬や、単色の服といったような、低コントラストの領域は正確に距離が測れないことがある。このため、領域補正部１１１は、そういった低コントラストの領域を判定するために、第１の被写体領域マップが生成された際の画素毎の距離情報つまり画素毎の画像評価値について、信頼度を算出する。例えば、領域補正部１１１は、画像の各画素における輝度値の分散を基に、画素毎の画像評価値（距離情報）について信頼度を算出する。そして、領域補正部１１１は、画素毎の画像評価値の信頼度の分布を表した信頼度マップを生成する。

【0028】

図２（ｃ）は、領域補正部１１１で算出された画素毎の画像評価値の信頼度分布を表した信頼度マップ２０３を示した図である。信頼度マップ２０３は、被写体領域マップと同様に、例えば白が２５５で黒が０の８ビットの２値で表されるマップである。信頼度マップ２０３において、白部分は信頼度が例えば閾値以上の高い信頼度の領域を表す高信頼度ラベルとして用いられ、黒部分は信頼度が閾値未満の低い信頼度の領域を表す低信頼度ラベルとして用いられる。

【0029】

そして、領域補正部１１１は、信頼度マップ２０３で黒色の低信頼度ラベルとなっている領域については被写体領域として判定しないようにする。すなわち領域補正部１１１は、画像評価値マップに基づいて被写体領域を抽出して生成された第１の被写体領域マップに対し、信頼度マップで低信頼度ラベルになっている領域は被写体領域と判定しないようなマップ補正処理を行う。例えば、図２（ｃ）に示した信頼度マップ２０３の例の場合、黒部分で表される低信頼度ラベルの領域は被写体領域とは判定されない。このため、第１の被写体領域マップは、信頼度マップ２０３で黒部分になっている低信頼度ラベルの領域が非被写体ラベルになされるように補正された、図２（ｂ）に示すような被写体領域マップ２０２となる。つまり、領域補正部１１１によって補正された第１の被写体領域マップは、図２（ｂ）に示すように、人物の領域内に黒色の領域が所々存在するような（穴が開いたような）被写体領域マップ２０２として生成される。ただし、領域別画像処理部１１２の領域別画像処理の際、図２（ｂ）のような人物の領域内に所々穴が開いたような被写体領域マップ２０２を用いることは好ましくない。

【0030】

そこで第１の実施形態の領域補正部１１１は、被写体領域に対する補正処理を行う。
図３は、第１の実施形態の領域補正部１１１における被写体領域補正処理の流れを示したフローチャートである。
まずステップＳ３０１において、領域補正部１１１は、画像２０１を、当該画像の色情報と輝度情報との少なくともいずれかに基づいて領域分割する。本実施形態では、特開２０１４－６８２７９号公報に開示されている手法を用いることで画像の領域分割を行う。図２（ｄ）は、領域補正部１１１が画像２０１を領域分割処理した後の領域分割結果２０４を示した図である。領域分割結果２０４は、分割領域毎にラベル分けしたものとなされている。なお、図２（ｄ）中の分割領域２０６は、図２（ａ）の人物２１０の顔に相当する分割領域としてラベル分けされた領域である。このように、領域補正部１１１は、画像を複数の領域に分割する領域分割処理を行って、それら分割領域毎にラベル分けした領域分割結果を取得する。

【0031】

このとき、画像２０１が例えば低彩度と低輝度の少なくともいずれかの画像であった場合、領域分割の分離性能が低下することがある。そのため、画像２０１が低彩度や低輝度である場合、領域補正部１１１は、領域分割処理に先立って、画像２０１に対してトーンカーブ補正処理を施すことで画像の彩度と輝度を調整する。すなわち領域補正部１１１は、画像の色分布情報と輝度分布情報のうちいずれかを基に、画像が低輝度と低彩度の少なくともいずれであるかを判定し、それらに該当すると判定した場合には、当該画像に対してトーンカーブ補正を行う。

【0032】

また例えば、画像２０１を領域分割する場合、画像２０１の特定の被写体領域が細かく領域分割されてしまうことがある。このように特定の被写体領域が細分化されるのを防ぐために、領域補正部１１１は、被写体領域の面積もしくは特定の領域の面積に応じてトーンカーブ補正処理を適用するか否かを判定してもよい。例えば画像２０１において、人物２１０等の顔領域が領域分割によって細分化されて、顔領域の分割ラベルが細分化されてしまうのを防ぐために、領域補正部１１１は、人物２１０の顔領域の面積に応じてトーンカーブ補正処理を適用するか否かを判定する。例えば、領域補正部１１１は、人物２１０の顔領域の面積が所定の面積閾値以上である場合にはトーンカーブ補正処理を適用しないといった適用可否判定処理を行う。すなわち領域補正部１１１は、画像中の被写体領域の面積、もしくは被写体領域内の特定の領域の面積が、所定の面積閾値以上である場合にはトーンカーブ補正を適用しない。これにより、特定の被写体領域が細分化されるのを防ぐことができる。

【0033】

また例えば、被写体が人物に限定されるような場合、領域補正部１１１は、領域分割の際に、顔などの肌の色で被写体領域に含まれる分割領域を適切に抽出することができる。この場合、領域補正部１１１は、被写体の人物の顔の色情報を抽出し、その色情報を有する領域を予め抽出しておくようにする。なお、被写体は人物に限定されるものではなく、例えば車が被写体となされている場合も同様に、例えば車体の色情報を抽出し、その色情報をもつ領域を予め抽出しておいてもよい。すなわち領域補正部１１１は、特定の被写体の色を抽出し、その被写体の色に応じて領域分割を行い、その後に、残りの領域を分割する。例えば、被写体が人物である場合、領域補正部１１１は、被写体である人物の肌の色を抽出し、その肌の色に応じて領域分割を行い、その後に残りの領域を分割する。これにより、顔などの肌の色が含まれる被写体領域を適切に分割することができる。

【0034】

次にステップＳ３０２において、領域補正部１１１は、ステップＳ３０１での領域分割処理によって分割された各分割領域の中から一つの分割領域を選択する。なお本実施形態の場合、領域補正部１１１は、図２（ｄ）の領域分割結果２０４の中から、被写体の例えば人物２１０の顔に相当する分割領域２０６を選択したとする。

【0035】

次にステップＳ３０３において、領域補正部１１１は、ステップＳ３０２で選択した分割領域の中に被写体領域の面積値が所定の面積値以上含まれているかどうかを判定する。領域補正部１１１は、選択した分割領域内に被写体領域の面積値が所定面積値以上含まれていると判定した場合にはステップＳ３０４に処理を進める。一方、被写体領域の面積値が所定面積値以上含まれていない（所定面積値未満である）と判定した場合、領域補正部１１１は、ステップＳ３０５に処理を進める。

【0036】

ここで、図２（ｄ）に例示した分割領域２０６の場合、ステップＳ３０２で選択した分割領域の中には、被写体領域の面積値が所定面積値以上含まれているので、ステップＳ３０４に進むとする。なお本実施形態の場合、所定の面積値は、判定対象になっている分割領域の面積に応じて決められるものとする。すなわち、この時の所定面積値は、分割された領域の面積に応じて変更することができる。

【0037】

また例えば、分割領域の面積が所定の下限値以下である場合、数ピクセル程度の領域のはみ出しに敏感になる。このため、例えば図４のグラフに示すように、分割領域の面積が所定の下限値以下である場合にのみ、被写体領域の面積値判定に用いる所定面積値を固定値としてもよい。すなわち、被写体領域の面積値判定に用いる所定面積値は、分割された領域の面積が所定の下限値以下の場合には固定値としてもよい。図４のグラフは、横軸が分割領域の面積を示し、縦軸が被写体領域判定に用いる所定面積値を示している。この図４のグラフによれば、分割領域の面積が所定下限値より大きい場合には、被写体領域の判定に用いる所定面積値は、その分割領域の面積が大きくなるほど高い値に設定される。一方、分割領域の面積が所定の下限値以下の場合、被写体領域の判定に用いる所定面積値は固定値に設定される。

【0038】

ステップＳ３０４に進むと、領域補正部１１１は、ステップＳ３０２で選択した分割領域内で所定面積値以上含まれていると判定された領域（補正対象領域とする）を被写体領域に含めるように修正する。すなわち分割領域内で所定面積値以上含まれていると判定された補正対象領域は、前述した信頼度マップにおいて低信頼度となっている領域である。ここで、被写体領域マップで非被写体ラベルになっており、信頼度マップが高信頼度になっている補正対象領域は、被写体とは異なる距離の領域、例えば背景等の領域である可能性が高い。このため、その補正対象領域については被写体領域に修正する必要はない。一方で、信頼度マップ３０３のうち、領域３０６に対応する低信頼度の領域については被写体領域である可能性が高いため、その補正対象領域を被写体領域に修正する。

【0039】

また例えば、ステップＳ３０２で選択した分割領域が、画像に対して占める割合が高すぎる場合、修正の必要がない領域を修正してしまうリスクが高くなる。このため、ステップＳ３０２で選択した分割領域の面積が所定の上限値以上である場合、補正対象領域を被写体領域に修正するようなことを行わないようにする。すなわち領域補正部１１１は、分割された領域が所定の上限値以上の面積である場合には、補正対象領域に対する補正を行わないようにする。なお、該所定の上限値は、画像の面積に応じて決めてもよいし、被写体の人物の顔の面積に応じて決めてもよい。

【0040】

ステップＳ３０５に進むと、領域補正部１１１は、すべての分割領域について処理が終了したか判定し、終了していないと判定した場合にはステップＳ３０２に処理を戻して未処理の分割領域を選択する。一方、ステップＳ３０５において処理が終了したと判定した場合、領域補正部１１１は、図３のフローチャートの処理を終了する。

【0041】

以上説明したような被写体領域マップの補正処理により、図２（ｅ）に示すような補正後被写体領域マップ２０５が得られる。
しかし、前述した手法は色情報、輝度情報に基づく補正処理であるため、被写体と似た色、輝度を持つ物体が被写体周辺にあると、誤った補正処理を行ってしまう場合がある。

【0042】

これについて、図５（ａ）～図５（ｅ）を用いて説明する。図５（ａ）は図２（ａ）と同様の画像５０１を表し、図５（ｂ）は図２（ｂ）と同様の第１の被写体領域マップ５０２を、図５（ｃ）は図２（ｃ）と同様の信頼度マップ５０３を表している。また、図５（ｄ）は図２（ｄ）と同様の領域分割結果５０４を、図５（ｅ）は図２（ｅ）と同様の補正後被写体領域マップ５０５を表している。各々の生成方法は図２（ａ）～図２（ｅ）で述べた方法と同様であるためそれらの説明は省略する。

【0043】

ここで、図５（ａ）～図５（ｅ）の例において、前述した図２（ａ）～図２（ｅ）の例と異なるのは、被写体周辺に被写体と同色かつ低コントラストのオブジェクト５０６が存在することである。オブジェクト５０６は低コントラストであるため、信頼度マップ５０３においてオブジェクト５０６に対応した領域５１１は低信頼の領域となる。また、オブジェクト５０６は被写体と同色であるため、領域分割結果５０４では、被写体（顔の領域）とオブジェクト５０６の領域とが結合した分割領域５１２が生成されてしまう。そして、補正後被写体領域マップ５０５は、図５（ｅ）に示すようなマップになってしまう。この場合、後段の領域別画像処理部１１２において、補正後被写体領域マップ５０５を基に領域別画像処理を行うと、被写体領域が適切に補正されずに不自然なアーティファクトが発生してしまう。

【0044】

そこで第１の実施形態において、領域補正部１１１は、画像評価値マップを用いて生成した第１の被写体領域マップを補正したときに、過補正された領域を、被写体領域マップ補正処理のための補正評価値として算出する。本実施形態では、この補正評価値が、第１の被写体領域マップと第２の被写体領域マップとの乖離度である。そして領域補正部１１１は、この補正評価値（乖離度）に応じて、前述のように被写体領域が補正された第１の被写体領域マップと、第２の被写体領域マップとの、どちらを領域別画像処理に用いるか選択する。本実施形態の場合、領域補正部１１１は、第１の被写体領域マップと第２の被写体領域マップとの乖離度が高いほど、第２の被写体領域マップを第１の被写体領域マップよりも優先的に用いるようした第３の被写体領域マップを生成する。これにより、領域別画像処理における画像の不自然なアーティファクト発生を低減することができる。

【0045】

以下、このようなことを実現する第１の実施形態の画像処理装置１００における処理の流れを図６のフローチャートを用いて説明する。
ステップＳ６０１において、領域抽出部１１０は、第１の被写体領域マップを生成する。第１の被写体領域マップは、前述したように、領域抽出部１１０が画像の距離情報等を基に抽出した被写体領域に基づいて生成される。

【0046】

またステップＳ６０２において、領域補正部１１１は、第２の被写体領域マップを生成する。第１の実施形態の場合、領域補正部１１１は、被写体検出部１０９が検出した顔や器官の位置や向きを基に、事前に作成したモデルを当てはめて、第２の被写体領域マップを生成する。本実施形態の場合、事前に作成されたモデルは例えば人型のモデルとするが、これに限定されるものではない。
なお、ステップＳ６０１とステップＳ６０２の処理順は図６の例に限定されず、ステップＳ６０２の処理が先に行われ、その後ステップＳ６０１の処理が行われてもよい。

【0047】

次にステップＳ６０３に進むと、領域補正部１１１は、第１の被写体領域マップに対するマップ補正処理を行う。ここでのマップ補正処理は、前述した図３のフローチャートを用いて説明した被写体領域補正処理であるためその説明を省略する。

【0048】

次にステップＳ６０４に進むと、領域補正部１１１は、マップ補正処理のための補正評価値を算出する。本実施形態では、補正する必要がなかった領域を補正していないかどうかを評価する。第１の実施形態の場合、マップ補正処理のための補正評価値として、第１の被写体領域マップと第２の被写体領域マップとの乖離度を算出する。第１の実施形態において、乖離度は、補正された第１の被写体領域マップから第２の被写体領域マップの被写体領域を除いた後の領域の面積値である。本実施形態の場合、第１の被写体領域マップの信頼度が低い領域で且つ、補正後の第１の被写体領域マップから第２の被写体領域マップにおける被写体領域を除いた領域の面積値が、乖離度として用いられる。

【0049】

これについて、図７を用いて説明する。
まず、領域補正部１１１は、補正後の第１の被写体領域マップ７０１から、補正された領域を算出する。これは、信頼度マップ７０２の白部分と黒部分とを反転させたマップ７０３と、補正後の第１の被写体領域マップ７０１とを論理積演算（ａｎｄ演算）すれば求めることができる。これにより、第１の被写体領域マップ７０１において補正された領域を表す補正領域マップ７０４が得られる。

【0050】

次に、領域補正部１１１は、補正領域マップ７０４から、補正する必要がなかった領域を算出する。これは、第２の被写体領域マップ７０５の白部分と黒部分とを反転させたマップ７０６と、補正領域マップ７０４とを論理積演算すれば求めることができる。これにより、過補正された領域を表す過補正領域マップ７０７が得られる。第１の実施形態の場合、この過補正領域マップにおいて白部分になっている面積値が補正評価値であり、第１の被写体領域マップと第２の被写体領域マップとの乖離度に相当する。

【0051】

次にステップＳ６０５において、領域補正部１１１は、補正評価値（乖離度）が所定の評価閾値未満かどうかを判定する。第１の実施形態では、該所定の評価閾値は画像の面積に応じて決定する固定値とするがこの限りではない。例えば、所定の評価閾値は、被写体の顔の面積に応じて決められてもよい。

【0052】

ステップＳ６０５において補正評価値が所定の評価閾値未満と判定された場合、第１の被写体領域マップは適切に補正されたと判断できるため、領域補正部１１１は、ステップＳ６０６に処理を進めて、補正後の第１の被写体領域マップを選択する。一方、ステップＳ６０５において、補正評価値が所定の評価閾値以上と判定された場合、第１の被写体領域マップは適切に補正されなかったと判断できるため、領域補正部１１１は、ステップＳ６０７に処理を進め、第２の被写体領域マップを選択する。これらステップＳ６０６又はステップＳ６０７の処理によって得られた被写体領域マップが、第３の被写体領域マップとして、領域補正部１１１から後段の領域別画像処理部１１２に送られる。

【0053】

そして、ステップＳ６０８に進むと、領域別画像処理部１１２では、領域補正部１１１から送られてきた第３の被写体領域マップを基に、領域別画像処理を行う。なお、第１の実施形態では、領域別画像処理として領域別リライティングを行うものとするが、この限りではない。例えば、領域別画像処理は、領域別再現像処理等であってもよい。

【0054】

以上説明したように、第１の実施形態の画像処理装置１００においては、第１の被写体領域マップが適切の補正されなかった場合は、優先的に第２の被写体領域マップが領域別画像処理に用いられることなる。このため、第１の実施形態の画像処理装置１００によれば、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。

【0055】

第１の実施形態では、例えば二つの画素データ間のずらし量に基づいて算出されたデフォーカス量分布を、画像評価値マップとしているが、これ限るものではない。例えば、画像評価値マップは、コントラスト測距方式による被写体距離つまりフォーカス位置を逐次異ならせて得られる画像群から取得されるコントラスト情報分布に基づいて生成されても良い。また例えば、画像評価値マップは、像面側のデフォーカス量を物体面側の距離値に変換した距離情報分布に基づいて生成されても良い。また距離情報分布を取得する際の測距の方式は、位相差測距方式、コントラスト測距方式あるいは画像特徴に基づくパッシブ方式に限定されない。例えば、測距は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式等の測距センサモジュールから得た距離分布に関連する情報が用いられてもよい。また例えば、ピントや絞り値が異なる２枚の画像の相関からデフォーカス量を取得するＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式を用いたデフォーカス量分布が用いられてもよい。また例えば、赤外光を物体に照射し、その物体で反射した赤外光を受光して得られた赤外線分布情報が距離情報として用いられてもよい。また第１の実施形態では、距離情報に基づく画像評価値マップを用いて第１の被写体領域マップを生成したが、これに限るものではない。例えば、第１の被写体領域マップは、意味的領域分割の確率分布情報を用いて生成されてもよい。また、第１の被写体領域マップは、例えば動きベクトル分布をマップ化したオプティカルフロー分布情報、色情報を基にラベリングした色ラベルマップ、機械学習に基づいた意味的領域分割などに基づいて被写体領域マップが生成されてもよい。すなわち本実施形態において、画像評価値マップは、色分布情報、輝度分布情報、デフォーカス量分布情報、視差分布情報、距離分布情報、意味的領域分割の確率分布情報、赤外線分布情報、オプティカルフロー分布情報のうち、いずれかを含むものでもよい。

【0056】

第１の実施形態では、色分布情報と輝度分布情報の少なくともいずれかを用いて被写体領域の補正処理を行ったが、これに限るものではない。例えば、被写体領域の補正処理は、意味的領域分割の確率分布情報と赤外線分布情報とのうち、第１の被写体領域マップ生成に用いていない、いずれかの情報を用いて行われてもよい。すなわち第１の実施形態において、被写体領域補正処理での領域分割の際には、色分布情報と、輝度分布情報と、意味的領域分割の確率分布情報と、赤外線分布情報と、のうち画像評価値マップとは異なるいずれかを用いてもよい。

【0057】

また第１の実施形態では、被写体検出部１０９が検出した顔や器官の位置や向きから、事前に作成したモデルを当てはめて第２の被写体領域マップを生成したが、これに限るものではない。例えば、第２の被写体領域マップは、意味的領域分割の確率分布情報、赤外線分布情報のうち、いずれかの情報を用いて生成されてもよい。

【0058】

＜第２の実施形態＞
以下、本発明に係る第２の実施形態の画像処理装置１００について、図面を参照して詳細に説明する。なお、第２の実施形態の構成は前述した図１と同様であるため、その図示及び構成の説明は省略する。

【0059】

第２の実施形態の画像処理装置１００は、第１の実施形態と同様に、第１の被写体領域マップを補正したときに、過補正となっている領域を補正評価値（乖離度）として算出する。そして、第２の実施形態の画像処理装置１００は、この補正評価値（乖離度）に応じて、補正後の第１の被写体領域マップと、画像評価値マップを用いずに生成した第２の被写体領域マップとを加重合成し、この加重合成したマップを第３の被写体領域マップとする。この第３の被写体領域マップを領域別画像処理に用いることにより、第２の実施形態の画像処理装置１００においても、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。

【0060】

図８は、第２の実施形態の領域補正部１１１における処理の流れを示したフローチャートである。ステップＳ８０１からステップＳ８０４までの各処理は、前述した図６のステップＳ６０１からステップＳ６０４までの処理と同様であるためそれらの説明は省略する。

【0061】

ステップＳ８０４の後、ステップＳ８０５に進むと、領域補正部１１１は、画像評価値マップを用いて生成されて補正した後の第１の被写体領域マップと、画像評価値マップを用いずに生成した第２の被写体領域マップとを、加重合成する。

【0062】

これについて図９を用いて説明する。ここで、補正後の第１の被写体領域マップ９０１は図７で説明した補正後の第１の被写体領域マップ７０１と同様のものである。また、第２の被写体領域マップ９０２は前述の第２の被写体領域マップ７０５と同様のものであり、過補正領域マップ９０３は過補正領域マップ７０７と同様のものである。

【0063】

第２の実施形態の場合、まず、領域補正部１１１は、過補正領域マップ９０３を用いて合成比率を算出する。ここで、領域補正部１１１は、過補正領域マップ９０３の面積が多いほど、第１の被写体領域マップ９０２の合成比率を増やす。第２の実施形態では、過補正領域マップ９０３の面積のみを用いて合成比率を算出するが、この限りではない。例えば合成比率は、過補正領域マップ９０３の面積と被写体の顔の面積に応じて算出されてもよい。

【0064】

次に、領域補正部１１１は、前述の合成比率を基に、補正後の第１の被写体領域マップ９０１と第２の被写体領域マップ９０２とを加重合成する。これにより、加重合成後マップ９０４（第３の被写体領域マップ）が得られる。
ステップＳ８０６の処理は、ステップＳ６０８と同様であるためその説明は省略する。

【0065】

以上のように、第２の実施形態の場合、領域補正部１１１は、第１の被写体領域マップの補正の過剰具合に応じて、補正後の第１の被写体領域マップと第２の被写体領域マップとを加重合成して第３の被写体領域マップを生成する。第２の実施形態によれば、この加重合成したマップ（第３の被写体領域マップ）を領域別画像処理に用いることで、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。

【0066】

＜第３の実施形態＞
以下、本発明に係る第３の実施形態による画像処理装置１００について、図面を参照して詳細に説明する。なお、第３の実施形態の構成は前述した図１と同様であるため、その図示及び構成の説明は省略する。
第３の実施形態では、被写体領域マップの補正処理において補正不足となっている領域が発生した場合について述べる。第３の実施形態の場合、乖離度は、第１の被写体領域マップのなかで信頼度が低い領域で且つ補正しなかった領域で且つ被写体領域となる領域の面積値である。

【0067】

これについて、図１０（ａ）～図１０（ｅ）を用いて説明する。図１０（ａ）は図２（ａ）と同様の画像１００１を表し、図１０（ｂ）は図２（ｂ）と同様の被写体領域マップ１００２を表している。また、図１０（ｃ）は図２（ｃ）と同様の信頼度マップ１００３を、図１０（ｄ）は図２（ｄ）と同様の領域分割結果１００４を、図１０（ｅ）は図２（ｅ）と同様の補正後被写体領域マップ１００５を表している。各々の生成方法は図２（ａ）～図２（ｅ）で述べた方法と同様であるためそれらの説明は省略する。

【0068】

ここで、図１０（ａ）～図１０（ｅ）の例において、前述した図２（ａ）～図２（ｅ）の例と異なるのは、被写体内に被写体の主たる色とは異なる色を持つ模様１００６が存在することである。模様１００６は、領域分割結果１００４のように分割されるが、第１の被写体領域マップ１００２のように被写体領域は存在しない。そのため、補正処理によっては補正されず、補正後被写体領域マップ１００５のような補正不足が生ずる。これにより、後段の領域別画像処理において不自然な画像が生成されてしまうことになる。

【0069】

第３の実施形態の場合、領域補正部１１１は、第１の被写体領域マップを補正したときに、補正不足となっている領域を補正評価値（乖離度）として算出する。領域補正部１１１は、この補正（乖離度）に応じて、補正後の第１の被写体領域マップと第２の被写体領域マップとのどちらを領域別画像処理に用いるかを選択して第３の被写体領域マップを生成する。これにより、第３の実施形態によれば、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。

【0070】

第３の実施形態における処理の流れを、前述した図６のフローチャートを参照しながら説明する。ただし、第３の実施形態の場合、第１の実施形態のステップＳ６０４で行われる補正評価値算出の処理のみが異なる。そのため、それ以外の処理の説明は省略する。

【0071】

第３の実施形態の場合、ステップＳ６０４において、領域補正部１１１は、補正すべきだった領域を補正しているかどうかを評価する。すなわち、第３の実施形態の場合、第１の被写体領域マップ生成時の信頼度が低い領域で且つ補正しなかった領域において、第２の被写体領域マップの被写体領域となる領域の面積値を、マップ補正処理のための補正評価値（乖離度）として用いる。

【0072】

これについて、図１１を用いて説明する。
まず、領域補正部１１１は、補正後の第１の被写体領域マップ１１０１から補正された領域を算出する。これは、補正後の第１の被写体領域マップ１１０１と信頼度マップ１１０２とを論理和演算（ｏｒ演算）したマップ１１０３を反転することで求められる。これにより、未補正領域マップ１１０４が得られる。

【0073】

次に、領域補正部１１１は、未補正領域マップ１１０４から補正すべきだった領域を算出する。これは、第２の被写体領域マップ１１０５と未補正領域マップ１１０４とを論理積演算（ａｎｄ演算）すれば求めることができる。これにより、補正不足領域マップ１１０６が得られる。
第３の実施形態では、この補正不足領域マップの面積が、マップ補正処理のための補正評価値（乖離度）となる。以降の処理は、第１の実施形態と同様であるため説明は省略する。

【0074】

以上のように、第３の実施形態では、第１の被写体領域マップが適切の補正されなかった場合は、第２の被写体領域マップが優先的に領域別画像処理に用いられるため、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。

【0075】

第３の実施形態では、第１の実施形態と同様に、補正評価値（乖離度）に応じて補正後の第１の被写体領域マップと第２の被写体領域マップのどちらを領域別画像処理に用いるか選択する、としたがこの限りではない。例えば第３の実施形態でも第２の実施形態と同様に、補正評価値（乖離度）に応じて、補正後の第１の被写体領域マップと第２の被写体領域マップとを加重合成し、この加重合成したマップを第３の被写体領域マップとして領域別画像処理に用いてもよい。

【0076】

第３の実施形態では、補正不足領域マップの面積を補正評価値（乖離度）としたが、第１の実施形態および第２の実施形態で用いた過補正領域マップの面積と、補正不足領域マップの面積との和もしくは加重和を乖離度（補正評価値）としてもよい。この場合の乖離度は、補正後の領域から第１の被写体領域マップの被写体領域を除いた領域の面積値と、第１の被写体領域マップ生成時の信頼度が低い領域で且つ補正されなかった領域における第２の被写体領域マップの被写体領域の面積値とを合成した値である。

【0077】

以上説明した第１～第３の各実施形態によれば、主被写体領域マップの補正処理に失敗しても被写体領域の不自然さを低減できる画像処理装置を提供することができる。

【0078】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの各実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。前述の実施形態では、画像処理装置がデジタルカメラに適用される例を挙げたが、画像処理部１０７、被写体検出部１０９、領域抽出部１１０、領域補正部１１１および領域別画像処理部１１２を分離して例えばコンピュータとする構成でも構わない。

【0079】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0080】

１００：画像処理装置、１０１：システム制御部、１０５：撮像部、１０７：画像処理部、１０９：被写体検出部、１１０：領域抽出部、１１１：領域補正部、１１２：領域別画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】