特許 7545220 画像処理装置及び方法、及び、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-27

(45)【発行日】2024-09-04

(54)【発明の名称】画像処理装置及び方法、及び、撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240828BHJP

【ＦＩ】

H04N23/60 500

【請求項の数】 13

(21)【出願番号】P 2020049944

(22)【出願日】2020-03-19

(65)【公開番号】P2021150857

(43)【公開日】2021-09-27

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小貫 賢治

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１０－１０４０６１（ＪＰ，Ａ）

【文献】特開２００７－３００２２１（ＪＰ，Ａ）

【文献】特開２００８－０１１２６４（ＪＰ，Ａ）

【文献】特開２００９－２５３９２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ７／１８

Ｇ０３Ｂ １３／３０

(57)【特許請求の範囲】

【請求項1】

画像から、予め決められた被写体を検出する検出手段と、
前記検出された被写体から、予め決められた第１の条件を満たす第１の被写体を選択する選択手段と、
前記画像を構成する複数の領域それぞれについて、被写体距離を示す距離情報を取得する取得手段と、
前記第１の被写体を基準として、前記第１の被写体を含む第１の領域と、前記第１の被写体を含まない第２の領域とを抽出する抽出手段と、を有し、
前記第１の条件は、予め決められた第１の大きさ以上の大きさを有する前記被写体のうち、最も小さいことであり、
前記抽出手段は、前記画像が予め決められた第２の条件を満たす場合に、前記距離情報に基づいて、前記画像から、前記第１の被写体から予め決められた第１の範囲内の距離を有する領域及び前記被写体よりも近い領域を前記第１の領域として抽出することを特徴とする画像処理装置。

【請求項2】

前記抽出手段は、前記第１の被写体から前記第１の範囲の距離よりも遠い領域を前記第２の領域として抽出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の条件は、前記検出された被写体のうち少なくとも１つが予め決められた大きさよりも大きいこと、前記画像を撮影した時のＦ値が予め決められた値より絞り込まれていること、前記画像を撮影した時のＩＳＯ感度が予め決められた感度よりも高いこと、の少なくともいずれかを含むことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記抽出手段は、前記画像が前記第２の条件を満たさない場合に、前記検出された被写体の大きさに基づいて前記第１の領域を抽出することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記抽出手段は、前記画像が前記第２の条件を満たさない場合に、
前記検出された被写体のうち、前記第１の大きさよりも小さい第２の大きさ以上の大きさを有する被写体のうち、最も小さい第２の被写体を検出し、
前記検出された被写体のうち、前記第２の被写体と、前記第２の被写体の大きさから予め決められた範囲内にある大きさの被写体の領域を前記第１の領域として抽出することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第２の領域は、前記第１の領域を除く領域であることを特徴とする請求項４または５に記載の画像処理装置。

【請求項7】

前記被写体は、顔、人物、動物、建造物、乗り物のいずれかであることを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。

【請求項8】

前記第１の領域または前記第２の領域に、画像処理を行う画像処理手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記第１の領域及び前記第２の領域に、互いに異なる画像処理を行う画像処理手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項10】

前記画像処理は、明るさ、コントラスト、色相、彩度、シャープネスの少なくとも一つを含むことを特徴とする請求項８または９に記載の画像処理装置。

【請求項11】

画像を撮影する撮像手段と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と、を有し、
前記画像処理装置は、前記撮像手段により撮影された画像を処理することを特徴とする撮像装置。

【請求項12】

検出手段が、画像から、予め決められた被写体を検出する検出工程と、
選択手段が、前記検出された被写体から、予め決められた第１の条件を満たす第１の被写体を選択する選択工程と、
取得手段が、前記画像を構成する複数の領域それぞれについて、被写体距離を示す距離情報を取得する取得工程と、
抽出手段が、前記第１の被写体を基準として、前記第１の被写体を含む第１の領域と、前記第１の被写体を含まない第２の領域とを抽出する抽出工程と、を有し、
前記第１の条件は、予め決められた第１の大きさ以上の大きさを有する前記被写体のうち、最も小さいことであり、
前記抽出工程では、前記画像が予め決められた第２の条件を満たす場合に、前記距離情報に基づいて、前記画像から、前記第１の被写体から予め決められた第１の範囲内の距離を有する領域及び前記被写体よりも近い領域を前記第１の領域として抽出することを特徴とする画像処理方法。

【請求項13】

コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び方法、及び、撮像装置に関し、更に詳しくは、デジタルカメラ等で撮影された画像に対する画像処理技術に関するものである。

【背景技術】

【0002】

従来より、画像の明瞭度や明るさを補正するための画像処理を、画像内の一部の領域に適用する処理が知られている。そのような処理において、処理を適用する一部の領域を抽出するために被写体検出の情報を参照し、例えば顔の大きさに基づいて被写体領域を決定する技術がある。

【0003】

特許文献１では、検出した人物の顔から基準となる顔を選択し、その大きさに基づいて全ての顔を網羅する人物領域を決定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－２０８７３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示されている構成は、人物が含まれる可能性が高い領域を矩形のような大まかな範囲で決定するのに適したものであり、領域毎に画像処理を適用するのに必要な精度で被写体領域を抽出することは困難である。

【0006】

また、例えば、被写体と背景とで異なる画像処理を行いたい場合に、シーンによっては被写体領域を精度よく抽出することができず、狙いとする画像処理の効果が得られない場合があった。

【0007】

本発明は上記問題点を鑑みてなされたものであり、画像から被写体領域を抽出する精度を高めることを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の画像処理装置は、画像から、予め決められた被写体を検出する検出手段と、前記検出された被写体から、予め決められた第１の条件を満たす第１の被写体を選択する選択手段と、前記画像を構成する複数の領域それぞれについて、被写体距離を示す距離情報を取得する取得手段と、前記第１の被写体を基準として、前記第１の被写体を含む第１の領域と、前記第１の被写体を含まない第２の領域とを抽出する抽出手段と、を有し、前記第１の条件は、予め決められた第１の大きさ以上の大きさを有する前記被写体のうち、最も小さいことであり、前記抽出手段は、前記画像が予め決められた第２の条件を満たす場合に、前記距離情報に基づいて、前記画像から、前記第１の被写体から予め決められた第１の範囲内の距離を有する領域及び前記被写体よりも近い領域を前記第１の領域として抽出することを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像から被写体領域を抽出する精度を高めることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態における撮像装置の構成例を示すブロック図。

【図2】実施形態における撮像部の構成例を示す図。

【図3】実施形態における入力画像の一例を示す図。

【図4】実施形態における処理を示すフローチャート。

【図5】実施形態における被写体検出結果の一例を示す図。

【図6】実施形態におけるデフォーカスマップの一例を示す図。

【図7】実施形態における領域マップの一例を示す図。

【図8】実施形態における領域マップの一例を示す図。

【図9】実施形態における人型シルエットの生成方法及び領域マップの一例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

本実施形態では、デジタルカメラ等の撮像装置を用いて撮影した画像に対して、各種の画像情報及び距離情報を用いて、領域別にコントラストを補正するユースケースについて述べる。なお、以下の説明では、画像処理装置の一例として撮像装置について説明するが、本実施形態の画像処理装置は撮像装置に限定されるものでは無く、例えばパーソナルコンピュータ（ＰＣ）等であってもよい。

【0013】

図１は、本発明の画像処理装置を撮像装置１００に応用した場合の構成例を示すブロック図である。図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

【0014】

光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

【0015】

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整や縮小／拡大の他、ノイズ低減処理や現像処理といった通常の信号処理や、様々な画像処理を適用し、処理した画像を再びＲＡＭ１０３に記憶する。

【0016】

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像や、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像等が、記録画像として記録される。

【0017】

表示部１０９は、ＬＣＤ等の表示デバイスであり、撮像部１０５で取り込まれた被写体像をスルー表示する等、様々な情報を表示する。
操作部１１０は、レリーズスイッチを含む複数の操作部材類であり、撮影モードや焦点距離、絞り値、露光時間等の設定の他、オートフォーカスやレリーズ等の操作を指示する。
評価値取得部１１１は、得られた画像データから、被写体距離やデフォーカス値等の評価値を算出する。

【0018】

被写体検出部１１２は、得られた画像データから画像内に特定の被写体が存在するか否かを検出し、存在する場合には被写体の位置（画像内での座標）及び大きさを出力する。特定の被写体としては、人物の顔や体全体、各種動物や乗り物等、種々のものが考えられる。

【0019】

図２は、図１の撮像部１０５の画素配列構成を示す図である。図２に示すように、撮像部１０５には、複数の画素２０２が二次元的に規則的に配列されている。各画素２０２は、１つのマイクロレンズ２０１と一対の光電変換部２０３，２０４を含んで構成される。なお、光電変換部２０３，２０４の平面形状はこれに限定されるものではなく、他の平面形状や配置にしてもよい。また、各画素２０２に設けられるフォトダイオードの個数は２つに限定されず、３つ以上（例えば、４つ）であってもよい。

【0020】

本実施形態においては、二次元的に規則的に配列された光電変換部２０３，２０４からそれぞれ信号を読み出す。そして、複数の画素２０２の光電変換部２０３から読み出した信号（以下、「Ａ信号」と呼ぶ。）を繋げてＡ像、複数の画素２０２の光電変換部２０４から読み出した信号（以下、「Ｂ信号」と呼ぶ。）を繋げてＢ像とすることで、視差画像であるＡ像、Ｂ像が出力される。また、同じ画素２０２の光電変換部２０３，２０４からそれぞれ出力されたＡ信号とＢ信号を加算することで、静止画像用の信号として用いることのできるＡ＋Ｂ信号を生成することができ、生成したＡ＋Ｂ信号は記録媒体１０８に記録される。なお、光電変換部２０３，２０４からの読み出し方法はこれに限られるものでは無く、例えば、各画素２０２からＡ信号とＡ＋Ｂ信号を読み出し、Ａ＋Ｂ信号からＡ信号を差分することで、Ｂ信号を得るようにしてもよい。

【0021】

撮像部１０５を図２に示すように構成することで、光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像、Ｂ像として出力することができる。なお、Ａ像、Ｂ像の取得方法は、上記に限られず、種々の方法を採ることができる。例えば、空間的に間隔をあけて設置した複数台のカメラ等の撮像装置により取得された互いに視差を有する画像をＡ像、Ｂ像としてもよい。また、複数の光学系と撮像部とを有する１台のカメラ等の撮像装置により取得された視差画像を、それぞれＡ像、Ｂ像としてもよい。

【0022】

図３は、撮像装置１００により撮像された画像の例を示しており、一例として、主となる被写体として、複数の人物が互いに異なる配置で写っている場合を示している。図３（ａ）に示す画像３００では、人物３０１，３０２，３０３が撮像装置１００の近くに横に並んで撮影されている。図３（ｂ）に示す画像３１０では、撮像装置１００から見て手前より人物３１３，３１１，３１２が奥行方向に異なる位置で撮影されている。また、図３（ｃ）に示す画像３２０では、撮像装置１００から離れた位置に居る人物３２１，３２２，３２３，３２４が撮影されている。

【0023】

次に、図４のフローチャートを参照して、本実施形態において人物領域及び前景領域を抽出する処理について説明する。また、処理の具体例として図３に示す画像３００，３１０，３２０を例にとり、画像のサイズが横６０００ｘ縦４０００ピクセルであるものとして説明する。

【0024】

Ｓ４０１では、入力画像に含まれる被写体として人物の顔を検出する。具体的な検出方法としては、例えば、特開平１０－１６２１１８号公報に開示されているような公知の手法により顔を検出し、検出された各顔の画像における座標及び大きさを出力する。

【0025】

図５は、図３に示す画像３００，３１０，３２０に対してそれぞれＳ４０１の処理を行った例を示したものであり、各顔の位置（矩形の中心座標）及び大きさ（矩形の一辺の長さ）に基づいて、各顔を示す枠５００を表している。ここでは検出した顔の大きさを、画像３００における人物３０１では６７０ピクセル、人物３０２では７００ピクセル、人物３０３では６８０ピクセルとする。同様に画像３１０における人物３１１では６６０ピクセル、人物３１２では６１０ピクセル、人物３１３では８００ピクセルとする。また、画像３２０における人物３２１では３２０ピクセル、人物３２２では２８０ピクセル、人物３２３では３５０ピクセル、人物３２４では１２０ピクセルとする。

【0026】

Ｓ４０２では、撮像部１０５から一対の視差画像であるＡ像及びＢ像を取得し、この取得した視差画像を元に、撮影範囲における空間的なデフォーカス値分布を表すデータを出力する。以降の説明では空間的なデフォーカス値分布を表すデータをデフォーカスマップと呼ぶ。デフォーカス値は光学系１０４が合焦している距離からのピントのずれ量であるため、距離情報の一種である。なお、デフォーカス値を取得する手法については、例えば、特開２００８－１５７５４号公報に開示されている手法のように、視差画像間の位相差を算出する方法を用いることができる。

【0027】

画像３００，３１０，３２０に対するデフォーカスマップを図６に示す。図６のデフォーカスマップは、デフォーカス値が小さいほど白く（画素値が高くなる）なる連続値のグレースケールで表現されており、画像３００において人物３０２の領域は合焦領域（デフォーカス値がゼロ）を示す灰色で表現されている。画像３１０においては、人物３１１の領域に対して、人物３１２，３１３の領域は相対的にデフォーカス値が大きくなっている。画像３２０においては、フォーカスを合わせている人物が遠くにいて被写界深度が深くなっていることから、画像３００，３１０と比較して、人物以外の背景部分のデフォーカス値が小さくなっていることがわかる。

【0028】

Ｓ４０３では、各画像において検出した顔から、基準とする顔（以下「基準顔」と呼ぶ。）を一つ選択する。選択の方法としては、まず検出した全ての顔のうち、所定の大きさＴｈ１（例えば、Ｔｈ１＝画像の長辺の１０％）以上を有するものを選定し、その中から最も小さい顔を基準顔とする。本実施形態に示す例では、画像のサイズが横６０００ピクセルであるので、所定の大きさＴｈ１を６００ピクセルとして、６００ピクセル以上の顔から選択される。

【0029】

画像３００においては人物３０１、画像３１０においては人物３１２が基準顔として選択される。画像３２０においては全ての人物がＴｈ１に満たない大きさのため、ここでは基準顔の選択を行わない。

【0030】

Ｓ４０４では、人物領域を抽出するためにデフォーカス値を参照するか否かを判定する。具体的には、Ｓ４０１で検出した全ての顔が所定の大きさＴｈ１より小さい場合にはデフォーカス値を参照せず、一つでもＴｈ１以上の大きさを有する顔を検出した場合にはデフォーカス値を参照する。これは、全ての顔が小さく写っている、すなわち人物が撮像装置１００から遠くにいる場合、パンフォーカスとなり画像全体的にデフォーカス値が小さくなりやすいことから、デフォーカス値に基づいて領域を分離することが困難と考えられるためである。本実施形態では、画像３００，３１０の場合はデフォーカス値を参照すると判定してＳ４０５へ、画像３２０の場合は全ての顔がＴｈ１に満たないためデフォーカス値を参照しないと判定してＳ４０８へ処理を進める。

【0031】

なお判定の方法としてはこれに限らず、撮影条件等各種の画像情報を用いるようにしてもよい。例えば、Ｆ値が所定以上絞り込まれている場合には同様に深度が深くなりデフォーカス値が小さくなりやすく、ＩＳＯ感度が高い場合にはＡ像とＢ像の視差とノイズとを分離することが困難となり、デフォーカス値の精度が不足しやすくなることが考えられる。従って、Ｆ値やＩＳＯ感度が所定以上の場合にはデフォーカス値を参照しないようにしてもよい。

【0032】

Ｓ４０５では、基準顔のデフォーカス値を算出する。具体的には、Ｓ４０２で生成したデフォーカスマップにおいて、Ｓ４０４で選択した基準顔の顔検出枠におけるデフォーカス値の平均値Ｄｅｆ＿ｂａｓｅを算出する。

【0033】

Ｓ４０６では、人物領域として抽出するためのデフォーカス値の範囲を決定する。範囲の決め方としては、Ｓ４０５で算出した基準顔のデフォーカス値Ｄｅｆ＿ｂａｓｅに基づいて、基準顔と同一の距離として扱うデフォーカス値の上限値及び下限値を算出する。下限値、すなわち基準顔に対して奥側の閾値はＤｅｆ＿ｂａｓｅ－５％とし、上限値すなわち基準顔に対して手前側の閾値はＤｅｆ＿ｂａｓｅ＋５％とする。従って、デフォーカス値がＤｅｆ＿ｂａｓｅ±５％である領域を人物領域とする。

【0034】

なお人物領域を示すデフォーカス値の範囲の決定方法は、上述したような顔領域のデフォーカスの平均値に基づいて算出した閾値と比較する手法に限らず、他の評価値に基づいて算出してもよい。例えば、デフォーカスのヒストグラムを生成し、基準顔のデフォーカス平均値からカウントを加算しながら範囲を広げていき、カウント積算値が所定の割合（例えば全カウント数の５％）に達した時点での値を上限値及び下限値とする、といった統計を利用した方法等、種々の方法で可能である。

【0035】

Ｓ４０７では、Ｓ４０６で算出した閾値に基づいて人物領域及び前景領域を示す領域マップを生成する。まずＳ４０２で生成したデフォーカスマップにおいて、デフォーカス値がＳ４０６で算出した範囲内である領域を人物領域として抽出し、さらに手前側の閾値よりも大きい領域を前景領域として抽出し、２値化したものを生成する。

【0036】

なお、Ｓ４０６では、大きさがＴｈ１に満たない顔であっても、デフォーカス値がＳ４０６で算出した範囲内であれば、人物領域として抽出される。これは基準顔とほぼ同等の距離（本実施形態で言えば、デフォーカス値がＤｅｆ＿ｂａｓｅ±５％の範囲内）にいる顔は、基準顔と関係のない他人ではなく、基準顔に関係する人物の顔であると推測されるからである。この考え方は、基準顔がＴｈ１にほぼ等しいような場合に重要となる。例えば、Ｔｈ１をわずかに超える大きさの顔Ａと、Ｔｈ１をわずかに超えない大きさの顔Ｂとが並んでいる画像が有り得る。このような場合、顔Ａは人物領域として補正されず、顔Ｂは背景領域として補正されることになり、不自然な画像となってしまう。

【0037】

そこで本実施形態では、基準顔から一定範囲内の距離に存在する顔を、人物領域となるようにする。先に挙げた例で言えば、顔Ｂは人物領域となり、補正されないことになる。一方で顔Ｂは同じ大きさで存在するが、顔Ａは同じ大きさに存在しない（顔Ｂが基準画像から所定の距離範囲内にない場合）、顔Ｂは人物領域とはならない。これは、顔ＢはＴｈ１をわずかに超えない大きさであるためである。

【0038】

画像３００に対してＳ４０７で抽出した結果を図７に示す。画像３００では、人物３０１，３０２，３０３がほぼ等距離に居てデフォーカス値も互いに近い値を持っていることから、図７に示すように、３人の人物が全て人物領域７０１として抽出される。

【0039】

図８（ａ）は、画像３１０に対して抽出された人物領域を示したものである。基準顔として選択された人物３１２及びそれに近い距離に居る人物３１１が人物領域として抽出され、最も手前側にいる人物３１３は人物３１２から離れた距離に居ることから、人物領域として抽出されない。図８（ｂ）は、画像３１０の前景領域を抽出した結果を示したものであり、Ｓ４０６で算出した範囲よりも大きい値、すなわち手前にいる人物３１３が抽出されている。人物領域として抽出した領域７１０と、前景領域として抽出した領域７１１とを統合することで、領域マップを生成する。図８（ｃ）はその結果を示したものであり、３人の人物が全て抽出されていることがわかる。なお、領域マップがより被写体の輪郭に合うように、例えば特開２０１７－１１６５２号公報で述べられているような画像３００，３１０の各画素値を参照した整形処理を行ってもよい。

【0040】

一方、Ｓ４０８では、検出された全ての顔に対して主要な被写体の顔であるか否かを判定する。判定の方法としては、まず検出された顔の中から所定の大きさＴｈ２（例えば、Ｔｈ２＝画像の長辺の５％）以上を有するものを選択し、その中から最も小さい顔を基準顔とする。したがって、画像３２０の場合、大きさが６０００ｘ０．０５＝３００ピクセル以上の顔のうち、最も小さい顔である人物３２１が基準顔として選択される。さらに基準顔として選択した顔の大きさに所定の比率（例えば０．８）を乗算した値である３００ｘ０．８＝２４０ピクセルを大きさの閾値として算出し、算出した閾値以上の大きさを持つ顔のみを主要な顔と判定する。

【0041】

基準顔である人物３２１及びそれよりも顔の大きい人物３２３は主要な顔として判定され、人物３２１よりも顔の小さい人物３２２も、顔の大きさが閾値である２４０ピクセル以上であるため主要な顔として判定される。一方で人物３２４は閾値を下回るほど顔が小さいため主要な顔として判定されないことになる。これは、固定値であるＴｈ２を閾値として判定に用いると、顔の大きさがわずかに異なる複数の人物が存在する場合に判定結果がまばらになったり、Ｔｈ２を小さくしすぎると本来は主要でないような人物まで主要と判定したりすることを避けることが目的である。

【0042】

Ｓ４０９では、Ｓ４０８の判定結果に基づいて領域マップを生成する。具体的には、まず主要な顔と判定した各々の人物に対して簡易的な人物モデルのシルエットを割り当てる。図９は、Ｓ４０９におけるシルエットの割り当ての一例を示したものである。図９（ａ）は、入力画像８００及び検出された顔を示す枠８０１を示す図であり、図９（ｂ）は、検出した顔の位置、大きさに基づいて、人物が存在すると想定される領域に対して、顔部分９０２と胴体部分９０３から成るシルエット画像８１０を生成した例を示す図である。。なお、参照する情報としては顔検出結果に限らず、人物の体全体を含めた領域の検出結果であってもよい。

【0043】

図９（ｃ）は、上記処理を画像３２０に対して行った結果を示す図であり、Ｓ４０８で検出した３人分の主要顔に対して、人物シルエットが生成されている。なお、画像３２０に対して、例えば特開２０１７－１１６５２号公報で述べられているような、各画素値を参照した整形処理を行うことで、さらに領域マップがより被写体の輪郭に合うようにすることができ、これが最終的な領域マップとなる。得られた領域マップの例を図９（ｄ）に示す。

【0044】

Ｓ４１０では、Ｓ４０７あるいはＳ４０９で生成した領域マップを用いて一部領域のみコントラストが補正された画像を生成する。ここで一部領域とは、画像３００では、図７に示す生成した領域マップにおいて、人物が含まれない背景領域７０２とする。具体的な補正方法としては、まず画像３００全体のコントラストを補正した画像を生成する。コントラストの補正方法としては、例えば特開２０１９－２８５３７号公報で述べられているような低周波領域の明るさを変えることなく局所的なコントラストのみを補正する手法等、既存の技術を用いて良い。これをコントラストの補正をせずに現像した画像と、図７に示す領域マップに基づいて、人物領域７０１ではコントラストの補正をしていない画像、背景領域ではコントラストを補正した画像を選択することにより、合成を行う。この際、両者を重みづけ加算してもよい。また、重みづけ加算の重みは画像内の位置に応じて変化させてもよい。例えば、領域の境界部では補正なし画像と補正した画像の重みを同等とし、領域の境界から離れるにつれて人物領域７０１では補正をしていない画像の、背景領域では補正した画像の重みを増やすようにしてもよい。これにより、領域マップにおける背景領域７０２のみコントラストが補正された画像を生成することが可能となる。画像３１０，３２０についても同様に領域マップに基づいて処理を行う。

【0045】

このように、撮影した画像に対して、被写体検出情報や距離情報を用いて人物領域を抽出して領域マップを生成し、領域別に階調処理を行うと、処理を終了する。

【0046】

上記の通り本実施形態によれば、複数の被写体が存在する場合に、予め決められた大きさを有する顔の中で最小の顔を基準として主要な被写体のみを含む領域を抽出することで、領域毎の画像処理において所望とする効果を得ることが可能となる。

【0047】

なお、本実施形態では、図２を参照して説明したように、撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて距離情報を生成する構成について説明したが、他の構成や手段を代用あるいは併用しても良い。例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや超音波により距離が計測可能な構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上することが可能となる。

【0048】

また、本実施形態では、主被写体が人物で背景のコントラストを補正する場合について述べたが、補正する対象の領域や補正の方法はこれに限らず他の組み合わせであっても良い。例えば主被写体としては動物や建造物、乗り物等でも良く、該被写体を検出する技術を用いることで本発明を適用することが可能である。

【0049】

また、本実施形態では背景領域を補正し、人物領域は補正しない場合について説明したが、これには限定されず、分割（抽出）した領域情報を活用した種々の処理に応用することが可能である。例えば本実施形態のように領域分割をした後、人物領域を補正し背景領域を補正しない処理（例えば肌領域のコントラストを下げて美肌効果を付与する処理）に用いることも可能である。

【0050】

また、画像処理はコントラストの補正に限らず、明るさや色相、彩度、シャープネス等を補正するようにしても良い。例えば人物領域のみに対して明るさを補正することによって、逆光等で暗くなった人物の顔を撮影後に調整することが可能となる。

【0051】

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0052】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0053】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0054】

１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１０９：表示部、１１０：操作部、１１１：評価値取得部、１１２：被写体検出部、２０１：マイクロレンズ、２０２：画素、２０３，２０４：光電変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】