特許 7446080 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】画像処理装置、撮像装置、制御方法、プログラム及び撮像システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240301BHJP

   G06T 7/11 20170101ALI20240301BHJP

【ＦＩ】

H04N23/60 500

G06T7/11

【請求項の数】 20

(21)【出願番号】P 2019188864

(22)【出願日】2019-10-15

(65)【公開番号】P2021064884

(43)【公開日】2021-04-22

【審査請求日】2022-10-17

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】渡澤 尚子

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３０４０７１（ＵＳ，Ａ１）

【文献】特開２０１８－１０７６５４（ＪＰ，Ａ）

【文献】特開２０１８－０７４３６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

撮像画像に対して、所定の被写体が含まれる領域についての画像処理を実行する画像処理装置であって、
前記撮像画像について、深度方向の被写体距離の分布を示した距離情報、及び前記撮像画像に含まれる前記所定の被写体の検出結果を示した被写体情報を取得する取得手段と、
前記取得手段により取得された前記距離情報に基づいて、前記撮像画像において所定の距離範囲に存在する被写体の像が分布する第１の被写体領域を特定する第１の特定手段と、
前記取得手段により取得された前記距離情報に基づかず、前記被写体情報に基づいて、前記撮像画像において前記所定の被写体が検出された領域を含む第２の被写体領域を特定する第２の特定手段と、
前記第１の被写体領域及び前記第２の被写体領域の少なくともいずれかを参照し、前記画像処理を実行する対象領域を決定する決定手段と、
を有し、
前記決定手段は、前記撮像画像の撮像条件及び前記撮像画像の状態の少なくともいずれかに応じて、参照する被写体領域を異ならせる
ことを特徴とする画像処理装置。

【請求項2】

前記距離情報は、前記撮像画像に基づいて被写体距離の分布が導出されたものであり、
前記決定手段は、前記撮像画像を撮像時の撮像設定に基づいて、前記撮像画像の撮像条件を判定し、該判定に基づいて参照する被写体領域を異ならせる
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記決定手段は、前記撮像画像を撮像時の感度設定（ＩＳＯ値）が第１の閾値を上回る場合に、前記第１の被写体領域に優先して前記第２の被写体領域を参照して前記対象領域を決定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記決定手段は、前記撮像画像の撮像時のＩＳＯ値が、前記第１の閾値よりも低い第２の閾値を上回り、かつ、前記第１の閾値を下回る場合に、前記第１の被写体領域と前記第２の被写体領域とを重み付け合成することで前記対象領域を決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記決定手段は、前記撮像画像の撮像時のＩＳＯ値に応じて、前記重み付け合成における前記第１の被写体領域と前記第２の被写体領域との重み付け比率を異ならせることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記決定手段は、前記撮像画像の撮像時のＩＳＯ値が前記第２の閾値に近いほど、前記第１の被写体領域の重み付け比率が前記第２の被写体領域の重み付け比率よりも高くなるよう制御することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記決定手段は、前記撮像画像を撮像時のＦ値が第３の閾値を上回る場合に、前記第１の被写体領域に優先して前記第２の被写体領域を参照して前記対象領域を決定することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記決定手段は、前記撮像画像の撮像時のＦ値が、前記第３の閾値よりも低い第４の閾値を上回り、かつ、前記第３の閾値を下回る場合に、前記第１の被写体領域と前記第２の被写体領域とを重み付け合成することで前記対象領域を決定することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記決定手段は、前記撮像画像の撮像時のＦ値に応じて、前記重み付け合成における前記第１の被写体領域と前記第２の被写体領域との重み付け比率を異ならせることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記決定手段は、前記撮像画像の撮像時のＦ値が前記第４の閾値に近いほど、前記第１の被写体領域の重み付け比率が前記第２の被写体領域の重み付け比率よりも高くなるよう制御することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記被写体情報は、前記撮像画像中の前記所定の被写体に係る領域を示す情報を含み、
前記決定手段は、前記撮像画像のコントラスト比または前記撮像画像における前記所定の被写体に係る領域の大きさに基づいて、前記撮像画像の状態を判定し、該判定に基づいて参照する被写体領域を異ならせる
ことを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記決定手段は、前記撮像画像のコントラスト比が所定の閾値を下回る場合に、前記第１の被写体領域に優先して前記第２の被写体領域を参照して前記対象領域を決定することを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記決定手段は、前記撮像画像のコントラスト比が所定の閾値を上回る場合に、前記第２の被写体領域に優先して前記第１の被写体領域を参照して前記対象領域を決定することを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記決定手段は、前記撮像画像における前記所定の被写体が検出された領域の大きさが所定の大きさ範囲に収まらない場合に、前記第１の被写体領域に優先して前記第２の被写体領域を参照して前記対象領域を決定することを特徴とする請求項１１に記載の画像処理装置。

【請求項15】

前記決定手段は、前記撮像画像における前記所定の被写体に係る領域の大きさが所定の大きさ範囲に収まる場合に、前記第２の被写体領域に優先して前記第１の被写体領域を参照して前記対象領域を決定することを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

前記画像処理は、前記撮像画像中の、前記決定手段により決定された前記対象領域に含まれる被写体に対し、仮想光源を配置した場合の影響を付加する処理を含み、
前記画像処理装置は、前記付加する処理を実行する実行手段をさらに有する
ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。

【請求項17】

前記撮像画像を撮像する撮像手段と、
請求項１乃至１５のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。

【請求項18】

撮像画像に対して、所定の被写体が含まれる領域についての画像処理を実行する画像処理装置の制御方法であって、
前記撮像画像について、深度方向の被写体距離の分布を示した距離情報、及び前記撮像画像に含まれる前記所定の被写体の検出結果を示した被写体情報を取得する取得工程と、
前記取得工程において取得された前記距離情報に基づいて、前記撮像画像において所定の距離範囲に存在する被写体の像が分布する第１の被写体領域を特定する第１の特定工程と、
前記取得工程において取得された前記距離情報に基づかず、前記被写体情報に基づいて、前記撮像画像において前記所定の被写体が検出された領域を含む第２の被写体領域を特定する第２の特定工程と、
前記第１の被写体領域及び前記第２の被写体領域の少なくともいずれかを参照し、前記画像処理を実行する対象領域を決定する決定工程と、
を有し、
前記決定工程において、前記撮像画像の撮像条件及び前記撮像画像の状態の少なくともいずれかに応じて、参照する被写体領域が異なる
ことを特徴とする画像処理装置の制御方法。

【請求項19】

コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項20】

撮像画像を出力する撮像装置と、該撮像画像に対して、所定の被写体が含まれる領域についての画像処理を実行する画像処理装置とで構成される撮像システムであって、
前記画像処理装置は、
前記撮像画像について、深度方向の被写体距離の分布を示した距離情報、及び前記撮像画像に含まれる前記所定の被写体の検出結果を示した被写体情報を取得する取得手段と、
前記取得手段により取得された前記距離情報に基づいて、前記撮像画像において所定の距離範囲に存在する被写体の像が分布する第１の被写体領域を特定する第１の特定手段と、
前記取得手段により取得された前記距離情報に基づかず、前記被写体情報に基づいて、前記撮像画像において前記所定の被写体が検出された領域を含む第２の被写体領域を特定する第２の特定手段と、
前記第１の被写体領域及び前記第２の被写体領域の少なくともいずれかを参照し、前記画像処理を実行する対象領域を決定する決定手段と、
を有し、
前記決定手段は、前記撮像画像の撮像条件及び前記撮像画像の状態の少なくともいずれかに応じて、参照する被写体領域を異ならせる
ことを特徴とする撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び撮像システムに関し、特に撮影により得られた画像に対して、撮像後に所定の効果を付加する画像処理を適用する技術に関する。

【背景技術】

【0002】

撮像により得られた撮像画像に対して、被写体領域を検出し、該被写体領域に対して補正処理等の画像処理を適用する技術が知られている。例えば、検出した被写体領域に対して、仮想的な光源によって照射された効果を付加する、所謂リライティング処理がある（特許文献１）。リライティング処理によれば、撮影時の環境光によって撮像画像に生じている陰影等の暗い領域を明るくし、好適な雰囲気の撮像画像を得ることができる。

【0003】

例えば、特許文献１では、被写体の陰影の状態を適切に補正することができるリライティング処理について開示されている。具体的には、撮影画像の被写体の所定領域の陰影の状態を検出し、検出された陰影の状態に基づいて、仮想光源の特性を決定する。そして決定された特性を有する仮想光源で光を照射した場合の陰影の状態になるように、撮影画像を補正する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－０７２６９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１には被写体領域の検出方法については特に言及されていない。撮像画像における特許文献１のような主被写体を含む被写体領域は、例えば撮像範囲に存在する被写体の奥行き方向の距離分布の情報（距離情報）を取得し、主被写体を含む所定の距離範囲を示す画素で構成された領域として、特定することができる。

【0006】

従って、距離情報を取得して被写体領域を特定することで、例えば、手前にいる被写体（前景）を示す被写体領域と、奥にいる被写体（円形）を示す被写体領域とを区別することができる。結果、特許文献１のようなリライティング処理では、１つの仮想光源を前景の被写体にあてた場合と背景の被写体にあてた場合とで、仮想光源から被写体までの距離差や照射量（強度）に応じた変化を表現した画像の生成が可能である。

【0007】

一方で、距離情報に基づいて被写体領域を特定する方式では、距離情報の計測精度によっては好適な被写体領域の特定が困難なことがある。例えば、距離情報を取得することが苦手な撮像条件（撮像設定や撮像環境の状態）では、撮像画像に被写体の像が精細に現れないため、導出される被写体距離の精度が低くなる。

【0008】

本発明は、上述の問題点に鑑みてなされたものであり、好適に被写体領域を特定し、例えば該被写体領域への所望の効果付加を実現する画像処理装置、撮像装置、制御方法、プログラム及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

前述の目的を達成するために、本発明の画像処理装置は、撮像画像に対して、所定の被写体が含まれる領域についての画像処理を実行する画像処理装置であって、撮像画像について、深度方向の被写体距離の分布を示した距離情報、及び撮像画像に含まれる所定の被写体の検出結果を示した被写体情報を取得する取得手段と、取得手段により取得された距離情報に基づいて、撮像画像において所定の距離範囲に存在する被写体の像が分布する第１の被写体領域を特定する第１の特定手段と、取得手段により取得された距離情報に基づかず、被写体情報に基づいて、撮像画像において所定の被写体が検出された領域を含む第２の被写体領域を特定する第２の特定手段と、第１の被写体領域及び第２の被写体領域の少なくともいずれかを参照し、画像処理を実行する対象領域を決定する決定手段と、を有し、決定手段は、撮像画像の撮像条件及び撮像画像の状態の少なくともいずれかに応じて、参照する被写体領域を異ならせることを特徴とする。

【発明の効果】

【0010】

本発明によれば、好適に被写体領域を特定し、該被写体領域への所望の効果付加を実現することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係るデジタルカメラ１００の機能構成を例示したブロック図

【図2】本発明の実施形態に係る画像処理部１０５の詳細構成を例示したブロック図

【図3】本発明の実施形態に係る画像処理部１０５の動作を例示したフローチャート

【図4】本発明の実施形態に係るリライティング部１１４の詳細構成を例示したブロック図

【図5】本発明の実施形態に係るリライティング処理において定義する仮想光源を説明するための図

【図6】本発明の実施形態に係るリライティング処理において使用する法線マップを説明するための図

【図7】本発明の実施形態に係るリライティング処理を適用した状態を説明するための図

【図8】本発明の実施形態に係るリライティング部１１４で実行されるリライティング処理を例示したフローチャート

【図9】本発明の実施形態に係るリライティング処理において使用する人物の形状を示したモデルを例示した図

【発明を実施するための形態】

【0012】

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

以下に説明する一実施形態は、画像処理装置の一例としての、撮像画像と、該撮像画像に係る撮像範囲に存在する被写体の、深度方向の被写体距離の分布を示す距離情報とを取得可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像と、該撮像画像に係る撮像範囲に存在する被写体の被写体距離の分布を示す距離情報とを取得することが可能な任意の機器に適用可能である。

【0014】

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。

【0015】

撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、ズームレンズ、フォーカスレンズを含むレンズ群１０１（撮像光学系）、及び、絞り機能を備えるシャッター１０２を介して撮像面に結像された光学像を光電変換する。撮像部１０３は、光電変換により得られたアナログ画像信号を、Ａ／Ｄ変換器１０４に出力する。撮像部１０３が有する撮像素子は、ベイヤー配列のカラーフィルタが適用されているものとし、撮像部１０３により出力される各画素の信号は、Ｒ、Ｇ、Ｂいずれかの信号強度を示しているものとする。Ａ／Ｄ変換器１０４は、入力されたアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像処理部１０５に出力する。

【0016】

画像処理部１０５は、Ａ／Ｄ変換器１０４から入力された画像データ、またはメモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランス等の色変換処理、γ処理、輪郭強調処理、色補正処理等の各種画像処理を行う。画像処理部１０５による画像処理が適用されて出力された画像データ（撮像画像）は、メモリ制御部１０７を介して画像メモリ１０６に格納される。画像メモリ１０６は、画像処理部１０５から出力された画像データや、表示部１０９に表示するための画像データを格納する記録装置である。本実施形態の画像処理部１０５は、図２に示されるような機能構成を有しているものとするが、撮像時の動作の詳細については、図３のフローチャートを参照して後述する。

【0017】

検出部１１３は、撮像画像に含まれる予め定められた被写体の像が現れている領域を検出する。本実施形態では、予め定められた被写体として、検出部１１３は人物の顔及び顔を構成する器官の像を検出するものとして説明するが、本発明の実施はこれに限られるものではない。検出対象の被写体は、人間に限らずその他の動物や動体を含むものであってもよいし、この他、予め登録された建物や物体が含まれていてもよい。また、本実施形態では、デジタルカメラ１００が１つの検出部１１３を有しているものとして説明するが、被写体を検出する構成はこれに限られるものではなく、各々検出対象とする被写体の種別が異なる複数の検出部１１３を有するものであってもよい。従って、検出部１１３は、検出対象として定められた被写体の像を検出可能に構成されていてよく、後述の被写体情報が、都度、検出対象の設定に基づいた内容の情報となることは言うまでもない。以下、説明において被写体という場合は上述の予め定められた被写体を指す。また、被写体以外の領域を背景と呼ぶ場合がある。

【0018】

また画像処理部１０５は、検出部１１３による検出結果と撮像画像とを用いて、焦点状態の評価値を導出する処理を行い、得られた評価値をシステム制御部５０に出力する。このとき、システム制御部５０は、得られた評価値に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の露光制御、測距制御を行う。

【0019】

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納された表示用のデジタル画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、例えばＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号を表示するよう表示制御を行う。

【0020】

圧縮伸長部１１０は、画像メモリ１０６に格納された撮像画像や画像データに対し、ＪＰＥＧやＭＰＥＧ等の規格に基づいた圧縮符号化処理を行う。符号化された画像データは、システム制御部５０により、インタフェース（Ｉ／Ｆ）１１１を介して、メモリカードやハードディスク等の記録媒体１１２に格納する。また、Ｉ／Ｆ１１１を介して記録媒体１１２から読み出された画像データは、圧縮伸長部１１０によって復号されて伸長され、画像メモリ１０６に格納される。該格納された画像データは、メモリ制御部１０７及びＤ／Ａ変換器１０８を介して、表示部１０９により表示される。

【0021】

リライティング部１１４は、撮像画像に現されたシーンの被写体を、撮像後に仮想光源を擬似的に照射した照明状態（明るさ）に補正するリライティング処理（再照明処理）を行う。リライティング部１１４により行われるリライティング処理については、別図を参照して詳細を後述する。

【0022】

システム制御部５０は、例えばマイクロプロセッサ等の演算装置であり、デジタルカメラ１００が有する各ブロックの動作を制御する。不揮発性メモリ１２１は、ＥＥＰＲＯＭ等のメモリにより構成され、システム制御部５０の処理に必要なプログラムやパラメータ等を格納する。システム制御部５０は、不揮発性メモリ１２１に記録されたプログラム、及び、システム制御部５０の動作用の定数、変数をシステムメモリ１２２に展開して実行することで、各ブロックの動作制御に係る処理を実行する。システムメモリ１２２は、例えば揮発性の記憶装置であってよく、各種データの展開領域としてだけでなく、各ブロックの動作で出力された中間データを格納する格納領域としても用いられるものであってよい。

【0023】

操作部１２０は、例えばレリーズスイッチやメニューボタン等、デジタルカメラ１００が備えるユーザインタフェースであり、該ユーザインタフェースに対する操作入力がなされると、該操作入力に対応する制御信号をシステム制御部５０に出力する。操作部１２０は、例えばメニューの設定や画像選択に係る操作入力を受け付ける。

【0024】

測距センサ１２３は、デジタルカメラ１００が備える、撮像範囲に存在する被写体について測距を行う。本実施形態では測距センサ１２３は、撮像範囲について異なる２つの視点から撮像することで得られた撮像画像に基づいて、ステレオ方式で被写体距離を導出するものとする。距離情報は、例えば撮像画像もしくは撮像の直前等に撮像された撮像画像に基づいて構成されるものであってよく、撮像画像と同様の２次元の画素構造を有しているものとする。距離情報の各画素は例えば、ステレオ方式での距離導出のために取得された２つの撮像画像について、一方の画像の各画素の像が他方の画像のいずれの位置に現れているかを特定した場合の、両画素の相対的な位置ずれ量の情報が格納されているものであってよい。
なお、本実施形態では撮像部１０３とは別に測距センサ１２３が設けられる態様について説明するが、撮像部１０３が測距センサ１２３として動作するものであってもよい。具体的には、撮像素子の画素毎に複数のマイクロレンズを配し、画素毎に視差の異なる複数の画像を得るようにしてもよい。

【0025】

《画像処理部の構成及び撮像時の動作》
続いて、画像処理部１０５の構成及び撮像時の動作について、図２のブロック図及び図３のフローチャートを参照して詳細を説明する。

【0026】

本実施形態の画像処理部１０５は、図２に示されるように撮像部１０３により撮像された画像信号と検出部１１３による検出結果とを入力として受け付ける。そして、画像処理部１０５は、輝度信号と色差信号で構成される撮像画像と、該撮像画像に含まれる被写体に関する情報（被写体情報）を構成して出力する。ここで、被写体情報とは、撮像画像に含まれる被写体の人数、位置、顔の大きさ、コントラスト、陰影状態を示す情報（陰影情報）等を含むものであってよい。

【0027】

Ａ／Ｄ変換器１０４からベイヤーＲＧＢの画像データが入力されると、同時化処理部２００はＳ３０１で、該画像データに対して同時化処理を行い、各画素に不足している色成分の情報を補完し、ＲＧＢ画像を生成する。

【0028】

Ｓ３０２で、ＷＢ増幅部２０１は、Ｓ３０１で生成されたＲＧＢ画像に対して、ホワイトバランスを調整する処理を適用する。ホワイトバランスは、システム制御部５０により公知の処理で導出されたホワイトバランスゲイン値に基づいて調整されるものであってよい。ＷＢ増幅部２０１は、ＲＧＢ画像のホワイトバランスを調整すると、調整後のＲＧＢ信号を輝度・色画像生成部２０２に出力する。

【0029】

Ｓ３０３で、輝度・色画像生成部２０２は、入力されたＲＧＢ信号に基づいて輝度画像Ｙを生成して輪郭強調処理部２０３に出力する。また輝度・色画像生成部２０２は、入力されたＲＧＢ画像を色変換処理部２０５に出力する。図３に示すフローチャートでは、輝度画像Ｙについての処理とＲＧＢ画像についての処理を、便宜上、１つのフローの中で順序立てて説明するが、本発明の実施がこれに限られるものではないことは理解されよう。即ち、輝度画像Ｙに対する処理とＲＧＢ画像に対して画像処理部１０５で行われる処理は、並行して実行されるものであってよい。

【0030】

Ｓ３０４で、輪郭強調処理部２０３は、入力された輝度画像Ｙに対して輪郭強調処理を適用し、処理後の輝度画像Ｙを輝度ガンマ処理部２０４に出力する。また色変換処理部２０５は、入力されたＲＧＢ画像に対して例えばマトリクス演算を適用し、所定のカラーバランスの画像に変換し、色ガンマ処理部２０６及び被写体情報構成部２０８に出力する。

【0031】

Ｓ３０５で、被写体情報構成部２０８は、検出部１１３による顔または顔器官の検出結果の情報と、色変換処理部２０５から入力されたＲＧＢ画像とに基づいて、撮像画像についての被写体情報を構成する。被写体情報構成部２０８は、検出部１１３による検出結果に基づいて、被写体の人数、位置、顔の大きさの情報を特定する。また被写体情報構成部２０８は、検出された被写体に係るコントラストや陰影情報を、例えば撮像画像全体及び各被写体の像の平均輝度情報や輝度ヒストグラム情報に基づいて特定する。被写体情報構成部２０８は、被写体情報を構成すると、例えばシステムメモリ１２２に格納させる。

【0032】

Ｓ３０６で、輝度ガンマ処理部２０４は、入力された輝度画像Ｙに対してガンマ補正を適用し、処理後の輝度画像Ｙをメモリ制御部１０７を介して画像メモリ１０６に格納させる。また色ガンマ処理部２０６は、入力されたＲＧＢ画像に対して同様にガンマ補正を適用し、処理後の画像を色差画像生成部２０７に出力する。

【0033】

Ｓ３０７で、色差画像生成部２０７は、ＲＧＢ画像から色差画像Ｒ－Ｙ、Ｂ－Ｙ画像を生成し、メモリ制御部１０７を介して画像メモリ１０６に格納させる。

【0034】

《リライティング部の構成》
続いて、本実施形態のリライティング部１１４の詳細構成について、図４を参照して説明する。本実施形態ではリライティング部１１４は、画像処理部１０５により生成された輝度画像Ｙ、色差画像Ｂ－Ｙ及びＲ－Ｙと、測距センサ１２３により構成された距離情報と、画像処理部１０５により構成された被写体情報を用いて、リライティング処理を行う。

【0035】

画像変換部４０１は、入力された輝度画像Ｙと色差画像Ｂ－Ｙ及びＲ－ＹとをＲＧＢ画像に変換する。画像変換部４０１は、変換により生成されたＲＧＢ画像をデガンマ処理部４０２に出力する。

【0036】

デガンマ処理部４０２は、リライティング部１１４に入力された画像群について画像処理部１０５の輝度ガンマ処理部２０４及び色ガンマ処理部２０６で適用されたガンマ補正と逆特性の演算（デガンマ処理）を、ＲＧＢ画像に適用し、リニアデータに変換する。そしてデガンマ処理部４０２は、リニアデータに変換後のＲＧＢ画像（Ｒｔ、Ｇｔ、Ｂｔ）を、反射成分導出部４０７及び付加処理部４０８に出力する。

【0037】

一方、距離導出部４０３は、測距センサ１２３により取得された距離情報に基づき、センサ距離マップを構成する。構成された距離マップは、被写体領域特定部４０４に出力される。

【0038】

被写体領域特定部４０４は、撮像時の撮像条件（撮像設定等）を示す撮像情報、センサ距離マップ、及び被写体情報構成部２０８により構成された被写体情報に基づいて、リライティング処理にて参照する被写体領域マップを構成する。ここで、被写体領域マップとは、被写体までの距離を簡易的に示したマップであり、後述のリライティング処理において効果付加の対象となる対象領域を示す２次元情報である。より詳しくは被写体領域マップは、撮像画像中の被写体が存在する領域については、デジタルカメラ１００からの距離が有意の距離にあるものとして、該領域の画素の画素値として、所定の手法で導出された値が格納される。反対に、被写体領域マップは、被写体が存在しない領域（背景領域等）については、デジタルカメラ１００からの距離が有意ではないものとし、該領域の画素の画素値として、無限遠であることを示す固定値が格納されるものであってよい。即ち、被写体領域マップは、所定の距離範囲に含まれる被写体の像がある画素についてはセンサ距離マップに基づいて導出された値が格納され、それ以外の距離に存在していた被写体の像がある画素については、固定値が格納されるようにしてもよい。本実施形態のリライティング部１１４は、被写体領域の決定方法及び被写体領域マップの生成方法（特に被写体の存在する領域の画素値）は、撮像条件等によって異ならせるよう構成されており、その詳細については、フローチャートを用いて後述する。

【0039】

法線導出部４０５は、被写体領域特定部４０４により構成された被写体領域マップに基づき、被写体の形状を示す形状情報として法線マップを生成する。法線マップの生成は、公知の技術を用いて行われるものであってよい。法線導出部４０５は、撮像画像の各画素に対応する法線Ｎの情報を画素値とする法線マップを構成すると、該法線マップを反射成分導出部４０７に出力する。

【0040】

なお、本実施形態では距離導出部４０３、被写体領域特定部４０４、法線導出部４０５が、リライティング部１１４に組み込まれて構成されるものとして説明するが、本発明の実施はこれに限られるものではない。これらの機能構成は、例えば、測距センサ１２３や画像処理部１０５に組み込まれて構成されるものであってもよいし、リライティング部１１４とは独立した機能構成として存在するものであってもよい。

【0041】

光源設定部４０６は、入力された被写体情報に基づいて、撮像画像（ＲＧＢ画像）の被写体（人物）に対して照射する仮想光源の各種パラメータを設定する。例えば、顔全体が暗く撮像された被写体について、顔の明るさを全体的に明るくするリライティング処理を行う場合、顔領域の全体が照射範囲に含まれるように、仮想光源の位置、照射範囲、強度等のパラメータが設定される。

【0042】

ここで、被写体として１人の人物が撮像範囲に存在している態様における、仮想光源の各種パラメータ設定について、図５を参照して説明する。図５（ａ）は、被写体と仮想光源の位置関係を示した斜視図、図５（ｂ）は、被写体と仮想光源の位置関係を示した平面図である。光の減衰特性を考慮すると、仮想光源と被写体の距離が短いほど被写体が強く照明され、仮想光源と被写体の距離が長いほど被写体が弱く照明されるため、仮想光源の位置は、所望の照明状態となるよう被写体との離間度合いを考慮して決定される。また仮想光源の位置は、照明する被写体の面の向き等に応じて決定されるものであってよい。同様に、仮想光源の照明強度（光度）も、被写体が所望の照明状態となるように、その強弱が決定される。仮想光源の照射範囲は、広いほど被写体の多くの領域が照明され、狭いほど被写体の限定的な領域が照明されるため、照明させたい領域の大きさに応じて決定される。

【0043】

反射成分導出部４０７は、仮想光源によって照明された際の、該光源からの光による反射表現を付加すべく、被写体の表面における仮想光源から照射された光の反射成分を導出する。反射成分導出部４０７は、被写体領域マップに基づいて定まる仮想光源と被写体との距離Ｋ、法線マップに基づく法線情報Ｎ、及び光源設定部４０６が設定した仮想光源の各種パラメータに基づき、仮想光源から照射された光（仮想光）の反射成分を導出する。ＲＧＢ画像の各画素における仮想光の反射成分は、仮想光源と該画素に対応する被写体との距離Ｋの二乗に反比例し、該画素の被写体の面の法線Ｎと仮想光源から該画素の被写体への方向（光源方向）Ｌとのベクトルの内積に比例するように導出される。

【0044】

ここで、仮想光の反射成分の一般的な導出方法について、図６に示されるように、リライティングに係る仮想光源６０２を配置する場合について説明する。なお、図６では説明を簡単にするため、ＲＧＢ画像の水平方向についてのみ示しているが、図示される２次元平面に直交する方向（ＲＧＢ画像の垂直方向）についても同様である。

【0045】

以下、ＲＧＢ画像における水平画素位置Ｈ１と不図示の垂直画素位置Ｖ１で示される、被写体６０１上の点Ｐ１について、仮想光の反射成分の導出方法を説明する。上述したように、点Ｐ１における仮想光の反射成分は、被写体６０１上の点Ｐ１における法線ベクトルＮ１と仮想光源６０２に係る光源方向ベクトルＬ１との内積に比例し、仮想光源６０２と点Ｐ１との距離Ｋ１の二乗に反比例する。図６では２次元のベクトルとして示しているが、法線ベクトルＮ１と光源方向ベクトルＬ１は、ＲＧＢ画像の水平方向、垂直方向、及び奥行き方向（図６の距離Ｄで示す方向）で構成される３次元ベクトルである。このとき、仮想光の被写体６０１の点Ｐ１における反射成分（Ｒａ，Ｇａ，Ｂａ）は、以下で表すことができる。

【0046】

（数１）
Ｒａ＝α×（－Ｌ１・Ｎ１）／Ｋ１²×Ｒｔ
Ｇａ＝α×（－Ｌ１・Ｎ１）／Ｋ１²×Ｇｔ
Ｂａ＝α×（－Ｌ１・Ｎ１）／Ｋ１²×Ｂｔ

【0047】

ここで、αは仮想光源６０２の光の強度であって、リライティング補正量のゲイン値を示し、Ｒｔ、Ｇｔ、Ｂｔはデガンマ処理部４０２から入力されたＲＧＢ画像の点Ｐ１に係るＲＧＢの各成分を示す。このようにして反射成分導出部４０７が導出した仮想光の反射成分（Ｒａ，Ｇａ，Ｂａ）は、付加処理部４０８に出力される。なお、本実施形態では数１のように、距離の二乗に反比例するものとして反射成分を導出するものとして説明するが、他の演算方法で導出されるものであってもよいことは言うまでもない。

【0048】

付加処理部４０８は、入力された仮想光の反射成分（Ｒａ，Ｇａ，Ｂａ）の影響をＲＧＢ画像に反映する処理を行う。即ち、付加処理部４０８は、リライティングの影響を反映すべく、デガンマ処理部４０２からＲＧＢ画像に付加するため、以下の演算を行う。

【0049】

（数２）
Ｒｏｕｔ＝Ｒｔ＋Ｒａ
Ｇｏｕｔ＝Ｇｔ＋Ｇａ
Ｂｏｕｔ＝Ｂｔ＋Ｂａ

【0050】

ここで、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は、リライティングの影響反映後のＲＧＢ画像の点Ｐ１に係るＲＧＢの各成分を示す。付加処理部４０８は、リライティングの影響を反映する処理を行った後、得られたＲＧＢ画像をガンマ処理部４０９に出力する。

【0051】

ガンマ処理部４０９は、入力されたリライティング後のＲＧＢ画像に対して、ガンマ補正処理を適用し、得られたＲＧＢ画像を輝度・色差画像生成部４１０に出力する。

【0052】

輝度・色差画像生成部４１０は、入力されたガンマ処理後のＲＧＢ画像（Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔ）を変換し、輝度画像Ｙと色差画像Ｒ－Ｙ及びＢ－Ｙとを生成して出力する。

【0053】

このようにリライティング部１１４において撮像画像にリライティング処理を適用することで、撮像後に、被写体の照明状態を変更した画像を得ることができる。例えば図７（ａ）に示されるように、屋内の撮像等で被写体が撮像画像に暗く現れる場合、リライティング処理を適用することで、図７（ｂ）に示されるように被写体の領域の照明状態を補正した画像を生成することができる。なお、リライティング処理が適用されて得られた画像は、システム制御部５０によりメモリ制御部１０７を介して画像メモリ１０６に蓄積された後、圧縮伸長部１１０による圧縮符号化が適用されて記録媒体１１２に格納されればよい。

【0054】

《リライティング処理》
以下、このような構成をもつリライティング部１１４を用いて行われる、本実施形態のリライティング処理について、図８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部５０が、例えば不揮発性メモリ１２１に記憶されている対応する処理プログラムを読み出し、システムメモリ１２２に展開して実行し、リライティング部１１４の動作制御を行うことで実現できる。本リライティング処理は、例えば記録媒体１１２に格納されている撮像画像に対して、被写体の照明状態を変更する指示がなされた際に開始されるものとして説明する。ここで、撮像画像は、上述したように輝度画像Ｙと色差画像Ｒ－Ｙ及びＢ－Ｙで構成され、処理の実行時には画像メモリ１０６に展開されているものとする。また撮像画像については、該撮像画像に係る距離情報及び被写体情報と、撮像時の撮像設定の情報とが関連付けられて記録されており、本リライティング処理に際して各々参照可能に構成されているものとする。

【0055】

Ｓ８０１で、被写体領域特定部４０４は、対象の撮像画像（対象画像）に係る撮像設定の情報を参照し、距離情報の取得に適した条件で対象画像の撮像が行われたか否かを判断する。本実施形態のデジタルカメラ１００では、測距センサ１２３は２つの画像群を用いたステレオ方式で被写体距離の計測を行うため、距離情報の取得に適した条件は、撮像時に設定された感度設定の値（ＩＳＯ値）について定められているものとする。ステレオ方式では、画像をベースに被写体距離を導出しているため、該画像に含まれるノイズの量に応じて計測精度が低減することになる。故に、被写体領域特定部４０４は、撮像時に設定されていたＩＳＯ値が、撮像画像に現れるノイズ量が少ないＩＳＯ値の上限値として定められた第１の閾値ＩＳＯ_th1を下回るか否かに基づいて、本ステップの判断を行う。被写体領域特定部４０４は、距離情報の取得に適した条件で対象画像の撮像が行われた（ＩＳＯ値＜ＩＳＯ_th1）と判断した場合は処理をＳ８０２に移し、行われていないと判断した場合は処理をＳ８０４に移す。

【0056】

Ｓ８０２で、被写体領域特定部４０４は、対象画像の状態と対象画像に係る被写体情報とを参照し、撮像が行われたシーンが、距離情報の取得に適した条件であったか否かを判断する。本ステップで行われる判断は、Ｓ８０１とは異なり、距離情報に基づかずに行われる。

【0057】

ステレオ方式で導出される被写体距離の計測精度は、計測に用いられた２つの画像に含まれるノイズ量によっても変化するが、画像間で同一の被写体に係る像（パターン）の検出精度にも影響を受ける。同一の被写体に係るパターンの検出精度は、画像内に含まれる特徴パターンの分布に起因するものであるため、撮像画像のコントラスト比が低い場合には低下することになる。従って、対象画像において低コントラストの領域が広いほど、距離情報の取得に適していない撮像シーンということになる。また人物の顔面のように、同系色（肌の色）の画素が広く占有している領域も、撮像画像中に現れる像の大きさによっては、コントラスト比が低い領域となり得る。即ち、撮像画像に顔領域が広く分布するような大きさで撮像されている場合、同系色の画素が多く特徴パターンを抽出しづらいため、同一の被写体に係るパターンの検出精度も低下し得る。また反対に、撮像画像において顔領域が小さく撮像されている場合は、特徴パターンが密集することになり、その判別がつきにくくなる可能性もあり、やはり、同一の被写体に係るパターンの検出精度も低下し得る。

【0058】

故に、被写体領域特定部４０４は、対象画像中に占める低コントラストの領域の割合が閾値を下回っており、かつ、検出された顔領域の大きさが所定の面積範囲（小さすぎず、大きすぎない）に収まっているか否かに基づいて、本ステップの判断を行う。低コントラストの領域の割合に係る閾値や、検出された顔領域の大きさの面積範囲の情報は、例えば種々のシーンでの被写体距離の計測を行うことで実験的に導出されるものであってよい。被写体領域特定部４０４は、対象画像の撮像が行われたシーンが距離情報の取得に適した条件であったと判断された場合は処理をＳ８０３に移し、適していない条件であったと判断された場合は処理をＳ８０５に移す。

【0059】

Ｓ８０３で、被写体領域特定部４０４は、距離情報のみに基づいて被写体領域マップ（mapＫ）を生成する。具体的にはまず、距離導出部４０３が、撮像設定の情報と距離情報とに基づいて、各画素が被写体距離Ｋ（該画素の被写体と例えばレンズ主点や撮像素子の撮像面との距離）を示す２次元情報であるセンサ距離マップを生成する。そして被写体領域特定部４０４は、該距離マップの各画素の画素値Ｋの二乗の逆数をビット幅で正規化した値を、被写体距離により重み付けすることで、被写体領域マップ（mapＫ：第１の被写体領域）を生成する。即ち、本ステップにおいて生成される被写体領域マップは、信頼度の高い撮像画像に基づいて距離情報が導出されたものであるため、該マップの被写体の存在する領域の画素値には、距離情報に基づく値が格納される。なお、本実施形態では本ステップに至った場合に、距離情報のみに基づいて被写体領域マップを生成するものとして説明するが、距離情報を優先的に用いて被写体領域マップを生成するものとしてもよい。

【0060】

一方、Ｓ８０１において、距離情報の取得に適した条件で対象画像の撮像が行われていないと判断した場合、被写体領域特定部４０４はＳ８０４で、対象画像に係る撮像設定の情報に基づき、参照する距離情報が信頼できない情報であるか否かを判断する。Ｓ８０１と同様に、本ステップの判断は対象画像を撮像時のＩＳＯ値に基づいて行われる。より詳しくは被写体領域特定部４０４は、対象画像の撮像時に設定されていたＩＳＯ値が、距離情報が信頼できるものとして判断するための上限である第２の閾値ＩＳＯ_th2（ＩＳＯ_th1＜ＩＳＯ_th2）を上回るか否かにより、本ステップの判断を行う。被写体領域特定部４０４は、距離情報が信頼できない情報である（ＩＳＯ値＞ＩＳＯ_th2）と判断した場合は処理をＳ８０５に移し、処理において参照可能な程度の信頼度を有する情報であると判断した場合は処理をＳ８０６に移す。

【0061】

Ｓ８０５で、被写体領域特定部４０４は、距離情報が信頼できない情報であるため、距離情報を用いず、被写体情報のみに基づいて被写体領域マップ（mapＫ：第２の被写体領域）を生成する。即ち、被写体領域特定部４０４は、被写体情報に含まれる、対象画像中の、被写体の人数、顔の大きさ、位置等の情報に基づき、被写体（人物）の存在する領域と存在しない領域とを決定する。

【0062】

このとき、被写体の存在する領域は、例えば検出された顔もしくは顔を構成する器官の像位置を基準に定められた、所定の形状の領域として構成されるものであってよい。本実施形態では、人物撮像においては顔の下に胴体がある可能性が高いという推定の下、例えば、図９に示すようなモデルを用いて被写体の存在する領域を推定する方法を採用する。図９は、人物の形状を示すモデルであり、顔部分と胴体部分からなる。被写体領域特定部４０４は、図９のモデルの顔部分を、検出された顔もしくは顔を構成する器官の像位置と合致させるようにモデルを変形させる。そして、この変形後のモデルで表される領域が、被写体の存在する領域として決定される。

【0063】

そして被写体領域特定部４０４は、被写体の存在しない領域は背景であるものとして無限遠の距離に対応する値を格納し、被写体の存在する領域は近景であるものとして予め定められた距離を割り当て、Ｓ８０３と同様に被写体領域マップを生成する。即ち、被写体領域特定部４０４は、モデルで表される全域に同じ距離を割り当てて被写体領域マップを形成するものとする。つまり、被写体領域マップにおいて、被写体領域内の距離はすべて同一となる。結果として、本ステップにおいて生成される被写体領域マップは、被写体検出に基づいた重み付けを示す値が各画素に格納されている。またこのとき、モデルに距離の重みづけ（例えば顔部分の重みを１、胴体部分の重みを０．９）を設定し、被写体領域内でも部位ごとに重みが異なるよう構成してもよい。

【0064】

なお、本実施形態では本ステップに至った場合に、被写体情報のみに基づいて被写体領域マップを生成するものとして説明するが、被写体情報を優先的に用いて被写体領域マップを生成するものとしてもよい。

【0065】

一方、Ｓ８０４において距離情報が参照可能な程度の信頼度を有する情報であると判断した場合、被写体領域特定部４０４はＳ８０６において、距離情報と被写体情報とに基づいて被写体領域マップ（mapＫ）を生成する。本ステップにおける被写体領域マップの生成は、Ｓ８０３において距離情報のみに基づいて生成する被写体領域マップと、Ｓ８０５において被写体情報のみに基づいて生成する被写体領域マップとを重み付け加算して合成することで得られるものとする。例えば被写体領域特定部４０４は、対象画像を撮像時のＩＳＯ値に応じて、これらの被写体領域マップの重み付け加算をするものであってよい。例えば、撮像時のＩＳＯ値がＩＳＯ_th1に近いほど、被写体情報に基づいて導出された画素値よりも、距離情報（距離マップ）に基づいて導出された画素値に対する重み付け高くして合算し、被写体領域マップを構成してもよい。反対に、例えば撮像時のＩＳＯ値がＩＳＯ_th2に近いほど、距離情報に基づいて導出された画素値よりも、被写体情報に基づいて導出された画素値に対する重み付けを高くして合算し、被写体領域マップを構成してもよい。このように、本実施形態のデジタルカメラ１００では、本ステップに至った場合には、被写体領域マップの画素値導出に際して、信頼度に応じてその合成比率（重み付け加算比率）を異ならせるよう制御がなされる。

【0066】

Ｓ８０７で、法線導出部４０５は公知の技術を用いて、被写体領域特定部４０４により生成された被写体領域マップに基づいて、被写体の形状を示す法線マップ（mapＮ）（形状情報）を生成する。

【0067】

Ｓ８０８で、光源設定部４０６は、リライティング処理において適用する仮想光源について、各画素位置から該仮想光源への方向（光源方向）に係る値を格納した仮想光源に係る重み付けマップを生成する。具体的には、光源設定部４０６はまず、定義する仮想光源について光源方向ベクトル－Ｌを画素単位で導出し、各座標軸方向に対する方向余弦を取得する。そして、光源設定部４０６は、画素単位で、取得した方向余弦を任意のビット幅で表現したものを画素値として格納し、仮想光源に係る重み付けマップ（mapＬ）を構成する。

【0068】

仮想光源の光源ベクトル－Ｌの導出に用いる仮想光源のパラメータのうちの位置・強度は、被写体情報構成部２０８により構成された被写体情報に基づいて、光源設定部４０６が決定するものであってよい。例えば、被写体の顔領域内の輝度分布が偏っている態様では、光源設定部４０６は、輝度値の低い領域に仮想光が照射されるよう、仮想光源の位置、強度を決定する。このとき、撮像画像における輝度値の低い領域内の画素の座標が（ｘ１，ｙ１）であるとすると、該位置の被写体による仮想光の反射成分（Ｒａ_{(x1, y1)}，Ｇａ_{(x1, y1)}，Ｂａ_{(x1, y1)}）は、次のようになる。

【0069】

（数３）
Ｒａ_{(x1, y1)}＝α×（－Ｌ_{(x1, y1)}・Ｎ_{(x1, y1)}）／Ｋ_{(x1, y1)} ²×Ｒｔ
Ｇａ_{(x1, y1)}＝α×（－Ｌ_{(x1, y1)}・Ｎ_{(x1, y1)}）／Ｋ_{(x1, y1)} ²×Ｇｔ
Ｂａ_{(x1, y1)}＝α×（－Ｌ_{(x1, y1)}・Ｎ_{(x1, y1)}）／Ｋ_{(x1, y1)} ²×Ｂｔ

【0070】

ここで、αは仮想光源の光の強度であり、Ｌ_{(x1, y1)}は、座標（ｘ１，ｙ１）の画素の被写体からの仮想光源の光源方向ベクトルである。また、Ｎ_{(x1, y1)}は、対応する法線マップの同座標の法線ベクトル、Ｋ(x1, y1)は、仮想光源と被写体領域マップの同座標の座標（ｘ１，ｙ１）に対応する被写体上の位置との距離を示す。仮想光を輝度値の低い領域である座標（ｘ１，ｙ１）の被写体に照射するためには、（Ｒａ_{(x1, y1)}，Ｇａ_{(x1, y1)}，Ｂａ_{(x1, y1)}）が正の値となるよう、仮想光源の強さαと被写体との距離Ｋ_{(x1, y1)}を制御することになる。また光源設定部４０６は、仮想光源のパラメータのうちの照射範囲を、検出された顔領域内の輝度分布に基づいて決定する。

【0071】

なお、仮想光源の強さαを大きくし過ぎた場合に、白飛びや階調反転等の好適でない輝度表現となる可能性がある。このため、光源設定部４０６は、仮想光源の強さαの値範囲を、仮想光の照射範囲外の領域における輝度値が高い領域の平均輝度値±βとなるよう、所定の閾値βを用いて制御決定する。

【0072】

このように光源設定部４０６は仮想光源の位置の範囲、強度の範囲、照射する範囲、を導出し、例えば、その範囲内の平均値を仮想光源の位置、強度、照射範囲として決定するものであってよい。なお、本実施形態では理解を簡潔にすべく、仮想光源は１つ定義されるものとして説明するが、複数の仮想光源を定義してリライティング処理を行うものであってもよいことは言うまでもない。また本実施形態では加算光により、被写体を明るく補正するリライティング処理を行うものとして説明するが、暗く補正する処理のものであってもよい。この場合、仮想光源のゲイン値αをマイナス（減算光）として決定すればよい。

【0073】

Ｓ８０９で、反射成分導出部４０７は、仮想光の反射成分（Ｒａ，Ｇａ，Ｂａ）を導出する。反射成分（Ｒａ，Ｇａ，Ｂａ）は、Ｓ８０８において決定されたパラメータを用いて、数１により導出できる。このとき、反射成分導出部４０７は、得られた被写体領域マップ（mapＫ）、法線マップ（mapＮ）、及び仮想光源に係る重み付けマップ（mapＬ）を用いて、画素単位で数１の演算を実行し、反射成分（Ｒａ，Ｇａ，Ｂａ）を導出する。なお、本実施形態では単純に明度調整に係る拡散反射の色成分を導出するものとして説明するが、仮想光源の種類や被写体の材質を考慮する態様では、さらに鏡面反射の色成分を導出してもよい。

【0074】

Ｓ８１０で、付加処理部４０８は、リライティング処理を行う。具体的には付加処理部４０８は、Ｓ８０９で導出された仮想光の反射成分（Ｒａ，Ｇａ，Ｂａ）を、デガンマ処理部４０２の出力（Ｒｔ，Ｇｔ，Ｂｔ）に加算することで、リライティング後の画像を生成する。

【0075】

このようにすることで、本実施形態の画像処理装置は、撮像画像に対応して取得された距離情報と被写体情報とに基づいて、撮像環境や撮像条件に応じた好適なリライティング処理を適用した画像を撮像後に生成することができる。より詳しくは、従前の手法では好適に被写体領域を特定できず、所望のリライティング結果が得られないことがあったが、本実施形態の手法により、状況に応じて距離情報と被写体情報のいずれか、もしくは双方を参照して処理を行うため、所望の結果が得られる。従って、画像処理装置は、撮像条件に応じて好適に被写体領域を特定し、該被写体領域への所望の効果付加を実現することができる。

【0076】

なお、本実施形態ではリライティング処理を適用する場合の被写体領域の特定方法について説明したが、本発明の実施はこれに限られるものではない。即ち、撮像後に撮像画像中の被写体領域を好適に特定して、任意の付加処理を行うものであれば、本発明は適用可能である。換言すれば、本発明は、距離情報に基づいて被写体領域を特定する方式と、距離情報に基づかずに被写体領域を特定する方式の双方を使用可能に構成された画像処理装置において、距離情報の取得条件に応じて被写体領域の特定方法を異ならせるものであればよい。

【0077】

また、本実施形態の画像処理装置ではリライティング処理を行うために、被写体形状を推定する法線マップを生成可能なよう、いずれの方式で生成された被写体領域マップであっても、該領域の画素について被写体距離の情報を格納しているものとして説明した。しかしながら本発明の実施はこれに限られるものではなく、被写体形状を考慮する必要がないような付加処理を行う場合は、被写体領域マップは被写体の領域を特定可能な情報が格納されていれば、被写体距離の情報を有している必要はない。

【0078】

また、本実施形態の画像処理装置では、測距センサ１２３が２つの撮像画像を用いたステレオ方式で測距を行って距離情報を構成するものとし、被写体領域マップの生成方式を、撮像時に設定されていたＩＳＯ値に応じて制御するものとして説明した。即ち、距離情報の導出精度をＩＳＯ値に基づいて判定し、該判定結果に基づいて被写体領域マップの生成に参照する情報を、距離情報、被写体情報のいずれか、または両方を用いるかを決定するものとして説明した。しかしながら、本発明の実施はこれに限られるものではない。例えば、撮像光学系の異なる瞳領域を通過した光束に基づいて複数の被写体像を得、これらの位相差に基づいて距離情報を取得する態様では、撮像時のＦ値に応じて同制御を行うものとしてもよい。より詳しくは、Ｆ値が小さいほど距離情報が取得しやすい構成となるため、このような条件では、距離情報に基づく重み付けの比率を大きくして被写体領域マップを生成するよう制御すればよい。反対に、Ｆ値が大きいほど、被写体情報に基づく重み付けの比率を大きくして被写体領域マップを生成するよう制御すればよい。このような態様においても、Ｆ値についてＩＳＯ値と同様に２段階の閾値を設け、Ｆ値が１段階目の閾値を下回る場合には距離情報のみに基づいて被写体領域マップを生成するよう構成すればよい。またＦ値が１段階目の閾値よりも大きい２段階目の閾値を上回る場合には、被写体情報のみに基づいて被写体領域マップを生成するよう構成すればよい。

【0079】

また本実施形態では、撮像機能を備えた撮像装置であるデジタルカメラ１００に、リライティング処理を行う機能が実装されている例について説明したが、本発明の実施がこれに限られるものではないことは容易に理解されよう。本発明は、撮像画像と、撮像時に係る距離情報及び被写体情報を取得可能に構成された装置であれば実施可能であるし、撮像装置と画像処理装置を有する撮像システムを用いても実施可能である。

【0080】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0081】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0082】

１００：デジタルカメラ、５０：システム制御部、１０３：撮像部、１０５：画像処理部、１０６：画像メモリ、１１３：検出部、１１４：リライティング部、１２３：測距センサ、２０８：被写体情報構成部、４０３：距離導出部、４０４：被写体領域特定部、４０５：法線導出部、４０６：光源設定部、４０７：反射成分導出部、４０８：付加処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】