特許 7455578 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 15/50 20110101AFI20240318BHJP

   H04N 23/60 20230101ALI20240318BHJP

【ＦＩ】

G06T15/50

H04N23/60 500

【請求項の数】 12

(21)【出願番号】P 2019239278

(22)【出願日】2019-12-27

(65)【公開番号】P2021108023

(43)【公開日】2021-07-29

【審査請求日】2022-12-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】豊原 遥平

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１８－１８２６９９（ＪＰ，Ａ）

【文献】特開２００９－１０４３３０（ＪＰ，Ａ）

【文献】特開２０１６－０７２６９２（ＪＰ，Ａ）

【文献】特開２０１７－１５２８６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／５０

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

画像データから特徴領域を検出する検出手段と、
前記特徴領域に対する仮想光の照射特性を決定する決定手段と、
前記特徴領域の検出信頼度に応じて、前記決定手段が決定した前記照射特性を補正する補正手段と、
前記補正手段が補正した前記照射特性に基づいて前記特徴領域に前記仮想光の効果を付加する付加手段と、を有し、
前記補正手段は、前記検出信頼度が第１の信頼度である場合よりも、前記第１の信頼度より信頼度が低い第２の信頼度の場合の方が前記仮想光による効果が弱くなるように、前記照射特性を補正し、
前記照射特性が照射強度および照射方向を含み、
前記補正手段は、前記仮想光が前記特徴領域に係る被写体をより正面から照射するように前記照射方向を補正することにより前記仮想光による効果を弱める、
ことを特徴とする画像処理装置。

【請求項2】

前記補正手段は、前記照射強度についても補正することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記補正手段は、前記照射強度を低下させることにより前記仮想光による効果を弱めることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記検出信頼度は、前記特徴領域の検出結果に基づく被写体の角度が、前記被写体の正面向きの角度に対して大きいほど低下することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記検出信頼度は、前記特徴領域に含まれる部位の検出信頼度が低いほど低下することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項6】

前記検出信頼度は、前記特徴領域の面積が小さいほど低下することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項7】

前記検出信頼度は、前記特徴領域の明るさが第１の閾値より低いほど、また第２の閾値より大きいほど低下することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項8】

さらに、前記画像データから前記特徴領域の一部を隠す遮蔽物の領域を検出する検出手段を有し、
前記検出信頼度は、前記特徴領域において前記遮蔽物の領域が占める割合が高いほど低くなることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項9】

前記検出信頼度が、前記特徴領域の角度に基づく信頼度、前記特徴領域の面積に基づく信頼度、前記特徴領域に含まれる部位の検出信頼度、前記特徴領域の検出信頼度、前記特徴領域の明るさに基づく信頼度、および前記特徴領域が隠されている割合に基づく信頼度の１つ以上に基づくことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項10】

撮像素子と、
前記撮像素子を用いて得られた画像データに対して仮想光の効果を付加する請求項１から９のいずれか１項に記載の画像処理装置と、
を有する撮像装置。

【請求項11】

画像処理装置が実行する画像処理方法であって、
画像データから特徴領域を検出する検出工程と、
前記特徴領域に対する仮想光の照射特性を決定する決定工程と、
前記特徴領域の検出信頼度に応じて、前記決定工程で決定した前記照射特性を補正する補正工程と、
前記補正工程で補正された前記照射特性に基づいて前記特徴領域に前記仮想光の効果を付加する付加工程と、を有し、
前記補正工程では、前記検出信頼度が第１の信頼度である場合よりも、前記第１の信頼度より信頼度が低い第２の信頼度の場合の方が前記仮想光による効果が弱くなるように、前記照射特性を補正し、
前記照射特性が照射強度および照射方向を含み、
前記補正工程では、前記仮想光が前記特徴領域に係る被写体をより正面から照射するように前記照射方向を補正することにより前記仮想光による効果を弱める、
ことを特徴とする画像処理方法。

【請求項12】

コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置および画像処理方法に関し、特には画像に仮想光の効果を付与する技術に関する。

【背景技術】

【0002】

従来、画像に対して仮想的な光源からの光（仮想光）の効果を付与するリライティング技術が知られている（特許文献１）。特許文献１では、リライティングを適用する被写体領域のコントラスト値が目標値になるように、仮想光源の位置を定めることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４４２２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

リライティングを適用する被写体領域を自動的に検出する場合、リライティングの質は被写体領域の検出精度に影響を受ける。例えば、被写体領域の検出精度が低い場合、リライティング適用後の画像が不自然になりうる。

【0005】

本発明は、自動検出された領域に適用する仮想光の効果が不自然になることを抑制可能な画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述の目的は、画像データから特徴領域を検出する検出手段と、特徴領域に対する仮想光の照射特性を決定する決定手段と、特徴領域の検出信頼度に応じて、決定手段が決定した照射特性を補正する補正手段と、補正手段が補正した照射特性に基づいて特徴領域に仮想光の効果を付加する付加手段と、を有し、補正手段は、検出信頼度が第１の信頼度である場合よりも、第１の信頼度より信頼度が低い第２の信頼度の場合の方が仮想光による効果が弱くなるように、照射特性を補正し、照射特性が照射強度および照射方向を含み、補正手段は、仮想光が特徴領域に係る被写体をより正面から照射するように照射方向を補正することにより仮想光による効果を弱める、ことを特徴とする画像処理装置によって達成される。

【発明の効果】

【0007】

本発明によれば、自動検出された領域に適用する仮想光の効果が不自然になることを抑制可能な画像処理装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係るデジタルカメラの機能構成例を示すブロック図

【図2】図１における画像処理部の機能構成例を示すブロック図

【図3】図２におけるリライティング処理部の機能構成例を示すブロック図

【図4】実施形態におけるリライティング処理に関する図

【図5】実施形態における光源情報補正部の動作に関するフローチャート

【図6】実施形態において光源情報補正部が用いる信頼度の特性例を示す図

【図7】実施形態における光源情報補正部が行う補正に関する図

【図8】実施形態における光源情報補正部の効果を模式的に示す図

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

なお、以下では、本発明をデジタルカメラに適用した実施形態を説明する。しかし、本発明には撮像機能は必須でなく、任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

【0011】

図１は、本発明の実施形態にかかる画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。光学系１０１はフォーカスレンズ、シャッタを兼ねる絞りなどを含み、撮像素子１０２の撮像面に被写体像を形成する。フォーカスレンズや絞りの動作は制御部１０９が制御する。

【0012】

撮像素子１０２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、２次元配列された複数の光電変換部（画素）を有する。撮像素子１０２は光学系１０１が形成する被写体像を光電変換部で電気信号に変換することにより、アナログ画像信号を生成する。Ａ／Ｄ変換部１０３はアナログ画像信号をＡ／Ｄ変換し、ＲＡＷ画像データを生成する。

【0013】

画像処理部１０４はＲＡＷ画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0014】

ここで、画像処理部１０４が適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正（ガンマ処理）、光学系１０１の光学系の収差を補正する処理、色を補正する処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などである。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは画像処理部１０４が実施可能な画像処理の例示であり、画像処理部１０４が実施する画像処理を限定するものではない。

【0015】

画像処理部１０４はＲＡＷ画像データに対して所定の画像処理を適用して記録用の画像データや表示用の画像データを生成する。記録用の画像データは所定の画像データファールの形式で記録部１０８に出力される。また、表示用の画像データはメモリ１１０のＶＲＡＭ領域に出力される。

【0016】

記録部１０８は、制御部１０９の制御に従い、半導体メモリカードなどの記録媒体に、画像処理部１０４から出力される画像データを記録する。また、記録部１０８は、制御部１０９の制御に従い、記録媒体からデータを読み出して例えばメモリ１１０に出力する。

【0017】

距離マップ生成部１０５は、例えば画像処理部１０４から供給される画像データを用いて撮影範囲の距離マップＤ＿ＭＡＰを生成し、生成した距離マップＤ＿ＭＡＰを画像処理部１０４に出力する。距離マップＤ＿ＭＡＰを生成する方法に特に制限はなく、公知の方法を用いることができる。距離マップＤ＿ＭＡＰは画素ごとに被写体距離を表す情報であり、輝度値が距離を表すデプスマップ（距離画像、奥行き画像などと呼ばれることもある）であってよい。例えば、画像処理部１０４が生成するコントラストＡＦ用の評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ぼけ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。これらの技術に関しては例えば特開２０１０－１７７７４１号公報や米国特許第4,965,840号公報などに記載されている。また、撮像素子１０２が視差画像の撮影に対応している場合など、視差画像対が利用できる場合には、ステレオマッチング等の手法で画素ごとに被写体距離を取得することができる。

【0018】

顔検出部１０６は、画像処理部１０４でリライティング処理を適用する特徴領域（被写体領域）の一例として、画像データから人物の顔の特徴を有する領域（顔領域）を検出する。なお、リライティング処理を適用する被写体領域は顔領域に限定されず、他の特徴領域であってよい。なお、顔検出部１０６は、公知の方法により顔領域を検出することができる。

【0019】

公知の方法の例としては、ニューラルネットワークなどを利用した学習に基づいて顔領域を検出する方法、テンプレートマッチングを用いて目、鼻、口等、顔の器官を画像から検出する方法、肌の色や目の形といった画像特徴量に基づく方法などがある。また、これらの方法を複数組み合わせ、顔領域の検出の精度を向上させることもできる。

【0020】

本実施形態において顔検出部１０６は、顔領域の検出時に、顔領域に含まれる部位（右目、左目、口、鼻など。顔の器官とも呼ぶ）の座標を検出する。そして、顔検出部１０６は、右目と左目との距離など、器官間の距離を算出する。器官間の距離は、例えば器官の画像領域（器官領域）の代表座標（例えば中心もしくは重心座標）間の距離であってよい。顔検出部１０６は、器官間の距離に基づいて、器官領域の代表座標の重心座標を中心とする楕円領域を顔領域として検出する。この際、顔検出部１０６は例えば色情報や距離情報を用いて、背景領域を含まないように楕円領域の大きさを決定する。

【0021】

また顔検出部１０６は、顔領域、器官領域について、検出の確からしさを示す検出信頼度も公知の方法で算出する。例えば、器官領域をパターンマッチングで検出する場合には、マッチングの度合い（例えばテンプレートとの相関度）を検出信頼度とすることができる。また、顔領域の検出信頼度は、例えば、器官間の距離や、器官領域の検出信頼度に基づいて決定することができる。なお、これらは例示であり、他の方法で検出信頼度を求めてもよい。顔検出部１０６は、検出結果（例えば顔領域の数、顔領域情報（例えば位置、大きさ、検出信頼度など））を画像処理部１０４に出力する。なお、被写体領域の検出処理は画像処理部１０４で実行してもよい。

【0022】

なお、顔検出部１０６で顔領域が複数検出された場合、顔検出部１０６は１つの顔領域を主顔領域として選択する。選択方法に特に制限はないが、面積が最も大きい顔領域や、画面の中央に最も近い顔領域、検出信頼度が最も高い顔領域を主顔領域として選択することができる。あるいは、主顔領域をユーザに選択させてもよい。なお、主顔領域の選択は画像処理部１０４が行ってもよい。以下の説明では特に主顔領域と他の顔領域とを区別しないが、複数の顔領域が検出された場合、本実施形態では主顔領域をリライティング処理を適用する顔領域とする。

【0023】

遮蔽物検出部１０７は、画像データから、リライティング処理を適用する被写体の一部を遮蔽している（隠している）物体の領域（遮蔽物領域）を検出する。本実施形態では顔領域にリライティング処理を適用するため、遮蔽物としてマスクやサングラスなど、顔領域を隠す物体を検出する。遮蔽物領域の検出方法に特に制限は無く、テンプレートマッチングなど公知の方法を用いることができる。顔領域内の距離情報を用いてもよい。遮蔽物検出部１０７は、検出した遮蔽物領域の情報（例えば位置、大きさ、検出信頼度など）を画像処理部１０４に出力する。

【0024】

制御部１０９は、１つ以上のマイクロプロセッサ（ＣＰＵ、ＭＰＵ）を有し、例えばメモリ１１０内のＲＯＭに記憶されたプログラムをメモリ１１０内のＲＡＭに読み込んで実行することにより、各機能ブロックの動作を制御する。これにより、制御部１０９はデジタルカメラ１００の各種の機能を実現する。制御部１０９は例えば、画像処理部１０４が生成するＡＦ評価値に基づいてフォーカスレンズの駆動を制御したり、画像処理部１０４が生成するＡＥ評価値に基づいて露出条件を決定したりする。

【0025】

メモリ１１０はＲＯＭ（不揮発性領域）とＲＡＭ（揮発性領域）とを有する。ＲＯＭには制御部１０９のマイクロプロセッサが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭは、制御部１０９のマイクロプロセッサが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。ＲＡＭはまた、画像処理部１０４のバッファとして用いられたり、表示部１１２のビデオメモリとして用いられたりする。

【0026】

操作部１１１は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスの総称である。表示部１１２がタッチディスプレイである場合、タッチパネルは操作部１１１に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１１１に含まれてもよい。

【0027】

表示部１１２は、例えばデジタルカメラ１００の背面に設置された液晶ディスプレイである。表示部１１２は、撮影スタンバイ状態や動画撮影中に電子ビューファインダ（ＥＶＦ）として機能する。また、表示部１１２は、デジタルカメラ１００の現在の設定値や状態や、メニュー画面、記録部１０８から読み出された画像データなども表示する。

【0028】

図２は、画像処理部１０４の構成例を示すブロック図である。画像処理部１０４は、同時化処理部２０１、ホワイトバランス処理部２０２、リライティング処理部２０３、ガンマ処理部２０４を有する。

【0029】

Ａ／Ｄ変換部１０３が出力するＲＡＷ画像データは、同時化処理部２０１に入力される。同時化処理部２０１は、画像データを構成する画素データに不足している色成分の値を生成する。ここでは、撮像素子１０２に原色ベイヤ配列のカラーフィルタが設けられているものとする。この場合、入力されるＲＡＷ画像データを構成する画素データは、Ｒ、Ｇ、Ｂの色成分のうち１つの色成分の値しか有していない。同時化処理部２０１は、公知の色補間方法を用いて、個々の画素データに不足している色成分の値を生成する。

【0030】

同時化処理部２０１は、処理を適用した画像データをホワイトバランス処理部２０２に出力する。ホワイトバランス処理部２０２は、例えば制御部１０９が算出したホワイトバランスゲインを適用することにより、画像データのホワイトバランスを補正する。ホワイトバランス補正後の画像データはリライティング処理部２０３に出力されるほか、距離マップ生成部１０５、顔検出部１０６、および遮蔽物検出部１０７に出力される。

【0031】

なお、距離マップ生成部１０５、顔検出部１０６、および遮蔽物検出部１０７で用いる画像データは、ホワイトバランス補正処理後の画像データに限定されず、他の処理段階で供給されてもよい。

【0032】

リライティング処理部２０３は、ホワイトバランス処理部２０２から画像データを、距離マップ生成部１０５から距離マップＤ＿ＭＡＰを、顔検出部１０６から検出結果をそれぞれ受け取る。リライティング処理部２０３は、画像データに対して仮想光を照射した効果を付加するリライティング処理を適用し、処理後の画像データ（Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔ）をガンマ処理部２０４に出力する。ガンマ処理部２０４はリライティング処理後の画像データに対して予め定められたガンマカーブに基づく階調変換処理を適用し、処理後の画像データ（Ｒｇ，Ｇｇ，Ｂｇ）を記録部１０８に出力する。ここでは省略しているが、ガンマ処理後、記録部１０８に出力されるまでに様々な画像処理（例えば符号化処理）が適用されうる。また、ガンマ処理後の画像データが表示用であれば記録部１０８には出力されず、メモリ１１０を介して表示部１１２に出力される。

【0033】

リライティング処理部２０３が画像データに適用する処理の詳細について、図３を用いて説明する。図３はリライティング処理部２０３の構成例を示すブロック図である。リライティング処理部２０３は、法線取得部３０１、光源情報算出部３０２、光源情報補正部３０３、拡散反射成分算出部３０４、付加処理部３０５、を有する。

【0034】

顔検出部１０６による検出結果は法線取得部３０１に入力される。法線取得部３０１は、顔検出部１０６が検出した顔領域に対する法線情報を取得する。例えば法線取得部３０１は、顔検出部１０６が検出した顔領域における器官の位置や距離などから顔の向きを決定し、予めメモリ１１０のＲＯＭ領域に予め格納された一般的な人物の顔に対する法線情報を用いて、検出された顔領域に適切な法線情報を取得する。法線取得部３０１は、取得した法線情報Ｎを光源情報算出部３０２へ出力する。

【0035】

光源情報算出部３０２は、ホワイトバランス処理部２０２から画像データを、法線取得部３０１から法線Ｎを供給される。光源情報算出部３０２は、公知の方法を用いて仮想光の照射方向を示す３次元方向ベクトルＬと、仮想光源の強度αとを算出する。例えば、特許文献１に記載されているように、類似色を有するブロックの輝度に基づいて求めたコントラスト値と、推定した環境光の照射方向とに基づいて、コントラスト値を目標値にするための仮想光の照射特性（照射方向や照射強度）を決定することができる。なお、仮想光の照射特性（照射方向や照射強度）を決定する方法は、特許文献１に記載された方法に限定されない。

【0036】

本実施形態では、仮想光源から被写体に照射される仮想光の方向を３次元方向ベクトルである仮想光ベクトルＬとして表す。また、照射強度を照射目標座標と光源座標との距離に基づいて光源強度αに換算する。ベクトルＬは、仮想光の照射方向を示す単位ベクトルｎＬと、照射目標座標と光源座標との距離｜Ｌ｜からＬ＝｜Ｌ｜＊ｎＬと表記することができる。光源情報算出部３０２は、求めたベクトルＬおよび照射強度αを光源情報補正部３０３へ出力する。

【0037】

光源情報補正部３０３は、仮想光源を照射する顔領域の状態に基づいて、仮想光の照射特性を表す仮想光ベクトルＬ（照射方向）と光源強度α（照射強度）の少なくとも一方を特徴領域の検出信頼度に応じて補正する。光源情報補正部３０３は、補正後の仮想光ベクトルＬ’と補正後の光源強度α’を拡散反射成分算出部３０４に出力する。

【0038】

拡散反射成分算出部３０４は、被写体による仮想光の拡散反射成分Ｒｄ、Ｇｄ、Ｂｄを算出する。拡散反射成分の求め方について、図４を用いて説明する。
図４は、撮影時におけるデジタルカメラ１００と被写体４０１、および被写体に仮想光を照射する仮想光源４０２との位置を鉛直上方からみた図である。なお、ここでは鉛直な撮像面のある水平方向に並んだ画素に入射する光線に関して述べる。垂直方向についても基本的な考え方は同様である。また、被写体４０１の形状は説明および理解を容易にするために単純化している。

【0039】

デジタルカメラ１００で撮影された画像の水平画素位置Ｈ１に入射する仮想光の拡散反射成分は、カメラ座標Ｈ１における、法線Ｎ１と仮想光ベクトルＬ１の内積に比例し、仮想光源４０２と被写体位置の距離Ｋ１の二乗に反比例する値となる。したがって、仮想光源４０２から放射された光（仮想光）が被写体４０１で反射されることによる拡散反射成分の強度Ｐｄは（式１）で表すことができる。

【数1】

ここで、（式１）におけるＮは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体との距離、ｋｄは被写体の拡散反射率である。α’、Ｌ’はそれぞれ光源情報補正部３０３が出力する補正後の仮想光源の強度と仮想光ベクトルである。ｗθは予め用意された、仮想光源４０２の方向と被写体の法線方向の差に基づく重み関数である。重み関数ｗθは、仮想光源４０２の方向と、仮想光源から注目画素（カメラ座標Ｈ１）に対応する被写体上の位置への方向の角度差に応じて変化する特性をもつ。

【0040】

また、拡散反射成分の強度Ｐｄを用い、色成分ごとの拡散反射成分Ｒｄ、Ｇｄ、Ｂｄは（式２）で表すことができる。
Ｒｄ＝Ｐｄ×Ｒｗ×Ｒ
Ｇｄ＝Ｐｄ×Ｇｗ×Ｇ ・・・（式２）
Ｂｄ＝Ｐｄ×Ｂｗ×Ｂ
ここで、Ｒ、Ｇ、Ｂは注目画素の色成分値、Ｒｗ、Ｇｗ、Ｂｗは仮想光源４０２（仮想光）の色を示すパラメータである。

【0041】

付加処理部３０５は、拡散反射成分算出部３０４で算出した拡散反射成分Ｒｄ、Ｇｄ、Ｂｄを、ホワイトバランス処理部２０２から入力される画像データのうち、注目画素の色成分値Ｒ、Ｇ、Ｂに付加することにより、仮想光の効果を付加する。したがって、付加処理部３０５が仮想光の効果を付加した画像データＲ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔは（式３）のように表すことができる。
Ｒ＿ｏｕｔ＝Ｒ＋Ｒｄ
Ｇ＿ｏｕｔ＝Ｇ＋Ｇｄ ・・・（式３）
Ｂ＿ｏｕｔ＝Ｂ＋Ｂｄ

【0042】

付加処理部３０５は、ホワイトバランス処理部２０２から入力される画像データのうち、リライティング処理の対象となる被写体領域に含まれる画素のデータについて、拡散反射成分を付加して出力する。付加処理部３０５は、被写体領域に含まれない画素のデータについては色成分Ｒ，Ｇ，Ｂを変更せずに出力する。

【0043】

次に、光源情報補正部３０３の処理について図５に示すフローチャートを用いて詳細に説明する。
Ｓ５０１で光源情報補正部３０３は、顔面積情報、顔信頼度、顔器官検出信頼度を顔検出部１０６から取得する。また、光源情報補正部３０３は、ホワイトバランス処理部２０２から入力される画像データのうち、顔領域に含まれる画素データから顔領域の輝度値を求め、顔明るさ情報とする。光源情報補正部３０３は、例えば画素データのＲ、Ｇ、Ｂ成分を所定の比率、例えばＲ：Ｇ：Ｂを３：６：１の比率で合成した値を輝度値として算出することができる。なお、光源情報補正部３０３は、顔明るさ情報を画像処理部１０４または制御部１０９から取得してもよい。また、光源情報補正部３０３は、顔領域に含まれる器官領域の情報から得られる顔領域内の器官の配置と、予め保持している正面向きの顔における器官領域の配置と比較することにより、顔領域の姿勢（被写体の角度）を求める。顔領域の姿勢は、正面向きの角度を水平０°垂直０°としたときの、水平角度、垂直角度として求めることができる。また、光源情報補正部３０３は、遮蔽物検出部１０７から遮蔽物領域の情報を取得する。

【0044】

Ｓ５０２で光源情報補正部３０３は、光源信頼度を算出する。光源信頼度は、以下の複数の信頼度に基づく。
顔角度に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＡｎｇｌｅ
顔面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅ
顔器官検出信頼度Ｃｏｎｆ＿ＦａｃｅＰａｒｔｓＤｅｔｅｃｔ
顔検出信頼度Ｃｏｎｆ＿ＦａｃｅＤｅｔｅｃｔ
顔明るさに基づく信頼度Ｃｏｎｆ＿Ｌｕｍｉｎａｃｅ
顔遮蔽物に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＣｏｖｅｒ

【0045】

顔角度に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＡｎｇｌｅは、顔の姿勢を表す角度が大きいほど低くなる信頼度であり、例えば図６（ａ）に示す特性を持つ。デジタルカメラ１００に対して顔が正対している（正面を向いている）場合に、水平方向および垂直方向の角度が０度であるものとする。また、デジタルカメラ１００からみて顔が右方向および上方向に向いている場合に水平方向および垂直方向に正の角度を有し、左方向および下方向に向いている場合に水平方向および垂直方向に負の角度を有するものとする。顔の水平方向の角度絶対値と垂直方向の角度絶対値の加重加算値ＦａｃｅＡｎｇｌｅが予め定めたＴｈ＿ＦａｃｅＡｎｇｌｅを超えると信頼度Ｃｏｎｆ＿ＦａｃｅＡｎｇｌｅは０になる。基本的に、正面向きからの角度が大きいほど信頼度Ｃｏｎｆ＿ＦａｃｅＡｎｇｌｅは低下する。

【0046】

ここで、水平角度と垂直角度を加算する際の重みは任意に設定してよい。一例をあげれば、顔検出部１０６の特性に基づいて設定することができる。例えば、顔検出部１０６が機械学習したニューラルネットワークに基づいて顔領域を検出する構成とする。この場合、水平方向に角度を有する顔の画像を垂直方向に角度を有する顔の画像よりも多く学習データとして用いた場合、水平方向の角度の重みを相対的に小さくしてＣｏｎｆ＿ＦａｃｅＡｎｇｌｅが低くならないようにすることができる。

【0047】

顔面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅは、画像全体に占める顔領域面積の比率が高いほど高くなる信頼度であり、例えば図６（ｂ）に示す特性を持つ。図６（ｂ）において、Ｔｈ＿ＦａｃｅＳｉｚｅ＿Ｍｉｎは顔検出部１０６が検出可能な顔領域の最小サイズに対応する比率であり、Ｔｈ＿ＦａｃｅＳｉｚｅ＿Ｍａｘは顔検出の信頼度が十分高いと見なすことのできる顔領域のサイズに対応する比率である。

【0048】

顔器官検出信頼度Ｃｏｎｆ＿ＦａｃｅＰａｒｔｓＤｅｔｅｃｔは、顔検出部１０６が検出した器官領域の信頼度に基づく信頼度である。例えば、個々の器官領域の検出信頼度の平均値であってよい。

【0049】

顔検出信頼度Ｃｏｎｆ＿ＦａｃｅＤｅｔｅｃｔは顔検出部１０６が検出した顔領域の検出信頼度に基づく信頼度である。ここでは顔検出部１０６から得られる検出結果に含まれる信頼度をそのまま用いるものとするが、何らかの要因によって重み付けを行うなど、顔検出部１０６から得られる信頼度に基づいて顔検出信頼度Ｃｏｎｆ＿ＦａｃｅＤｅｔｅｃｔを求めてもよい。

【0050】

顔明るさに基づく信頼度Ｃｏｎｆ＿Ｌｕｍｉｎａｃｅは、顔領域の明るさが極端に暗いまたは明るい場合に低くなり、それ以外の明るさの範囲ではほぼ高い値を有する信頼度であり、例えば図６（ｃ）に示す特性を持つ。信頼度は、Ｔｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍｉｎ（第１の閾値）より低いほど低下し、またＴｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍａｘ（第２の閾値）より大きいほど低下する。Ｔｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍｉｎ、Ｔｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍａｘは、例えば顔領域に含まれる画素の平均輝度値もしくは最高／最低輝度値について、顔領域内のコントラストが適正な範囲に保たれる明るさに基づいて定めた閾値である。例えば、最低輝度値が高い場合には顔領域の多くが白飛びしており、十分なコントラストが得られていないと考えられる。同様に、最高輝度値が低い場合には顔領域の多くが黒つぶれしており、やはり十分なコントラストが得られていないと考えられる。Ｔｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍｉｎ、Ｔｈ＿Ｌｕｍｉｎａｎｃｅ＿Ｍａｘは例えば予め実験的に決定することができる。

【0051】

顔遮蔽物に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＣｏｖｅｒは、顔領域上に占める遮蔽物領域の割合が高いほど低くなる信頼度であり、例えば図６（ｄ）に示す特性を持つ。Ｔｈ＿ＦａｃｅＣｏｖｅｒは許容できる遮蔽物の占有率の上限値であり、予め例えば実験的に定めることができる。

【0052】

以上説明した６種類の光源信頼度は、最低の信頼度から最高の信頼度を表す０から１までの値を取る。光源情報補正部３０３は、各信頼度に予め定められた重みを適用して加重加算し、光源強度の信頼度Ｃｏｎｆ＿ｐｏｗｅｒを算出する。光源強度の信頼度Ｃｏｎｆ＿ｐｏｗｅｒは０から１の値をとり、値が小さいほど仮想光源の強度を低く補正する。光源強度の信頼度を算出する際に光源信頼度に適用する重みの設定方法に特に制限はない。光源強度は仮想光の効果を適用した顔領域の明るさに大きく影響を与えるため、顔明るさに基づく信頼度Ｃｏｎｆ＿Ｌｕｍｉｎａｃｅの重みを相対的に大きくすることができる。また、顔領域の面積が小さい場合は、顔領域から取得した陰影情報の信頼度が低い可能性があるため、顔面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅの重みを相対的に大きくすることができる。これらは単なる例示であり、他の重み付けを行ってもよい。また、重み付けを行わずに光源信頼度の平均値を用いてもよい。基本的に、光源信頼度が低い場合には仮想光源の強度を抑えることにより、仮想光の付加が不自然な結果になることを抑制可能であれば、重みの設定方法に制限はない。

【0053】

光源情報補正部３０３は、光源強度の信頼度Ｃｏｎｆ＿ｐｏｗｅｒを用い、（式４）に従って光源強度αを補正し、補正後の光源強度α’を得る。
α’＝Ｃｏｎｆ＿ｐｏｗｅｒ×α ・・・（式４）
このように、光源情報補正部３０３は、光源強度の信頼度Ｃｏｎｆ＿ｐｏｗｅｒが第１の信頼度である場合よりも、第１の信頼度より信頼度が低い第２の信頼度の場合の方が仮想光による効果が弱くなるように、光源強度αを補正する。

【0054】

Ｓ５０４で光源情報補正部３０３は、光源信頼度に基づいて仮想光ベクトルＬを補正する。図７を用いてＳ５０４の処理について説明する。図７は図４で説明した被写体４０１と仮想光源４０２の関係から、仮想光ベクトルＬを補正する原理を示す図である。被写体４０１に仮想光源４０２から照射される仮想光の方向を示す仮想光ベクトルＬは仮想光の照射目標点７０１をもつ。照射目標点７０１を通り、被写体４０１の代表法線Ｎｐの方向を持つ直線７００と、仮想光ベクトルＬのなす角θを算出する。算出したθに対して（式５）を用い、補正後の仮想光ベクトルＬ’が直線７００となす角θ’を算出する。
θ’＝Ｃｏｎｆ＿ａｎｇｌｅ×θ ・・・（式５）

【0055】

ここでＣｏｎｆ＿ａｎｇｌｅは仮想光源の方向信頼度であり、強度信頼度と同様に０～１の値をとる。このように、光源情報補正部３０３は、仮想光源の方向信頼度Ｃｏｎｆ＿ａｎｇｌｅが第１の信頼度である場合よりも、第１の信頼度より信頼度が低い第２の信頼度の場合の方が仮想光による効果が弱くなるように、照射方向θを補正する。

【0056】

信頼度Ｃｏｎｆ＿ａｎｇｌｅが小さいほどθ’は０に近づき、被写体４０１の代表法線Ｎｐとの角度差が小さくなる特性を持つ。方向信頼度Ｃｏｎｆ＿ａｎｇｌｅは、Ｓ５０３で説明した６種類の光源信頼度に対し予め定められた重みを適用して加重加算して得られる信頼度である。方向信頼度を求める際の重みは、強度信頼度を求める際に用いる重みとは異なってもよい。例えば、顔器官検出信頼度Ｃｏｎｆ＿ＦａｃｅＰａｒｔｓＤｅｔｅｃｔが低い場合、メモリ１１０から取得する法線情報の信頼性が低くなる可能性があるため、顔器官検出信頼度Ｃｏｎｆ＿ＦａｃｅＰａｒｔｓＤｅｔｅｃｔの重みを相対的に大きくする。これは単なる例示であり、他の重み付けを行ってもよい。また、重み付けを行わずに光源信頼度の平均値を用いてもよい。基本的に、光源信頼度が低い場合には仮想光源の照射方向を代表法線の方向に近く補正することで、仮想光の付加による陰影（コントラスト）の変化が不自然な結果になることを抑制可能であれば、重みの設定方法に制限はない。

【0057】

光源情報補正部３０３は、被写体４０１の代表法線Ｎｐの方向に延びる直線７００と角θ’をなし、かつ｜Ｌ’｜と｜Ｌ｜が等しくなるよう補正後の仮想光ベクトルＬ’を求める。

【0058】

Ｓ５０５で光源情報補正部３０３は、補正後の光源強度α’および仮想光ベクトルＬ’を拡散反射成分算出部３０４に出力する。

【0059】

上述のように、拡散反射成分算出部３０４は、光源情報補正部３０３で補正した光源強度α’および仮想光ベクトルＬ’を用いて、仮想光の効果として付加する拡散反射成分を算出する。そのため、付加処理部３０５で付加される仮想光の効果の強さは、光源の強度信頼度および方向信頼度に応じて変化する。例えば、顔領域や器官領域の検出信頼度が低い場合には、仮想光の強度が弱められるほか、仮想光の照射方向が法線方向に近くなることにより、仮想光による効果が抑制される。そのため、仮に顔領域や器官領域の検出に失敗している場合でも、仮想光の効果を付加した画像が不自然に目立つことを抑制することができる。

【0060】

仮想光の効果が抑制されない場合のリライティング処理を図８（ａ）に模式的に示す。ここで、画像の中心から右下に記載されている照明の絵は仮想光源の方向と強さを模式的に示すもので、実際には表示されない。

【0061】

例えば検出される顔領域のサイズが小さくなった場合、上述した６つの信頼度のうち、少なくとも顔面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅが図８（ａ）の場合よりも低下する。これにより、仮想光の強度が低く補正された状態を図８（ｂ）に示している。図８（ｂ）は仮想光の照射方向は補正されていないが、照射強度が低減されているため、顔の陰影を弱める効果が弱くなっている。したがって、顔領域の明るさを誤って検出した場合でも、誤った照射強度で仮想光の効果を付加することによる不自然さが生じることを抑制できる。

【0062】

また、例えばコントラストが非常に強く、顔領域の陰になった部分で目領域が検出できない場合には、少なくとも顔面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅが図８（ａ）の場合よりも低下する。これにより、仮想光の角度が法線方向に近づくように補正された状態を図８（ｃ）に示している。図８（ｃ）は仮想光の照射強度は補正されていないが、照射方向が顔の正面に近い方向に補正されているため、顔領域のより仮想光の効果が反映されるようになっている。したがって、目領域の検出失敗によって顔の姿勢の判定精度が低下した場合であっても、誤った照射方向で仮想光の効果を付加することによる不自然さが生じることを抑制できる。

【0063】

本実施形態によれば、画像処理によって検出された特徴領域に対して仮想光の効果を付加するリライティング処理を適用する画像処理装置において、特徴領域の検出信頼度に応じて仮想光の照射強度および／または照射方向を補正するようにした。具体的には、特徴領域の検出信頼度が低い場合には仮想光の効果が抑制されるように補正するようにした。そのため、信頼度が低い検出結果に基づいてリライティング処理を適用する必要がある場合であっても、リライティング処理が不自然になることを抑制できる。

【0064】

（その他の実施形態）
上述の実施形態ではリライティング処理を適用する特徴領域が人物の顔領域であった。しかし、特徴領域は顔領域に限定されず、画像データから機械的に検出可能な任意の特徴領域であってよい。

【0065】

また、上述の実施形態では光源強度αを、光源信頼度に基づく強度信頼度Ｃｏｎｆ＿ｐｏｗｅｒに基づいて補正した。しかし、強度信頼度Ｃｏｎｆ＿ｐｏｗｅｒの代わりに被写体と光源の距離を示すノルム｜Ｌ｜を制御することで被写体に照射される仮想光の強度を制御してもよい。すなわち、強度を弱める場合には距離を延ばすように補正した｜Ｌ’｜を用いるようにすればよい。

【0066】

さらに、上述の実施形態では強度信頼度および角度信頼度のいずれにおいても６種類の信頼度を用いて算出した。しかしながら、より少ない種類の信頼度に基づいて強度信頼度および角度信頼度を求めてもよい。例えば、６つの信頼度のうち、特に照射強度の決定に影響が大きい信頼度だけに基づいて照射強度の信頼度を求めたり、特に照射角度の決定に影響が大きい信頼度だけに基づいて照射角度の信頼度を求めたりしてもよい。

【0067】

例えば、照射強度を補正する強度信頼度Ｃｏｎｆ＿ｐｏｗｅｒについては、顔領域の明るさに基づく信頼度Ｃｏｎｆ＿Ｌｕｍｉｎａｎｃｅおよび顔領域の面積に基づく信頼度Ｃｏｎｆ＿ＦａｃｅＳｉｚｅの１つ以上に基づいて求めることができる。また、照射角度を補正する方向信頼度Ｃｏｎｆ＿ａｎｇｌｅについては、顔器官検出信頼度Ｃｏｎｆ＿ＦａｃｅＰａｒｔｓＤｅｔｅｃｔに基づいて求めることができる。これらは例示であり、強度信頼度Ｃｏｎｆ＿ｐｏｗｅｒおよび方向信頼度Ｃｏｎｆ＿ａｎｇｌｅは、それぞれ６種類の信頼度の１つ以上に基づいて求めることができる。

【0068】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0069】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0070】

１０１…光学系、１０２…撮像素子、１０３…Ａ／Ｄ変換部、１０４…画像処理部、１０５…距離マップ生成部、１０６…顔検出部、１０７…遮蔽物検出部、１０８…記録部、１０９…制御部、１１０…メモリ、１１１…操作部、１１２…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】