特許 6044909 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6044909

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20161206BHJP

   G06T 1/00 20060101ALI20161206BHJP

【ＦＩ】

   G06T5/00 735

   G06T1/00 340A

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2014-553895(P2014-553895)

(86)(22)【出願日】2012年12月27日

(86)【国際出願番号】JP2012008409

(87)【国際公開番号】WO2014102878

(87)【国際公開日】20140703

【審査請求日】2015年7月29日

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】平島 毅

(72)【発明者】

【氏名】渡辺 辰巳

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００８−０９７６５７（ＪＰ，Ａ）

【文献】 特開２００９−０２１９６４（ＪＰ，Ａ）

【文献】 特開２００９−２１１１５１（ＪＰ，Ａ）

【文献】 特開２００８−２２５９７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ５／５０

(57)【特許請求の範囲】

【請求項1】

入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備え、
前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、
前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記付加量を算出する付加量算出部とを含み、
前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出することを特徴とする画像処理装置。

【請求項2】

前記光源情報保存部には、前記光源の照明方向として互いに異なる複数の照明方向が保存され、
前記決定部は、使用者による操作に応じて、前記光源情報保存部から前記複数の照明方向のうち少なくとも１つの照明方向を選択する光源選択部をさらに含み、
前記付加量算出部は、前記光源選択部により選択された前記光源の照明方向を用いて、前記付加量を算出することを特徴とする請求項１記載の画像処理装置。

【請求項3】

入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備え、
前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記顔領域において前記顔の向きを検出する向き検出部と、
前記顔の向きに基づき、前記顔を照明する仮想的に設けられた光源の照明方向を設定する光源設定部と、
前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記法線推定部により推定された前記法線方向と、前記光源設定部により設定された前記光源の照明方向とに基づき、前記付加量を算出する付加量算出部とを含み、
前記光源設定部は、前記顔の正面の下方から前記顔を照明するように前記光源の照明方向を設定し、
前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出することを特徴とする画像処理装置。

【請求項4】

前記決定部は、前記光源設定部により設定された前記光源の照明方向を補正する光源補正部をさらに含み、
前記入力画像信号は、フレームごとに入力され、
前記向き検出部は、前記顔の向きをフレームごとに検出し、
前記光源設定部は、前記顔の向きに基づき、前記光源の照明方向を表す光源ベクトルをフレームごとに設定し、
第１フレームの１つ前のフレームが第２フレームと定義され、
前記光源補正部は、前記光源設定部により設定された前記光源ベクトルをフレームごとに補正し、
前記付加量算出部は、前記光源補正部により補正された前記光源ベクトルを用いて、前記付加量をフレームごとに算出し、
前記第１フレームにおいて前記光源補正部により補正された補正光源ベクトルＬｃ（ｔ）は、前記第１フレームにおいて前記光源設定部により設定された光源ベクトルＬ（ｔ）と、前記第２フレームにおいて前記光源設定部により設定された光源ベクトルＬ（ｔ−１）が前記光源補正部により補正された補正光源ベクトルＬｃ（ｔ−１）とを用いて、求められることを特徴とする請求項３記載の画像処理装置。

【請求項5】

入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部と、
フレームごとに入力される前記入力画像信号に基づき、隣接するフレーム間の動きベクトルをフレームごとに検出する動き検出部と、
前記動きベクトルに基づき、前記顔検出部により検出された前記顔領域を補正して補正顔領域を出力する領域補正部とを備え、
前記補正顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記画素値の差異の大きさと前記定義とに基づき、前記補正顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、
前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記補正顔領域の前記入力画像信号に付加する画素値の付加量を算出する付加量算出部とを含み、
第１フレームの１つ前のフレームが第２フレームと定義され、
前記顔検出部は、前記顔領域をフレームごとに検出し、
前記領域補正部は、前記顔領域をフレームごとに補正し、
前記法線推定部は、前記画素値の差異が大きくなると前記補正顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出し、
前記信号補正部は、前記補正顔領域の前記入力画像信号の画素値に前記付加量を加算し、
前記第１フレームにおいて前記領域補正部により補正された補正顔領域Ｒｃ（ｔ）は、前記第１フレームにおいて前記顔検出部により検出された顔領域Ｒ（ｔ）と、前記第２フレームにおいて前記顔検出部により検出された顔領域Ｒ（ｔ−１）を前記動きベクトルにより移動させた領域Ｒｖ（ｔ−１）とを用いて、求められることを特徴とする画像処理装置。

【請求項6】

前記決定部は、前記動きベクトルに基づき、前記法線推定部により推定された前記法線方向を表す法線ベクトルをフレームごとに補正する法線補正部をさらに含み、
前記付加量算出部は、前記法線補正部により補正された補正後の前記法線ベクトルを用いて、前記付加量をフレームごとに算出し、
前記第１フレームにおいて前記法線補正部により補正された補正後の法線ベクトルＮｃ（ｔ）は、前記第１フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルＮ（ｔ）と、前記第２フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルＮ（ｔ−１）を前記動きベクトルにより移動させた法線ベクトルＮｖ（ｔ−１）とを用いて、求められることを特徴とする請求項５記載の画像処理装置。

【請求項7】

前記入力画像信号における各画素は、第１方向及び前記第１方向に直交する第２方向にマトリクス状に配列され、
前記法線推定部は、
前記法線方向を推定する推定対象画素の画素値に対して前記第１方向に微分処理を行って第１微分値を出力する第１微分処理部と、
前記推定対象画素の画素値に対して前記第２方向に微分処理を行って第２微分値を出力する第２微分処理部と、
前記第１微分値に対して平滑処理を行って第１平滑値を出力し、かつ前記第２微分値に対して平滑処理を行って第２平滑値を出力する空間フィルタ処理部とを含み、
前記法線推定部は、予め定められた固定値を保持し、前記第１平滑値を、前記法線方向を表す法線ベクトルの前記第１方向の成分とし、前記第２平滑値を前記法線ベクトルの前記第２方向の成分とし、前記固定値を前記法線ベクトルの第３方向の成分とすることにより前記法線ベクトルを生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。

【請求項8】

前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度と、前記入力画像信号の各画素の画素値とから、前記付加量を算出することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。

【請求項9】

前記付加量算出部は、下記式を用いて前記付加量ΔＩを算出することを特徴とする請求項８記載の画像処理装置。
ΔＩ＝Ｉｉｎ×ｓｉｎα×Δα
Δα＝Ｆ１（Ｉｉｎ）×Ｆ２（α）×Ｋ０
ここで、Ｉｉｎは、前記入力画像信号の画素値であり、αは、前記法線方向と前記光源の照明方向との成す角度であり、Ｆ１（Ｉｉｎ）は、画素値Ｉｉｎが０から所定値Ｉｉｎ１の範囲ではＦ１（Ｉｉｎ）＝Ｋ１（０≦Ｋ１＜１）の定数となり、画素値Ｉｉｎが所定値Ｉｉｎ１を超えると画素値Ｉｉｎに応じて線形に減少し、画素値Ｉｉｎが所定値Ｉｉｎ２（Ｉｉｎ１＜Ｉｉｎ２）でＦ１（Ｉｉｎ）＝０となる関数であり、Ｆ２（α）は、角度αが予め定められた特定角度α０のときに最大値Ｋ２（０≦Ｋ２≦１）に設定され、角度αが特定角度α０からずれると、減少するように設定された関数であり、Ｋ０は、前記光源の光強度に応じて設定される定数である。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる人物の顔を補正する画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

従来、人物を被写体として撮影した画像から、人物の顔が含まれる顔領域を検出し、その顔領域内の特徴量に基づいて画像を補正する技術が開示されている。例えば特許文献１に記載の技術では、顔領域を検出し、検出した顔領域の特徴量を用いて、被写体の人種、年代、性別などを推論し、その推論結果に適合する補正パラメータを設定して、顔領域の肌色調整および逆光時の明るさ補正を行っている。

【0003】

この場合において、特許文献１に記載の技術では、人種、年代を複数のカテゴリーに分類し、これらのカテゴリー、性別、逆光の有無の組合せごとに、補正項目を設定し、各項目毎に、補正パラメータとして、各階調の増減量または増減率を設定した設定テーブルを作成して、メモリに保存している。そして、被写体の人種、年代、性別などの推論結果を設定テーブルと照合することにより、推論結果に応じた補正パラメータを読み出すようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−２４６４５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、各階調の増減量または増減率を、具体的に、どのように設定するかについては記載されていない。しかも、補正内容としては、肌色調整、逆光時の明るさ補正、シミ除去処理、肌のスムージング補正が例示されているだけである。

【0006】

このため、特許文献１に記載の技術は、逆光時の明るさ補正のように、顔領域全体の明るさを一律に補正する場合には有効であると考えられる。しかしながら、特許文献１に記載の技術では、各階調の増減量または増減率の設定に関する具体的な設定方法が記載されていないため、例えば実際の人物撮影によく使用される反射板を用いて顔の影の部分を明るくするなどの、人物の顔の表面と光源の向きに応じて、影の部分を明るくするような効果を得るのは困難である。

【0007】

本発明は、前記従来の課題を解決するもので、人物の顔の影の部分を明るくすることができる画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一局面に係る画像処理装置は、入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備える。

【0009】

本発明の一局面に係る画像処理方法は、入力画像信号から人物の顔を含む顔領域を検出する顔検出ステップと、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定ステップと、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正ステップとを含む。

【発明の効果】

【0010】

本発明によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量を、顔領域の入力画像信号の画素値に加算することにより、人物の顔の影の部分を明るくすることができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の画像処理装置の構成を示すブロック図である。

【図2】顔検出部により検出される顔領域を概略的に示す図である。

【図3】図１に示される法線推定部の構成を示すブロック図である。

【図4】法線推定部により推定される法線ベクトルを概略的に示す図である。

【図5】ｘ方向の微分フィルタの一例を示す図である。

【図6】ｙ方向の微分フィルタの一例を示す図である。

【図7】空間フィルタの一例を示す図である。

【図8】ランバートの拡散反射モデルを説明する図である。

【図9】ランバートの拡散反射モデルを説明する図である。

【図10】付加量算出部により算出される付加量を説明する図である。

【図11】図１０に対する比較例を説明する図である。

【図12】付加量算出部による付加量の算出を説明する図である。

【図13】付加量算出部による付加量の算出を説明する図である。

【図14】ｘ方向の補正ゲインの一例を示す図である。

【図15】ｙ方向の補正ゲインの一例を示す図である。

【図16】第２実施形態の画像処理装置の構成を示すブロック図である。

【図17】第２実施形態の光源情報保存部に保存されている光源の照明方向を概略的に示す図である。

【図18】第３実施形態の画像処理装置の構成を示すブロック図である。

【図19】第４実施形態の画像処理装置の構成を示すブロック図である。

【図20】第５実施形態の画像処理装置の構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

【0013】

（第１実施形態）
図１は、第１実施形態の画像処理装置１の構成を示すブロック図である。図２は、顔検出部１１により検出される顔領域を概略的に示す図である。図１に示されるように、画像処理装置１は、顔検出部１１、決定部１２、信号補正部１３及び表示部１４を備える。

【0014】

顔検出部１１は、公知の方法を用いて、入力画像信号に基づき、人物の顔を含む顔領域を検出する。顔領域の検出方法としては、顔の特徴点を持つ学習データベースを用いる方法や、入力画像を縮小又は拡大しながら、顔の明暗の特徴を持つ単純な白黒パターンと照合し、顔領域を絞り込んでいく方法などがある。顔検出部１１は、この第１実施形態では、図２に示されるように、矩形の顔領域１１０を検出する。顔検出部１１は、顔領域１１０の開始点（Ｘ０，Ｙ０）及び終了点（Ｘ１，Ｙ１）を信号補正部１３に出力する。

【0015】

なお、本実施形態では、顔領域を検出する手段を基に説明したが、これ以外にも眼領域などの顔構成部分のみを抽出し、その位置関係を基に、入力画像信号の補正領域である矩形領域を決めてもよい。例えば眼の領域を抽出し、両眼間距離より矩形領域を決定してもよい。

【0016】

決定部１２は、入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、顔領域１１０の入力画像信号に付加する画素値の付加量を決定する。決定部１２は、法線推定部２１、光源情報保存部２２及び付加量算出部２３を備える。

【0017】

図３は、図１に示される法線推定部２１の構成を示すブロック図である。図４は、法線推定部２１により推定される法線ベクトルを概略的に示す図である。図５は、ｘ方向の微分フィルタの一例を示す図である。図６は、ｙ方向の微分フィルタの一例を示す図である。図７は、空間フィルタの一例を示す図である。

【0018】

法線推定部２１は、ｘ方向微分処理部３１、ｙ方向微分処理部３２、空間フィルタ処理部３３，３４及び正規化処理部３５を備える。法線推定部２１は、フレームごとに、入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、画像が表す立体（具体的には人物の顔）の表面（以下、「画像表面」と称する）の法線方向を画素ごとに推定する。ここで、法線方向は、２次元画像における２つの座標値（Ｘ成分、Ｙ成分）に、高さ情報（Ｚ成分）を加えた３次元の法線ベクトル（Ｘ，Ｙ，Ｚ）により表される。すなわち、法線推定部２１は、法線方向を表す法線ベクトルを生成する。この明細書では、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義する。言い換えると、この明細書では、画像表面は、明るい方が暗い方に比べて観察者に近いと定義する。これは、人間の単眼情報を用いた距離視覚特性では、「明るいものほど近く感じる傾向がある」ことに基づいたものである。

【0019】

図４において、例えばｘ，ｙ，ｚ座標系の原点を、法線方向を推定する推定対象画素とする。図４において、推定対象画素に比べて＋ｘ方向及び−ｙ方向の領域Ａ１の画素値が大きく、かつ、推定対象画素に比べて−ｘ方向及び＋ｙ方向の領域Ａ２の画素値が小さい場合には、法線方向を表す法線ベクトルＮは、ｘ軸においては−ｘ方向に傾き、ｙ軸においては＋ｙ方向に傾く。

【0020】

したがって、推定対象画素と、その推定対象画素に隣接する隣接画素との間で画素値の差異が大きくなると、推定対象画素における画像表面は、画像が存在するｘｙ平面に対して垂直な面に近づく。つまり、推定対象画素と、その推定対象画素に隣接する隣接画素との間で画素値の差異が大きくなると、法線ベクトルが画像を含むｘｙ平面に対して平行に近づく。言い換えると、法線ベクトル（Ｘ，Ｙ，Ｚ）のうちＸ成分もしくはＹ成分が大きくなる。このように、２次元の平面データである入力画像信号から、３次元である人物の顔の凹凸度合いを推定できるようにしている。

【0021】

具体的には、この実施形態では、ｘ方向微分処理部３１は、例えば図５に示される微分フィルタを用いて、推定対象画素及びｘ方向に隣接する２画素の合計３画素の画素値を処理することにより、推定対象画素のｘ方向における微分処理を行う。ｘ方向微分処理部３１は、推定対象画素のｘ方向における微分処理結果（第１微分値の一例に相当）を空間フィルタ処理部３３に出力する。

【0022】

ｙ方向微分処理部３２は、例えば図６に示される微分フィルタを用いて、推定対象画素及びｙ方向に隣接する２画素の合計３画素の画素値を処理することにより、推定対象画素のｙ方向における微分処理を行う。ｙ方向微分処理部３２は、推定対象画素のｙ方向における微分処理結果（第２微分値の一例に相当）を空間フィルタ処理部３４に出力する。

【0023】

空間フィルタ処理部３３，３４は、例えば図７に示される平滑フィルタを用いて、ｘ方向微分処理部３１の微分処理結果及びｙ方向微分処理部３２の微分処理結果に対して、それぞれ、推定対象画素及び推定対象画素を取り囲む８画素の合計９画素の画素値を処理することにより、推定対象画素の空間フィルタ処理（平滑処理の一例に相当）を行う。

【0024】

空間フィルタ処理部３３は、空間フィルタ処理結果（第１平滑値に相当）を正規化処理部３５に出力する。空間フィルタ処理部３４は、空間フィルタ処理結果（第２平滑値に相当）を正規化処理部３５に出力する。この空間フィルタ処理によって、微分処理結果の小さな変動を抑えることにより、画像表面の法線方向を効率良く推定することができる。

【0025】

法線推定部２１は、空間フィルタ処理部３３の空間フィルタ処理結果を法線ベクトル（Ｘ，Ｙ，Ｚ）のＸ成分とする。また、法線推定部２１は、空間フィルタ処理部３４の空間フィルタ処理結果を法線ベクトル（Ｘ，Ｙ，Ｚ）のＹ成分とする。また、法線推定部２１は、予め定められた固定値Ｚｉを保持している。そして、法線推定部２１は、固定値Ｚｉを法線ベクトル（Ｘ，Ｙ，Ｚ）のＺ成分とする。固定値Ｚｉは、３次元の法線ベクトルを得るためのもので、Ｚｉ＝１またはＺｉ＝０．５などの適当な値とすればよい。法線推定部２１は、保持する固定値Ｚｉを法線ベクトルのＺ成分とすることにより、ｘ方向及びｙ方向の２次元データから３次元の法線ベクトルが得られるようにしている。

【0026】

正規化処理部３５は、法線ベクトル（Ｘ，Ｙ，Ｚ）の大きさが予め定められた一定値Ｖ（例えばＶ＝１）になるように、法線ベクトル（Ｘ，Ｙ，Ｚ）を正規化する。すなわち、正規化処理部３５は、（ｄＸ２＋ｄＹ２＋ｄＺ２）１／２＝Ｖを満たすように正規化した法線ベクトル（ｄＸ，ｄＹ，ｄＺ）を算出する。正規化処理部３５は、算出した法線ベクトル（ｄＸ，ｄＹ，ｄＺ）を付加量算出部２３に出力する。

【0027】

本実施形態において、ｘ方向微分処理部３１が第１微分処理部の一例に相当し、ｙ方向微分処理部３２が第２微分処理部の一例に相当し、ｘ方向が第１方向の一例に相当し、ｙ方向が第２方向の一例に相当し、ｚ方向が第３方向の一例に相当し、Ｘ成分が第１方向の成分の一例に相当し、Ｙ成分が第２方向の成分の一例に相当し、Ｚ成分が第３方向の成分の一例に相当する。

【0028】

図１に戻って、光源情報保存部２２は、顔の影の部分を明るくするために仮想的に設けられた、１個又は複数の光源に関する情報を予め保存している。光源に関する情報は、光源の照明方向及び光源の光強度を含む。光源情報保存部２２は、保存している光源に関する情報を付加量算出部２３に出力する。言い換えると、付加量算出部２３は、光源情報保存部２２に保存されている光源に関する情報を読み出す。

【0029】

光源情報保存部２２は、光源の照明方向を表す３次元の光源ベクトルを保存している。光源情報保存部２２は、光源の照明方向として、例えば人物に対して下方から照明するような方向を保存している。このような光源を追加することにより、反射板を用いて顔の影の部分を明るくするような効果を得ることができる。なお、この実施形態では、光源からの照明光は平行光としている。このため、太陽光を反射板で反射したような効果を得ることができる。

【0030】

図８、図９は、ランバートの拡散反射モデルを説明する図である。図１０は、付加量算出部２３により算出される付加量を説明する図である。図１１は、図１０に対する比較例を説明する図である。図１２、図１３は、付加量算出部２３による付加量の算出を説明する図である。

【0031】

付加量算出部２３は、法線推定部２１により推定された法線ベクトルと、光源情報保存部２２に保存されている光源ベクトルとの成す角度αに応じた画素値（つまり輝度）の付加量を画素ごとに算出する。

【0032】

ランバートの拡散反射モデルでは、図８に示されるように、光源Ｐからの光源ベクトルＬと、反射面Ｑの法線ベクトルＮとの成す角度がαのとき、式（１）が成り立つ。

【0033】

ＩＤ＝｜Ｌ｜×｜Ｎ｜×ｃｏｓα×Ｃ×ＩＬ （１）
ここで、ＩＤは反射輝度、｜Ｌ｜は光源ベクトルＬの大きさ、｜Ｎ｜は法線ベクトルＮの大きさ、Ｃは定数、ＩＬは入射輝度である。

【0034】

式（１）から分かるように、ランバートの拡散反射モデルでは、図９に示されるように、角度αが小さい場合には、反射光の輝度ＩＤは大きくなり、角度αが大きくなって９０度に近づくほど、反射光の輝度ＩＤは小さくなる。

【0035】

本実施形態において、入力画像信号により表される画像が撮影などにより得られたときの光源の入射輝度及び入射方向は未知である。そこで、本実施形態では、入力画像信号により表される画像は、既に、ランバートの拡散反射モデルによる拡散反射が付加された状態であると考える。

【0036】

そして、付加量算出部２３は、法線推定部２１により推定された法線ベクトルと光源情報保存部２２に保存されている光源ベクトルとの成す角度αの変化量Δαをパラメータとする式（２）により、付加量ΔＩを画素ごとに算出する。

【0037】

ΔＩ＝Ｉｉｎ×ｓｉｎα×Δα （２）
ここで、Ｉｉｎは、入力画像信号の各画素の画素値である。式（２）から分かるように、ΔＩ／Δαは、図１０に示されるように、ｓｉｎαに比例する。これによって、顔の影の部分を明るくすることができる。

【0038】

なお、式（１）の両辺をαで微分することによりΔＩ／Δαを導出した場合には、ΔＩ／Δαは、図１１に示されるように、（−ｓｉｎα）に比例する。この場合には、画像の立体感を強調することができる。すなわち、本実施形態で用いられる式（２）は、立体感を強調する効果と反対に、顔の影の部分を明るくする効果を得るために、式（１）の両辺をαで微分した上で符号を反転させることにより、ΔＩ／Δαが、（−ｓｉｎα）ではなくて（＋ｓｉｎα）に比例するようにしたものと言える。

【0039】

本実施形態では、付加量算出部２３は、関数Ｆ１（Ｉｉｎ），Ｆ２（α）及び定数Ｋ０を用いた式（３）により、変化量Δαを算出する。

【0040】

Δα＝Ｆ１（Ｉｉｎ）×Ｆ２（α）×Ｋ０ （３）

【0041】

図１２は、入力画像信号の画素値Ｉｉｎの関数であるＦ１（Ｉｉｎ）の一例を示す。図１３は、角度αの関数であるＦ２（α）の一例を示す。なお、本実施形態では、データは８ビットで表される。Ｆ１（Ｉｉｎ）は０≦Ｆ１（Ｉｉｎ）＜１の範囲の値である。Ｆ２（α）は０≦Ｆ２（α）≦１の範囲の値である。

【0042】

関数Ｆ１（Ｉｉｎ）は、図１２に示されるように、入力画像信号の画素値Ｉｉｎが０から所定値Ｉｉｎ１の範囲では、Ｆ１（Ｉｉｎ）＝Ｋ１（０≦Ｋ１＜１、例えばＫ１＝０．５）の定数である。すなわち、画素値Ｉｉｎが小さい値のときに、付加量ΔＩが大きくなると、画像の階調が入力画像信号からずれるため、Ｋ１をＦ１（Ｉｉｎ）の上限としている。所定値Ｉｉｎ１は、最大画素値（本実施形態では２５５）に対して、ある程度小さい値に設定すればよい。所定値Ｉｉｎ１を例えば最大画素値の２０％程度とすると、Ｉｉｎ１＝５０とすることができる。

【0043】

また、関数Ｆ１（Ｉｉｎ）は、画素値Ｉｉｎが所定値Ｉｉｎ１を超えると線形に減少し、画素値Ｉｉｎが所定値Ｉｉｎ２で、Ｆ１（Ｉｉｎ）＝０としている。すなわち、画素値Ｉｉｎが大きい値のときに、付加量ΔＩが大きくなることにより画素値が飽和するのを防止している。所定値Ｉｉｎ２は、最大画素値（本実施形態では２５５）にある程度近い値に設定すればよい。所定値Ｉｉｎ２を例えば最大画素値の８０％程度とすると、Ｉｉｎ２＝２００とすることができる。

【0044】

関数Ｆ２（α）は、図１３に示されるように、角度αが予め定められた特定角度α０のときに最大値Ｋ２（０≦Ｋ２≦１、例えばＫ２＝１）に設定され、角度αが特定角度α０からずれると、減少するように設定されている。すなわち、関数Ｆ２（α）は、角度αが特定角度α０のときに、付加量ΔＩが大きくなるように、設定されている。この特定角度α０は、人間の顔の凹凸の傾向や、光源情報保存部２２に保存されている光源の照明方向などに基づき、予め定められている。なお、特定角度は１つに限られない。例えば複数の特定角度を中心に付加量がそれぞれ大きくなるように、関数Ｆ２（α）を設定することも可能である。

【0045】

式（３）において、Ｋ０は、０≦Ｋ０≦２５５の範囲の定数である。本実施形態では、定数Ｋ０は、光源情報保存部２２に保存されている光源の光強度に応じた値に設定されている。すなわち、付加量算出部２３は、光源情報保存部２２に保存されている光源の光強度が大きい場合には、例えばＫ０＝２００に設定し、光源情報保存部２２に保存されている光源の光強度が小さい場合には、例えばＫ０＝５０に設定する。

【0046】

以上のように、関数Ｆ１（Ｉｉｎ），Ｆ２（α）及び定数Ｋ０が設定されているため、式（３）により、適切な値の変化量Δαを得ることができる。その結果、付加量算出部２３は、式（２）により、適切な値の付加量ΔＩを算出することができる。

【0047】

図１４は、ｘ方向の補正ゲインＧｘの一例を示す図である。図１５は、ｙ方向の補正ゲインＧｙの一例を示す図である。

【0048】

信号補正部１３は、補正ゲインＧｘ，Ｇｙを保持する。信号補正部１３は、付加量算出部２３により算出された付加量ΔＩに対し、ｘ方向について補正ゲインＧｘを乗算し、ｙ方向について補正ゲインＧｙを乗算して、ΔＩｇ＝Ｇｘ×Ｇｙ×ΔＩにより付加量ΔＩｇを得る。

【0049】

補正ゲインＧｘ，Ｇｙは、それぞれ図１４、図１５に示されるように、顔領域１１０（図２）の境界から離れた中央部ではＧｘ＝Ｇｙ＝１の上限値に設定され、顔領域１１０の境界に近づくにつれて線形に減少するように設定され、顔領域１１０の境界でＧｘ＝Ｇｙ＝０に設定されている。補正ゲインＧｘ，Ｇｙを付加量ΔＩに乗算することにより、付加量ΔＩは、顔領域１１０の境界付近においてなだらかに減少する。その結果、顔領域１１０の境界において、付加量ΔＩにより画素値に段差が生じるのを防止することができる。

【0050】

信号補正部１３は、顔検出部１１により検出された顔領域１１０の各画素の画素値Ｉｉｎに対し、補正ゲインＧｘ，Ｇｙが乗算された付加量ΔＩｇを加算して、補正画素値Ｉｃを、Ｉｃ＝Ｉｉｎ＋ΔＩｇにより算出する。信号補正部１３は、算出した補正画素値Ｉｃを出力画像信号として表示部１４に出力する。表示部１４は、例えば液晶表示パネルを備え、信号補正部１３からの出力画像信号に基づき画像を表示する。なお、例えばプリンタをさらに備え、信号補正部１３からの出力画像信号に基づき画像を印刷してもよい。

【0051】

以上のように、第１実施形態によれば、法線推定部２１による画像表面の法線ベクトルを推定し、光源情報保存部２２に保存された光源ベクトルと法線ベクトルとの成す角度αに応じて画素値の付加量を算出している。したがって、画像に含まれる人物の顔の影の部分を、実際の人物撮影で用いられる反射板により明るくするような効果を得ることができる。

【0052】

なお、この第１実施形態において、光源情報保存部２２が、複数の光源の照明方向を保存している場合には、付加量算出部２３は、光源ごとに付加量を算出する。例えば光源情報保存部２２が、主光源の照明方向と、副光源の照明方向とを保存している場合には、付加量算出部２３は、法線ベクトルと主光源の光源ベクトルとの成す角度α１に基づき、主光源の付加量ΔＩ１を算出し、法線ベクトルと副光源の光源ベクトルとの成す角度α２に基づき、副光源の付加量ΔＩ２を算出する。

【0053】

信号補正部１３は、主光源用の補正ゲインＧｘ１，Ｇｙ１と、副光源用の補正ゲインＧｘ２，Ｇｙ２とを保持する。ここで、各補正ゲインＧｘ１，Ｇｙ１，Ｇｘ２，Ｇｙ２の上限値ＵＬ（Ｇｘ１），ＵＬ（Ｇｙ１），ＵＬ（Ｇｘ２），ＵＬ（Ｇｙ２）は、ＵＬ（Ｇｘ１）＋ＵＬ（Ｇｘ２）＝１、ＵＬ（Ｇｙ１）＋ＵＬ（Ｇｙ２）＝１を満たすように設定されている。但し、ＵＬ（Ｇｘ１）＞ＵＬ（Ｇｘ２）、ＵＬ（Ｇｙ１）＞ＵＬ（Ｇｙ２）に設定されている。すなわち、主光源用の補正ゲインの上限値は、副光源用の補正ゲインの上限値に比べて大きくなるように設定されている。

【0054】

信号補正部１３は、補正ゲインＧｘ１，Ｇｙ１を付加量ΔＩ１に乗算し、補正ゲインＧｘ２，Ｇｙ２を付加量ΔＩ２に乗算する。このように、この第１実施形態では、光源情報保存部２２に保存されている光源に関する情報を全て使用する。

【0055】

（第２実施形態）
図１６は、第２実施形態の画像処理装置１ａの構成を示すブロック図である。図１７は、第２実施形態の光源情報保存部２２ａに保存されている光源の照明方向を概略的に示す図である。図１６では、第１実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第１実施形態との相違点を中心に、第２実施形態が説明される。

【0056】

図１６に示される第２実施形態の画像処理装置１ａは、第１実施形態の画像処理装置１において、決定部１２に代えて決定部１２ａを備え、信号補正部１３に代えて信号補正部１３ａを備える。決定部１２ａは、図１に示される決定部１２において、光源情報保存部２２に代えて光源情報保存部２２ａを備え、付加量算出部２３に代えて付加量算出部２３ａを備え、新たに光源選択部２４を備える。

【0057】

光源情報保存部２２ａは、光源に関する情報として、例えば８種類の光源の照明方向と、例えば３種類の光源の光強度とを保存している。光源情報保存部２２ａに保存されている８種類の光源の照明方向は、図１７に示されるように、左下からの照明方向２２ＬＤ、下からの照明方向２２Ｄ、右下からの照明方向２２ＲＤ、右からの照明方向２２Ｒ、右上からの照明方向２２ＲＵ、上からの照明方向２２Ｕ、左上からの照明方向２２ＬＵ、左からの照明方向２２Ｌである。光源情報保存部２２ａに保存されている３種類の光源の光強度は、強、中、弱の３種類である。

【0058】

光源選択部２４は、例えば使用者が操作する操作部及び操作内容を案内する表示画面を備えるユーザインタフェースである。なお、光源選択部２４が専用の表示画面を備えるのに代えて、光源選択部２４は、表示画面として表示部１４を利用してもよい。

【0059】

使用者は、光源選択部２４を用いて、光源情報保存部２２ａに保存されている８種類の光源の照明方向から、使用する照明方向を選択する。また、使用者は、光源選択部２４を用いて、光源情報保存部２２ａに保存されている３種類の光源の光強度から、使用する光強度を選択する。

【0060】

使用者は、光源選択部２４を用いて、例えば、下からの照明方向２２Ｄを主光源として選択し、かつ、左下からの照明方向２２ＬＤ及び右下からの照明方向２２ＲＤを副光源として選択するなどのように、複数の光源を選択してもよい。この場合には、使用者は、光源選択部２４を用いて、選択した各光源の光強度を選択すればよい。

【0061】

光源情報保存部２２ａは、光源選択部２４により選択された照明方向を表す光源ベクトルを付加量算出部２３ａに出力する。また、光源情報保存部２２ａは、光源選択部２４により選択された光強度を付加量算出部２３ａに出力する。言い換えると、付加量算出部２３ａは、光源選択部２４により選択された光源ベクトル及び光強度を光源情報保存部２２ａから読み出す。

【0062】

付加量算出部２３ａは、第１実施形態の付加量算出部２３と同様に、式（３）により変化量Δαを算出し、その変化量Δαを用いて式（２）により付加量ΔＩを算出する。この場合において、付加量算出部２３ａは、式（３）の定数Ｋ０を、光源選択部２４を用いて選択された光源の光強度が強の場合には例えばＫ０＝２００に設定し、中の場合には例えばＫ０＝１２８に設定し、弱の場合には例えばＫ０＝５０に設定する。

【0063】

信号補正部１３ａは、光源選択部２４の選択内容に応じて、補正ゲインを設定する。信号補正部１３ａは、光源選択部２４を用いて、主光源及び２個の副光源が選択された場合には、例えば、主光源の補正ゲインの上限値を０．６に設定し、副光源の補正ゲインの上限値をそれぞれ０．２に設定することにより、補正ゲインの合計を１に正規化する。

【0064】

以上のように、第２実施形態によれば、光源情報保存部２２ａは、複数の光源に関する情報を保存し、光源選択部２４により光源が選択されるため、使用者は、入力画像に応じて、好みの光源の照明方向及び光強度を選択することができる。したがって、例えば入力画像の人物の顔の向きに応じて、最も好適な照明方向を選択することができる。また、好みの方向から反射板により照明したような効果を得ることができる。

【0065】

また、第２実施形態によれば、光源の光強度を選択することができるため、顔の影の部分の明るさ度合いを好みに合わせて調整することができる。また、複数の照明方向を選択することにより、顔の影の部分の解消を、より自然に行うことができる。また、例えば、主光源を強に設定し、副光源を中に設定することで、顔の影の部分の解消を、より自然に行うことができる。

【0066】

（第３実施形態）
図１８は、第３実施形態の画像処理装置１ｂの構成を示すブロック図である。図１８では、第１実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第１実施形態との相違点を中心に、第３実施形態が説明される。

【0067】

図１８に示される第３実施形態の画像処理装置１ｂは、第１実施形態の画像処理装置１において、決定部１２に代えて決定部１２ｂを備える。決定部１２ｂは、図１に示される決定部１２において、光源情報保存部２２を備えておらず、新たに向き検出部２５及び光源設定部２６を備える。

【0068】

向き検出部２５は、公知の方法を用いて、顔検出部１１から得られる入力画像信号に基づき、人物の顔の向きを検出する。顔の向きの検出方法としては、入力画像を縮小又は拡大しながら、顔の明暗の特徴を持つ単純な白黒パターンと照合し、顔領域を絞り込んでいく顔領域の検出方法において、横向きの顔の特徴を持つパターンを追加する方法がある。また、複数の顔の向きにおける学習データベースを用いて、顔の向きを検出する方法もある。

【0069】

向き検出部２５は、この第３実施形態では、顔検出部１１により検出された顔領域について顔の向きを検出する。なお、向き検出部２５は、顔検出部１１による顔領域の検出とは別に、入力画像信号に基づき、顔の向きを検出してもよい。

【0070】

光源設定部２６は、向き検出部２５により検出された顔の向きに応じて、光源の照明方向を設定する。光源設定部２６は、例えば、向き検出部２５により検出された顔の向きが右向きの場合には、右斜め下からの照明方向を設定し、左向きの場合には、左斜め下からの照明方向を設定する。光源設定部２６は、設定した光源の照明方向を表す光源ベクトルを付加量算出部２３に出力する。

【0071】

以上のように、第３実施形態によれば、向き検出部２５により検出された顔の向きに応じて、光源設定部２６により光源の照明方向が設定されている。したがって、常に下方から反射板により照明することにより顔の影の部分を明るくするような効果を自動的に得ることができる。

【0072】

なお、上記第３実施形態では、光源設定部２６は、予め設定された光源の光強度を保持しておき、保持している光強度を付加量算出部２３に出力するようにしてもよい。あるいはまた、光源設定部２６に代えて、付加量算出部２３が、予め設定された光源の光強度を保持してもよい。この場合において、付加量算出部２３は、光強度を、式（３）の定数Ｋ０の値として保持するようにしてもよい。

【0073】

また、上記第３実施形態では、光源設定部２６は、上記第２実施形態のように、複数の光源の照明方向及び光強度を保持してもよい。そして、光源設定部２６は、向き検出部２５により検出された顔の向きに基づき、効果の程度に応じて光源の光強度を強く設定してもよい。これによって、顔の影の部分の解消を、より自然に行うことができる。その際、光源設定部２６は、最も効果の高い照明方向を主方向として主光源の光強度を強く設定し、残りの照明方向を副方向として副光源の光強度を弱く設定してもよい。また、光源設定部２６は、顔検出時の評価関数を基に、その評価値の高さに応じて光源の光強度を強く設定してもよい。

【0074】

（第４実施形態）
図１９は、第４実施形態の画像処理装置１ｃの構成を示すブロック図である。図１９では、第３実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第４実施形態では、フレームごとに入力される入力画像信号において、顔の向きがフレームごとに変化する。すなわち、第４実施形態の入力画像信号は動画を表す。以下、第３実施形態との相違点を中心に、第４実施形態が説明される。

【0075】

図１９に示される第４実施形態の画像処理装置１ｃは、第３実施形態の画像処理装置１ｂにおいて、決定部１２ｂに代えて決定部１２ｃを備える。決定部１２ｃは、図１８に示される決定部１２ｂにおいて、向き検出部２５に代えて向き検出部２５ｃを備え、光源設定部２６に代えて光源設定部２６ｃを備え、新たに光源補正部２７を備える。

【0076】

向き検出部２５ｃは、第３実施形態の向き検出部２５と同様に、公知の方法により、人物の顔の向きを検出する。向き検出部２５ｃは、フレームごとに入力される入力画像信号に基づき、顔の向きをフレームごとに検出する。光源設定部２６ｃは、向き検出部２５ｃによりフレームごとに検出された顔の向きに応じて、光源の照明方向を表す光源ベクトルをフレームごとに設定する。光源設定部２６ｃは、設定した光源ベクトルをフレームごとに光源補正部２７に出力する。

【0077】

光源補正部２７は、向き検出部２５ｃにより検出される顔の向きに連動して、光源設定部２６ｃによりフレームごとに設定される光源の照明方向（つまり光源ベクトル）のフレーム間における変化量を制限する。光源補正部２７は、例えば式（４）により、光源設定部２６ｃから出力される光源ベクトルをフレームごとに補正する。光源補正部２７は、補正後の光源ベクトルをフレームごとに付加量算出部２３に出力する。

【0078】

Ｌｃ（ｔ）＝Ｂ１×Ｌ（ｔ）＋Ｂ２×Ｌｃ（ｔ−１） （４）
ここで、Ｌｃ（ｔ）は、現フレームにおける補正後の光源ベクトルであり、Ｌ（ｔ）は、現フレームにおいて光源設定部２６ｃにより設定された光源ベクトルであり、Ｌｃ（ｔ−１）は、現フレームの１つ前のフレームにおいて光源設定部２６ｃにより設定された光源ベクトルＬ（ｔ−１）が、光源補正部２７により補正された補正後の光源ベクトルであり、Ｂ１，Ｂ２は、それぞれ重み付け係数である。重み付け係数Ｂ１，Ｂ２は、Ｂ１＋Ｂ２＝１に設定されるものであり、例えば、Ｂ１＝Ｂ２＝０．５に設定してもよい。本実施形態において、現フレームは第１フレームの一例に相当し、現フレームの１つ前のフレームは第２フレームの一例に相当する。

【0079】

以上のように、第４実施形態によれば、現フレームの補正後の光源ベクトルを、設定された現フレームの光源ベクトルと、現フレームの１つ前のフレームの光源ベクトルとに基づき、算出しているため、フレームごとに設定される光源の照明方向の変化が緩やかになるように、フレーム間における照明方向の変化量が制限される。したがって、光源の照明方向がフレームごとに大きく変化して表示部１４に表示される動画がちらつくような事態を抑制することができる。また、顔の影の部分の揺らぎが少なくなるため、反射板で明るくしたような効果をより好適に得ることができる。

【0080】

なお、上記第４実施形態では、光源設定部２６ｃは、予め設定された光源の光強度を保持しておき、保持している光強度を付加量算出部２３に光源補正部２７を介して出力するようにしてもよい。あるいはまた、光源設定部２６ｃに代えて、付加量算出部２３が、予め設定された光源の光強度を保持してもよい。この場合において、付加量算出部２３は、光強度を式（３）の定数Ｋ０として保持するようにしてもよい。

【0081】

（第５実施形態）
図２０は、第５実施形態の画像処理装置１ｄの構成を示すブロック図である。図２０では、第１実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第５実施形態では、フレームごとに入力される入力画像信号は動画を表す。以下、第１実施形態との相違点を中心に、第５実施形態が説明される。

【0082】

図２０に示される第５実施形態の画像処理装置１ｄは、第１実施形態の画像処理装置１において、決定部１２に代えて決定部１２ｄを備え、新たに動き検出部１５及び領域補正部１６を備える。決定部１２ｄは、図１に示される決定部１２において、新たに法線補正部２８を備える。

【0083】

動き検出部１５は、公知の方法により、入力画像信号により表される画像の動きベクトルを検出する。動き検出部１５は、例えば、入力画像信号により表される画像を複数のブロックに仮想的に分割し、現フレームの画像のブロックが現フレームの１つ前のフレームの画像のどのブロックに近いかを探索して照合することにより、ブロックごとに動きベクトルを求める。

【0084】

領域補正部１６は、顔検出部１１により検出された顔領域１１０（図２）を、動き検出部１５により検出された動きベクトルを用いて補正する。領域補正部１６は、顔検出部１１により検出された顔領域１１０を、例えば式（５）により補正して、顔領域Ｒｃ（ｔ）を得る。領域補正部１６は、補正により得られた顔領域Ｒｃ（ｔ）を信号補正部１３に出力する。

【0085】

Ｒｃ（ｔ）＝Ｃ１×Ｒ（ｔ）＋Ｃ２×Ｒｖ（ｔ−１） （５）
ここで、Ｒ（ｔ）は、現フレームにおいて顔検出部１１により検出された顔領域であり、Ｒｖ（ｔ−１）は、現フレームの１つ前のフレームにおいて顔検出部１１により検出された顔領域Ｒ（ｔ−１）を、当該顔領域Ｒ（ｔ−１）に近いブロックの動きベクトルにより移動させた領域であり、Ｃ１，Ｃ２は、重み付け係数である。重み付け係数Ｃ１，Ｃ２は、Ｃ１＋Ｃ２＝１に設定されるものであり、例えば、Ｃ１＝Ｃ２＝０．５に設定してもよい。

【0086】

法線補正部２８は、法線推定部２１により推定された法線ベクトルを、動き検出部１５により検出された動きベクトルを用いて補正する。法線補正部２８は、法線推定部２１により推定された法線ベクトルを、例えば式（６）により補正して、法線ベクトルＮｃ（ｔ）を得る。法線補正部２８は、補正により得られた法線ベクトルＮｃ（ｔ）を付加量算出部２３に出力する。

【0087】

Ｎｃ（ｔ）＝Ｄ１×Ｎ（ｔ）＋Ｄ２×Ｎｖ（ｔ−１） （６）
ここで、Ｎ（ｔ）は、現フレームにおいて法線推定部２１により推定された法線ベクトルであり、Ｎｖ（ｔ−１）は、現フレームの１つ前のフレームにおいて法線推定部２１により推定された法線ベクトルを、当該法線ベクトルの推定対象画素が含まれるブロックの動きベクトルにより移動させた法線ベクトルであり、Ｄ１，Ｄ２は、重み付け係数である。重み付け係数は、Ｄ１＋Ｄ２＝１に設定されるものであり、例えば、Ｄ１＝Ｄ２＝０．５に設定してもよい。本実施形態において、現フレームは第１フレームの一例に相当し、現フレームの１つ前のフレームは第２フレームの一例に相当する。

【0088】

以上のように、第５実施形態によれば、顔検出部１１により検出された顔領域を、動き検出部１５により検出された動きベクトルを用いて、領域補正部１６により補正しているため、滑らかに移動する顔領域を得ることができる。その結果、フレーム間で動画がちらつくのを防止することができる。

【0089】

また、第５実施形態によれば、法線推定部２１により推定された法線ベクトルを、動き検出部１５により検出された動きベクトルを用いて、法線補正部２８により補正しているため、滑らかに移動する法線ベクトルを取得することができる。その結果、付加量が大きく変動することにより動画がちらつくのを防止することができる。したがって、第５実施形態によれば、より効果的に顔の影の部分を明るくすることができる。

【0090】

上記第５実施形態の画像処理装置１ｄは、領域補正部１６及び法線補正部２８の両方を備えているが、本発明は、これに限られない。例えば、法線補正部２８を備えず、領域補正部１６のみを備える画像処理装置であってもよい。この実施形態でも、滑らかに移動する顔領域を得ることができる。

【0091】

上記各実施形態において、法線推定部２１は、入力画像信号に基づき、法線方向を推定しているが、本発明は、これに限られない。法線推定部は、例えば顔検出部１１により検出された顔領域の入力画像信号に基づき、顔領域において、法線方向を推定するようにしてもよい。なお、法線推定部２１の各部をハードウェア回路で構成して、上記各実施形態のように、顔領域に関係なく、一律に入力画像信号に基づき、法線方向を推定する処理を自動的に行うようにすると、装置構成を簡素化することができる。

【0092】

なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。

【0093】

本発明の一局面に係る画像処理装置は、入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備える。

【0094】

この構成によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量が、顔領域の入力画像信号の画素値に加算される。したがって、人物の顔の影の部分を明るくすることができ、隣接画素の画素値が異なれば、例えば顔の額と頬の入力画像信号の画素値が同じであっても、頬の部分のみ明るくすることができる。

【0095】

また、上記の画像処理装置において、前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記付加量を算出する付加量算出部とを含み、前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出するとしてもよい。

【0096】

この構成によれば、顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、２次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。

【0097】

また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。言い換えれば、顔に下から反射光を照射し、目の下の隈を薄くし、頬のくすみを少なくするような美顔効果を得ることができる。

【0098】

また、上記の画像処理装置において、前記光源情報保存部には、前記光源の照明方向として互いに異なる複数の照明方向が保存され、前記決定部は、使用者による操作に応じて、前記光源情報保存部から前記複数の照明方向のうち少なくとも１つの照明方向を選択する光源選択部をさらに含み、前記付加量算出部は、前記光源選択部により選択された前記光源の照明方向を用いて、前記付加量を算出するとしてもよい。

【0099】

この構成によれば、光源の照明方向として互いに異なる複数の照明方向が保存されており、この保存されている複数の照明方向のうち少なくとも１つの照明方向が、使用者による操作に応じて選択される。そして、選択された光源の照明方向を用いて付加量が算出される。したがって、使用者が好みの照明方向を選択することにより、好みの方向から反射板により照明したような効果を得ることができる。

【0100】

また、上記の画像処理装置において、前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記顔領域において前記顔の向きを検出する向き検出部と、前記顔の向きに基づき、前記顔を照明する仮想的に設けられた光源の照明方向を設定する光源設定部と、前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記法線推定部により推定された前記法線方向と、前記光源設定部により設定された前記光源の照明方向とに基づき、前記付加量を算出する付加量算出部とを含み、前記光源設定部は、前記顔の正面の下方から前記顔を照明するように前記光源の照明方向を設定し、前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出するとしてもよい。

【0101】

この構成によれば、顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、２次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。

【0102】

また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。

【0103】

また、顔領域において顔の向きが検出され、顔の向きに基づき顔を照明する仮想的に設けられた光源の照明方向が設定される。ここで、顔の正面の下方から顔を照明するように光源の照明方向が設定される。したがって、顔の正面の下方から反射板により顔を照明したような効果を常に得ることができる。

【0104】

また、上記の画像処理装置において、前記決定部は、前記光源設定部により設定された前記光源の照明方向を補正する光源補正部をさらに含み、前記入力画像信号は、フレームごとに入力され、前記向き検出部は、前記顔の向きをフレームごとに検出し、前記光源設定部は、前記顔の向きに基づき、前記光源の照明方向を表す光源ベクトルをフレームごとに設定し、第１フレームの１つ前のフレームが第２フレームと定義され、前記光源補正部は、前記光源設定部により設定された前記光源ベクトルをフレームごとに補正し、前記付加量算出部は、前記光源補正部により補正された前記光源ベクトルを用いて、前記付加量をフレームごとに算出し、前記第１フレームにおいて前記光源補正部により補正された補正光源ベクトルＬｃ（ｔ）は、前記第１フレームにおいて前記光源設定部により設定された光源ベクトルＬ（ｔ）と、前記第２フレームにおいて前記光源設定部により設定された光源ベクトルＬ（ｔ−１）が前記光源補正部により補正された補正光源ベクトルＬｃ（ｔ−１）とを用いて、求められるとしてもよい。

【0105】

この構成によれば、フレームごとに検出された顔の向きに基づき、光源の照明方向を表す光源ベクトルがフレームごとに設定される。設定された光源ベクトルがフレームごとに補正される。第１フレームにおいて補正された補正光源ベクトルＬｃ（ｔ）は、第１フレームにおいて設定された光源ベクトルＬ（ｔ）と、第２フレームにおいて設定された光源ベクトルＬ（ｔ−１）が補正された補正光源ベクトルＬｃ（ｔ−１）とを用いて、求められる。このように、第１フレームにおいて設定された光源ベクトルをそのまま用いるのではなくて、第１フレームにおいて設定された光源ベクトルと第２フレームにおいて補正された補正光源ベクトルとを用いて得られた第１フレームの補正光源ベクトルを用いて、付加量が算出される。したがって、第２フレームと第１フレームとの間における光源の照明方向の変化量を低減することができる。その結果、光源の照明方向の変化に起因する第２フレームと第１フレームとの間における画像のちらつきを抑制することができる。

【0106】

また、上記の画像処理装置において、フレームごとに入力される前記入力画像信号に基づき、隣接するフレーム間の動きベクトルをフレームごとに検出する動き検出部と、前記動きベクトルに基づき、前記顔検出部により検出された前記顔領域を補正して補正顔領域を出力する領域補正部とをさらに備え、前記補正顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記画素値の差異の大きさと前記定義とに基づき、前記補正顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記補正顔領域の前記入力画像信号に付加する画素値の付加量を算出する付加量算出部とを含み、第１フレームの１つ前のフレームが第２フレームと定義され、前記顔検出部は、前記顔領域をフレームごとに検出し、前記領域補正部は、前記顔領域をフレームごとに補正し、前記法線推定部は、前記画素値の差異が大きくなると前記補正顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出し、前記信号補正部は、前記補正顔領域の前記入力画像信号の画素値に前記付加量を加算し、前記第１フレームにおいて前記領域補正部により補正された補正顔領域Ｒｃ（ｔ）は、前記第１フレームにおいて前記顔検出部により検出された顔領域Ｒ（ｔ）と、前記第２フレームにおいて前記顔検出部により検出された顔領域Ｒ（ｔ−１）を前記動きベクトルにより移動させた領域Ｒｖ（ｔ−１）とを用いて、求められるとしてもよい。

【0107】

この構成によれば、フレームごとに入力される入力画像信号に基づき、隣接するフレーム間の動きベクトルがフレームごとに検出される。動きベクトルに基づき、顔領域が補正されて補正顔領域が出力される。補正顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、補正顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると補正顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、２次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。

【0108】

また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、補正顔領域の入力画像信号に付加する画素値の付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。

【0109】

また、顔領域がフレームごとに検出され、検出された顔領域がフレームごとに補正される。第１フレームにおいて補正された補正顔領域Ｒｃ（ｔ）は、第１フレームにおいて検出された顔領域Ｒ（ｔ）と、第２フレームにおいて検出された顔領域Ｒ（ｔ−１）を動きベクトルにより移動させた領域Ｒｖ（ｔ−１）とを用いて、求められる。このように、第１フレームにおいて検出された顔領域をそのまま用いるのではなくて、第１フレームにおいて検出された顔領域と、第２フレームにおいて検出された顔領域を動きベクトルにより移動させた領域とを用いて得られた第１フレームの補正顔領域を用いている。したがって、第２フレームと第１フレームとの間における顔領域の移動を、動きベクトルを考慮して滑らかにすることができる。その結果、顔領域の移動に起因する第２フレームと第１フレームとの間における画像のちらつきを抑制することができる。

【0110】

また、上記の画像処理装置において、前記決定部は、前記動きベクトルに基づき、前記法線推定部により推定された前記法線方向を表す法線ベクトルをフレームごとに補正する法線補正部をさらに含み、前記付加量算出部は、前記法線補正部により補正された補正後の前記法線ベクトルを用いて、前記付加量をフレームごとに算出し、前記第１フレームにおいて前記法線補正部により補正された補正後の法線ベクトルＮｃ（ｔ）は、前記第１フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルＮ（ｔ）と、前記第２フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルＮ（ｔ−１）を前記動きベクトルにより移動させた法線ベクトルＮｖ（ｔ−１）とを用いて、求められるとしてもよい。

【0111】

この構成によれば、動きベクトルに基づき、推定された法線方向を表す法線ベクトルがフレームごとに補正される。第１フレームにおいて補正された補正後の法線ベクトルＮｃ（ｔ）は、第１フレームにおいて推定された法線方向を表す法線ベクトルＮ（ｔ）と、第２フレームにおいて推定された法線方向を表す法線ベクトルＮ（ｔ−１）を動きベクトルにより移動させた法線ベクトルＮｖ（ｔ−１）とを用いて、求められる。このように、第１フレームにおいて推定された法線方向を表す法線ベクトルをそのまま用いるのではなくて、第１フレームにおいて推定された法線方向を表す法線ベクトルと、第２フレームにおいて推定された法線方向を表す法線ベクトルを動きベクトルにより移動させた法線ベクトルとを用いて求められた第１フレームの補正後の法線ベクトルを用いている。したがって、第２フレームと第１フレームとの間における法線ベクトルの変化を、動きベクトルを考慮して滑らかにすることができる。その結果、法線ベクトルの変化に起因する第２フレームと第１フレームとの間における画像のちらつきを抑制することができる。

【0112】

また、上記の画像処理装置において、前記入力画像信号における各画素は、第１方向及び前記第１方向に直交する第２方向にマトリクス状に配列され、前記法線推定部は、前記法線方向を推定する推定対象画素の画素値に対して前記第１方向に微分処理を行って第１微分値を出力する第１微分処理部と、前記推定対象画素の画素値に対して前記第２方向に微分処理を行って第２微分値を出力する第２微分処理部と、前記第１微分値に対して平滑処理を行って第１平滑値を出力し、かつ前記第２微分値に対して平滑処理を行って第２平滑値を出力する空間フィルタ処理部とを含み、前記法線推定部は、予め定められた固定値を保持し、前記第１平滑値を、前記法線方向を表す法線ベクトルの前記第１方向の成分とし、前記第２平滑値を前記法線ベクトルの前記第２方向の成分とし、前記固定値を前記法線ベクトルの第３方向の成分とすることにより前記法線ベクトルを生成するとしてもよい。

【0113】

この構成によれば、推定対象画素の画素値に対して第１方向に微分処理が行われて第１微分値が出力され、この第１微分値に対して平滑処理が行われて第１平滑値が出力され、この第１平滑値が法線ベクトルの第１方向の成分とされる。推定対象画素の画素値に対して第２方向に微分処理が行われて第２微分値が出力され、この第２微分値に対して平滑処理が行われて第２平滑値が出力され、この第２平滑値が法線ベクトルの第２方向の成分とされる。また、予め定められた固定値が法線ベクトルの第３方向の成分とされる。

【0114】

このように、第１微分値及び第２微分値に対して平滑処理が行われるため、第１微分値及び第２微分値の小さい変動が抑制される。その結果、法線ベクトルを効率良く生成することができる。また、第３方向の成分を固定値としているため、２次元である顔領域の入力画像信号から３次元である法線ベクトルを簡易に生成することができる。

【0115】

また、上記の画像処理装置において、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度と、前記入力画像信号の各画素の画素値とから、前記付加量を算出するとしてもよい。

【0116】

この構成によれば、法線方向と光源の照明方向との成す角度と、入力画像信号の各画素の画素値とから、付加量が算出される。したがって、顔の凹凸度合いに対する照明角度を考慮することにより、適切な値の付加量を算出することができる。また、例えば、法線方向と光源の照明方向との成す角度と入力画像信号の各画素の画素値とにより付加量を表す関数、式またはテーブルを用いることにより、付加量を容易に算出することができる。

【0117】

また、上記の画像処理装置において、前記付加量算出部は、下記式を用いて前記付加量ΔＩを算出するとしてもよい。
ΔＩ＝Ｉｉｎ×ｓｉｎα×Δα
Δα＝Ｆ１（Ｉｉｎ）×Ｆ２（α）×Ｋ０
ここで、Ｉｉｎは、前記入力画像信号の画素値であり、αは、前記法線方向と前記光源の照明方向との成す角度であり、Ｆ１（Ｉｉｎ）は、画素値Ｉｉｎが０から所定値Ｉｉｎ１の範囲ではＦ１（Ｉｉｎ）＝Ｋ１（０≦Ｋ１＜１）の定数となり、画素値Ｉｉｎが所定値Ｉｉｎ１を超えると画素値Ｉｉｎに応じて線形に減少し、画素値Ｉｉｎが所定値Ｉｉｎ２（Ｉｉｎ１＜Ｉｉｎ２）でＦ１（Ｉｉｎ）＝０となる関数であり、Ｆ２（α）は、角度αが予め定められた特定角度α０のときに最大値Ｋ２（０≦Ｋ２≦１）に設定され、角度αが特定角度α０からずれると、減少するように設定された関数であり、Ｋ０は、前記光源の光強度に応じて設定される定数である。

【0118】

この構成によれば、Ｆ１（Ｉｉｎ）は、画素値Ｉｉｎが０から所定値Ｉｉｎ１の範囲ではＦ１（Ｉｉｎ）＝Ｋ１（０≦Ｋ１＜１）の定数であるため、入力画像信号における画素値が小さい範囲では、画像が明るくなり過ぎるのを防止することができる。また、Ｆ１（Ｉｉｎ）は、画素値Ｉｉｎが所定値Ｉｉｎ１を超えると画素値Ｉｉｎに応じて線形に減少し、画素値Ｉｉｎが所定値Ｉｉｎ２でＦ１（Ｉｉｎ）＝０となるため、入力画像信号の画素値が大きい範囲では、画素値が飽和するのを防止することができる。

【0119】

また、Ｆ２（α）は、角度αが予め定められた特定角度α０のときに最大値Ｋ２（０≦Ｋ２≦１）に設定され、角度αが特定角度α０からずれると、減少するように設定された関数であるため、特定角度α０のみ、付加量を増加することができる。また、Ｋ０は、光源の光強度に応じて設定される定数であるため、光源の光強度に応じて適切な値の付加量を得ることができる。その結果、式ΔＩ＝Ｉｉｎ×ｓｉｎα×Δαによって、顔の影の部分を好適に明るくすることができる。

【0120】

本発明の一局面に係る画像処理方法は、入力画像信号から人物の顔を含む顔領域を検出する顔検出ステップと、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定ステップと、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正ステップとを含む。

【0121】

この構成によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量が、顔領域の入力画像信号の画素値に加算される。したがって、人物の顔の影の部分を明るくすることができる。

【産業上の利用可能性】

【0122】

本発明に係る画像処理装置及び画像処理方法は、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量を、顔領域の入力画像信号の画素値に加算することにより、人物の顔の影の部分を明るくすることができる画像処理装置及び画像処理方法として有用である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】