特許 7408353 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231225BHJP

   G06T 1/00 20060101ALI20231225BHJP

【ＦＩ】

G06T7/00 660A

G06T1/00 340A

【請求項の数】 17

(21)【出願番号】P 2019201585

(22)【出願日】2019-11-06

(65)【公開番号】P2021076974

(43)【公開日】2021-05-20

【審査請求日】2022-10-18

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】金子 千晶

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１３－０５８１６４（ＪＰ，Ａ）

【文献】特開２０１６－２１３７１８（ＪＰ，Ａ）

【文献】特開２００６－３２３５１２（ＪＰ，Ａ）

【文献】十重田 大地，中村 友昭， 金子 正秀，コンピュータ似顔絵における髪の毛を考慮した描画，映像情報メディア学会技術報告，日本，映像情報メディア学会，2019年02月09日，第43巻，第4号，第67-70頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００ －２３／９５６

(57)【特許請求の範囲】

【請求項1】

被写体の画像データを取得する取得手段と、
前記画像データが表す画像において前記被写体が有する髪の毛の流れ方向が整っている第１領域と、前記髪の毛の流れ方向が整っていない第２領域とで付与する光沢の強度が異なるように、光沢を前記被写体に付与する付与手段と、
を有することを特徴とする画像処理装置。

【請求項2】

撮像手段を制御する撮像制御手段をさらに有し、
前記取得手段は、前記撮像手段が前記被写体を撮像して得られる前記画像データを取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

発光手段をさらに有し、
前記取得手段は、前記発光手段により光が照射された前記被写体を撮像して得られる前記画像データを取得することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

ライブビューを表示することが可能な表示手段を制御する表示制御手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記髪の毛の流れの特徴量を算出する算出手段をさらに有し、
前記付与手段は、前記被写体に、前記算出された特徴量に応じて光沢を付与することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記算出手段は、前記画像データが表す画像における注目画素の画素値と前記注目画素の近傍の画素の画素値とに基づき、前記注目画素に対応する前記特徴量を算出することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記付与手段は、前記特徴量の代表値が所定の閾値以上である場合、前記被写体に光沢を付与することを特徴とする請求項５又は６に記載の画像処理装置。

【請求項8】

前記付与手段は、前記被写体ごとに前記特徴量の代表値を算出し、前記特徴量の代表値が前記所定の閾値以上である前記被写体のみに光沢を付与することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記付与手段は、前記特徴量が高いほど強い光沢を前記被写体に付与することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記算出手段は、前記画像データにおける明るさの勾配に基づき所定の方向に対する前記髪の毛の流れ方向の角度を算出し、前記角度を基に前記特徴量を算出することを特徴とする請求項５乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記付与手段は、前記髪の毛の流れ方向に応じた形状の領域について前記被写体の光沢が変化するように光沢を付与することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記髪の毛の流れ方向に応じた形状は、前記流れ方向に対して直交する曲線に対して所定の幅を有する形状であることを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記特徴量は、前記髪の毛の流れ方向と前記画像データを基に推定した明るさの勾配強度とに基づく値であることを特徴とする請求項１０又は１１に記載の画像処理装置。

【請求項14】

前記代表値は、平均値、中央値、最大値および最小値のいずれか１つであることを特徴とする請求項７又は８に記載の画像処理装置。

【請求項15】

前記付与手段は、前記髪の毛の流れ方向に応じて、前記被写体に曲線状の光沢を付与することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。

【請求項16】

被写体の画像データを取得するステップと、
前記画像データが表す画像において前記被写体が有する髪の毛の流れ方向が整っている第１領域と、前記髪の毛の流れ方向が整っていない第２領域とで付与する光沢の強度が異なるように、光沢を前記被写体に付与するステップと、
を有することを特徴とする画像処理方法。

【請求項17】

コンピュータを請求項１乃至１５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、画像内の被写体の光沢を調整するための画像処理技術に関する。

【背景技術】

【0002】

従来、撮像画像中の人物の頭髪に対して画像処理により光沢付与処理を実行するものとして、頭髪が写っている領域（髪領域）内から明部を検出し、この検出結果に応じて画像補正を行う技術が知られている（特許文献１）。この技術は、髪領域から明部が検出されなかった場合に髪領域内の一部を明るくする画像補正を行うことで、髪領域に対して自動的に好ましい光沢付与処理を実行するものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－５８１６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、頭髪の光沢は一般に、髪の毛の流れ（毛流）が整っている場合は髪の毛一本一本における反射光の向きが揃うため、強くくっきりと現れ、毛流が不揃いである場合は髪の毛の反射光の向きがバラバラになるため、頭髪の光沢は弱くぼやけたものになる。つまり、頭髪の光沢は毛流の状態によって異なる現れ方をする。しかしながら、従来技術は毛流の状態を考慮せずに光沢を付与するため、毛流が不揃いで実際には光沢が生じ難い場合などでも不自然に光沢が付与されてしまうという課題があった。

【0005】

そこで本開示の技術では、画像データに対して、被写体の毛流に応じた光沢を実現することを目的とする。

【課題を解決するための手段】

【0006】

本開示の技術は、被写体の画像データを取得する取得手段と、前記画像データが表す画像において前記被写体が有する髪の毛の流れ方向が整っている第１領域と、前記髪の毛の流れ方向が整っていない第２領域とで付与する光沢の強度が異なるように、光沢を前記被写体に付与する付与手段と、を有することを特徴とする画像処理装置である。

【発明の効果】

【0007】

本開示の技術により、画像データに対して、被写体の毛流に応じた光沢を実現することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る画像処理装置のハードウェア構成を示す図。

【図2】実施形態１に係る画像処理部の機能ブロック図。

【図3】実施形態１に係る画像処理装置における一連の処理の流れを示すフローチャート。

【図4】実施形態１に係る特徴量算出処理の流れを示すフローチャート。

【図5】実施形態１に係る毛流の角度の一例を示す図。

【図6】実施形態１に係る各種画像および毛流の例を示す図。

【図7】実施形態１に係る光沢付与を説明する図。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0010】

（実施形態１）
本実施形態では、撮影画像から毛流の特徴を表す特徴量を算出し、この特徴量に基づいて毛流が整っている状態か否かを推定する。そして、整っている場合にのみ、撮像画像に光沢を付与する補正を施す。

【0011】

図１は、本実施形態における画像処理装置のハードウェア構成例を示す図である。本実施形態の画像処理装置は、デジタルカメラなどの撮像装置１００に搭載されたものである。撮像装置１００は、光学部１０１、撮像素子部１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、エンコーダ部１０５、メディアＩ／Ｆ１０６を備えている。また撮像装置１００は、ＣＰＵ１０７、メモリ部１０８、システムバス１０９、撮像系制御部１１０、発光部１１１、操作部１１２、キャラクター生成部１１３、表示部１１４などを備えている。

【0012】

光学部１０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、およびシャッターによって構成される鏡筒であり、被写体の光情報を集光する。

【0013】

撮像素子部１０２は、ベイヤ配列などの所定の配列を有するカラーフィルタと撮像素子とを備える。撮像素子部１０２は、光学部１０１にて集光された光束を、カラーフィルタを介して撮像素子で受光することにより、被写体の色情報を含むアナログ電気信号へと変換する。

【0014】

Ａ／Ｄ変換部１０３は、撮像素子部１０２から出力されたアナログ電気信号をデジタル信号に変換してＲＡＷ画像データを生成する。

【0015】

画像処理部１０４は、Ａ／Ｄ変換部１０３で生成されたＲＡＷ画像データに対して現像処理を行い、カラー画像データを生成する。また、画像処理部１０４は、カラー画像データに対してホワイトバランス（ＷＢ）補正処理を含む様々な画像処理を行う。画像処理部１０４の内部構成は後に詳述する。なお、画像処理部１０４は画像処理を行う際に適宜画像データをメモリ部１０８に記憶し、また、適宜画像データの読み出しを行う。

【0016】

エンコーダ部１０５は、画像処理部１０４にて処理した各種画像データを圧縮してＪｐｅｇなどのファイルフォーマットに変換する処理回路である。なお、本実施形態ではエンコーダ部１０５を有する構成を例としたが、エンコーダ部１０５はない場合もある。エンコーダ部１０５を有していない場合には、各種画像データは、非圧縮でＴＩＦＦ形式などにより出力される。

【0017】

メディアＩ／Ｆ１０６は、ＰＣ／メディア１１５（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなどの記憶装置や記憶媒体）に画像データを送受信するためのインタフェイスである。メディアＩ／Ｆ１０６としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などが用いられる。

【0018】

ＣＰＵ１０７は、各構成の処理すべてに関わり、ＲＯＭ１１６や、ＲＡＭ１１７で構成されるメモリ部１０８に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。

【0019】

システムバス１０９は、接続された各構成間でデータを送受信するためのバスである。

【0020】

撮像系制御部１１０は、光学部１０１に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどの制御を行う制御回路である。

【0021】

発光部１１１は、撮像時の照明補助を行うための補助光を発光する補助光源である。補助光源は、カメラの内蔵ストロボでもよいし、外付けのストロボであってもよい。発光部１１１は、撮像系制御部１１０によりストロボ発光やストロボ非発光といった発光動作が制御される。

【0022】

操作部１１２は、シャッターボタン１１８や操作ボタン１１９からの信号を受け取り、撮像やカメラ設定の変更などのユーザ指示をＣＰＵ１０７へ伝える。

【0023】

キャラクター生成部１１３は、文字やグラフィックなどを生成する処理回路である。キャラクター生成部１１３により生成された文字やグラフィックは、各種画像データに重畳されて表示部１１４に表示される。

【0024】

表示部１１４は、各種の画像データやカメラ設定メニューを表示する液晶ディスプレイなどである。

【0025】

図２は、本実施形態における画像処理部１０４のソフトウェア構成を示すブロック図である。

【0026】

画像データ取得部２０１は、被写体を撮像して得られたＲＡＷ画像データをメモリ部１０８から読み出し、デモザイク処理、ノイズリダクション処理などを施してカラー画像データ（以後、入力画像データと呼ぶ）Iを生成する。生成された入力画像データIは、特徴量算出部２０２および補正部２０４へ送られる。

【0027】

なお、被写体を撮像して得られたＲＡＷ画像データとは、撮像素子１０２で撮像がなされてＡ／Ｄ変換部１０３からメモリ部１０８に出力された画像データである。このＲＡＷ画像データは、例えば以下のように撮像装置１００で撮像されることにより得られる。本実施形態における撮像装置１００は、シャッターボタン１１８による操作が行われていない状態では、撮像系制御部１１０が光学部１０１及び撮像素子部１０２を制御して、いわゆるライブビュー表示用の画像を所定のフレーム周期ごとに撮像する。シャッターボタン１１８が半押しされると、撮像系制御部１１０は、光学部１０１を制御してオートフォーカス（ＡＦ）ロックとオートエクスポージャ（ＡＥ）ロックとを行う。ここで、ＡＦロックは、光学部１０１内のフォーカスレンズを駆動するオートフォーカスの制御において、焦点距離をロックする制御である。ＡＥロックは、自動露出制御において露出値をロックする制御である。その後、シャッターボタン１１８が全押しされると、撮像系制御部１１０は光学部１０１及び撮像素子部１０２を制御して、実際に被写体を撮像する本露光を行う。これにより、撮像素子部１０２から被写体を撮像して得られたアナログ電気信号がＡ／Ｄ変換部１０３に出力され、Ａ／Ｄ変換部１０３でアナログ電気信号からＲＡＷ画像データが生成される。

【0028】

なお、入力画像データIの取得方法は上記に限るものではない。例えば、ＰＣ／メディア１１５に予め記憶されているＲＡＷ画像データを読み出し、カラー画像データを生成してもよい。あるいは、メモリ部１０８やＰＣ／メディア１１５に記憶されているカラー画像データを読み出してそのまま入力画像データIとしてもよい。

【0029】

特徴量算出部２０２は、入力画像データIに関して毛流の特徴を表す特徴量を算出する。本実施形態では、入力画像データIの画素ごとに近傍の画素値を用いて毛流方向を推定し、その分布に基づいて特徴量を算出する。詳細は後述する。算出された特徴量は、判定部２０３へ送られる。

【0030】

判定部２０３は、特徴量算出部２０２が算出した特徴量に基づいて毛流の状態を推定し、入力画像データIを補正するか否かを判定する。詳細は後述する。判定結果は補正部２０４へ送られる。

【0031】

補正部２０４は、判定部２０３から送られた判定結果に応じて入力画像データIに光沢を変化させ、付与する補正を施す。補正部２０４は、補正後の画像データを出力画像データI’として出力する。また、補正を行わない場合には、入力画像データIをそのまま出力画像データI’として出力する。補正の詳細は後述する。最後に、補正部２０４は出力画像データI’をエンコーダ部１０５などの後段の処理部へ出力する。なお、出力前に出力画像データI’に対してガンマ処理などの色処理を行っても構わない。

【0032】

図３は、画像処理部１０４における処理の動作手順を示すフローチャートである。以下、各処理の詳細を説明する。

【0033】

ステップ３０１において、画像データ取得部２０１は、入力画像データＩを取得する。

【0034】

ステップ３０２において、特徴量算出部２０２は、入力画像データＩに関して特徴量を算出する。一般に髪領域では、髪の毛同士の重なりにより形成される凹凸によって毛流に沿った細かな陰影が生じる。本実施形態では、この陰影の明るさの勾配方向に基づいて画素ごとの毛流方向を推定する。さらに、推定した毛流方向に基づき、所定の範囲における毛流方向の所定の方向への集中度合い（整列度合い）を求め、これを毛流方向の整列度合いを表す特徴量Ｆとする。以下、図４のフローチャートを用いて特徴量算出処理の詳細を説明する。

【0035】

まずステップ４０１で、特徴量算出部２０２は、入力画像データＩの注目画素（ｉ，ｊ）について、次式に従い勾配強度Ｓ（ｉ，ｊ）および勾配方向ベクトルｕ（ｉ，ｊ）を算出する。

【0036】

【数1】

【0037】

【数2】

【0038】

ここで、Ｓ_i（ｉ，ｊ）とＳ_j（ｉ，ｊ）はそれぞれ画像の横方向および縦方向に関する一次微分フィルタの出力値であり、例えば公知のＳｏｂｅｌフィルタを用いて次式により算出する。

【0039】

【数3】

【0040】

【数4】

【0041】

式（３）、（４）において、Ｓｏｂｅｌ_i（ｉ’，ｊ’）は横方向のＳｏｂｅｌフィルタ係数、Ｓｏｂｅｌ_j（ｉ’，ｊ’）は縦方向のＳｏｂｅｌフィルタ係数である。また、式（３）、（４）において、Ｎ_sはＳｏｂｅｌフィルタのフィルタサイズを規定する画素数、Ｙ（ｉ，ｊ）は入力画像データＩのＲＧＢ値Ｉ_R（ｉ，ｊ）、Ｉ_G（ｉ，ｊ）、Ｉ_B（ｉ，ｊ）から公知の変換式を用いて得られる輝度値である。なおフィルタサイズは、被写体の首から上の顔全体を写したアップショットで、画素数が１０００×１０００以上の入力画像データＩに対して、例えばＮ_s＝３としてもよい。この場合、注目画素から上３画素、下３画素、右３画素、左３画素の７×７サイズのフィルタとしてもよい。また、フィルタサイズを固定せず、入力画像データＩにおける髪領域の大きさに応じてサイズを変更するようにしてもよい。

【0042】

このとき、式（１）の勾配強度Ｓ（ｉ，ｊ）は、画像のエッジが明瞭であるほど大きな値を示す。また、式（２）の勾配方向ベクトルｕ（ｉ，ｊ）は、暗い画素から明るい画素へ向かう向きを示す単位ベクトルとなる。

【0043】

なお、本実施形態ではＳｏｂｅｌフィルタを用いたが、その他の一次微分フィルタを用いてもよい。また、式（３）、（４）において輝度値Ｙを用いたが、明度やＧチャンネルの値Ｉ_Gなど、他の明るさを表す指標を替わりに用いてもよい。

【0044】

次にステップ４０２で、特徴量算出部２０２は、勾配方向ベクトルｕ（ｉ，ｊ）に基づき注目画素（ｉ，ｊ）における毛流方向を表す角度θ_i,jを推定する。本実施形態では、勾配方向に垂直な方向と入力画像データＩの横方向（画素配列のｉ軸方向）とがなす角を毛流の角度θ_i,jとし、次式に従い算出する。

【0045】

【数5】

【0046】

図５に角度θ_i,jの例を示す。なお、本実施形態では毛流の角度に関して髪の毛の生える向き（毛根から毛先に向かう向き）を問わない。すなわち、θ_i,j＝αとθ_i,j＝α＋πとを区別なく同じ角度として扱う。

【0047】

続いてステップ４０３で、特徴量算出部２０２は、入力画像データＩの注目画素（ｉ，ｊ）に関する特徴量Ｆ（ｉ，ｊ）として、注目画素（ｉ，ｊ）近傍の画素の毛流の角度θの角度θ_i,j近傍への集中度合い（毛流方向の整列度合い）を次式に従い算出する。

【0048】

【数6】

【0049】

【数7】

【0050】

【数8】

【0051】

ここで、特徴量Ｆ（ｉ，ｊ）はベクトル（ｖ_i，ｖ_j）の長さに相当する。また、ベクトル（ｖ_i，ｖ_j）は角度θ_i,jの２倍角を有する単位ベクトル（ｃｏｓ２θ_i,j，ｓｉｎ２θ_i,j）の重み付き平均合成ベクトルに相当する。これは上述のようにθ_i,j＝αとθ_i,j＝α＋πとを区別しないためである。また、Ｎ_aは平均する際のフィルタサイズを規定する画素数であり、例えばＮ_a＝Ｎ_sとする。

【0052】

このとき特徴量Ｆ（ｉ，ｊ）は、重み付き平均合成ベクトル（ｖ_i，ｖ_j）に基づいて定まる角度θ_ave＝ｔａｎ^-1（ｖ_j／ｖ_i）／２が、注目画素（ｉ，ｊ）の毛流の角度θ_i,jにどのくらい近いかの度合いを表している。特徴量Ｆ（ｉ，ｊ）は、注目画素（ｉ，ｊ）の毛流の角度θ_i,jに近い毛流の角度を有する画素が多く、注目画素近傍で毛流の角度が揃っている（毛流が整っている）ほど大きな値となり、フィルタ内の全画素の毛流の角度が等しい場合に最大値１となる。

【0053】

図６（ａ）に毛流が整っている被写体の例を、図６（ｂ）に毛流がばらついている被写体の例を示す。また、図６（ａ）、（ｂ）の太枠内における画素ごとの毛流の角度の分布をそれぞれ図６（ｃ）、（ｄ）に示す。図６（ｃ）、（ｄ）では、点で示した位置における毛流の角度を、その点に重畳した線分の傾きで表している。図６（ｃ）の例では毛流がおおよそ縦方向に揃っているため整列度合いが高く、特徴量Ｆは最大値１に近い大きな値となる。これに対し、図６（ｄ）の例では毛流の角度がばらばらであるため整列度合いが低く、特徴量Ｆは最小値０に近い小さな値となる。

【0054】

ステップ３０３において、判定部２０３は、ステップ３０２で算出された特徴量Ｆ（ｉ，ｊ）に基づいて入力画像データＩ全体の毛流の状態を推定し、入力画像データＩを補正するか否かを判定する。具体的には、画素ごとに算出した特徴量Ｆの代表値として入力画像データＩ内の特徴量Ｆの平均値を求め、その値が予め定めた閾値以上であれば毛流が整っている状態であると見なし、「入力画像データＩを補正する」と判定する。また、特徴量Ｆの平均値が閾値未満であれば、毛流が整っていない状態であると見なし、「入力画像データＩを補正しない」と判定する。そして、「補正する」と判定された場合はステップ３０４へ進み、「補正しない」と判定された場合はステップ３０５へ進む。

【0055】

なお、代表値は、入力画像データＩ内の特徴量Ｆを代表する値であればよく、中央値や最大値、最小値など平均値以外の値を代表値として用いてもよい。また代表値は、入力画像データＩ内の全画素の特徴量Ｆから算出してもよいが、入力画像データＩ内の一部画素、例えば髪領域周辺の画素の特徴量Ｆのみに基づき算出してもよい。

【0056】

ステップ３０４において、補正部２０４は、入力画像データＩに光沢を付与する補正を施す。本実施形態では、毛流の角度θ_i,jに基づいて毛流と直交する曲線を求め、この曲線に沿って所定の幅を有する領域内の画素の画素値を明るく補正することにより、被写体の毛流に応じた形状の光沢を入力画像データＩに付与する。

【0057】

まず、入力画像データＩから特徴量Ｆ（ｉ，ｊ）が閾値以上である画素を抽出し、補正対象領域とする。次に、補正対象領域に内接する最大の円の中心を求め、これを光沢付与の基準点Ｐ₀（ｉ₀，ｊ₀）とする。なお、基準点Ｐ₀は、補正対象領域の重心や光沢を付けたい任意の点など、補正対象領域内であれば他の点としてもよい。図７に基準点Ｐ₀の例を示す。この図において、網掛け部分は補正対象領域を表している。

【0058】

次に、基準点Ｐ₀（ｉ₀，ｊ₀）を通る傾き－１／ｔａｎθ_i0,j0の直線上にあり、基準点Ｐ₀（ｉ₀，ｊ₀）から所定の距離ｄだけ離れた点Ｐ₁（ｉ₁，ｊ₁）、Ｐ_-1（ｉ_-1，ｊ_-1）の座標を求める。これらの点Ｐ₁、Ｐ_-1は、基準点Ｐ₀から毛流に垂直な直線、すなわち基準点Ｐ₀（ｉ₀，ｊ₀）を通る傾き－１／ｔａｎθ_i0,j0の直線に沿ってｄだけ移動した点である。なお、距離ｄを小さくとるほど後述する処理で生成される各点Ｐを線分でつないだ曲線（折れ線）が滑らかになるため、付与される光沢の形状も滑らかとなる。なお、各点Ｐをつなぐ曲線は、各点Ｐを線分でつなぐ代わりに、スプライン補間等を用いて各点Ｐをつなぐ滑らかな曲線を求めて使用してもよく、このような場合には、距離ｄを小さくとることにより毛流に即した曲線形状とすることができる。

【0059】

続いて、ｎ＝１，２，３，…について、以下の式（９）～（１１）を満たす点Ｐ_n+1（ｉ_n+1，ｊ_n+1）の座標を、点Ｐ_n+1が補正対象領域外になるまで順次求める。

【0060】

【数9】

【0061】

【数10】

【0062】

【数11】

【0063】

ここで、式（９）は点Ｐ_n+1（ｉ_n+1，ｊ_n+1）が、点Ｐ_n（ｉ_n，ｊ_n）を通る傾き－１／ｔａｎθ_in,jnの直線上にあることを意味している。式（１０）は、∠Ｐ_n-1Ｐ_nＰ_n+1が鋭角でないことを意味している。つまり、式（９）および式（１０）により、点Ｐ_n+1（ｉ_n+1，ｊ_n+1）の位置は、点Ｐ_n（ｉ_n，ｊ_n）を通る傾き－１／ｔａｎθ_in,jnの直線上において、∠Ｐ_n-1Ｐ_nＰ_n+1が鋭角でない角をなす位置となる。式（１１）は、点Ｐ_nから点Ｐ_n+1までの距離がｄであることを意味している。

【0064】

同様に、ｎ＝－１，－２，－３，…について、以下の式（１２）～（１４）を満たす点Ｐ_n-1（ｉ_n-1，ｊ_n-1）の座標を、点Ｐ_n-1が補正対象領域外になるまで順次求める。

【0065】

【数12】

【0066】

【数13】

【0067】

【数14】

【0068】

最後に、補正対象領域内の画素のうち、点Ｐ_nを結ぶ曲線Ｃからの距離が所定の距離ｗ以下である画素について、明るくなるように、すなわち輝度値が高くなるようにＲＧＢ値を補正する。具体的には、被写体のＲＧＢ値Ｉ_R（ｉ，ｊ）、Ｉ_G（ｉ，ｊ）、Ｉ_B（ｉ，ｊ）それぞれに所定のゲイン係数を乗算する。あるいは、所定のバイアス値を加算してもよい。ゲイン係数やバイアス値は、輝度値が高くなるものであればＲＧＢ値の各色成分で同じ値としてもよいが、例えば、上述の輝度値Ｙへの変換式における各色成分の係数に応じて色成分ごとに異なる値としてもよい。また、曲線Ｃからの距離に応じてゲイン係数やバイアス値を小さくするなどにより、曲線Ｃから離れるに従って補正量が小さくなるようにしてもよい。

【0069】

また、ステップ４０３で算出した特徴量Ｆ（ｉ，ｊ）が大きい画素ほど明るくなるように補正してもよい。その場合、毛流が整っている部分ほど光沢が強調され、反対に、比較的不整な部分には控えめに光沢が付与されることとなる。したがって、被写体の毛流の状態に応じた光沢をより適切に付与することが可能となる。

【0070】

ステップ３０５において、補正部２０４は、ステップ３０３の判定結果に応じた画像データを出力する。具体的には、ステップ３０３で「補正する」と判定された場合には、ステップ３０４で補正された入力画像データを出力画像データＩ’とする。また、「補正しない」と判定された場合には、補正されていない入力画像データＩを出力画像データＩ’とする。そして、出力画像データＩ’を後段の処理部へ出力して処理を終了する。

【0071】

図６（ａ）、（ｂ）に示す画像を入力画像とした場合の出力画像の例を、それぞれ図６（ｅ）、（ｆ）に示す。図６（ａ）を入力画像とした場合には、特徴量Ｆが所定の閾値以上であることから被写体の毛流が整っていると見なされて「補正する」と判定され、図６（ｅ）のように光沢が付与された出力画像が出力される。これに対し、図６（ｂ）を入力画像とした場合には、特徴量Ｆが所定の閾値未満であることから毛流が整っていないと見なされて「補正しない」と判定され、図６（ｆ）のように光沢が付与されない入力画像そのものが出力画像として出力される。

【0072】

以上説明した処理制御を行うことで、被写体の毛流の状態に応じて適切に光沢を付与することができる。

【0073】

なお、本実施形態では、ステップ３０３において入力画像データＩ全体に対して補正するか否かを判定したが、入力画像データＩを特定の領域ごとに補正するか否かを判定してもよい。例えば、入力画像データＩに被写体として複数の人物が含まれる場合、人物それぞれに対応する髪領域を公知の領域抽出技術を用いて抽出し、得られた髪領域ごとに特徴量Ｆの代表値を算出して補正するか否かを判定してもよい。そして、「補正する」と判定された髪領域内の画素についてのみ、ステップ３０４で補正を施す。この場合、毛流の状態の異なる複数の被写体が画像に含まれる場合でも、それぞれの被写体の毛流に応じて適切に光沢を付与することが可能となる。

【0074】

また、画素ごとに補正するか否かを判定してもよい。具体的には、ステップ３０３において画素ごとに特徴量Ｆ（ｉ，ｊ）の値と予め定めた閾値とを比較し、特徴量Ｆ（ｉ，ｊ）が閾値以上であれば、その画素位置近傍において毛流が整っていると見なす。そして、毛流が整っていると見なされた画素についてのみ「補正する」と判定し、ステップ３０４で画素値の輝度の補正を施す。この場合、例えば一人の人物の髪領域内において部分的に毛流の状態が異なる場合でも、適切に光沢を付与することが可能となる。

【0075】

また、本実施形態では、画素ごとにその近傍の画素の毛流方向との毛流方向の整列度合いを表す特徴量Ｆ（ｉ，ｊ）を算出し（ステップ３０２）、全画素の特徴量Ｆの平均値を代表値として算出している（ステップ３０３）。ただしこれに限らず、ステップ３０２でフィルタサイズＮ_aを入力画像データＩの全画素数をカバーするものとし、画像全体における毛流方向の整列度合いを特徴量Ｆとして算出してもよい。その場合、式（７）、（８）で算出する重み付き平均合成ベクトルが画像中の全画素に関する平均に相当するため、その長さをステップ３０３における代表値として用いることができる。

【0076】

また、本実施形態では、画素ごとに特徴量Ｆ（ｉ，ｊ）を算出したが、複数の画素ごとに特徴量Ｆを算出してもよい。その場合、複数の画素の画素値の平均値に基づき勾配方向ベクトルを算出し、複数の画素に関する勾配強度Ｓおよび角度θを求め、それらに基づき特徴量Ｆを算出すればよい。

【0077】

また、本実施形態では、特徴量Ｆを式（６）～（８）に基づき算出したが、より簡易な特徴量を用いてもよい。例えば、勾配強度Ｓ等による重み付けを行わずに、単にフィルタ内の各画素が持つ角度θの２倍角を持つ単位ベクトルを合成した平均ベクトルの長さＲを特徴量としてもよい。なお、角度θの分散（＝１－Ｒ）を特徴量とした場合、所定の閾値以下である場合に補正を行うとしてもよい。

【0078】

また、本実施形態では、ステップ３０４において毛流の角度に応じた形状の光沢を入力画像に付与したが、特許文献１の技術を用いて光沢を付与してもよい。あるいは、被写体表面の形状情報を別途取得し、光源で照らされた場合の反射光を仮想的に計算することで光沢を付与してもよい。

【0079】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0080】

特徴量算出部２０２
判定部２０３
補正部２０４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】