特開 2024-115562 情報処理装置、情報処理方法、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115562

(43)【公開日】2024-08-27

(54)【発明の名称】情報処理装置、情報処理方法、及び記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240820BHJP

   G06T 7/13 20170101ALI20240820BHJP

【ＦＩ】

G06T7/00 660A

G06T7/13

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021106881

(22)【出願日】2021-06-28

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】宮本 浩平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA06

5L096FA14

5L096GA51

5L096JA09

5L096JA11

(57)【要約】      （修正有）

【課題】ユーザへの負担の減少を実現することが可能な情報処理装置、情報処理方法及び記録媒体を提供する。
【解決手段】情報処理装置は、検出部と、推定部とを具備する。検出部は、ユーザの正面画像に基づいて、ユーザの髪の生え際情報を検出する。推定部は、生え際情報と頭部に関するテンプレートとに基づいて、ユーザの頭部の輪郭を推定する。これにより、ユーザへの負担の減少を実現することが可能となる。また、従来よりも自然な形状推定が可能となり、かつ、特殊な機材を必要としない。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する検出部と、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する推定部と
を具備する情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記テンプレートは、前記頭部の輪郭のテンプレートを含み、
前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定する
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記正面画像は、前記ユーザの顔を含み、
前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出する
情報処理装置。

【請求項4】

請求項３に記載の情報処理装置であって、
前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出する
情報処理装置。

【請求項5】

請求項３に記載の情報処理装置であって、さらに、
前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備する
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置であって、
前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含み、
前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択する
情報処理装置。

【請求項7】

請求項２に記載の情報処理装置であって、さらに、
前記生え際情報が正しく検出されたか否かを判定する判定部を具備する
情報処理装置。

【請求項8】

請求項７に記載の情報処理装置であって、
前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定する
情報処理装置。

【請求項9】

請求項８に記載の情報処理装置であって、さらに、
前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備する
情報処理装置。

【請求項10】

請求項９に記載の情報処理装置であって、
前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定する
情報処理装置。

【請求項11】

請求項１に記載の情報処理装置であって、さらに、
撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備する
情報処理装置。

【請求項12】

請求項１１に記載の情報処理装置であって、
前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含む
情報処理装置。

【請求項13】

ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出し、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する
ことをコンピュータシステムが実行する情報処理方法。

【請求項14】

ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップと、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップと
をコンピュータシステムに実行させるプログラムを記載した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像解析等に適用可能な情報処理装置、情報処理方法、及び記録媒体に関する。

【背景技術】

【0002】

特許文献１には、複数の文字が表示された印字シートで覆われた頭部の画像に基づいて頭部の３次元モデルを作成する３次元頭部モデル作成システムが記載される。３次元頭部モデル作成システムでは、該印字シートが頭部に密着した状態の頭部画像に対して、空間演算処理が行われることで頭部の３次元モデルが作成される（特許文献１の明細書段落［００２２］～［００３８］図１等）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９００６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような、ユーザの特定部位の推定において、ユーザへの負担の減少を実現することが可能な技術が求められている。

【0005】

以上のような事情に鑑み、本技術の目的は、ユーザへの負担の減少を実現することが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、推定部とを具備する。前記検出部は、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する。前記推定部は、前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する。

【0007】

この情報処理装置では、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報が検出され、前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭が推定される。これにより、ユーザへの負担の減少を実現することが可能となる。

【0008】

前記テンプレートは、前記頭部の輪郭のテンプレートを含んでもよい。この場合、前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定してもよい。

【0009】

前記正面画像は、前記ユーザの顔を含んでもよい。この場合、前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出してもよい。

【0010】

前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出してもよい。

【0011】

前記情報処理装置であって、さらに、前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備してもよい。

【0012】

前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含んでもよい。この場合、前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択してもよい。

【0013】

前記情報処理装置であって、さらに、前記生え際情報が正しく検出されたか否かを判定する判定部を具備してもよい。

【0014】

前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定してもよい。

【0015】

前記情報処理装置であって、さらに、前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備してもよい。

【0016】

前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定してもよい。

【0017】

前記情報処理装置であって、さらに、撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備してもよい。

【0018】

前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含んでもよい。

【0019】

本技術の一形態に係る情報処理方法は、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出することを含む。前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定させる。

【0020】

本技術の一形態に係るプログラムを記載した記録媒体は、コンピュータシステムに以下のステップを実行させる。ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップ。前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップ。

【図面の簡単な説明】

【0021】

【図1】情報処理装置の概要を示す図である。

【図2】情報処理装置の構成を示すブロック図である。

【図3】頭部の輪郭を推定するフローチャートである。

【図4】ユーザに提示されるＵＩの一例を示す図である。

【図5】ステップ１０３からステップ１０７までを示す模式図である。

【図6】頭部の輪郭の推定を示す模式図である。

【図7】髪の根本の検出例を示す図である。

【図8】情報処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0022】

以下、本技術に係る実施形態を、図面を参照しながら説明する。

【0023】

図１は、本技術に係る情報処理装置の概要を示す図である。図１Ａは、本技術の実施例を示す模式図である。

【0024】

図１Ａに示すように、情報処理装置１０は、ユーザ１を撮影する撮像装置２から、ユーザ１の正面画像を取得する。本実施形態では、撮像装置２は、ディスプレイ等の表示装置３を有し、ユーザ１のＲＧＢの正面画像を撮像する。なお撮像装置２は限定されず、図１に示すようにスマートフォン等の携帯端末でもよいし、撮像機能を有するパソコン等でもよい。本実施形態ではユーザ１の正面画像からユーザ１の頭部の輪郭を推定する例を説明するが、複数の正面画像からユーザ１の頭部の輪郭を推定してもよい。

【0025】

情報処理装置１０は、撮像された正面画像に基づいて、ユーザ１の髪の生え際情報を検出する。生え際情報とは、ユーザの髪の生え際の位置や輪郭（形状）を含む情報である。本実施形態では、生え際とは、ユーザの額や襟首等の髪の生えている部分と生えていない部分との境目を示す。

【0026】

また情報処理装置１０は、生え際情報と頭部に関するテンプレートとに基づいて、ユーザの頭部の輪郭を推定する。頭部に関するテンプレート（以下、頭部テンプレートと記載）とは、頭部の様々な輪郭のテンプレートである。例えば、頭部テンプレートとしては、卵型の形状、面長の形状等の種々の頭部の輪郭が挙げられる。

【0027】

図１Ｂは、ユーザの正面画像を示す模式図である。図１Ｂに示すように、ユーザ１の正面画像に基づいて、髪の生え際５（輪郭）が検出される。なお髪の生え際情報はユーザの前髪によって隠れる場合もある。このような場合でも本発明では、生え際情報の検出及び頭部の輪郭を推定することが可能である。

【0028】

また図１Ｂに示すように、情報処理装置１０は、ユーザ１の髪の根本６を推定する。髪の根本とは、髪の集合している部分を指す。

【0029】

なお本実施形態では、ユーザ１の数は限定されず、撮影対象となるユーザは複数でもよい。

【0030】

図２は、情報処理装置１０の構成を示すブロック図である。

【0031】

情報処理装置１０は、例えばＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図８参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。例えばＰＣ等の任意のコンピュータにより、情報処理装置１０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。

【0032】

本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての頭部テンプレート変形部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。

【0033】

プログラムは、例えば種々の記録媒体を介して情報処理装置１０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

【0034】

図２に示すように、情報処理装置１０は、撮影条件提示部１１、顔特徴情報検出部１２、肌領域検出部１３、生え際検出部１４、頭部テンプレートパターン選択部１５、頭部テンプレートデータベース１６、頭部テンプレート変形部１７、判定部１８、及び生え際及び髪の根本推定部１９を有する。

【0035】

撮影条件提示部１１は、生え際情報の検出を行い易くするための撮影条件を提示する。例えば、撮影条件提示部１１は、ユーザ１の顔が表示装置３に対して正面を向いているか、ユーザ１の髪の生え際が露出されているか、又は髪を露出されていない状態で撮影を行うか等の種々の条件が整っているかをユーザ１に提示する。

【0036】

本実施形態では、撮影条件提示部１１は、撮像装置２に対して、ユーザ１の髪の生え際を露出させた状態での撮影を推奨するＵＩ（User Interface）を提示する。

【0037】

顔特徴情報検出部１２は、撮影された正面画像に対して、ユーザの顔に関する特徴情報を検出する。特徴情報とは、顔の特徴点、又は顔のパーツ情報（目、口、鼻等）を含む。なお特徴情報を検出する方法は限定されず、機械学習や任意の検出手段が用いられてよい。本実施形態では、検出された特徴情報は、肌領域検出部１３及び頭部テンプレートパターン選択部１５に供給される。

【0038】

肌領域検出部１３は、顔特徴情報に基づいて、肌領域の検出をする。本実施形態では、肌領域検出部１３は、顔の特徴点の位置から肌と推定される肌パッチを検出し、該肌パッチの平均ＨＳＶ値及びエッジ情報に基づいて、肌領域を検出する。

【0039】

なおエッジ情報の抽出方法は限定されず、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓ等の任意の方法が用いられても良い。検出された肌領域の情報は、生え際検出部１４に供給される。

【0040】

生え際検出部１４は、検出された肌領域に基づいて、生え際を検出する。本実施形態では、生え際検出部１４は、肌領域の上部の輪郭、すなわち額や耳の輪郭を生え際情報として設定する。また本実施形態では、検出された生え際情報は、頭部テンプレートパターン選択部１５及び生え際及び髪の根本推定部１９に供給される。

【0041】

頭部テンプレートパターン選択部１５は、検出された生え際情報に基づいて、頭部テンプレートデータベース１６から適した頭部テンプレートを選択する。本実施形態では、頭部テンプレートは、顔の下部、すなわち、頬や顎の輪郭の特徴点と紐づいている。頭部テンプレートパターン選択部１５は、正面画像から検出された顔の輪郭の特徴点と頭部テンプレートの特徴点とを照らし合わせることで、最適な頭部テンプレートを選択する。選択された頭部テンプレートは、頭部テンプレート変形部１７に供給される。

【0042】

頭部テンプレートデータベース１６に記憶される頭部テンプレートの特徴点と照らし合わせる方法としては、正面画像及び頭部テンプレートの耳上部左右と顎下との３点の特徴点を合わせ、それ以外の顔の下部の特徴点の差分の合計が一番小さい頭部テンプレートを選ぶ方法が挙げられる。もちろん頭部テンプレートを選択する方法は限定されず、任意の方法で選択されてもよい。

【0043】

頭部テンプレート変形部１７は、選択された頭部テンプレートの拡縮、位置移動、回転等の変形を行う。本実施形態では、頭部テンプレート変形部１７は、頭部テンプレートのＸ方向の変形を左右の耳の特徴点を基準に行う。また頭部テンプレート変形部１７は、生え際情報に基づいて、頭部テンプレートを拡縮し、Ｙ方向の拡大率を決定する。

【0044】

なお本実施形態におけるＸ方向は、左右の耳を結ぶ方向である。Ｙ方向は、Ｘ方向に垂直な方向であり、例えば両目の中心位置から顎下を結ぶ方向である（図６Ｃ参照）。また本実施形態では、変形された頭部テンプレートは、判定部１８に供給される。

【0045】

判定部１８は、生え際情報が正しく検出されたかを判定する。本実施形態では、判定部１８は、変形された頭部テンプレートの変化の度合いが所定の閾値以内の場合、生え際情報が正しく検出されたと判定する。

【0046】

例えば、判定部１８は、平均顔比率情報と変形された頭部テンプレートとを照らし合わせ、頭部テンプレートの最上部が平均顔比率情報に設定された所定の閾値以内ではない場合、生え際情報が正しく検出されていないと判定する。

【0047】

この場合、頭部テンプレート変形部１７は、平均顔比率情報に基づいて、頭部テンプレートのＹ方向の拡大率を決定する。または、生え際及び髪の根本推定部１９により、新たに生え際情報が推定され、推定された生え際情報に基づいて再度Ｙ方向の拡大率が決定される。

【0048】

平均顔比率情報とは、人の平均的な顔のパーツ情報である。例えば、右目と左目との距離、目と眉との距離、鼻から頭頂部までの距離と鼻から顎下までの距離との比率、鼻と口との距離等の目、鼻、口等の各パーツの配置される位置情報及び相対的な距離情報である。

【0049】

生え際及び髪の根本推定部１９は、髪の生え際や髪の根本を推定する。例えば、生え際及び髪の根本推定部１９は、Ｇａｂｏｒ‐Ｆｉｌｅｒ等を使い髪の流れから髪の根本を推定する。推定された生え際情報は、頭部テンプレートパターン選択部１５に供給される。頭部テンプレートパターン選択部１５は、推定された髪の根元を隠れた髪の生え際として扱い、適した頭部テンプレートを選択する。

【0050】

また生え際及び髪の根本推定部１９は、生え際検出部１４からユーザ１の髪の生え際情報を取得し、髪の生え際情報を補助情報としてその髪の生え際よりも上に位置する部分を対象とし髪の根元推定を行う。

【0051】

なお、本実施形態において、撮影条件提示部１１は、撮影条件を満たす正面画像を撮影するためのＵＩ（User Interface）をユーザに提示する提示部に相当する。なお、本実施形態において、生え際検出部１４は、ユーザの正面画像に基づいて、ユーザの髪の生え際情報を検出する検出部に相当する。なお、本実施形態において、頭部テンプレート変形部１７は、生え際情報と頭部に関するテンプレートとに基づいて、ユーザの頭部の輪郭を推定する推定部として機能する。なお、本実施形態において、頭部テンプレートパターン選択部１５は、特徴情報に基づいて、テンプレートを選択する選択部に相当する。なお、本実施形態において、判定部１８は、生え際情報が正しく検出されたか否かを判定する判定部に相当する。なお、本実施形態において、生え際及び髪の根本推定部１９は、判定部の検出結果に基づいて、ユーザの髪の部位を推定する部位推定部に相当する。

【0052】

図３は、頭部の輪郭を推定するフローチャートである。

【0053】

図３に示すように、撮影条件提示部１１により、ユーザに生え際を露出させた状態での撮影が推奨される（ステップ１０１）。

【0054】

図４は、ユーザに提示されるＵＩの一例を示す図である。

【0055】

例えば、図４に示すように、撮影条件提示部１１は、生え際が露出されていない状態（図４Ａの状態）のユーザに対して、生え際を露出した状態（図４Ｂの状態）に促す旨のＧＵＩ（Graphical User Interface）を表示装置３に提示する。

【0056】

これ以外にも撮影条件提示部１１は、生え際を露出させる旨の音声やテキストメッセージ等を提示してもよい。なおＵＩの提示は、髪がジェルやスプレー等でセットされている等のユーザが髪をかきあげることが困難なケースも想定されるためＵＩは推奨であり、ユーザは生え際を露出させずに撮影することも可能である。

【0057】

また撮影条件提示部１１は、撮像装置２に対して正面を向いている、ユーザ１の髪の生え際が露出している等の撮影条件が整った場合、撮影条件が整った旨のＵＩを提示してもよい。

【0058】

撮像装置２により、ユーザの正面画像が撮影される（ステップ１０２）。例えば、自動で撮影される場合、生え際検出部１４がユーザの生え際が露出していることを検出することで、撮像装置２に自動撮影が促される。

【0059】

図５は、ステップ１０３からステップ１０７までを示す模式図である。図５Ａは、顔の特徴点を示す図である。図５Ｂは、肌領域の検出を示す図である。図５Ｃは、ユーザの肌領域を示す図である。図５Ｄは、頭部テンプレートの一例を示す図である。

【0060】

顔特徴情報検出部１２により、撮影された正面画像から顔３０の特徴情報が検出される（ステップ１０３）。本実施形態では、図５Ａに示すように、顔特徴情報検出部１２は、目、眉、鼻、耳、口、顎等の特徴点を検出する。

【0061】

肌領域検出部１３により、顔特徴情報に基づいて、肌領域が検出される（ステップ１０４）。本実施形態では、図５Ａに示すように、眉及び鼻の特徴点に基づいて、肌パッチ３１が生成される。また図５Ｂ及びＣに示すように、肌領域検出部１３は、生成された肌パッチの平均ＨＳＶ値及びエッジ情報に基づいて、肌パッチの領域が一番多く含まれる領域を肌領域３２として検出する。

【0062】

生え際検出部１４により、検出された肌領域３２に基づいて、生え際が検出される（ステップ１０５）。図５Ｃに示すように、本実施形態では、生え際検出部１４は、肌領域３２の上部の輪郭３３から髪の生え際３４を検出する。

【0063】

頭部テンプレートパターン選択部１５により、検出された髪の生え際３４に基づいて、頭部テンプレートデータベース１６から適した頭部テンプレート３５が選択される（ステップ１０６）。図５Ｄに示すように、本実施形態では、頭部テンプレートパターン選択部１５は、顔の輪郭の特徴点３６と頭部テンプレート３５の特徴点３７とを照らし合わせることで、最適な頭部テンプレートを選択する。

【0064】

頭部テンプレート変形部１７により、頭部テンプレートの変形が行われる（ステップ１０７）。

【0065】

図６は、頭部の輪郭の推定を示す模式図である。図６Ａは、頭部テンプレートのＸ方向への調整を示す図である。図６Ｂは、頭部テンプレートのＹ方向への調整を示す図である。

【0066】

図６Ａに示すように、頭部テンプレート変形部１７は、選択された頭部テンプレート３５をＸ方向の拡縮、位置移動、回転等の変形を、左右の耳の特徴点４０を基準に行う。すなわち、選択された頭部テンプレート３５の耳に位置する特徴点の座標が、ユーザの耳の特徴点４０と一致するように頭部テンプレート３５が変形される。

【0067】

図６Ｂに示すように、頭部テンプレート変形部１７は、Ｘ方向に拡大された頭部テンプレート３５をＹ方向の拡縮、位置移動、回転等の変形を行う。本実施形態では、頭部テンプレート変形部１７は、生え際情報に基づいて、頭部テンプレートのＹ方向の拡大率を決定する。なお、Ｙ方向の拡大率の決定方法は、生え際情報に少なくとも１ピクセル以上の生え際が含まれていることを仮定とする。

【0068】

判定部１８により、変形された頭部テンプレートが、平均顔比率情報に設定された所定の閾値以内か否かが判定される（ステップ１０８）。変形された頭部テンプレートが所定の閾値以内の場合（ステップ１０８のＹＥＳ）、ユーザの生え際は正しく検出されたと判定され、変形された頭部テンプレートの輪郭がユーザの頭部の輪郭として生成される（ステップ１０９）。

【0069】

変形された頭部テンプレートが所定の閾値以内ではない場合（ステップ１０８のＮＯ）、ユーザの生え際が正しく検出されていないと判定される。この場合、生え際及び髪の根本推定部１９により、ユーザの髪の生え際又は髪の根本が推定される（ステップ１１０）。

【0070】

図７は、髪の根本の検出例を示す図である。

【0071】

本実施形態では、生え際及び髪の根本推定部１９は、方向毎に特定の周波数成分を抽出するフィルタを用いるＧａｂｏｒ‐Ｆｉｌｅｒを使い髪の流れから髪の根本を推定する。

【0072】

例えば、図７に示すように、ユーザの正面画像からユーザの髪のマスク領域４１を抽出し、そのマスク領域４１に対して０度、３０度、６０度、９０度、１２０度、及び１５０度の方向にフィルタをかける。これらのフィルタにより抽出された各角度の髪の流れを合わせることで、様々な方向の流れが集約される部分が髪の根本４２と判定される。

【0073】

また生え際及び髪の根本推定部１９は、顔を含む画像の髪の生え際に特徴点を打った学習データから学習した学習済みモデルを用いてユーザの髪の生え際を推定してもよい。例えば、生え際検出部１４により髪の生え際と推定される位置に特徴点が打たれ学習データが生成されてもよい。

【0074】

頭部テンプレートパターン選択部１５は、生え際及び髪の根本推定部１９により推定された髪の生え際又は髪の根本から最適な頭部テンプレートを選択する（ステップ１０６）。

【0075】

また変形された頭部テンプレートが所定の閾値以内ではない場合（ステップ１０８のＮＯ）、頭部テンプレート変形部１７は、平均顔比率情報に基づいて、Ｙ方向の拡大率を決定してもよい。例えば、図６Ｄに示すように、平均顔比率情報として、目４５から頭頂部４６までの距離Ａと、目４５から顎下４７までの距離Ｂとの比率が１：１の場合、選択された頭部テンプレートの目から顎下までの距離と１：１となるように目から頭頂部（生え際の頂点）までの距離が拡大される。

【0076】

以上、本実施形態に係る情報処理装置１０は、ユーザ１の正面画像に基づいて、ユーザ１の髪の生え際情報が検出される。生え際情報と頭部に関するテンプレートとに基づいて、ユーザ１の頭部の輪郭が推定される。これにより、ユーザへの負担の減少を実現することが可能となる。

【0077】

従来、正面画像から３Ｄモデルを生成する際、顔の輪郭、特に頭部の輪郭は髪の毛で隠れる場合が多く正しく形状を推定することが困難であった。例えば、ユーザに専用のキャップを被る等のユーザに過度の負荷を要求する手法が取られる。または頭部の輪郭（形状）を固定する等の推定を行わない例もある。

【0078】

本技術では、ユーザの正面画像に基づいて、ユーザの髪の生え際を検出し、その髪の生え際と頭部に関するテンプレートとを照らし合わせることで、ユーザの頭部の輪郭を推定する。また髪の生え際が隠れている場合でも、髪をかき上げてもらうという簡単な対応で頭部の輪郭を推定することができる。これにより、従来よりも自然な形状推定が可能となり、また特殊な機材やユーザへの過度の負担を要求しない。またユーザが髪の生え際を露出できない状況であっても、平均顔比率情報等から髪の生え際や髪の根元を推定することで、頭部の輪郭の推定のロバスト性を上げることが可能である。

【0079】

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

【0080】

上記の実施形態では、正面画像から頭部の輪郭が推定された。これに限定されず、ユーザの頭部を含む複数枚の画像から頭部の輪郭が推定されてもよい。例えば、撮影条件提示部１１により、頭部の輪郭の推定精度を向上させるためのＵＩが提示されてもよい。

【0081】

上記の実施形態では、髪の流れから髪の根本が推定され、頭部の輪郭が推定された。髪の根本の推定が困難な場合、顔の特徴点の比率に基づいて、平均値で頭部の輪郭が推定されてもよい。

【0082】

図８は、情報処理装置１０のハードウェア構成例を示すブロック図である。

【0083】

情報処理装置１０は、ＣＰＵ５０、ＲＯＭ５１、ＲＡＭ５２、入出力インタフェース５４、及びこれらを互いに接続するバス５３を備える。入出力インタフェース５４には、表示部５５、入力部５６、記憶部５７、通信部５８、及びドライブ部５９等が接続される。

【0084】

表示部５５は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部５６は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部５６がタッチパネルを含む場合、そのタッチパネルは表示部５５と一体となり得る。

【0085】

記憶部５７は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部５９は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体６０を駆動することが可能なデバイスである。

【0086】

通信部５８は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部５８は、有線及び無線のどちらを利用して通信するものであってもよい。通信部５８は、情報処理装置１０とは別体で使用される場合が多い。本実施形態では、通信部５８により、ネットワークを介した他の装置との通信が可能となる。

【0087】

上記のようなハードウェア構成を有する情報処理装置１０による情報処理は、記憶部５７またはＲＯＭ５１等に記憶されたソフトウェアと、情報処理装置１０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ５１等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ５２にロードして実行することにより、本技術に係る制御方法が実現される。

【0088】

プログラムは、例えば記録媒体６０を介して情報処理装置１０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置１０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

【0089】

通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理方法、及び記録媒体が実行され、本技術に係る信号処理部が構築されてもよい。

【0090】

すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

【0091】

コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及び記録媒体の実行は、例えば、肌領域の検出、生え際の検出、及び頭部テンプレートの変形等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

【0092】

すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

【0093】

各図面を参照して説明した顔特徴情報検出部、生え際検出部、頭部テンプレート変形部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

【0094】

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

【0095】

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

【0096】

なお、本技術は以下のような構成も採ることができる。
（１）
ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する検出部と、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する推定部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記テンプレートは、前記頭部の輪郭のテンプレートを含み、
前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記正面画像は、前記ユーザの顔を含み、
前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出する
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出する
情報処理装置。
（５）（３）に記載の情報処理装置であって、さらに、
前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含み、
前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択する
情報処理装置。
（７）（２）に記載の情報処理装置であって、さらに、
前記生え際情報が正しく検出されたか否かを判定する判定部を具備する
情報処理装置。
（８）（７）に記載の情報処理装置であって、
前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定する
情報処理装置。
（９）（８）に記載の情報処理装置であって、さらに、
前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備する
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定する
情報処理装置。
（１１）（１）に記載の情報処理装置であって、さらに、
撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含む
情報処理装置。
（１３）
ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出し、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する
ことをコンピュータシステムが実行する情報処理方法。
（１４）
ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップと、
前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップと
をコンピュータシステムに実行させるプログラムを記載した記録媒体。

【符号の説明】

【0097】

５…髪の生え際
６…髪の根本
１０…情報処理装置
１１…撮影条件提示部
１２…顔特徴情報検出部
１３…肌領域検出部
１４…生え際検出部
１５…頭部テンプレートパターン選択部
１７…頭部テンプレート変形部
１８…判定部
１９…生え際及び髪の根本推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】