特開 2024-106966 頭部モデル作成装置及び頭部モデル作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106966

(43)【公開日】2024-08-08

(54)【発明の名称】頭部モデル作成装置及び頭部モデル作成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240801BHJP

   G06T 17/20 20060101ALI20240801BHJP

【ＦＩ】

G06T7/00 660A

G06T17/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023208822

(22)【出願日】2023-12-11

(31)【優先権主張番号】P 2023011040

(32)【優先日】2023-01-27

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2023084653

(32)【優先日】2023-05-23

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】相羽 英樹

(72)【発明者】

【氏名】宍戸 智之

(72)【発明者】

【氏名】竹原 裕也

【テーマコード（参考）】

5B080

5L096

【Ｆターム（参考）】

5B080AA13

5B080AA14

5B080CA00

5B080FA08

5B080GA22

5L096FA02

5L096FA06

5L096FA09

5L096FA12

5L096FA14

5L096FA66

5L096FA67

5L096GA41

(57)【要約】

【課題】複雑な形状の前髪をより適切に表現し、モデルを再現した際の不自然さを抑制できる。
【解決手段】人物の頭部を含む画像が入力される画像入力処理部と、画像を解析し、頭部の形状の特定し、頭髪の毛根が配置される領域を頭皮エリアとして特定する頭部形状作成部と、画像を解析し、前髪が含まれるエリアを前髪エリアとして特定する髪パーツ分類部と、頭皮エリアと、前髪エリアとが重なるエリアを、前髪を生成する対象エリアとして特定する前髪作成部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物の頭部を含む画像が入力される画像入力処理部と、
前記画像を解析し、頭部の形状の特定し、頭髪の毛根が配置される領域を頭皮エリアとして特定する頭部形状作成部と、
前記画像を解析し、前髪が含まれるエリアを前髪エリアとして特定する髪パーツ分類部と、
前記頭皮エリアと、前記前髪エリアとが重なるエリアを、前髪を生成する対象エリアとして特定する前髪作成部と、を含む、
頭部モデル作成装置。

【請求項2】

前記前髪作成部は、前記前髪エリアから前髪を生成するパラメータを算出し、前記パラメータに基づいて前記対象エリアに前髪のモデルを生成する請求項１に記載の頭部モデル作成装置。

【請求項3】

前記対象エリアは、推定した前髪の分け目ラインから鼻筋への延長線が、前記前髪エリアの境界線と交差する点を頂点とする所定のエリアである請求項１または２に記載の頭部モデル作成装置。

【請求項4】

前記前髪作成部は、前記頂点から前記前髪エリアの境界線に向かって所定の間隔で複数のプロットを配置し、
前記複数のプロットと前記頂点とがなす線と、前記延長線とのなす角度に基づいて、前記対象エリアを特定する、
請求項３に記載の頭部モデル作成装置。

【請求項5】

前記パラメータは、前記前髪エリアの境界線に基づいて算出された前髪の形状変化を示すパラメータと、前記前髪エリアを含む所定の直線上の信号値に基づいて算出された前髪の量を示すパラメータとを含む請求項２に記載の頭部モデル作成装置。

【請求項6】

前記頭部形状作成部は、前記頭部における鼻根のランドマークと鼻柱基部のランドマークおよび眼球のランドマークとからの所定の位置に基づいて、前記頭皮エリアを特定する請求項１または２に記載の頭部モデル作成装置。

【請求項7】

前記頭部形状作成部は、
前記頭部における鼻根のランドマークと、鼻柱基部のランドマークと、眼球のランドマークとして眼球第１端のランドマークと眼球第２端のランドマークおよび眼球上端のランドマークとを取得し、
前記鼻根のランドマークと前記鼻柱基部のランドマークとを結ぶ正中線を算出し、
前記眼球第１端のランドマークと前記眼球第２端のランドマークとの距離を求め、前記眼球上端のランドマークから前記正中線に平行に前記距離の所定の倍数だけ上部に位置した点を眼球点として算出し、
前記正中線と直交し、前記眼球点を通る直線との交点を算出し、
前記鼻柱基部のランドマークと前記交点との距離を所定の比率で外分する外分点を算出し、
前記外分点を境界線に含む前記頭皮エリアを特定する、
請求項１または２に記載の頭部モデル作成装置。

【請求項8】

前記頭部形状作成部は、
前記画像から頭部の第１のモデルを作成し、
前記画像からパラメータを算出し、そのパラメータを用いて頭部の第２のモデルを作成し、
前記第１のモデルと前記第２のモデルとを重ねて位置を合わせ、前記第１のモデルにおいて毛髪の領域の境界を算出し、前記境界の各点と前記第１のモデルの中心とを通る複数の直線が前記第２のモデルを通過する複数の点を結んだ曲線と前記第２のモデルとがなすエリアを前記頭皮エリアとして特定する、
請求項１または２に記載の頭部モデル作成装置。

【請求項9】

請求項８に記載の頭部モデル作成装置において、
前記第１のモデルにおける前記毛髪の領域に前記頭皮エリアを合成する合成部をさらに備える、
頭部モデル作成装置。

【請求項10】

人物の頭部を含む画像が入力される画像入力処理ステップと、
前記画像を解析し、頭部の形状の特定し、頭髪の毛根が配置される領域を頭皮エリアとして特定する頭部形状作成ステップと、
前記画像を解析し、前髪が含まれるエリアを前髪エリアとして特定する髪パーツ分類ステップと、
前記頭皮エリアと、前記前髪エリアとが重なるエリアを、前髪を生成する対象エリアとして特定し、前髪を作成する前髪作成ステップと、を含む、頭部モデル作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部モデル作成装置及び頭部モデル作成方法に関する。

【背景技術】

【0002】

仮想現実空間などで用いるアバターとして、自身の容姿に基づいて作成したリアルアバターを使用する場合がある。このようなリアルアバターを作成する場合、自身を立体スキャナーでモデリングする方法がある。リアルアバターを作成する場合、全身をモデリングすると処理が多くなるため、頭部のみをモデリングする場合もある。頭部（顔全体）をモデリングする手法の一つに、３ＤＭＭ（３－Ｄｉｍｅｎｓｉｏｎａｌ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ）を利用した方法がある。この方法は、入力された画像を解析し、３ＤＭＭの形状とテクスチャを推論することでモデルを生成する。３ＤＭＭを用いることで、顔面については、形状の変形とテクスチャ付与によって再現可能であるが、髪型は多様性が高く、基本となる変形モデルを定義づけすることは極めて困難である。

【0003】

また、アニメーションでの頭髪を再現する方法としては、例えば特許文献１に記載の方法がある。特許文献１では、マスタ毛髪と、マスタ毛髪の周囲に設定したメンバ毛髪を有する毛束を有し、マスタ毛髪を頭部の各位置に設定し、その周囲にメンバ毛髪を設定することで、頭髪を再現している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－２０８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

頭髪を再現する方法としては、予め複数のパターンを設定し、パターンマッチングで予め用意した髪型を適用する方法があるが、実際の頭髪の形状は種々の形状があるため、精度高く当てはめるためには、多数のパターンを用意する必要がある。また、特許文献１に記載の装置のように、モデル毎に位置を設定すると処理作業が多くなる。さらに、頭髪の中で前髪は、特に個人により形状が異なるため、再現が難しい。また、個人により、毛髪の生え際や顔の形状が異なるため、再現モデルが不自然になる可能性もある。

【0006】

本発明は、上記課題を鑑み、複雑な形状の髪をより適切に表現し、モデルを再現した際の不自然さを抑制できる頭部モデル作成装置及び頭部モデル作成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様にかかる頭部モデル作成装置は、人物の頭部を含む画像が入力される画像入力処理部と、前記画像を解析し、頭部の形状の特定し、頭髪の毛根が配置される領域を頭皮エリアとして特定する頭部形状作成部と、前記画像を解析し、前髪が含まれるエリアを前髪エリアとして特定する髪パーツ分類部と、前記頭皮エリアと、前記前髪エリアとが重なるエリアを、前髪を生成する対象エリアとして特定する前髪作成部と、を含む。

【0008】

本発明の一態様にかかる頭部モデル作成方法は、物の頭部を含む画像が入力される画像入力処理ステップと、前記画像を解析し、頭部の形状の特定し、頭髪の毛根が配置される領域を頭皮エリアとして特定する頭部形状作成ステップと、前記画像を解析し、前髪が含まれるエリアを前髪エリアとして特定する髪パーツ分類ステップと、前記頭皮エリアと、前記前髪エリアとが重なるエリアを、前髪を生成する対象エリアとして特定し、前髪を作成する前髪作成ステップと、を含む。

【発明の効果】

【0009】

本発明によれば、複雑な形状の前髪をより適切に表現できる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態にかかる頭部モデル作成システムの一例を示す図である。

【図2】図２は、頭皮モデル作成方法の一例を示すフローチャートである。

【図3】図３は、頭皮モデル作成方法の処理を説明するための模式図である。

【図4】図４は、髪パーツを説明するための模式図である。

【図5】図５は、頭皮モデル作成方法の一例を示すフローチャートである。

【図6】図６は、前髪のモデルを作成する処理を説明するための模式図である。

【図7】図７は、前髪のモデルを作成する処理を説明するための模式図である。

【図8】図８は、前髪のモデルを作成する処理を説明するための模式図である。

【図9】図９は、前髪のモデルを作成する処理を説明するための模式図である。

【図10】図１０は、前髪のモデルを作成する処理を説明するための模式図である。

【図11】図１１は、パラメータと前髪のアウトラインとの関係を説明するための模式図である。

【図12】図１２は、毛髪の成長を説明するための模式図である。

【図13】図１３は、毛髪の成長を説明するための模式図である。

【図14】図１４は、毛髪の成長を説明するための模式図である。

【図15】図１５は、毛髪の成長を説明するための模式図である。

【図16】図１６は、毛髪の成長を説明するための模式図である。

【図17】図１７は、前髪モデルの一例を示す模式図である。

【図18】図１８は、前髪モデルの一例を示す模式図である。

【図19】図１９は、前髪モデルの一例を示す模式図である。

【図20】図２０は、頭皮エリアを特定する方法の一例を示すフローチャートである。

【図21】図２１は、頭皮エリアを特定する処理を説明するための模式図である。

【図22】図２２は、頭皮エリアを特定する処理の一例を説明するための説明図である。

【図23】図２３は、頭皮エリアを特定する処理の一例を説明するための説明図である。

【図24】図２４は、頭皮エリアを特定する処理の一例を説明するための説明図である。

【図25】図２５は、頭皮エリアを特定する処理の一例を説明するための説明図である。

【図26】図２６は、頭皮エリアを特定する処理の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0012】

図１は、本実施形態にかかる頭部モデル作成システムの一例を示す図である。本実施形態にかかる頭部モデル作成システム１０は、人物の頭部が含まれる画像を取得し、取得した画像に含まれる人物の頭部のモデルを作成する。頭部モデル作成システム１０は、カメラ１２と、画像記憶装置１４と、頭部モデル作成装置２０と、を含む。

【0013】

カメラ１２は、画像を撮像する装置である。カメラ１２が撮影する画像は、動画、静止画のいずれでもよい。カメラ１２は、撮影した画像データを頭部モデル作成装置２０に出力する。カメラ１２が頭部モデル作成装置２０に画像データを出力する方法として、有線、無線の通信、記録媒体を用いた方法等、種々の方法を用いることができる。

【0014】

画像記憶装置１４は、人物の頭部を含む画像のデータである画像データを記憶する。画像記憶装置１４は、各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。画像記憶装置１４は、画像データを頭部モデル作成装置２０に出力する。画像記憶装置１４が頭部モデル作成装置２０に画像データを出力する方法として、有線、無線の通信等、種々の方法を用いることができる。

【0015】

頭部モデル作成装置２０は、カメラ１２、画像記憶装置１４から供給される人物の頭部を含む画像データを処理し、人物の頭部モデルを作成する。以下では、本発明の特徴である前髪のモデルである前髪モデルの作成の処理について説明する。頭部モデル作成装置２０は、前髪モデル以外の髪、横髪のモデルや、顔面のモデルも周知の技術で作成し、頭部モデルを作成することができる。

【0016】

頭部モデル作成装置２０は、パーソナルコンピュータ、スマートフォンやタブレット端末等である。頭部モデル作成装置２０は、各部を無線、有線の通信で接続し、一部処理をクラウド上で処理してもよい。頭部モデル作成装置２０は、画像入力処理部２２と、入力部２４と、出力部２６と、演算部２８と、記憶部３０と、を含む。

【0017】

画像入力処理部２２は、カメラ１２、画像記憶装置１４から供給される画像データを取得する。画像入力処理部２２は、例えば、ＲＡＭやＲＯＭのような記憶装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含んでもよい。画像入力処理部２２は、取得した画像データを演算部２８で処理できる画像データに変換して、演算部２８に出力する。また、画像入力処理部２２は、取得したデータを記憶部３０に記憶してもよい。

【0018】

入力部２４は、頭部モデル作成装置２０に対する各種の入力操作を受け付ける。入力部２４は、受け付けた入力操作に応じた入力信号を演算部２８に出力する。入力部２４は、例えば、タッチパネル、ボタン、スイッチなどを含む。入力部２４としてタッチパネルが用いられる場合には、入力部２４は、出力部２６上に配置される。

【0019】

出力部２６は、各種の映像を表示する表示部である。出力部２６は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などを含むディスプレイである。なお、出力部２６は、表示部以外にも、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などにより物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。

【0020】

演算部２８は、演算装置であり、例えばＣＰＵなどの演算回路を含む。演算部２８は、頭部形状作成部４０と、髪パーツ分類部４２と、前髪作成部４４と、横髪作成部４６と、合成部４８と、を含む。演算部２８は、記憶部３０からプログラム（ソフトウェア）を読み出して実行することで、頭部形状作成部４０と、髪パーツ分類部４２と、前髪作成部４４と、横髪作成部４６と、合成部４８とを実現して、それらの処理を実行する。なお、演算部２８は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、頭部形状作成部４０と、髪パーツ分類部４２と、前髪作成部４４と、横髪作成部４６と、合成部４８との少なくとも一部を、ハードウェアで実現してもよい。

【0021】

頭部形状作成部４０は、画像を解析して頭部の形状、頭皮エリアを特定する処理を実行する。ここで、頭皮エリアとは、頭部の中で、頭髪の毛根が配置される領域、つまり、毛髪の基点を配置する領域である。頭部形状作成部４０が画像から頭部の形状、頭皮エリアを特定する処理は、種々の形状認識技術を用いることができる。例えば、頭部形状作成部４０は、人体の代表的な頭部の形状を用いて、パターンマッチングを行い、画像における、頭部の形状、向きを特定してもよい。また、頭部形状作成部４０は、頭部の形状に予め設定されている頭皮の位置を、頭皮エリアとしてもよい。

【0022】

髪パーツ分類部４２は、画像を解析して、頭部の髪パーツのエリアを分類する。本実施形態では、髪パーツを前髪エリアと左右の横髪エリアとに分類する。前髪エリアは前髪が含まれるエリアであり、横髪エリアは横髪が含まれるエリアである。髪パーツ分類部４２は、画像の髪パーツのエリアが分類された教師データを機械学習し、髪パーツのセグメンテーションを行うプログラムを用いて、各エリアに分類する。なお、髪パーツ分類部４２の処理は、機械学習を用いることが好ましいが、これに限定されず、種々の方法で髪パーツを分類することができる。

【0023】

前髪作成部４４は、頭部形状作成部４０で抽出した頭部の頭皮エリアの情報と、髪パーツ分類部４２で抽出した前髪エリアの情報を用いて前髪のモデルである前髪モデルを作成する。前髪作成部４４は、前髪を再現する頭髪を配置する頭皮のエリアである対象エリアを設定する。また、前髪作成部４４は、頭部の頭皮エリアの情報と前髪エリアの情報と、前髪の画像の情報を用いて、前髪の各種パラメータを決定する。前髪作成部４４は、各種パラメータに基づいて対象エリアの毛根を成長させ、前髪モデルを作成する。

【0024】

横髪作成部４６は、頭部形状作成部４０で抽出した頭部の頭皮エリアの情報と、髪パーツ分類部４２で抽出した横髪エリアの情報を用いて横髪のモデルである横髪モデルを作成する。横髪作成部４６は、前髪作成部４４と同様の処理で横髪モデルを作成しても、他の公知の方法で横髪モデルを作成してもよい。

【0025】

合成部４８は、前髪作成部４４で作成した前髪モデルと、横髪作成部４６で作成した横髪モデルを合成し、画像の頭部の毛髪のモデルを作成する。合成部４８は、さらに頭部の顔面のモデルを合成してもよい。

【0026】

記憶部３０は、演算部２８の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部３０が保存する演算部２８用のプログラムは、頭部モデル作成装置２０が読み取り可能な記録媒体に記憶されていてもよい。記憶部３０は、処理プログラム５０と、条件テーブル５２と、を含む。処理ブログラム５０は、演算部２８で実行されることで頭部モデルの作成の各処理を実現するプログラムである。処理プログラム５０は、演算部２８で実行する頭部モデルの作成処理を実行する頭部モデル作成プログラムを含む。処理プログラム５０は、機械学習で作成したプログラムや、オペレータが作成したプログラム等である。また、処理プログラム５０は、複数のプログラムの組み合わせでもよい。条件テーブル５２は、演算部２８で実行するプログラムの処理のパラメータ、判定基準等を含む。

【0027】

次に、図２から図２０を用いて、頭部モデル作成装置２０の処理を説明する。図２は、頭皮モデル作成方法の一例を示すフローチャートである。図３は、頭皮モデル作成方法の処理を説明するための模式図である。図４は、髪パーツを説明するための模式図である。

【0028】

まずは、図２から図４を用いて、頭部モデル全体の作成について説明する。頭部モデル作成装置２０の演算部２８は、各部の処理を実行することで、図２に示す処理を実現する。演算部２８は、画像入力処理部２２を介して、画像データを取得する（ステップＳ１２）。画像データは上述したように、人物の頭部を含む画像である。演算部２８は、頭部形状作成部４０で画像から頭部形状を抽出し、頭皮エリアを特定する（ステップＳ１４）。

【0029】

演算部２８は、髪パーツ分類部４２で、画像から髪パーツを分類する（ステップＳ１６）。髪パーツ分類部４２は、画像から髪の領域を抽出し、抽出した髪の領域をパーツに分類する。例えば、髪パーツ分類部４２は、図３に示す人物の頭部１０４を含む画像１０２を解析し、図４に示すように、画像１０２ａの頭髪領域１１０を抽出する。髪パーツ分類部４２は、さらに、頭髪領域１１０を、前髪エリア１１２、第１横髪エリア１１４、第２横髪エリア１１６に分類する。演算部２８は、前髪エリア１１２の領域に基づいてアウトライン１１８を設定する。アウトライン１１８については、後述する。なお、本実施形態は、横髪を左右で２つのエリアに分類したが、前髪エリア１１２とその他の髪エリアに分類してもよい。

【0030】

演算部２８は、前髪作成部４４で、前髪を作成する（ステップＳ１８）。前髪作成部４４は、画像１０２の情報と、頭部形状作成部４０で検出した頭皮エリアの情報と、前髪エリア１１２の情報に基づいて、前髪を形成する頭皮エリア、前髪の各種パラメータを設定し、設定に基づいて頭髪を成長させて、前髪モデルを作成する。前髪モデルの作成については後述する。

【0031】

演算部２８は、横髪作成部４６で、横髪を作成する（ステップＳ２０）。横髪作成部４６は、第１横髪エリア１１４、第２横髪エリア１１６に対応する領域に横髪モデルを作成する。演算部２８は、合成部４８で、作成した髪、つまり前髪と横髪を合成して髪モデルを作成する（ステップＳ２２）。

【0032】

次に、図５から図２０を用いて、前髪モデルの作成方法について説明する。まず、図５を用いて、処理について説明する。図５は、頭皮モデル作成方法の一例を示すフローチャートである。演算部２８は、前髪作成部４４で、図５に示す各処理を実行し、前髪モデルを作成する。

【0033】

前髪作成部４４は、頭皮エリアを取得する（ステップＳ３２）。前髪作成部４４は、頭部形状作成部４０で抽出した頭皮エリアの情報を取得する。図６は、前髪のモデルを作成する処理を説明するための模式図である。図６は、頭部モデルの三次元形状を模式的に示す図である。図６は、頭部形状作成部４０で抽出した頭部の形状、つまり画像から頭部の形状を抽出して髪を取り除いた形状である。頭部形状には、頭皮エリア１１７（図６の点線で囲まれた範囲）が設定される。頭皮エリア１１７は、髪モデルを形成する毛根を配置する領域である。次に、前髪作成部４４は、髪パーツの前髪エリアを取得する（ステップＳ３４）。前髪作成部４４は、髪パーツ分類部４２で分類した前髪エリアの情報を取得する。なお、ステップＳ３２とステップＳ３４の処理は、同時に行っても逆の順番で行ってもよい。

【0034】

次に、前髪作成部４４は、前髪エリアに基づいてアウトラインを整形する（ステップＳ３６）。図７は、アウトラインを整形する処理を示す図である。前髪作成部４４は、セグメンテーション結果から左右の分け目ラインを推定する。具体的には、前髪作成部４４は、第１横髪エリア１１４と第２横髪エリア１１６との境界を分け目ラインとする。前髪作成部４４は、左右の目を画像認識し、左右の目の中心同士を線で結び、その中点から垂線を下ろして、その線上における輝度値が最大の点を鼻の頂点とする。前髪作成部４４は、鼻の頂点と分け目ラインの端点とを線で結んで鼻筋とする。前髪作成部４４は、分け目ラインと鼻筋とを合わせて分け目延長ライン１２１とする。前髪作成部４４は、分け目ライン１２１と、前髪エリア１１２の境界線１１２ａとの頭上側で交差する一番上の位置を頂角の点１１９とする。

【0035】

次に、前髪作成部４４は、頂角の点１１９を基点として、前髪エリアの境界線１１２ａに向かって所定の間隔でプロット１３０を配置する。プロット１３０と頂角の点１１９とを結んだ線と分け目延長ラインとのなす角をそれぞれのプロット１３０について算出し、その算出結果に基づいて頂角を算出する。例えば、左右のそれぞれのプロットで角度の平均値を算出し、頂角とする。次に、前髪作成部４４は、前髪エリアの境界線１１２ａの情報に基づいて、毛先、つまり、頂角の点１１９から最も遠い領域に基づいて底辺を設定する。具体的には、前髪作成部４４は、前髪エリアの境界線１１２ａ上の点のうち頂角の点１１９から最も遠い点とその左隣（または右隣）の点を結び、頂角の点１１９からの２つの辺と重なるまで延長して底辺とする。底辺の位置を設定する方法はこれに限定されず、前髪作成部４４は、眉毛の位置や瞼の位置に基づいて底辺を設定してもよい。次に、前髪作成部４４は、頂角の点１１９と、頂角と、底辺の位置に基づいて、頂角の点１１９を頂点とする三角形であるアウトライン１１８を作成する。ここで、この三角形は曲面上にあるので厳密には三角形とは言えないが、説明を簡単にするため三角形として扱う。

【0036】

前髪作成部４４は、前髪の頭皮エリア（対象エリア）を推定する（ステップＳ３８）。前髪作成部４４は、図６に示すようにアウトライン１１８に含まれる頭皮エリア１１７の領域を前髪の頭皮エリアである対象エリア１２０とする。つまり、前髪作成部４４は、頭皮エリア１１７と前髪エリア１１２とが重なるエリアを対象エリアとして特定する。前髪作成部４４は、特定した対象エリアに前髪を生成する。

【0037】

前髪作成部４４は、前髪の変形パラメータを推定する（ステップＳ４０）。変形パラメータは、前髪モデル作成時の各毛髪の成長方向を調整するパラメータ（成長パラメータ）である。変形パラメータは、毛束の状態つまりアウトライン１１８の底辺と平行な方向の各位置の毛髪の量を制御する明暗パラメータや、毛髪の流れを調整する、ハネ方向、ハネ位置、中央の膨らみ、斜めバング等がある。前髪作成部４４は、前髪エリア１１２を解析して、各パラメータを設定する。

【0038】

前髪作成部４４は、前髪エリア１１２の画像の明暗を検出することで、明暗パラメータを推定する。前髪作成部４４は、前髪が、額の全体を覆っているかシースルー（前髪を通して額が透けて見える状態）か、シースルーの場合はその程度を算出する。前髪作成部４４は、アウトライン１１８の底辺と平行な線を任意の位置に引き、各位置の明暗を検出する。具体的には、測定線での画像のＲＧＢ値または輝度値を取得する。図８から図１０は、それぞれ前髪のモデルを作成する処理を説明するための模式図である。図８から図１０は、明暗パラメータの例を示す図であり、アウトライン１１８の底辺と平行な線の左右方向に対する明暗の変化である。図８から図１０に示す明暗線１５０、１５２、１５４は、それぞれ異なる前髪の明暗である。図８から図１０の左右方向は、カメラ１２が撮影する画像の左右方向である。図８から図１０に示すように、明暗線１５０、１５２、１５４は、髪型により、明暗が変化する。明暗線１５０、１５２、１５４は、毛量が多い位置で暗くなり、毛量が少ない位置で明るくなる。明暗の間隔、変化で、各位置での毛量を推定することができる。つまり、肌の色が透けている部分と髪の毛の部分の周期性および額が透けている割合を読みとり、シースルーの程度を推定することができる。前髪作成部４４は、シースルーの程度を画像のコントラストによって推定してもよい。

【0039】

前髪作成部４４は、変形パラメータとして、前髪エリアの境界線１１２ａの形状から、前髪のハネ方向、ハネ位置、中央の膨らみ、斜めバングを算出する。前髪作成部４４は、頂角の点１１９から前髪エリアの境界線１１２ａに沿って、所定の間隔でサンプリングしたプロット点のうち隣り合う点を結んだ線分の傾きを取得する。前髪作成部４４は、例えば図７に示すように、隣り合うプロット１３０同士を繋いで基準線１４０を決定し、基準線１４０に基づいて前髪エリアの境界線１１２ａの傾きを検出する。前髪作成部４４は、複数のプロット１３０のそれぞれに対して傾きを検出する。前髪作成部４４は、分け目延長ライン１２１の左右それぞれに位置するプロット１３０について、傾きを検出してもよい。

【0040】

前髪作成部４４は、頂角の点１１９とプロット１３０とを結んだ基準線１４０に対して傾きを検出してもよい。前髪作成部４４は、前髪エリアの境界線１１２ａにおいて、設定した底辺を含む範囲はプロットしないようにしてもよい。前髪のハネ方向は、底辺側での変化程度から算出する。前髪作成部４４は、底辺に最も近いプロット１３０における傾きと、そのプロット１３０より頂角側に位置するプロット１３０における傾きとの差分を算出する。前髪作成部４４は、頂角の点１１９に最も近いプロット１３０における傾きと、そのプロット１３０より底辺側に位置するプロット１３０における傾きとの差分を算出してもよい。前髪作成部４４は、分け目延長ライン１２１の左右それぞれについて、傾きの差分を検出する。前髪作成部４４は、算出した値をハネ方向のパラメータとする。中央の膨らみは、頂角側と底辺側の変化の度合いから膨らみ系かしぼみ系かを算出する。前髪作成部４４は、底辺に最も近いプロット１３０と、頂角の点１１９に最も近いプロット１３０との間にあるプロット１３０の数の半分の位置にあるプロット１３０における傾きとの差分を算出する。前髪作成部４４は、算出した値を中央の膨らみのパラメータとする。斜めバングは、左右の変化量の違いから対称形か流し系かを算出する。前髪作成部４４は、底辺に最も近いプロット１３０から所定数だけ頂角側に位置するプロット１３０における傾きを算出する。前髪作成部４４は、分け目延長ライン１２１の左右それぞれについて、傾きの差分を検出する。前髪作成部４４は、算出した値を斜めバングのパラメータとする。

【0041】

図１１は、変形パラメータと前髪エリア１１２との関係を説明するための模式図である。前髪作成部４４は、ハネ方向のパラメータが持つ左右２つの値を比較して、より大きな値を持つ方向をハネ方向として決定する。前髪作成部４４は、ハネ方向として決定した方向のパラメータの値の大きさに基づいて、ハネの大きさを決定する。前髪作成部４４は、パラメータの大きさが第１のしきい値より小さい場合はハネが無いものと決定する（つまり、基準形状１６０と決定する）。前髪作成部４４は、パラメータの大きさが第１のしきい値以上で第２のしきい値より小さい場合はハネ位置を上と決定する。前髪作成部４４は、パラメータの大きさが第２のしきい値より大きい場合はハネ位置を毛先と決定する。

【0042】

図１１に示すように、基準形状１６０とした場合、ハネ方向のパラメータに基づいて基準形状１６０を変形させることで、矢印１６２に示すようにハネ方向が左右のいずれかと、矢印１６４に示すようにハネ位置が上下のいずれかとを適切に再現することができる。

【0043】

前髪作成部４４は、中央の膨らみのパラメータの値の大きさに基づいて、中央の膨らみを決定する。前髪作成部４４は、パラメータの大きさが第３のしきい値より小さい場合は中央の膨らみがほっそりであると決定する。前髪作成部４４は、パラメータの大きさが第３のしきい値以上で第４のしきい値より小さい場合は中央の膨らみがないものと決定する（つまり、基準形状１６０と決定する）。前髪作成部４４は、パラメータの大きさが第４のしきい値より大きい場合は中央の膨らみがふっくらであると決定する。

【0044】

図１１に示すように、基準形状１６０とした場合、中央の膨らみのパラメータに基づいて基準形状１６０を変形させることで、矢印１７２に示すようにほっそりかふっくらかを再現することができる。換言すると、外縁の湾曲形状の凹凸の向き、凹凸の程度を変化させることができる。

【0045】

前髪作成部４４は、斜めバングのパラメータが持つ左右２つの値を比較して、より大きな値を持つ方向を斜めバングの方向として決定する。前髪作成部４４は、斜めバングの方向として決定した方向のパラメータの値の大きさに基づいて、斜めバングを決定する。前髪作成部４４は、パラメータの大きさが第５のしきい値より小さい場合は斜めバングがないものと決定する（つまり、基準形状１６０と決定する）。前髪作成部４４は、パラメータの大きさが第５のしきい値以上の場合は斜めバングがあるものと決定する。

【0046】

図１１に示すように、基準形状１６０とした場合、斜めバングのパラメータに基づいて基準形状１６０を変形させることで、矢印１８２に示すように左流しか右流しかを再現することができる。換言すると、外縁の形状の全体の向きを変化させることができる。図１１は、基準形状１６０に対して、ハネ、中央の膨らみ、斜めバングのパラメータのうちいずれか１つを変動させた場合の形状であるが、組み合わせることで、種々の形状とすることができる。

【0047】

前髪作成部４４は、前髪の頭皮エリア内の各毛根を、変形パラメータを用いて成長させて前髪を作成する（ステップＳ４２）。図１２から図１６は、それぞれ毛髪の成長を説明するための模式図である。図１２及び図１３は、頭髪の成長を模式的に示す図であり、図１４から図１６は、毛髪の成長を極座標のベクトルＶ(r,φ,θ)で示すものである。前髪作成部４４は、前髪の頭皮エリアである対象エリアの毛根の位置を決定する。対象エリアに対する毛根の配置は、予め設定した間隔としても、毛束の数に基づいて調整してもよい。前髪作成部４４は、図１２に示すように、頭部１８０の毛根の位置に頭皮に対して直交するベクトル１８２で頭髪を成長させる。成長とは、毛根の位置（座標）からベクトルＶで示す座標への軌跡を毛髪とすることである。前髪作成部４４は、頭皮から一定距離成長させた後は、図１３に示すように、頭皮に沿った曲面１９２上のベクトル１８４に沿って成長させて毛髪１９０を作成する。つまり、極座標の径方向の成分であるｒ成分は、図１４に示すように、頭皮位置となる点線から単調減少させて一定距離で０とする。これにより、頭皮から一定距離離れた曲面１９２上で、成長する毛髪とすることができる。また、まっすぐに広がる前髪の場合、φ成分θ成分は、図１５に示すように頂角の位置から放射状に成長するベクトルとして設定される。これに対して、斜めバングが設定されている場合、変形パラメータが調整され、図１６に示すように成長する向きが徐々に変化するベクトルとして設定される。前髪作成部４４は、変形パラメータに基づいて、各毛髪のベクトルを算出して成長させることで前髪モデルを作成する。

【0048】

図１７から図１９は、それぞれ前髪モデルの一例を示す模式図である。上記の処理を実行することで、実際の人物の頭部の画像に基づいて、図１７から図１９に示す前髪モデル２００，２０２，２０４を作成することができる。図１７に示す前髪モデル２０２は、斜めバングを斜め成分なし、中央の膨らみを中央がやや膨らむ、はね方向をストレート、シースルーを図８に示す検出結果で作成した前髪である。図１８に示す前髪モデル２０２は、斜めバングをやや左側に流す、中央の膨らみを中央はややしぼみ気味、はね方向を毛先が右にはねる、シースルーを図９に示す検出結果で作成した前髪である。図１９に示す前髪モデル２０４は、斜めバングを左側に流す、中央の膨らみを中央がやや膨らみ、はね方向を毛先がやや右にはねる、シースルーを図１０に示す検出結果で作成した前髪である。図１７から図２０に示すように画像に基づいて、検出した対象エリアと、パラメータとを用いて前髪を作成することで、種々の形状の前髪モデルを作成することができる。

【0049】

以上のように、頭部モデル作成システム１０は、頭皮エリアのうち、髪パーツのエリアを分類するセグメンテーションで分類された前髪エリアをアウトラインで整形し、このアウトラインと重なる頭皮エリアを対象エリアとし、前髪を形成するための毛根を配置するエリアとする。さらに、頭部モデル作成システム１０は、前髪エリアの形状の解析から、前髪スタイルを表現する各種パラメータを算出し、算出した各種パラメータを組み込んだベクトル（髪成長関数）によって、前髪の毛根エリアから毛先に向かって前髪を成長させて前髪モデルを作成する。

【0050】

上述したようにすることで、髪を適切に表現することができるが、個人により、髪の生え際や顔等が異なるため、頭部モデルを表現した際に額が広い等の不自然さが生じる可能性がある。そのため、頭皮エリアを下記のように特定することにより、頭部モデル表現した際の不自然さを抑制可能となる。以下、頭皮エリアを特定する方法について、図２０及び図２１を用いて、説明する。

【0051】

図２０は、頭皮エリアを特定する方法の一例を示すフローチャートである。図２１は、頭皮エリアを特定する処理を説明するための模式図である。なお、図２１は、頭部形状作成部４０が抽出した頭部の形状、つまり画像から頭部の形状を抽出して髪を取り除いた形状である。演算部２８は、頭部形状作成部４０で、図２０に示す各処理を実行し、頭皮エリアを特定する。演算部２８は、頭部形状作成部４０が特定した頭皮エリアの情報を前髪作成部４４に出力する。

【0052】

頭部形状作成部４０は、頭部に含まれるランドマークからの所定の位置に基づいて、頭皮エリア１１７を特定する。ここでのランドマークは、顔３００のランドマークをいい、例えば、目、鼻、眉毛、耳、口など顔３００の部位の位置を指す。

【0053】

頭部形状作成部４０は、ランドマークを取得する（ステップＳ５２）。頭部形状作成部４０は、例えばｄｌｉｂと呼ばれるオープンソースの画像認識のソフトウェアを用いて、顔３００のランドマークを取得する。ランドマークの抽出点数としては特に限定されないが、例えば７０点を抽出する。頭部形状作成部４０は、顔３００のランドマークの中から所定の部位のランドマークを抽出する。本実施形態の頭部形状作成部４０は、鼻根のランドマーク３１２と、鼻柱基部のランドマーク３１４と、眼球第１端のランドマーク３１６と、眼球第２端のランドマーク３１８と、眼球上端のランドマーク３２０との５個のランドマークを抽出する。

【0054】

鼻根のランドマーク３１２は、左右の目頭を結んだ直線と鼻とが交差する位置である。頭部形状作成部４０は、鼻根のランドマーク３１２の位置を、左右の目頭を結んだ直線の中点としてもよいし、左右の目頭を結んだ直線上における輝度値が最大の点としてもよいし、周知技術のエッジ抽出により抽出された鼻のエッジのうち左右の目頭を結んだ直線上にある２点間の中点としてもよいし、鼻柱基部のランドマーク３１４から左右の目頭を結んだ直線に向かって垂線を延長した位置としてもよい。鼻柱基部のランドマーク３１４は、左右の鼻の穴を隔てている壁（鼻柱）の付け根の位置である。頭部形状作成部４０は、鼻柱基部のランドマーク３１４の位置を、左右の鼻の穴の下端を結んだ直線の中点としてもよいし、左右の鼻の穴の下端を結んだ直線上における輝度値が最小の点としてもよいし、周知技術のエッジ抽出により抽出された鼻のエッジの下端（鼻柱に相当する位置）としてもよい。眼球第１端のランドマーク３１６は、眼球の目じり側の端部である。眼球第２端のランドマーク３１８は、眼球の目頭側の端部である。眼球上端のランドマーク３２０は、眼球の上側（瞼側）の端部である。眼球第１端のランドマーク３１６と、眼球第２端のランドマーク３１８および眼球上端のランドマーク３２０とは、右目の眼球の端であってよいが、本実施形態では、左目の眼球の端を用いて説明する。なお、頭部形状作成部４０は、５つ以上のランドマークを取得してもよい。また、頭部形状作成部４０は、他のランドマークを取得してもよい。頭部形状作成部４０は、例えば、眉上端のランドマーク３２２を取得してもよい。なお、頭部形状作成部４０は、他の公知技術により、顔３００のランドマークを取得してもよい。

【0055】

頭部形状作成部４０は、正中線を算出する（ステップＳ５４）。正中線３３０は、鼻根のランドマーク３１２と鼻柱基部のランドマーク３１４とを通る直線である。正中線３３０は、顔３００を左右に分ける線であるともいえる。

【0056】

頭部形状作成部４０は、第１直線を算出する（ステップＳ５６）。第１直線３４０は、正中線３３０と直交し、鼻柱基部のランドマーク３１４を通る直線である。

【0057】

頭部形状作成部４０は、眼球点を算出する（ステップＳ５８）。頭部形状作成部４０は、眼球第１端のランドマーク３１６と眼球第２端のランドマーク３１８との距離ｄを求める。言い換えれば、距離ｄは、眼球左右端の距離である。そして、頭部形状作成部４０は、眼球上端のランドマーク３２０から正中線３３０に平行に距離ｄの所定の倍数だけ上部に位置した点を眼球点Ｍとして算出する。ここで、所定の倍数は、任意に設定してよいが、例えば０．４であることが好ましい。すなわち、頭部形状作成部４０は、眼球上端のランドマーク３２０から正中線３３０に平行に距離ｄの０．４倍、つまり、０．４ｄだけ上部に位置した点を眼球点Ｍとして算出する。なお、頭部形状作成部４０は、眼球上端のランドマーク３２０を取得できない場合には、眼球第１端のランドマーク３１６と眼球第２端のランドマーク３１８との中点から距離ｄのｘ倍の位置を眼球点Ｍとして算出してもよい。すなわち、頭部形状作成部４０は、眼球上端のランドマーク３２０から正中線３３０に平行にｘｄだけ上部に位置した点を眼球点Ｍとして算出する、この場合、ｘを別途設定することが好ましい。なお、頭部形状作成部４０は、任意の方法で眼球点Ｍを算出してよい。例えば、頭部形状作成部４０は、眉のランドマークを取得できる場合には、眉頂点のランドマーク３２２と、眼球上端のランドマーク３２０との中点を眼球点Ｍとしてもよい。つまり、眼球を基準とした比率計算により眼球点を求めることが好ましい。

【0058】

頭部形状作成部４０は、交点を算出する（ステップＳ６０）。頭部形状作成部４０は、正中線３３０と直交し、眼球点Ｍを通る第２直線３４２を算出する。そして、正中線３３０と第２直線３４２との交点Ｃを算出する。

【0059】

頭部形状作成部４０は、外分点を算出する（ステップＳ６２）。頭部形状作成部４０は、鼻柱基部のランドマーク３１４と交点Ｃとの距離を所定の比率で外分する点を外分点Ｄとして算出する。所定の比率は、任意であってよいが、２：１であることが好ましい。頭部形状作成部４０は、例えば、鼻柱基部のランドマーク３１４と交点Ｃとを２：１で外分する点を外分点Ｄとして算出する。つまり、頭部形状作成部４０は、鼻柱基部のランドマーク３１４及び交点Ｃの距離Ｂと、交点Ｃ及び外分点Ｄの距離Ａとは、等しい距離となるように外分点Ｄを算出する。なお、外分点Ｄは、個人の顔や統計データ等により、２：１の比率に限定されずに算出されてもよい。また、頭部形状作成部４０は、外分点Ｄを算出したら第３直線３４４を算出することが好ましい。第３直線３４４は、正中線３３０に直交し、外分点Ｄを通る直線である。

【0060】

頭部形状作成部４０は、頭皮エリアを特定する（ステップＳ６４）。頭部形状作成部４０は、頭部の形状に予め設定されている頭皮の位置を暫定的な頭皮エリアとし、その境界線を暫定生え際ライン３５０とする。

【0061】

頭部形状作成部４０は、外分点Ｄと交わる位置まで、暫定生え際ライン３５０を頭部の形状に沿って移動させ、最終生え際ライン３５２を得ることで、頭皮エリア１１７を特定する。つまり、暫定生え際ライン３５０を境界線に含む暫定的な頭皮エリアは、外分点Ｄおよび最終生え際ライン３５２を境界線に含む頭皮エリア１１７として特定される。暫定生え際ライン３５０と正中線３３０との交点を頂点Ｅとすると、頭部形状作成部４０は、頂点Ｅを外分点Ｄと接する位置まで、暫定生え際ライン３５０を頭部の形状に沿って移動させ、最終生え際ライン３５２を得ることで、頭皮エリア１１７を特定する。言い換えれば、頭部形状作成部４０は、暫定生え際ライン３５０をその頂点Ｅを第３直線３４４に接する位置まで頭部の形状に沿って移動させるといえる。頭部形状作成部４０は、特定した頭皮エリア１１７の情報を前髪作成部４４に出力する。

【0062】

以上のように、頭部モデル作成システム１０は、頭部に含まれる顔のランドマークを取得し、直線や点を算出する処理を行い、頭皮エリアを特定する。頭部モデル作成システム１０は、最終生え際ラインに基づいて、頭皮エリアを特定する。

【0063】

頭部モデル作成システム１０は、画像から前髪エリアと、前髪の毛髪を成長させる基点のエリアを設定し、前髪エリアの情報と対象エリアに基づいて変形パラメータを算出し、対象エリアの毛根を変形パラメータに基づいて成長させることで、画像を入力した後、自動の処理で前髪モデルを作成することができる。また、画像に基づいた解析でパラメータを設定し、毛髪を成長させることで、画像の前髪の形状に基づいたモデルを作成することができる。つまり、種々のパターンを予め用意せずに、種々のパターンの前髪をモデル化することができる。

【0064】

また、対象エリアは、推定した前髪の分け目ラインから鼻筋への延長線が、前髪エリアの境界線と交差する点の頭上側を頂点とする所定のエリアとする、つまり、上記実施形態のアウトラインの設定方法を用いることで、対象エリアを簡単に設定することができる。

【0065】

パラメータは、前髪エリアの境界線に基づいて算出された前髪の形状変化を示すパラメータ、例えば、前髪のハネ方向、ハネ位置、中央の膨らみ、斜めバングの少なくとも１つと、エリアを含む所定の直線上の信号値に基づいて算出された前髪の量を示すパラメータ、つまり明暗のパラメータとを含むことが好ましい。これにより、前髪モデルをより画像に近い形状とすることができる。

【0066】

また、生え際ラインに基づいて、頭皮エリアを特定することによって、個人による顔や額の広さなどの違いによって発生するモデルの不自然さを抑制することができる。

【0067】

以下、図２２から図２６を用いて、頭皮エリアを特定する一例を説明する。図２２から図２６は、それぞれ頭皮エリアを特定する処理の一例を説明するための説明図である。図２２から図２５の処理は、頭部形状作成部４０が、画像から頭部の第１のモデルを作成し、画像からパラメータを算出し、そのパラメータを用いて頭部の第２のモデルを作成する。また、頭部形状形成部４０は、第１のモデルと第２のモデルとを重ねて位置を合わせ、第１のモデルにおいて毛髪の領域の境界を算出し、前記境界の各点と前記第１のモデルの中心とを通る複数の直線が前記第２のモデルを通過する複数の点を結んだ曲線と前記第２のモデルとがなすエリアを前記頭皮エリアとして特定する。合成部４８は、第１のモデルにおける毛髪の領域に前記頭皮エリアを合成する。

【0068】

頭部形状作成部４０は、対象の人物の３Ｄモデル（第１のモデル）を作成する。具体的には、図２２に示すようにカメラ１２が撮影した画像に含まれる人物４０２の３Ｄモデル４００を作成する。頭部形状作成部４０は、３Ｄスキャン、もしくはフォトグラメトリの手法を用いて対象となる人物の３Ｄモデルを作成する。なお、対象の人物４０２の３Ｄモデルは、人物の見た目の詳細を取得できる手法であればよい。頭部形状形成部４０は、抽出した３Ｄモデルの髪を構成している部分である毛髪の領域をセマンティックセグメンテーションなどの手法により他の部分と分離する。

【0069】

頭部形状作成部４０は、画像に含まれる対象の人物４０２の顔部分について、パラメトリックな手法で人物４０２の顔のパラメータを算出し、パラメータを用いてモデル（第２のモデル）、例えば、図２３に示す顔モデル４１２を作成する。顔モデル（頭部モデル）４１２は、人物４０２の頭髪を除いた頭部のモデルである。頭部形状作成部４０は、顔モデル４１２を作成することで、髪に隠れた頭皮面の３Ｄ形状を取得することができる。頭部形状作成部４０は、例えば、カメラ１２が撮影した画像に対してＦＬＡＭＥ(Faces Learned with an Articulated Model and Expressions)モデルをフィッティングすることによりモデルを生成する方法を用いる。フィッティングとは、あるモデルを変形して所望のモデルに変形することである。頭部形状作成部４０は、例えば、画像から取得したランドマークに合わせて顔モデル４１２を変形する。頭部形状作成部４０は、３Ｄモデル（第１のモデル）の作成を３Ｄスキャンで行う場合、３Ｄスキャンと同時に同じポーズで静止画像を取得し、静止画像に基づいてフィッティングを行い、顔モデル４１２（第２のモデル）を作成する。これにより、第１のモデルと第２のモデルとが同じ画像から生成されるため、後述の位置を合わせる処理においてフィッティングの精度を向上させることができる。

【0070】

頭部形状作成部４０は、３Ｄモデル４０２と顔モデル４１２を処理して、頭皮エリアを特定する。頭部形状作成部４０は、３Ｄモデル４０２に顔モデル４１２を重ねて位置を合わせ、髪部分の差分を抽出することで、頭皮エリアを特定する。頭部形状作成部４０は、例えば、３Ｄモデル４０２の顔部分と重なるように顔モデル４１２の位置を調整する。頭部形状形成部４０は、顔モデル４１２の顔うち、目、口等の顔のランドマークを基準として、３Ｄモデル４０２に対する位置を合わせる。このとき、頭部形状作成部４０は、第１のモデルまたは第２のモデルを平行移動、回転、拡大または縮小の処理を組み合わせて位置を合わせてもよい。次に、頭部形状作成部４０は、３Ｄモデル４０２においての頭皮と髪の境界線を接線方向に拡張し、顔モデル４１２と交わる点を、顔モデル４１２における髪との境界線とする。なお、本実施形態では、頭皮と髪の境界線を接線方向に拡張したが、境界線を３Ｄモデルの頭部の中心に向けて延長させてもよい。頭部形状作成部４０は、３Ｄモデル４０２の境界線を拡張することで決定した顔モデル４１２における髪との境界線で囲まれた領域を頭皮エリアとする。図２４に示す頭皮モデル４１４は、顔モデル４１２を３Ｄモデル４０２の髪の部分の境界線に合わせて切り出したモデルである。頭皮モデル４１４は、すなわち頭皮エリア１１７である。頭部形状作成部４０は、得られた頭皮モデル４１４と、３Ｄモデル４０２のうちの髪の部分とを合わせることで、閉じた３Ｄモデルとしての髪の立体領域を得ることができる。

【0071】

合成部４８は、頭部形状作成部４０が作成した髪の立体領域に対して、図２５に示すように、頭皮モデル４１４に髪のモデル４３０を生成する。合成部４８は、髪の毛の一本一本、ないしは数本分をまとめた毛束単位で髪のモデル４３０を生成してもよい。なお、それぞれのポリゴンとしての表現の形態は特に限定されない。合成部４８は、それぞれ頭皮モデル４１４の表面である頭皮面を出発点とし、髪の立体領域を充填するように髪モデルを成長させる。頭皮面に対し髪モデルを成長させる起点を設定する方法としては、例えば、ランダムかつ一様な点をそれぞれの髪もしくは毛束の開始点とする方法がある。また、起点から髪を成長させる方法としては、立体領域の外周部を終点として起点から成長させる方法がある。合成部４８は、３Ｄモデル４０２の情報で、人物の髪の流れを取得できる場合は、その流れも考慮した髪モデルの生成を行ってもよい。髪の流れの取得方法としては、各視点から見た画像において、髪に対してガボールフィルタを適用し、局所的な方向を取得する方法が知られている。各視点の画像より取得した方向情報を統合し、髪表面での三次元的方向を取得することが可能となる。

【0072】

合成部４８は、生成した髪モデル４３０を、３Ｄモデル４０２の髪部分に置き換える。つまり、合成部４８は、３Ｄモデル４０２の生成時に他の部分から分離された毛髪の領域を３Ｄモデル４０２から取り除き、取り除いた部分に髪モデル４３０が生成されている頭皮モデル４１４を合成する。これにより、頭部モデル作成装置２０は、３Ｄモデルと、パラメトリックな手法で取得した頭部のパラメータに基づいて生成した頭部モデルの情報とに基づいて、頭皮エリアを特定し、特定した頭皮エリアに基づいて毛髪を生成することで、画像に含まれる人物の３Ｄモデルに対して、より詳細な髪モデルを持つ３Ｄモデルを生成することができる。

【0073】

図２６は、頭皮エリアを特定する処理の一例を説明するためのフローチャートである。図２６を用いて、演算部２８で実行する処理を説明する。演算部２８は、画像入力処理部２２を介して、画像データを取得する（ステップＳ１０２）。画像データは上述したように、人物の頭部を含む画像である。演算部２８は、頭部形状作成部４０で画像データから対象の人物を抽出し、対象の人物の３Ｄモデルを作成する（ステップＳ１０４）。３Ｄモデルは、上述したように、種々の方法で作成することができる。頭部形状作成部４０は、画像データとは異なる角度の画像データも取得して３Ｄモデルを作成してもよい。

【0074】

演算部２２は、頭部形状作成部４０で人物の顔のパラメータに基づいて顔モデルを作成する（ステップＳ１０６）。頭部形状演算部４０は、パラメトリックな手法で、対象の人物の顔のパラメータを抽出し、抽出したパラメータに基づいて顔モデルを作成する。パラメータとしては、目、鼻、口の位置、大きさのパラメータ、頭部の外形のパラメータ、紙の外縁のパラメータ等である。

【0075】

演算部２２は、頭部形状作成部４０で３Ｄモデルと顔モデルに基づいて、頭皮モデルを特定する（ステップＳ１０８）。頭部形状作成部４０は、上述したように３Ｄモデルの頭部に顔モデルを重ね、差分の情報、顔モデルの位置情報等を用いて、対象の人物の髪が生えている領域を示す頭皮モデルを作成する。演算部２８は、ステップＳ１０２からステップＳ１０８の処理が、頭部形状を抽出し、頭皮エリアを特定する処理となる。

【0076】

演算部２２は、合成部４８で頭皮モデルに対して髪を作成する（ステップＳ１１０）。合成部４８は、頭皮モデルに毛髪の基点をプロットし、基点から毛髪を成長させて、頭皮モデルに髪を作成する。演算部２８は、合成部４８で３Ｄモデルに髪を含む頭皮モデルを合成する（ステップＳ１１２）。合成部４８は、髪を含む頭皮モデルを、３Ｄモデルの髪部分に置換して、３Ｄモデルに髪を含む頭皮モデルを合成する。

【0077】

このようにして、演算部２８は、合成部４８で３Ｄモデル４０２における毛髪の領域に頭皮モデル４１４を合成したモデルを作成する。合成部４８は、作成したモデルに対し、前髪作成部４４が作成した前髪モデルや横髪作成部４６が作成した横髪モデルを合成（ステップＳ２２）してもよい。

【0078】

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0079】

１０ 頭部モデル作成システム
１２ カメラ
１４ 画像記憶装置
２０ 頭部モデル作成装置
２２ 画像入力処理部
２４ 入力部
２６ 出力部
２８ 演算部
３０ 記憶部
４０ 頭部形状作成部
４２ 髪パーツ分類部
４４ 前髪作成部
４６ 横髪作成部
４８ 合成部
５０ 処理プログラム
５２ 条件テーブル
１０２、１０２ａ 画像
１０４ 頭部
１１０ 頭髪領域
１１２ 前髪エリア
１１４ 第１横髪エリア
１１６ 第２横髪エリア
１１８ アウトライン
３００ 顔
３１２ 鼻根のランドマーク
３１４ 鼻柱基部のランドマーク
３１６ 眼球第１端のランドマーク
３１８ 眼球第２端のランドマーク
３２０ 眼球上端のランドマーク
３３０ 正中線
３４０ 第１直線
３４２ 第２直線
３４４ 第３直線
３５０ 暫定生え際ライン
３５２ 最終生え際ライン
Ａ，Ｂ，ｄ 距離
Ｃ 交点
Ｄ 外分点
Ｅ 頂点
Ｍ 眼球点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】