特開 2024-28058 頭髪スタイルの調整を支援する方法、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028058

(43)【公開日】2024-03-01

(54)【発明の名称】頭髪スタイルの調整を支援する方法、情報処理装置及びプログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20240222BHJP

【ＦＩ】

G06F3/0481

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022131405

(22)【出願日】2022-08-19

(11)【特許番号】

(45)【特許公報発行日】2023-01-04

(71)【出願人】

【識別番号】000126676

【氏名又は名称】株式会社アデランス

(74)【代理人】

【識別番号】100108006

【弁理士】

【氏名又は名称】松下 昌弘

(72)【発明者】

【氏名】山本 宗明

(72)【発明者】

【氏名】小菅 俊彦

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA07

5E555AA27

5E555BA02

5E555BB02

5E555BC04

5E555BD01

5E555CA42

5E555DB32

5E555DC09

5E555DD01

5E555EA22

5E555FA00

(57)【要約】

【課題】施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、情報処理装置及びプログラムを提供する。
【解決手段】対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法は、対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、１以上のカメラで撮影された対象者の１以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する対象者の頭髪の特徴を判定する工程と、判定された対象者の頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、検出された前記相違に関する情報を表示する工程とを有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

施術者による対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法であって、
前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、
前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する前記対象者の頭髪の特徴を判定する工程と、
前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、
前記情報処理装置が、検出された前記相違に関する情報を表示する工程と
を有する方法。

【請求項2】

前記情報処理装置が、検出された前記相違に応じて、前記相違を解消するのに適した施術手段を判定する工程と、
前記情報処理装置が、判定された前記施術手段に関する情報を前記施術者用の表示装置において表示する工程とを有する、
請求項１に記載の方法。

【請求項3】

前記情報処理装置が、検出された前記相違に応じて、前記仮想対象者の頭髪が前記対象者の頭髪において再現された度合を示す再現度を取得する工程を有し、
前記相違に関する情報を表示する工程は、取得した前記再現度を表示することを含む、
請求項１に記載の方法。

【請求項4】

前記仮想対象者画像を表示する工程は、前記対象者の前記撮影画像と前記仮想対象者画像とを並べて表示すること、又は、前記対象者の前記撮影画像と前記仮想対象者画像との少なくとも一部を重ねて表示することを含む、
請求項１に記載の方法。

【請求項5】

前記仮想対象者画像は、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づく画像であり、
前記情報処理装置が、前記対象者の前記撮影画像から、ヒトの頭部における所定の複数の部位に対応した前記対象者の前記頭部における複数の前記部位を識別する工程と、
前記情報処理装置が、識別された前記対象者の複数の前記部位が前記撮影画像の中で持つ位置関係と、前記仮想対象者モデルの複数の前記部位が前記仮想対象者画像の中で持つ位置関係とが近似するように、前記仮想対象者画像を生成する工程とを有する、
請求項４に記載の方法。

【請求項6】

前記仮想対象者画像は、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づく画像であり、
前記仮想対象者モデルが配置される仮想３次元空間において前記仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、前記対象者を撮影する前記カメラの位置、撮影方向及び姿勢とが所定の対応関係にある場合、前記対象者が所定の顔の姿勢を保っている状態で撮影された前記撮影画像に表れる前記対象者の顔の姿勢と、前記仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似し、
前記情報処理装置が、前記対象者に対する前記カメラの位置、撮影方向及び姿勢に関するカメラ情報を取得する工程と、
前記情報処理装置が、取得された前記カメラ情報が示す前記カメラの位置、撮影方向及び姿勢に対して前記所定の対応関係を持つように位置、撮影方向及び姿勢を設定された前記仮想カメラが前記仮想対象者モデルを撮影した場合に得られる画像を、前記仮想対象者画像として生成する工程とを有する、
請求項４に記載の方法。

【請求項7】

前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に基づいて、前記対象者の頭部の３次元モデルである対象者モデルを取得する工程と、
前記情報処理装置が、前記対象者モデルに基づいて、前記対象者の頭部を含んだ対象者画像を生成する工程と、
前記情報処理装置が、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づいて、前記仮想対象者の頭部を含んだ前記仮想対象者画像を生成する工程とを有し、
前記仮想対象者画像を表示する工程は、前記対象者モデルに基づいて取得した前記対象者画像と前記仮想対象者画像とを並べて表示すること、又は、取得した前記対象者画像と前記仮想対象者画像との少なくとも一部を重ねて表示することを含む、
請求項１に記載の方法。

【請求項8】

前記対象者画像を生成する工程は、
仮想３次元空間に配置された前記対象者モデルを前記仮想３次元空間内の仮想カメラにより撮影した画像に相当する前記対象者画像を生成することと、
前記仮想カメラの位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含み、
前記仮想対象者画像を生成する工程は、
前記仮想３次元空間において前記対象者モデルが配置された場所と重なる場所に、前記対象者モデルの替わりに配置された前記仮想対象者モデルであって、左右方向、前後方向及び上下方向がそれぞれ前記対象者モデルと同じ方向を向くように姿勢が設定された前記仮想対象者モデルを、前記仮想カメラにより撮影した画像に相当する前記仮想対象者画像を生成することと、
前記カメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記仮想対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含む、
請求項７に記載の方法。

【請求項9】

前記仮想対象者画像を表示する工程は、前記対象者に面して配置された鏡であって、光を部分的に透過する前記鏡を介して前記対象者が視認可能な画像を表示する表示装置において、前記鏡に映る前記対象者の鏡像とともに前記仮想対象者画像を表示することを含む、
請求項１に記載の方法。

【請求項10】

請求項１～請求項９のいずれか一項に記載された方法の各工程を実行する手段を備えた情報処理装置。

【請求項11】

コンピュータが実行可能な命令を含むプログラムであって、
請求項１～請求項９のいずれか一項に記載された方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭髪スタイルの調整を支援する方法、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

美容院などでカットやヘアセットを行った場合、後になって自分が思い描いていた頭髪スタイルと異なるように感じ、不満が残ることがある。このような問題に対して、下記の特許文献には、画面に自分の顔及び頭部を立体画像として表示させ、その頭髪スタイルを所定の項目から任意に選択し、カット、カール、染色等の補正を加えることができるソフトウェアが記載されている。事前に頭髪スタイルのシミュレーション画像を見ることにより、理想の頭髪スタイルのイメージが明確になり、その理想形を美容師などへ明確に伝え易くなる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－１０４７３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ウィッグや増毛術によって頭髪スタイルを変更する場合、美容院などに比べて費用が高額であることや、容姿の変化に対する顧客の期待感が高いことなどから、変更後の頭髪スタイルに対する僅かな違和感でも顧客の不満が生じ易い。例えば、新たに製作されたオーダーメイドのウィッグを顧客に装着して頭髪スタイルの調整（カット、ヘアセットなど）を行う場合、顧客のイメージしている頭髪スタイルをよく理解せずに頭髪のカットなどが行われると、仕上がった頭髪スタイルに対して顧客の不満が生じ易くなる。

【0005】

本発明はかかる事情に鑑みてなされたものであり、その目的は、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法であって、前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する前記対象者の頭髪の特徴を判定する工程と、前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、前記情報処理装置が、検出された前記相違に関する情報を表示する工程とを有する方法である。

【0007】

本発明の第２の態様は、上記第１の態様に係る方法の各工程を実行する手段を備えた情報処理装置である。

【0008】

本発明の第３の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置であって、処理部と、前記処理部が実行可能な命令を含むプログラムを記憶した記憶部とを有し、前記プログラムが、上記第１の態様に係る方法の各工程を前記処理部に実行させる前記命令を含む、情報処理装置である。

【0009】

本発明の第４の態様は、コンピュータが実行可能な命令を含むプログラムであって、上記第１の態様に係る方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラムである。

【発明の効果】

【0010】

本発明によれば、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係るシステムの構成の一例を示す図である。

【図2】図２Ａは、対象者情報に含まれる情報を説明するための図である。図２Ｂは、仮想対象者モデル関連情報に含まれる情報を説明するための図である。

【図3】図３は、本実施形態に係る情報処理装置の構成の一例を示す図である。

【図4】図４は、第１の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。

【図5】図５Ａ及び図５Ｂは、対象者用表示部の画面の一例を示す図である。

【図6】図６は、施術者用表示部の画面の一例を示す図である。

【図7】図７は、第２の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。

【図8】図８Ａ及び図８Ｂは、対象者用表示部の画面の一例を示す図である。

【図9】図９は、第３の実施形態に係る情報処理装置の構成の一例を示す図である。

【図10】図１０は、第３の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。

【図11】図１１は、仮想３次元空間に配置された仮想対象者モデルと仮想カメラを説明するための図である。

【図12】図１２は、第４の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。

【図13】図１３Ａ及は、仮想３次元空間に配置された仮想対象者モデルと仮想カメラを説明するための図である。図１３Ｂは、仮想３次元空間に配置された対象者モデルと仮想カメラを説明するための図である。

【図14】図１４Ａ～図１４Ｃは、対象者用表示部の画面の一例を示す図である。

【図15】図１５は、第５の実施形態における対象者用表示部の画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

【0013】

＜第１の実施形態＞
図１は、本実施形態に係るシステムの構成の一例を示す図である。図１の例に示すシステムは、インターネットなどの通信ネットワーク９を介して互いに通信可能なサーバ１と情報処理装置３を有する。

【0014】

（サーバ１）
サーバ１は、ウィッグや増毛術などによって頭髪に関する顧客の課題を解決するサービスを提供する事業者により運営される装置である。サーバ１は、顧客（以下、「対象者」とも呼ばれる。）に関する各種の情報の管理や、マーケティング戦略の参考になる顧客情報の分析（成約率、定着率の分析など）を行う。またサーバ１は、顧客情報を分析して得られたデータから、成約率及び定着率の向上に役立つ施策を判定する処理、顧客と担当者（接客の担当者、施術を担当する施術者）との相性を判定して顧客ごとに適切な担当者を判定する処理などを行う。サーバ１は、これらの分析処理や判定処理において１以上の機械学習モデルを用いてもよい。

【0015】

（記憶装置２）
記憶装置２は、顧客（対象者）に関する種々の情報を記憶する。サーバ１と記憶装置２は、任意の通信路（ＬＡＮ、専用回線網、インターネットなど）を介して通信可能である。例えば記憶装置２は、複数の装置からのアクセスを受け付ける１以上のファイルサーバや１以上のデータベースサーバなどに含まれていてもよいし、サーバ１のみアクセス可能な専用の１以上の記憶装置でもよい。図１の例において、記憶装置２は、対象者情報２１と、仮想対象者モデル２２と、仮想対象者モデル関連情報２３を記憶する。

【0016】

対象者情報２１は、対象者（顧客）に関する各種の情報を含んでおり、１つの対象者情報２１が一人の対象者に対応する。対象者情報２１は、図２Ａの例に示すように、以下の情報の少なくとも一部を含む。
・個々の対象者を識別する情報（対象者ＩＤ）
・個人情報（名前、住所、連絡先など）
・対象者の行動に関する履歴情報（ウェブサイトのアクセス履歴、来店の履歴、商品・サービスの購入履歴など）
・対象者の外観に関する特徴情報（顔の特徴、頭髪の特徴）
・対象者の外観に影響を与え得る属性情報（性別、年齢、身長、体型、職業、学歴、趣味、ファッションに関する好みなど）
・対象者に関して保存されている３次元モデルを識別するための情報（後述する仮想対象者モデルＩＤなど）

【0017】

仮想対象者モデル２２は、対象者にとっての理想の頭髪スタイルを持つ仮想的な対象者（仮想対象者）の頭部の３次元モデルである。仮想対象者モデル２２は、例えば、予め準備された複数の仮想対象者モデル２２の中から自分の理想に近いものとして対象者が選択したものでもよいし、３次元モデルの作成や編集が可能な所定のソフトウェアを用いて対象者が自ら作成したものでもよいし、頭髪に関する対象者へのヒアリングの結果に基づいて担当者が作成若しくは選択し、対象者が了承したものでもよい。

【0018】

仮想対象者モデル関連情報２３は、仮想対象者モデル２２に対応付けられ情報であり、図２Ｂに示すように、以下の情報の少なくとも一部を含む。
・個々の仮想対象者モデルを識別する情報（仮想対象者モデルＩＤ）
・仮想対象者の頭髪スタイルに関する情報（頭髪スタイルの分類など）
・対象者の外観に関する特徴情報（顔の特徴、頭髪の特徴）
・対象者の外観に影響を与え得る属性情報（性別、年齢、身長、体型など）

【0019】

なお、仮想対象者モデル関連情報２３は、仮想対象者の頭髪に関する特徴情報として、例えば髪の色、髪の長さ、髪の太さ、毛量、毛流などの情報を含んでいてもよい。また仮想対象者モデル関連情報２３は、頭部の表面を区分する複数の領域の各々について、頭髪に関するこれらの特徴情報を含んでいてもよい。

【0020】

（情報処理装置３）
情報処理装置３は、施術者による対象者の頭髪スタイルの調整を支援する処理を行う。例えば、施術者は、対象者にウィッグを装着させた状態でカットやヘアセットなどを行うことにより、対象者の頭髪スタイルを調整する。情報処理装置３は、この作業において施術者が対象者の頭髪スタイルを仮想対象者の頭髪スタイルへ近づけ易くなるように支援する処理を行う。

【0021】

情報処理装置３は、例えば図３に示すように、通信部３１と、記憶部３２と、処理部３３と、入力部３４と、対象者用表示部３５と、施術者用表示部３６と、カメラ３７を有する。

【0022】

通信部３１は、通信ネットワーク９を介して他の装置（サーバ１など）と通信を行う。通信部３１は、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。

【0023】

入力部３４は、ユーザの操作に応じた指示やその他の情報を処理部３３に入力する。例えば入力部３４は、タッチパネル、タッチパッド、キーボード、マウス、ボタン、スイッチなどの入力機能を備えた機器を少なくとも１つ含む。

【0024】

対象者用表示部３５は、対象者向けの映像を表示する装置であり、例えば施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪スタイルと比較される仮想対象者の画像を表示する。対象者用表示部３５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなど、処理部３３において生成される映像信号に応じた映像を表示する任意の表示機器を含む。

【0025】

施術者用表示部３６は、施術者向けの映像を表示する装置であり、例えば、施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪と仮想対象者の頭髪との相違に関する情報などを表示する。施術者用表示部３６は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなど、処理部３３において生成される映像信号に応じた映像を表示する任意の表示機器を含む。施術者用表示部３６は、施術者の頭部に装着可能なウェアラブル装置のディスプレイでもよい。

【0026】

カメラ３７は、対象者を撮影してその撮影画像のデータを出力する装置であり、例えばＣＣＤ（charge coupled device）などの撮像素子、撮像素子に光を導く光学系、撮像素子で得られた画像信号を処理する画像処理装置などを含む。

【0027】

またカメラ３７は、対象物までの距離（奥行き）に関する情報を取得可能なセンサ（測距センサ）含んでもよく、対象物の撮影画像とともに対象物までの距離の情報を取得してもよい。測距センサは、例えば、対象物へ照射した光と対象物からの反射光とに基づいて距離を測定するＬｉＤＡＲ（light detection and ranging）方式のセンサでもよいし、２つの撮像素子で同時に撮像された画像の視差の情報に基づいて対象物までの距離を測定するステレオカメラ方式のセンサでもよい。

【0028】

なおカメラ３７は、対象者が施術中に座る位置に対して常に固定された場所に設置されていてもよいし、施術者や対象者が任意に移動できるようになっていてもよい。例えばカメラ３７は、施術者の頭部に装着可能なウェアラブル装置に取り付けられていてもよく、その場合、施術者の目線と概ね等しい方向を撮影するように姿勢が設定されていてもよい。

【0029】

記憶部３２は、処理部３３において実行可能な命令を含む１以上のプログラム３２１や、処理部３３による処理の過程で一時的に保存されるデータ、処理部３３の処理に利用されるデータ、処理部３３の処理の結果として得られたデータなどを記憶する。記憶部３２は、例えば、主記憶装置（ＲＡＭ、ＲＯＭなど）と補助記憶装置（フラッシュメモリ、ＳＳＤ、ハードディスク、メモリカード、光ディスクなど）を含んでよい。記憶部３２は、１つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部３２が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意の通信手段を介して処理部３３と接続されてよい。

【0030】

処理部３３は、情報処理装置３の全体的な動作を統括的に司り、施術者による対象者の頭髪スタイルの調整を支援する所定の情報処理を実行する。処理部３３は、例えば、記憶部３２に格納された１以上のプログラム３２１の命令に応じて処理を実行する１以上のプロセッサ（ＣＰＵ（central processing unit）、ＭＰＵ（micro-processing unit）、ＤＳＰ（digital signal processor）など）を含む。処理部３３は、記憶部３２に記憶される１以上のプログラム３２１の命令を１以上のプロセッサが実行することにより、コンピュータとして動作する。

【0031】

処理部３３は、特定の機能を実現するように構成された１つ以上の専用のハードウェア（ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）など）を含んでもよい。この場合、処理部３３は、本実施形態において説明する全ての処理をコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。

【0032】

プログラム３２１は、例えばコンピュータ読み取り可能な記録媒体（光ディスク、メモリカード、ＵＳＢメモリ、その他の非一時的な有形の媒体）に記録されていてもよい。処理部３３は、そのような記録媒体に記録された１以上のプログラム３２１の少なくとも一部を不図示の記録媒体読み取り装置（光ディスク装置など）やインターフェース装置（ＵＳＢインターフェース）により読み込んで、記憶部３２に書き込んでもよい。あるいは処理部３３は、通信ネットワーク９に接続される他の装置から通信部３１により１以上のプログラム３２１の少なくとも一部をダウンロードして、記憶部３２に書き込んでもよい。プログラム３２１は、頭髪スタイルの調整を支援する後述の処理の少なくとも一部を処理部３３において実行させるプログラムを含む。

【0033】

（頭髪スタイルの調整の支援方法）
図４は、第１の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートであり、情報処理装置３において実行される処理の各工程を示す。
施術者によって対象者の頭髪スタイルの調整が行われているとき、情報処理装置３の処理部３３がカメラ３７を起動して対象者の撮影を開始し、カメラ３７が撮影した対象者の撮影画像を取得する（ＳＴ１００）。また処理部３３は、対象者の理想の頭髪スタイルを持つ仮想対象者モデル２２をサーバ１に要求し、記憶装置２に記憶された仮想対象者モデル２２をサーバ１から取得する（ＳＴ１０５）。

【0034】

処理部３３は、サーバ１から取得した仮想対象者モデル２２に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する（ＳＴ１２０）。仮想対象者画像は、図１１に示すように、仮想的な３次元空間（仮想３次元空間）に置かれた仮想対象者モデル２２を、仮想的なカメラ（仮想カメラ６）で撮影した場合に得られる写真に相当する２次元の画像である。処理部３３は、この仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示を入力部３４において入力する。処理部３３は、カメラ設定指示を入力した場合、カメラ設定指示が指示する位置、撮影方向及び姿勢に設定された仮想カメラ６により仮想対象者モデル２２を撮影した場合の画像を仮想対象者画像として生成する。従って対象者は、カメラ設定指示を利用することにより、所望の方向から仮想対象者モデル２２を見た仮想対象者画像を生成させることが可能となる。

【0035】

情報処理装置３の処理部３３は、仮想対象者モデル２２に基づく仮想対象者画像が生成されると、この生成された仮想対象者画像を対象者用表示部３５において表示する（ＳＴ１４５）。このとき、処理部３３は、カメラ３７が撮影した対象者の撮影画像と仮想対象者画像とを例えば図５Ａに示すように並べて表示する。図５Ａに示す対象者用表示部３５の画面Ａ１では、対象者の撮影画像Ａ１１の隣に仮想対象者画像Ａ１２が表示される。

【0036】

あるいは、処理部３３は、図５Ｂに示す対象者用表示部３５の画面Ａ２のように、カメラ３７が撮影した対象者の撮影画像と仮想対象者画像とを重ねて表示してもよい。図５Ｂの例では、対象者の撮影画像Ａ２１に仮想対象者画像Ａ２２の頭髪部分が重ねて表示されている。例えば、処理部３３は、カメラ３７の撮影画像において対象者の頭部が位置する範囲を画像認識処理により特定して、その範囲に仮想対象者モデル２２の頭髪の部分のみを適当な透明度で固定表示する。この状態で、対象者が、自らの頭髪と仮想対象者モデル２２の頭髪部分とが重なるように頭の位置を微調整することにより、図５Ｂに示すように対象者と仮想対象者の頭髪が重なった画像を表示させることができる。

【0037】

また、情報処理装置３の処理部３３は、ステップＳＴ１５５～ＳＴ１７０において、施術者用表示部３６に表示させる施術者用の情報を取得する処理を行う。

【0038】

まず処理部３３は、カメラ３７で撮影された対象者の１以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、対象者の頭髪の特徴を判定する（ＳＴ１５５）。例えば処理部３３は、対象者の髪の色、髪の長さ、髪の太さ、毛量、毛流などの特徴の少なくとも１つを、１以上の撮影画像に基づいて判定する。

【0039】

処理部３３は、頭髪の特徴を判定する場合、例えば撮影画像に含まれる頭髪部分を画像認識処理により識別する。複数の撮影画像が得られる場合、処理部３３は、各撮影画像で識別された頭髪部分を同定して組み合わせることにより、同一の毛髪が連続して表れた画像を構成してもよい。また処理部３３は、識別した頭髪部分の画像から、画像認識処理によって個々の髪の毛（あるいは複数本の髪の毛の束）を更に識別してもよい。処理部３３は、撮影画像から識別した頭髪部分、個々の髪の毛、髪の束などの画像に基づいて、上述した頭髪の特徴（髪の色、髪の長さ、髪の太さ、毛量、毛流など）を判定する。

【0040】

なお、処理部３３は、撮影画像から頭髪部分や個々の髪の毛、髪の束などを識別する処理において、任意の機械学習アルゴリズムにより生成された学習済モデルを用いてよい。すなわち、処理部３３は、与えられた画像から画像中の頭髪部分や個々の髪の毛、髪の束などを識別するように生成された学習済モデルに対して、カメラ３７が撮像した対象者の撮影画像を適用することにより、撮影画像における頭髪部分や個々の髪の毛、髪の束などを識別してよい。
また処理部３３は、頭髪部分の画像や個々の髪の毛の画像や髪の束の画像に基づいて髪の特徴を判定する処理においても、学習済モデルを用いてよい。すなわち、処理部３３は、与えられた頭髪の画像から頭髪の特徴を判定するように生成された学習済モデルに対して、撮影画像から識別された頭髪部分の画像や、個々の髪の毛の画像、髪の束の画像などを適用することにより、撮影画像に表れた頭髪の特徴を判定してもよい。
このような学習済モデルの生成に用いる機械学習アルゴリズムは任意でよく、例えばニューラルネットワーク、サポートベクターマシン、線形回帰、ロジスティック回帰、決定木、ランダムフォレスト、勾配ブースティングなどの公知のアルゴリズムを用いることができる。

【0041】

処理部３３は、上述した頭髪の特徴の判定を、対象者の頭部の表面を区分する複数の領域の各々について行ってもよい。この場合、処理部３３は、頭部における複数の領域を識別する処理においても、学習済モデルを用いてもよい。すなわち、与えられた頭部の画像から頭部の複数の領域を識別するように生成された学習済モデルに対して、対象者の撮影画像を適用することにより、撮影画像に表れた対象者の頭部の表面を区分する複数の領域を識別してもよい。

【0042】

処理部３３は、撮影画像に基づいて対象者の頭髪の特徴が判定されると、この判定された頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも１つの相違を検出する（ＳＴ１６０）。例えば処理部３３は、仮想対象者モデル２２について予め準備された仮想対象者モデル関連情報２３（図２Ｂ）における仮想対象者の頭髪の特徴に関する特徴情報と、ステップＳＴ１５５で判定された特徴情報とを比較することにより、特徴ごとの相違を検出する。処理部３３は、頭髪の特徴が数値で表される場合、その数値の差（髪色の色差、髪の長さの差、髪の太さの差、単位面積あたりの毛量の差、毛髪の最小曲率半径の差など）を特徴の相違として検出してよい。

【0043】

処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違に応じて、相違を解消するのに適した施術手段を判定する（ＳＴ１６５）。例えば処理部３３は、髪の長さの差や毛量の差に応じて、頭髪をカットするハサミの種類、カット方法、カットする長さなどを判定する。この施術手段の判定基準は、例えば、特徴の相違を示す数値に応じて予め定められていてもよい。

【0044】

なお処理部３３は、熟練した施術者が選択する施術手段を教師データとして任意の機械学習アルゴリズムにより生成された学習済モデルを用いて、施術手段の判定を行ってもよい。この場合、頭髪の特徴の相違を示す数値と、熟練した施術者が選択する施術手段との相関関係に基づいて、頭髪の特徴の相違を示す数値が与えられた場合に施術手段を判定するように、任意の機械学習アルゴリズムを用いて学習済モデルが予め生成される。処理部３３は、この学習済モデルに対して、ステップＳＴ１６０で検出された特徴情報の相違を示す数値を適用することにより、施術手段を判定する。

【0045】

また処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違に応じて、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度を取得する（ＳＴ１７０）。例えば処理部３３は、頭髪の特徴ごとに得られた特徴の相違を示す数値に基づいて、特徴の相違が小さいほど再現の度合いが高いことを示すように、予め定めた数式などに基づいて再現度を取得する。処理部３３は、頭髪の特徴ごとに再現度を取得してもよいし、全ての特徴の相違に基づいた総合的な再現度を取得してもよい。

【0046】

情報処理装置３の処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違、ステップＳＴ１６５で判定された施術手段、及び、ステップＳＴ１７０で取得された再現度をそれぞれ含んだ施術者用の情報を施術者用表示部３６において表示する（ＳＴ１７５）。

【0047】

図６は、施術者用表示部３６の画面の一例を示す図である。図６に示す画面Ｂ１には、カメラ３７で撮影された対象者の撮影画像Ｂ１１と、仮想対象者画像Ｂ１２とが並んで表示される。対象者の撮影画像Ｂ１１には、ステップＳＴ１６０で検出された特徴の相違を生じている箇所が丸印Ｂ１３によって強調表示表されている。施術者がその丸印Ｂ１３をマウス操作やジェスチャー操作などによって指示すると、指示された丸印Ｂ１３を示す矢印Ｂ１４が表示され、その丸印Ｂ１３に対応する特徴の相違に関する情報が、画面Ｂ１の下側の領域Ｂ１５に表示される。領域Ｂ１５には、特徴の相違を解消するのに適した施術手段に関する情報も表示される。また、画面Ｂ１の上側には、仮想対象者の頭髪が対象者において再現された度合いを示す再現度が表示される。

【0048】

処理部３３は、所定の終了操作が行われるまで（ＳＴ１８０）、ステップＳＴ１２５～ＳＴ１７５の処理を繰り返し、対象者用表示部３５と施術者用表示部３６の画面の表示を更新する。

【0049】

以上説明したように、本実施形態によれば、対象者の理想の頭髪スタイルを持つ仮想対象者の画像が対象者用表示部３５や施術者用表示部３６において表示されるとともに、仮想対象者の頭髪と対象者の頭髪との相違に関する情報が施術者用表示部３６において表示される。そのため、対象者の頭髪スタイルを調整している施術者は、対象者の理想の頭髪スタイルと、その理想の頭髪スタイルに対する相違とを確認しながら施術を行うことができる。従って、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように施術者を支援することができる。

【0050】

また、本実施形態によれば、仮想対象者と対象者との頭髪の相違を解消するのに適した施術手段が施術者用表示部３６において表示されるため、施術者は、対象者の頭髪スタイルを理想の頭髪スタイルへ近づける施術を行い易くなる。

【0051】

また、本実施形態によれば、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度が施術者用表示部３６において表示されるため、施術者は、対象者の頭髪スタイルが理想の頭髪スタイルへ近づいたか否かを見極め易くなる。

【0052】

また、本実施形態によれば、対象者の撮影画像と仮想対象者画像とが対象者用表示部３５において並べて表示されたり、重ねて表示されたりするため、対象者や施術者が、対象者の頭髪スタイルが理想に近づいているかどうかを明確に把握できる。これにより、対象者が少しでも違和感を覚えた場合には、その違和感を施術者に対して具体的に示すことが可能になるため、施術者と対象者との意思疎通が非常に容易になるとともに、理想の頭髪スタイルとの乖離による対象者の不満を大幅に減らすことができる。

【0053】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
図７は、第２の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図７に示すフローチャートは、既に説明した図４に示すフローチャートにおけるステップＳＴ１２０をステップＳＴ１２５及びＳＴ１３０に置き換えたものであり、他のステップは図４に示すフローチャートと同じである。また、情報処理装置３の構成は既に説明した図３に示すものと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。

【0054】

第２の実施形態において、情報処理装置３は、対象者の撮影画像に表れる対象者の頭部の姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢を変更する。そのために、まず処理部３３は、カメラ３７で撮影された対象者の撮影画像から、ヒトの頭部における所定の複数の部位に対応した対象者の頭部における複数の部位を識別する（ＳＴ１２５）。例えば処理部３３は、対象者の撮影画像から、目、鼻、顎などの頭髪によって隠され難い部位を識別する。

【0055】

処理部３３は、対象者の頭部における複数の部位（目、鼻、顎など）を特定すると、識別された対象者の複数の部位が撮影画像の中で持つ位置関係と、仮想対象者モデルの複数の部位が仮想対象者画像の中で持つ位置関係とが近似するように、仮想対象者画像を生成する。例えば処理部３３は、対象者の両目、鼻、顎が撮影画像の中で持つ位置関係と、仮想対象者の両目、鼻、顎が仮想対象者画像の中で持つ位置関係とが近似するように、仮想３次元空間における仮想カメラの位置、撮影方向及び姿勢を求めて、その仮想カメラから仮想対象者モデルを撮影した場合に得られる２次元画像を仮想対象者画像として取得する。

【0056】

図８Ａ及び図８Ｂは、本実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。図８Ａに示す画面Ａ３において、撮影画像Ａ３１－１に表れる対象者は概ね正面方向を向いており、仮想対象者画像Ａ３２－１に表れる仮想対象者も概ね正面方向を向いている。一方、図８Ｂに示す画面Ａ３において、撮影画像Ａ３１－２に表れる対象者は顔を右側に向けており、仮想対象者画像Ａ３２－２に表れる仮想対象者も顔を右側に向けている。

【0057】

このように、本実施形態によれば、撮影画像に表れる対象者の頭部に姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢も更新され、両者の頭部が同様な姿勢で表示される。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。

【0058】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図９は、第３の実施形態に係る情報処理装置３の構成の一例を示す図である。図９に示す情報処理装置３は、図２に示す情報処理装置３と同様の構成を有するとともに、測距センサ３８を有する。

【0059】

本実施形態において、カメラ３７は対象者に対して移動可能であり、例えば施術者が装着するウェアラブル装置などに取り付けられている。測距センサ３８は、カメラ３７を含んだ一定範囲内にある物体の表面までの距離を点群情報として計測する。測距センサ３８は、例えばＬｉＤＡＲ方式のセンサやステレオカメラ方式のセンサを含む。

【0060】

図１０は、第３の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図１０に示すフローチャートは、既に説明した図４に示すフローチャートにおけるステップＳＴ１２０をステップＳＴ１３５及びＳＴ１４０に置き換えたものであり、他のステップは図４に示すフローチャートと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。

【0061】

情報処理装置３の処理部３３は、測距センサ３８において検出された点群情報に基づいて、対象者に対するカメラ３７の位置、撮影方向及び姿勢に関するカメラ情報を取得する（ＳＴ１３５）。例えば処理部３３は、測距センサ３８において検出された点群情報が表す物体の中からカメラ３７に対応する点群情報を識別するとともに、識別されたカメラ３７の点群情報に基づいてカメラ３７の位置と姿勢を判定する。

【0062】

本実施形態では、仮想対象者モデルが配置される仮想３次元空間（図１１）において仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、実空間の対象者を撮影するカメラ３７の位置、撮影方向及び姿勢とが所定の対応関係にある場合、対象者が所定の顔の姿勢を保っている状態（例えば、椅子などに座って対象者用表示部３５の画面に正対している状態）で撮影された撮影画像に表れる対象者の顔の姿勢と、仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似する。

【0063】

そこで処理部３３は、取得したカメラ情報が示すカメラ３７の位置、撮影方向及び姿勢に対して、上述した所定の対応関係を持つように仮想カメラ６（図１１）の位置、撮影方向及び姿勢を設定し、その仮想カメラ６が仮想対象者モデル２２（図１１）を撮影した場合に得られる画像を仮想対象者画像として生成する（ＳＴ１４０）。

【0064】

本実施形態によれば、カメラ３７の位置や撮影方向を変えることによって撮影画像における対象者の顔の姿勢が変化すると、この変化に合わせて仮想対象者画像における仮想対象者の顔の姿勢も変化する。これにより、仮想対象者画像に表れる仮想対象者の顔の姿勢と、撮影画像に表れる対象者の顔の姿勢とが近似した状態に保たれる。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。

【0065】

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
図１２は、第４の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図１２に示すフローチャートは、既に説明した図４に示すフローチャートにステップＳＴ１１０及びＳＴ１１５を追加したものであり、他のステップは図４に示すフローチャートと同じである。また、情報処理装置３の構成は既に説明した図３に示すものと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。

【0066】

情報処理装置３の処理部３３は、カメラ３７で撮影された対象者の１以上の撮影画像に基づいて、対象者の頭部の３次元モデルである対象者モデル２４を取得する（ＳＴ１１０）。例えば処理部３３は、複数のカメラ３７で対象者を複数の方向から同時に撮影し、各カメラ３７で得られた撮影画像に基づいて対象者モデル２４を取得する。

【0067】

処理部３３は、ステップＳＴ１１０において取得された対象者モデル２４に基づいて、対象者の頭部を含んだ対象者画像を生成する（ＳＴ１１５）。すなわち処理部３３は、図１３Ｂに示すように、仮想３次元空間に配置された対象者モデル２４を仮想３次元空間内の仮想カメラ６により撮影した画像に相当する対象者画像を生成する。処理部３３は、仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合、このカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ６により対象者モデル２４を撮影した画像に相当する対象者画像を生成する。

【0068】

また処理部３３は、ステップＳＴ１０５において取得された仮想対象者モデル２２に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する（ＳＴ１２０）。すなわち、処理部３３は、対象者モデル２４と同じ仮想３次元空間において対象者モデル２４が配置された場所と重なる場所に、対象者モデル２４の替わりに配置された対象者モデル２４を、ステップＳＴ１１５と同じ位置、撮影方向及び姿勢に設定された仮想カメラ６によって撮影した画像に相当する仮想対象者画像を生成する。この場合、処理部３３は、図１３Ａと図１３Ｂに示すように、左右方向、前後方向及び上下方向がそれぞれ仮想対象者モデル２２と同じ方向を向くように、仮想対象者モデル２２の姿勢を設定する。また、仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、対象者画像を生成した場合と同じカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ６により仮想対象者モデル２２を撮影した画像に相当する仮想対象者画像を生成する。

【0069】

図１４Ａ～図１４Ｃは、対象者用表示部３５の画面の一例を示す図である。本実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。図１４Ａ～図１４Ｃに示す画面Ａ４では、対象者などが入力するカメラ設定指示に応じて、対象者モデル２４から生成される対象者画像（Ａ４１－１～Ａ４１－３）の顔の向きが変化しているとともに、同じカメラ設定指示に応じて、仮想対象者モデル２２から生成される仮想対象者画像（Ａ４２－１～Ａ４２－３）の顔の向きも変化している。このとき、対象者画像（Ａ４１－１～Ａ４１－３）の顔の向きと仮想対象者画像（Ａ４２－１～Ａ４２－３）の顔の向きとがほぼ同じになっているため、両者の違いを見比べ易くなっている。

【0070】

このように、本実施形態によれば、カメラ設定指示を利用して対象者画像に表れる対象者の頭部の向き及び仮想対象者画像に表れる仮想対象者の頭部の向きを変化させることが可能であり、対象者は自分の頭を動かすことなく様々な方向から自分の頭髪と仮想対象者の頭髪を見ることができる。またこのとき、対象者画像に表れる対象者の頭部の向きと仮想対象者画像に表れる仮想対象者の頭部の向きがほぼ同じになるため、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。

【0071】

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
図１５は、第５の実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。第５の実施形態に係る情報処理装置３では、カメラ３７による対象者の撮影画像が対象者用表示部３５の画面Ａ５に表示されず、その代わりに、対象者用表示部３５の画面Ａ５の前方に配置された鏡３５２に対象者Ｏ１の鏡像Ｍ１が映る。鏡３５２は対象者Ｏ１に面して配置されており、光を部分的に透過する性質を持つ。対象者用表示部３５の画面Ａ５は、対象者Ｏ１側から見て鏡３５２の背後に位置する。対象者用表示部３５は、鏡３５２を介して対象者Ｏ１が視認可能な画像を表示する。情報処理装置３の処理部３３は、この対象者用表示部３５の画面Ａ５において、鏡３５２に映る対象者Ｏ１の鏡像Ｍ１とともに仮想対象者画像Ａ５１を表示する。

【0072】

このように、本実施形態によれば、鏡３５２に映った対象者Ｏ１の鏡像Ｍ１と鏡３５２を透過した仮想対象者画像Ａ５１とを見比べることが可能である。これにより、対象者は、施術中において現在の頭髪スタイルと理想の頭髪スタイルとを容易に見比べることができる。

【0073】

なお、上記に本実施形態およびその適用例を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその適用例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。

【符号の説明】

【0074】

１…サーバ、２…記憶装置、２１…対象者情報、２２…仮想対象者モデル、２３…仮想対象者モデル関連情報、２４…対象者モデル、３…情報処理装置、３１…通信部、３２…記憶部、３２１…プログラム、３３…処理部、３４…入力部、３５…対象者用表示部、３６…施術者用表示部、３７…カメラ、３８…測距センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】