特開 2023-53733 撮像誘導装置、撮像誘導方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023053733

(43)【公開日】2023-04-13

(54)【発明の名称】撮像誘導装置、撮像誘導方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230406BHJP

   A61B 5/1171 20160101ALI20230406BHJP

【ＦＩ】

G06T7/00 660A

A61B5/1171 200

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021162948

(22)【出願日】2021-10-01

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】武井 一朗

(72)【発明者】

【氏名】田岡 宏毅

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA07

4C038VB03

4C038VC05

5L096AA02

5L096AA06

5L096CA02

5L096CA17

5L096FA14

5L096FA67

5L096FA69

5L096GA40

5L096JA11

(57)【要約】

【課題】肌分析に適した顔画像を取得するようにユーザの撮像状態を誘導できる撮像誘導装置、撮像誘導方法及びプログラムを提供する。
【解決手段】撮像誘導装置は、顔の部位ごとに、部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶する記憶部と、被検者の分析対象の顔の部位に関する部位情報を取得する部位情報取得部と、分析対象の顔の部位を含む顔画像から分析対象の顔の部位の部位画像を抽出する部位画像抽出部と、取得した部位情報と抽出した部位画像と部位情報に対応する特性の目標値とに基づいて、被検者の撮像状態を誘導する被検者誘導部と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶する記憶部と、
被検者の分析対象の顔の部位に関する部位情報を取得する部位情報取得部と、
前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出する部位画像抽出部と、
前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導する被検者誘導部と、
を有する撮像誘導装置。

【請求項2】

前記特性は、前記部位の輝度を示す輝度値であり、
前記条件は、前記輝度値が目標範囲に収まることであり、
前記被検者誘導部は、前記分析対象の顔の部位に応じて前記輝度値が目標範囲に収まるように前記被検者の撮像状態を誘導する、請求項１に記載の撮像誘導装置。

【請求項3】

前記特性は、前記部位に対する照明の当たり方であり、
前記被検者誘導部は、前記分析対象の顔の部位に応じて、前記顔を照らす照明の前記顔への当たり方を変えるように、前記被検者の撮像状態を誘導する、請求項１又は２に記載の撮像誘導装置。

【請求項4】

前記照明の当たり方は、前記部位に対して照明が当たる向きであり、
前記条件は、前記部位に対して照明が当たる向きが所定の目標向きの範囲に収まることであり、
前記被検者誘導部は、前記分析対象の顔の部位に応じて、前記照明が前記顔に当たる向きが前記照明の目標向きの範囲に収まるように、前記被検者の撮像状態を誘導する、請求項３に記載の撮像誘導装置。

【請求項5】

前記部位情報取得部は、前記分析対象の複数の部位に関する部位情報を取得し、
前記記憶部は、前記分析対象の複数の部位それぞれについて、前記特性の目標値を記録しており、
前記被検者誘導部は、前記分析対象の複数の部位が前記特性の目標値に近づくように、前記被検者の撮像状態を誘導する、請求項２に記載の撮像誘導装置。

【請求項6】

前記特性の目標値は、前記特性の値の目標範囲であり、
前記特性の条件は、前記特性が前記目標範囲に収まることであり、
前記記憶部は、前記分析対象の部位が１つである場合と複数である場合と、同一の特性について異なる目標範囲を記録しており、
前記被検者誘導部は、前記分析対象の部位の数が１つであるか複数であるかに応じて、誘導に用いる目標範囲を変更する、請求項５に記載の撮像誘導装置。

【請求項7】

前記被検者誘導部は、誘導前後の前記被検者の撮像状態を比較し、比較結果に応じて前記被検者の撮像状態を誘導する方法を変更する、請求項１から５の何れか一項に記載の撮像誘導装置。

【請求項8】

前記被検者誘導部は、前記被検者の過去の撮像状態を記憶し、前記記憶した過去の撮像状態と等しくなるように前記被検者の撮像状態を誘導する、請求項１から６の何れか一項に記載の撮像誘導装置。

【請求項9】

顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、
被検者の分析対象の顔の部位に関する部位情報を取得することと、
前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出することと、
前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導することと、
を含む、コンピュータによって実行される撮像誘導方法。

【請求項10】

顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、
被検者の分析対象の顔の部位に関する部位情報を取得することと、
前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出することと、
前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導することと、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像誘導装置、撮像誘導方法及びプログラムに関する。

【背景技術】

【0002】

近年、生体認証の非接触方式として、撮像されたユーザの顔画像又はその一部を利用した画像ベースの顔認証が導入されつつある。このような顔認証では、ユーザの顔全体が撮像された顔画像を取得するため、ユーザは所定の位置に誘導される。例えば、撮像されているユーザの画像がディスプレイ上のカメラ画面に表示されている場合、カメラ画面に顔枠が重畳され、当該顔枠に収まるように顔を移動するようユーザが誘導される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２８０２７７号公報

【特許文献2】特開２００６－２６８２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように顔認証では、ユーザの顔全体が所定の照度以上で撮像されることが所望される。一方、肌分析においてもまた、カメラで撮像された顔画像が利用されている。例えば、化粧品売り場の店頭でスタッフがカメラを操作して顧客の肌を撮像し、撮像された肌画像が店頭のパーソナルコンピュータ（ＰＣ）、ネットワーク上のサーバに送信され、肌分析が行われる。あるいは、顧客自らスマートフォンを操作して自らの肌を撮像し、撮像された肌画像がネットワーク上のサーバに送信され、肌分析が行われる。

【0005】

しかしながら、肌分析を行う場合、肌分析に適したカメラアングル、照明位置などがあり、専門知識を有さないユーザでは、肌分析に適した顔画像が撮像されているのか判断が難しい。特にオンライン環境では、スタッフが直接的に、撮像装置を動かしたり、ユーザの顔向きなどを修正したりすることもできないため、肌分析に適した顔画像の取得は難しくなる。また、肌分析では、分析の対象や部位によって必要な画像が変化するため、顔認証のように、顔の全体が十分に大きく明るく映っていればよい、というような素人でも直感的に分かり易い指標を提示することが困難である。例えば、しわの状態を分析する際、照明が分析対象のしわに沿って平行に照射されている場合、しわが良好に画像化されない可能性がある。従って、肌分析に適した顔画像を取得したいという要望に対応することができないという課題がある。

【0006】

本開示の非限定的な実施例は、肌分析に適した顔画像を取得するようにユーザの撮像状態を誘導できる撮像誘導装置、撮像誘導方法及びプログラムの提供に資する。

【課題を解決するための手段】

【0007】

本開示の一実施例に係る撮像誘導装置は、顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶する記憶部と、被検者の分析対象の顔の部位に関する部位情報を取得する部位情報取得部と、前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出する部位画像抽出部と、前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導する被検者誘導部と、を有する。

【0008】

本開示の一実施例に係る撮像誘導方法は、顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、被検者の分析対象の顔の部位に関する部位情報を取得することと、前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出することと、前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導することと、を含む、コンピュータによって実行される。

【0009】

本開示の一実施例に係るプログラムは、顔の部位ごとに、前記部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、被検者の分析対象の顔の部位に関する部位情報を取得することと、前記分析対象の顔の部位を含む顔画像から前記分析対象の顔の部位の部位画像を抽出することと、前記取得した部位情報と前記抽出した部位画像と前記部位情報に対応する前記特性の目標値とに基づいて、前記被検者の撮像状態を誘導することと、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示の一実施例によれば、肌分析に適した顔画像を取得するようにユーザの撮像状態を誘導できる撮像誘導装置、撮像誘導方法及びプログラムを提供できる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態に係る撮像誘導装置１００の概略図

【図2A】本開示の実施の形態に係る撮像誘導装置１００による肌分析の手順を示す図

【図2B】本開示の実施の形態に係る撮像誘導装置１００による肌分析の手順を示す図

【図3】本開示の実施の形態に係る撮像誘導装置１００のハードウェア構成を示すブロック図

【図4】本開示の実施の形態に係る撮像誘導装置１００の機能構成を示すブロック図

【図5】本開示の実施の形態に係る撮像状態誘導処理を示すフローチャート

【図6】本開示の第１変形例に係る撮像状態誘導処理を示すフローチャート

【図7】本開示の第２変形例に係る撮像状態誘導処理を示すフローチャート

【図8A】本開示の第３変形例に係る撮像状態誘導処理を示すフローチャート

【図8B】本開示の第３変形例に係る撮像状態誘導処理を示すフローチャート

【図9】本開示の第４変形例に係る撮像状態誘導処理を示すフローチャート

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施の形態を説明する。図１は本開示の実施の形態に係る撮像誘導装置１００の概略図である。図１に示されるように、ユーザの顔画像を取得すると、撮像誘導装置１００は、分析対象の顔の部位に適した撮像位置に音声ガイダンス、テキストガイダンス、画像ガイダンス等によってユーザを誘導し、当該撮像位置におけるユーザの顔画像に基づいてユーザの肌分析結果を出力する。撮像誘導装置１００は、例えば化粧品売り場などに設置されているパーソナルコンピュータ、タブレットなどの端末装置であってもよく、カメラにより撮像された顔画像に基づいてユーザの肌分析を行う場合などに利用されうる。あるいは、撮像誘導装置１００は、ネットワーク上に設置されたサーバであってもよく、ユーザが所有するスマートフォン、カメラなどの端末装置とオンラインで接続され、端末装置から受信した顔画像に基づいてユーザの肌分析を行ってもよい。

【0013】

なお、撮像誘導装置１００は、上記構成に限定されず、他の何れかの情報処理装置であってもよい。撮像誘導装置１００の構成の詳細に関しては後述する。

【0014】

（肌分析の手順）
以下に肌分析を行う場合の手順について説明する。図２Ａ及び図２Ｂは本開示の実施の形態に係る撮像誘導装置１００による肌分析の手順を示す図である。

【0015】

（１）撮像誘導装置１００は、ユーザの端末装置で撮像された顔画像を受信する。

【0016】

（２）撮像誘導装置１００は、受信した顔画像に基づき、ユーザの撮像状態を誘導する誘導情報を生成し、表示部に誘導情報を再生する。撮像誘導装置１００を操作するスタッフは誘導情報を参照しながら、顔の向きを変える、照明の輝度を調整するなどの指示をユーザに対して行うことで、肌分析に適した顔画像を取得する。なお、誘導情報の詳細に関しては後述する。

【0017】

（３）撮像誘導装置１００を操作するスタッフの指示に従ってユーザが顔の向きなどを変えることで、肌分析に適した顔画像が撮像誘導装置１００の表示部に表示されると、図２Ｂに示すように当該顔画像がキャプチャされる。撮像誘導装置１００はキャプチャされた右頬の画像を基に肌分析を開始する。なお、顔画像のキャプチャは、スタッフ又はユーザの持つ顔画像の撮像装置（図示せず）を遠隔で操作したり、ユーザがスタッフからの指示に応じて顔画像の撮像装置を操作したりすることで行ってもよい。この場合、撮像誘導装置１００は、スタッフに対し、キャプチャを実施すべき状態になっているか否か、すなわち、肌分析に適した顔画像がキャプチャできる状態になっているか否かを通知するようにしてもよい。また、撮像誘導装置１００が、肌分析に適した顔画像がキャプチャできる状態になっていると判定した場合に顔画像の撮像装置に対して顔画像のキャプチャを指示するように構成してもよい。また、本誘導手法はスタッフからユーザへの指示に使用可能なだけではなく、ユーザが一人で撮像装置を操作する際にも適用可能である。

【0018】

（４）次に撮像誘導装置１００は、公知の肌分析方法により、頬のしわの量、しみの量、ほうれい線の長さなどを分析し、肌分析結果を記憶すると共に、ユーザの端末装置にオンライン会議ツールなどを通じて肌分析結果を表示させる。オンライン会議ツールを利用することでスタッフとユーザが肌分析結果をリアルタイムに共有することができる。なお、肌分析結果をオンライン会議ツールなどで共有する他にも、撮像誘導装置１００がユーザの端末装置に肌分析結果データを送信することでユーザが任意のタイミングで肌分析結果を確認できるようにしてもよい。肌分析結果には、図２Ｂに示すように、右頬の画像にしわの画像を重畳した画像、しみなどの度合いを表すバロメータの画像などを含めてもよい。

【0019】

（５）肌分析結果情報を受信した端末装置は、肌分析結果をユーザに提供する。これにより撮像誘導装置１００を操作するスタッフとユーザは肌分析結果を共有することができる。撮像誘導装置１００を操作するスタッフは、肌分析結果に応じた最適な化粧品、ケアグッズなどをユーザに提案することができる。

【0020】

（肌分析に適した顔画像）
肌分析に適した顔画像は以下のものを含みうる。

【0021】

（１）局所的に光が当たり皮脂などで肌の画像が明るくなり過ぎていると、しわ、毛穴などの状態を適切に分析できない場合があるため、肌分析する部位が明るくなり過ぎていない顔画像は、肌分析に適した画像になりえる。また、頬が光っていても、肌分析対象の部位が頬以外の部位であり当該部位が光っていない顔画像は、肌分析に利用可能な画像になりえる。

【0022】

（２）暗い場所で撮像された顔画像、端末装置の影が映り混んでいる顔画像などは、照度が低いためしわ、毛穴、しみなどの状態を正確に分析できない場合がある。このため、肌分析を行う部位に暗い領域がない顔画像は、肌分析に適した画像になりえる。なお、この場合、肌分析を行う部位の明るさが十分確保できているのであれば、その他の部位は暗くても構わない。

【0023】

（３）顔全体に光が満遍なく当たるように光を放射する照明器具を利用して撮像された顔画像は、顔認証などには適しているものの全方位的な光により、しみ、しわなどが消えてしまう。このため、顔全体に光が均一に当たるのではなく、肌分析対象の部位に一定方向から所定レベルの輝度の光が当たる顔画像は、肌分析に適した画像になりえる。顔全体が均一に明るくなくても、肌分析対象の部位に所定レベルの輝度の光が当たっていれば他の部位には当該レベルより低い又は高いレベルの輝度の光が当たっている顔画像でも肌分析に適した画像になりえる。すなわち、肌分析対象の部位に当たる光が適切であれば、それ以外の部位に当たる光の状態は問わない。具体的には、例えば、分析対象の部位以外が暗くなっていたり、分析対象の部位以外のしみ、しわが消えていたとしても、対象とする部位の肌分析の用途には適している。

【0024】

なお、上記に例示した肌分析に適した画像は一例であり、顔画像が肌分析に適した画像であるか否かは、対象の部位および分析の内容に応じて変化しうる。例えば、皮脂での光の反射等により肌の皮脂量を肌分析する場合は、上述した例とは逆に肌分析する部位が光っている顔画像が肌分析に適した画像になりえる。そのため、複数の肌分析の目的に対応可能な撮像誘導装置１００を構成する場合、撮像誘導装置１００は、肌分析の目的ごとに対象となる部位および肌分析に適した顔画像の特性を記憶しており、スタッフ又はユーザから指定された肌分析の目的に応じてこの情報を読み出して肌分析に適した画像となっているかを判定する。

【0025】

このように肌分析に適した顔画像を得るためには、カメラの位置、顔の向き、照明の位置、照明の明るさなどを調整するように、ユーザの撮像状態を誘導することが有効である。

【0026】

次に図３を参照して、撮像誘導装置１００のハードウェア構成例を説明する。図３は本開示の実施の形態に係る撮像誘導装置１００のハードウェア構成を示すブロック図である。

【0027】

撮像誘導装置１００は、スマートフォン、タブレット、パーソナルコンピュータ等の計算装置によって実現され、例えば、図３に示されるようなハードウェア構成を有してもよい。すなわち、撮像誘導装置１００は、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース装置１０３及び通信装置１０４を有する。

【0028】

撮像誘導装置１００における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワーク等を介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。

【0029】

記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブ等によって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。

【0030】

プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータ等のデータ等に従って、後述される撮像誘導装置１００の各種機能及び処理を実行する。

【0031】

ユーザインタフェース装置１０３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと撮像誘導装置１００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、撮像誘導装置１００を操作する。

【0032】

通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。

【0033】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による撮像誘導装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。例えば、撮像誘導装置１００の備える各機能を複数のコンピュータで分散して実現してもよい。この場合、異なるコンピュータに備えられた機能間での情報の交換は、コンピュータを接続する通信網（ＬＡＮやインターネット）を介して行う。

【0034】

図４は本開示の実施の形態に係る撮像誘導装置１００の機能構成を示すブロック図である。撮像誘導装置１００は、画像取得部１１０、表示制御部１１１、部位情報取得部１１２、部位画像抽出部１１３、及び被検者誘導部１１４を備えている。

【0035】

（画像取得部１１０）
画像取得部１１０は、ユーザの表情を撮像した顔画像を取得する。具体的には、カメラがユーザの顔を撮像し、画像取得部１１０は、カメラで撮像されたユーザの顔の画像を取得する。カメラは、測定対象領域を撮像し、当該測定対象領域のＲＧＢ画像を生成する。例えば、カメラは、単眼カメラであってもよく、単眼のＲＧＢ画像を生成する。カメラではなく、ネットワーク経由で受信している映像をキャプチャして画像を取得してもよい。

【0036】

（表示制御部１１１）
表示制御部１１１は顔画像を撮像誘導装置１００のディスプレイに表示する。表示された顔画像の中から肌分析の対象部位が選択されると、選択された顔の部位に関する部位情報が部位情報取得部１１２及び部位画像抽出部１１３に送信される。肌分析の対象部位の選択は、例えばユーザの端末装置の画面上のタッチ操作、撮像誘導装置１００に接続されているマウス操作などにより行われる。

【0037】

（部位情報取得部１１２）
部位情報取得部１１２は、頬、眉間、額などの顔パーツの顔特徴点を基に、選択された顔の部位（肌分析の対象部位）に関する部位情報（例えば頬の位置を示す情報）を取得する。さらに、部位情報取得部１１２は、選択された顔の部位の目標輝度値などをサーバなどから取得する。例えば、部位情報は、分析対象の顔の部位毎に、顔における当該部位の位置と目標輝度値とを含んでもよい。

【0038】

（部位画像抽出部１１３）
部位画像抽出部１１３は、分析対象の顔の部位を含む顔画像から顔特徴点を分析し、部位情報における当該部位の位置（例えば、当該位置を特定する１つ以上の顔特徴点により画定される領域など）に基づいて、分析対象の顔の部位の部位画像（しみ、しわ、毛穴などの画像）を抽出する。部位画像抽出部１１３は、抽出した部位画像を被検者誘導部１１４に送信する。

【0039】

（被検者誘導部１１４）
被検者誘導部１１４は、部位情報と部位画像を取得し、部位情報と部位画像とに基づいて誘導情報を生成する。具体的には、被検者誘導部１１４は、部位画像抽出部１１３で抽出された部位画像の輝度(明暗の度合い)の分布を特定する。例えば、輝度の高い領域は照明に近いと考えられ、輝度の低い領域は照明から離れていると考えられる。これにより、顔にどの方向から光が照射されているのかを特定できる。また被検者誘導部１１４は、周知の顔向き推定技術を用いて、顔画像から得られる顔特徴点の位置関係を基に、ユーザの顔の向きを演算する。これにより、顔がカメラに真っ直ぐ向いている（顔がカメラを正面視している）のか、顔がカメラに対して斜め方向に向いているかを特定できる。

【0040】

このように、照明の方向、ユーザの顔の向きなどを特定した被検者誘導部１１４は、部位情報取得部１１２で取得された肌分析の対象部位における輝度値が前述した目標輝度値の範囲に収まるユーザの顔の向きと照明の方向を演算する。被検者誘導部１１４は、演算した顔の向きと照明の方向に基づき、ユーザの撮像状態を誘導する誘導情報を生成する。例えば、対象部位における輝度値が目標輝度値の下限を下回る場合、被検者誘導部１１４は、照明の光源方向に顔を近づけるようユーザを誘導してもよい。あるいは、対象部位における輝度値の上限を上回る場合、被検者誘導部１１４は、照明の光源方向から離れるようユーザを誘導してもよい。

【0041】

（誘導情報）
誘導情報は、肌分析に適した画像が得られるように、ユーザの撮像状態（カメラの位置、顔の向き、照明の位置など）を誘導する情報である。誘導情報は、以下の情報を含みうる。
（１）ユーザの顔の向きを所定方向に向けるように案内するガイダンス。
（２）ユーザの端末装置の向きを所定方向に向けるように案内するガイダンス。
（３）ユーザの端末装置からユーザの顔までの距離を調整するように促すガイダンス。
（４）ユーザの顔を照らしている照明の向き、明るさなどを調整するように促すガイダンス。

【0042】

ガイダンスは例えば「スマートフォンを右にゆっくり移動して下さい」、「スマートフォンをその位置で止めて下さい」、「顔を左に回転させて下さい」、「顔をその位置で止めて下さい」、「照明を僅かに暗くして下さい」などの指示である。ここで、ガイダンスの出力の態様は様々なものが考えられる。例えば、スタッフの使用している端末に誘導内容を文字、画像などで提示して、スタッフからユーザに対して誘導内容を読み上げるように指示してもよい。このような構成は、例えば、ユーザがスマートフォンのリアカメラを利用して顔画像を撮像している場合のように、ユーザ側には誘導情報を視認できる画面がない場合に有用である。また、ユーザの所有する撮像装置（スマートフォンなど）に対して、誘導情報を提供してもよい。このような構成は、ユーザがスマートフォンのインカメラなどを利用して顔画像を撮像している場合など、ユーザ側にも視認可能な画面が存在する場合に有用である。なおガイダンスは、画像で提供されてもよい。例えば、ユーザ側に誘導情報を視認可能な画面がある場合に、顔または撮像装置（スマートフォンなど）を動かすべき方向を矢印などで表示したり、ユーザ自身の現在の顔画像がユーザからも視認可能なのであれば、顔枠のガイドなどを表示したりすることが考えられる。

【0043】

次に、図５を参照して、本開示の一実施例による撮像状態誘導処理を説明する。当該撮像状態誘導処理は、上述した撮像誘導装置１００によって実行され、より詳細には、撮像誘導装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。例えば、当該顔タイプ診断処理は、撮像誘導装置１００のユーザが当該処理に係るアプリケーション等を起動することによって開始されうる。

【0044】

図５は本開示の実施の形態に係る撮像状態誘導処理を示すフローチャートである。図５に示されるように、ステップＳ１０１において、撮像誘導装置１００は顔画像を取得する。具体的には、カメラがユーザの顔を撮像し、撮像誘導装置１００は、カメラで撮影されたユーザの顔の画像を取得する。

【0045】

次に、ステップＳ１０２において、撮像誘導装置１００は、顔画像の中から選択された肌分析の部位に関する部位情報（例えば頬の位置を示す情報）を取得する。例えば、部位情報は、分析対象の顔の部位毎に、当該部位の位置と目標輝度値とを含んでもよい。

【0046】

次に、ステップＳ１０３において、撮像誘導装置１００は、分析対象の顔の部位を含む顔画像から顔特徴点を分析し、部位情報における当該部位の位置に基づいて当該顔特徴点を基に、分析対象の顔の部位の部位画像（しみ、しわ、毛穴などの画像）を抽出する。

【0047】

次に、ステップＳ１０４において、撮像誘導装置１００は、部位情報と部位画像とに基づいて、分析対象の部位の輝度の分布、ユーザの顔の向きなどを特定する。

【0048】

次に、ステップＳ１０５において、撮像誘導装置１００は、肌分析の対象部位における輝度値が目標輝度値の範囲に収まるユーザの顔の向き、照明が当たる方向などを演算する。

【0049】

最後に、ステップＳ１０６において、被検者誘導部１１４は、演算した顔の向きと照明の方向に基づき、ユーザの撮像状態を誘導する誘導情報を生成して出力する。

【0050】

なお、撮像誘導装置１００の肌分析処理には以下のような態様を含めてもよい。

【0051】

（第１変形例）
顔のしわには部位によって適した光の当たり方がある。例えば、額のしわは横方向に伸びる筋目で形成されることが多いため、顔の上または下方向から照明が当たることで、額のしわを精度良く分析することができる。他方、眉間のしわは縦方向に伸びる筋目で形成されることが多いため、顔の左または右方向から照明が当たることで額のしわを精度良く分析することができる。そのため、本変形例では、部位情報は更に、顔の部位毎の照明の目標向きを含む。被検者誘導部１１４は、分析対象の顔の部位に応じて顔の部位の輝度を示す輝度値が目標範囲に収まるように、また、照明の方向が目標の向きの範囲に収まるように、ユーザの撮像状態を誘導するように構成してもよい。

【0052】

図６は本開示の第１変形例に係る撮像状態誘導処理を示すフローチャートである。図５との相違は、図６ではステップＳ１０５Ａの処理が追加されている点である。以下では、図５に示される各ステップの処理と同一の処理については説明を省略し、異なる処理について説明する。

【0053】

ステップＳ１０５Ａにおいて、被検者誘導部１１４は、肌分析の対象部位と顔の向きが対応付けられているテーブルを参照することによって、部位情報取得部１１２で取得された肌分析の対象部位に対応する顔の向きに関する情報を読み出す。そして、肌分析の対象部位における輝度値が目標輝度値の範囲に収まり、かつ、照明方向が目標向きの範囲に収まるようにユーザを誘導する。なお、被検者誘導部１１４は、これに代えて、顔に当たる照明の位置、ユーザを撮影している携帯端末の位置などを変更してもよい。

【0054】

このように、ユーザの顔の角度などを演算した被検者誘導部１１４は、ステップＳ１０６において、肌分析の対象部位に応じて、対象部位の輝度を示す輝度値が目標範囲に収まり、かつ、照明方向が目標向きの範囲に収まるように誘導情報を生成して出力する。

【0055】

例えば、被検者誘導部１１４は、額のしわを分析する場合「顔を下に４５°くらい傾けて下さい」などのガイダンスを、眉間のしわを分析する場合「顔を左に４５°くらい回転させて下さい」などのガイダンスを、誘導情報として生成する。このように肌分析の対象部位毎にユーザの撮像状態を誘導することで、分析する部位に適した照明の当たり具合を調整できるため、分析部位を精度良く分析することができる。

【0056】

（第２変形例）
第１変形例では、分析対象の顔の部位に応じてユーザの撮像状態を変更させているが、例えば、額のしわと眉間のしわを同時に分析する場合、ぞれぞれの部位における輝度値が目標輝度値の範囲に収まるように、ユーザの顔を上下左右方向に移動させるように誘導させることが有効である。そのため、被検者誘導部１１４は、分析対象の複数の部位（例えば、顔全体）が所定の条件の範囲に収まるように、ユーザの撮像状態を誘導するように構成してもよい。

【0057】

図７は本開示の第２変形例に係る撮像状態誘導処理を示すフローチャートである。図６とのフローチャートの相違は、ステップＳ１０５Ａの処理に代えてステップＳ１０５Ｂの処理が追加されている点である。以下では、図５に示される各ステップの処理と同一の処理については説明を省略し、異なる処理について説明する。

【0058】

ステップＳ１０５Ｂにおいて、被検者誘導部１１４は、分析対象の各部位の部位情報を参照することによって、各対象部位のそれぞれに対応する位置、目標輝度値及び目標向きに関する情報を読み出す。そして、肌分析の各対象部位における輝度値が全て目標輝度値の範囲に収まり、かつ、照明方向が目標向きの範囲に収まるようにユーザを誘導する。例えば、被検者誘導部１１４は、顔に当たる照明の位置、ユーザを撮像している携帯端末の位置などを変更するよう誘導してもよい。

【0059】

このように、ユーザの顔の角度などを演算した被検者誘導部１１４は、ステップＳ１０６において、肌分析の各対象部位における輝度値が全て目標範囲に収まり、かつ、照明方向が目標向きの範囲に収まるように誘導情報を生成して出力する。

【0060】

なお、一般的に、複数の部位の輝度値全てを目標範囲に収めることは、単独の部位の輝度値を目標範囲に収めることよりも難しい。そのため、本変形例における各部位の目標範囲は、単独の部位のみを分析対象とする場合の目標範囲よりも広げてもよい。

【0061】

例えば、被検者誘導部１１４は、額と眉間のそれぞれのしわを同時に分析する場合「顔を僅かに下に傾けながら顔をゆっくりと左に回転させて下さい」などのガイダンスを、誘導情報として生成する。このように、肌分析の対象部位の輝度値が全て目標輝度値の範囲に収まり、かつ、照明方向が目標向きの範囲に収まるようにユーザの撮像状態を誘導することで、分析する部位毎にユーザの撮像状態を変更する場合に比べて、複数箇所の肌分析を短時間に実施することが可能である。

【0062】

（第３変形例）
一定の誘導方法でユーザの撮像状態を誘導した場合でも一度の誘導だけでは適切な画像が得られない場合があるため、この場合には誘導態様を変更することが好ましい。そのため、被検者誘導部１１４は、誘導前後のユーザの撮像状態を比較し、比較結果に応じてユーザの撮像状態を誘導する方法を変更するように構成してもよい。

【0063】

図８Ａ及び図８Ｂは本開示の第３変形例に係る撮像状態誘導処理を示すフローチャートである。図５とのフローチャートの相違は、ステップＳ１０７などの処理が追加されている点である。以下では、図５に示される各ステップの処理と同一の処理については説明を省略し、異なる処理について説明する。

【0064】

例えば額のしわを分析する場合、被検者誘導部１１４は、誘導情報を出力した後、ステップＳ１０７において、額の輝度値の変化を演算する。

【0065】

輝度値が目標範囲に近づくように変化している場合（ステップＳ１０８，ＹＥＳ）、ユーザの顔の向き、照明からの光が当たる方向などが適正なため、誘導情報の内容を変更することなく誘導情報の出力を継続する（ステップＳ１０９）。

【0066】

額の輝度値が目標範囲に近づくように変化していない場合（ステップＳ１０８，ＮＯ）、ユーザの顔の向き、照明からの光が当たる方向などが適正ではないため、ステップＳ１１０において、被検者誘導部１１４は、額の輝度値の目標範囲からの差分の変化量を演算する。

【0067】

差分を演算した被検者誘導部１１４は、ステップＳ１１１において、算出した差分の変化量に応じて誘導方法を変更する。例えば、誘導文言がテーブル等に予め用意され、被検者誘導部１１４は、差分の変化量に応じて異なる誘導文言を使用して、ユーザを誘導してもよい。あるいは、テキスト形式の誘導情報から画像形式又は音声形式の誘導情報に変更されてもよい。

【0068】

額の輝度値が目標範囲に収まるまで一連の処理が実行される。これにより一度の誘導だけでは肌分析に適した顔画像が得られない場合でも、誘導態様を変更することで、肌分析に適した顔画像を短時間に表示させることができる。

【0069】

なお、本変形例における誘導情報の変更は、目標とする誘導内容を細分化する処理であってもよい。例えば、ユーザに右斜め上を向かせることを目的とする誘導内容である場合に、輝度値が目標範囲に近づいていない場合には、「顔を右に向けてください」と「顔を上に向けてください」の２段階に分けて誘導してもよい。また、本変形例における誘導情報の変更は、目的とする誘導内容と同等な誘導内容を別の表現に切り替える処理であってもよい。例えば、「顔を右に向けてください」という誘導を行っているにもかかわらず、輝度値が目標範囲に近づいていない場合に、「撮像装置を左に動かしてください」という表現に変更することなどが考えられる。なお、変更の前後のどちらを細分化した誘導内容にするか、または移動または回転する対象を何にするか等は適宜入れ替えて構わない。

【0070】

また、輝度値が目標範囲に近づくように変化しているか否かの判定は所定の時間制限を設けて行ってもよい。誘導を行った直後に輝度値が改善されない場合は、まだユーザが動作を行っていないだけで誘導内容自体は正確に伝わっている可能性があるため、輝度値が目標範囲に近づいていないだけで誘導内容を変更することはかえってユーザの混乱を招く恐れがある。一方、長時間、輝度値が目標範囲に近づいていない場合は、ユーザが誘導内容を正確に理解していない可能性が高まるため、誘導内容を切り替えることで状況が改善する可能性が高い。

【0071】

また、本変形例における誘導情報の変更では、輝度値が目標範囲から離れていたとしても所定の範囲内の変化であれば、誘導内容を変更しないように制御してもよい。顔の輝度値は、ユーザが指示通りに動こうとしても周囲の環境や手振れなどにより、一時的に目標範囲から離れる方向に変化してしまう恐れがあるためである。

【0072】

（第４変形例）
肌分析を実施する場合、新たにユーザの撮像状態を誘導するときに、過去に肌分析を実施したときの撮像状態（顔の向き、照明の当たり方、輝度値の分布、輝度値の標準偏差など）と等しくなるように、ユーザの撮像状態を誘導することが好ましい。

【0073】

そこで被検者誘導部１１４は、ユーザの撮像状態を誘導した過去の撮像状態を時系列順に記憶し、新たに撮像状態を誘導するとき、記憶した過去の撮像状態と等しくなるように被検者の撮像状態を誘導するように構成してもよい。

【0074】

図９は本開示の第４変形例に係る撮像状態誘導処理を示すフローチャートである。図５との相違は、図９ではステップＳ１０２の処理に代えてステップＳ１０２Ａの処理が追加されている点である。以下では、図５に示される各ステップの処理と同一の処理については説明を省略し、異なる処理について説明する。

【0075】

ステップＳ１０２Ａにおいて、部位情報取得部１１２は、顔画像の中から選択された肌分析の部位に関する部位情報を取得するとともに、記憶した過去の撮像状態における部位情報（分析対象の顔の部位の位置と目標輝度値や目標標準偏差などを含みうる）を読み出す。そして、ステップＳ１０６において、被検者誘導部１１４は、新たに撮像状態を誘導するとき、ステップＳ１０２Ａで読み出された撮像状態と等しくなるように被検者の撮像状態を誘導する。

【0076】

これにより、過去に肌分析を行ったときの撮像条件に近い環境で肌分析を行うことが可能になり、撮像誘導装置１００を操作するスタッフは、分析部位の状態が過去の肌分析結果と比較してどの程度改善されているか否かに関する時系列の肌の変化を認識することが可能となり、分析結果に応じて最適な化粧品、ケアグッズなどをユーザに提案することができる。

【0077】

以上に説明したように、本開示の実施の形態に係る撮像誘導装置は、顔の部位ごとに、部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶する記憶部と、被検者の分析対象の顔の部位に関する部位情報を取得する部位情報取得部と、分析対象の顔の部位を含む顔画像から分析対象の顔の部位の部位画像を抽出する部位画像抽出部と、取得した部位情報と抽出した部位画像と部位情報に対応する特性の目標値とに基づいて、被検者の撮像状態を誘導する被検者誘導部と、を有する。

【0078】

この構成により、専門知識を有さないユーザが自ら顔画像を撮像する場合であっても、肌分析に適した画像を撮像するように顔、撮像装置の方向などを誘導することができる。これにより、オンライン環境などでユーザ自らが肌分析用の顔画像を撮像する場合であっても、専門のスタッフが肌分析用の顔画像を撮像する場合と同様の精度で肌診断を行うことができる顔画像を取得することが可能である。

【0079】

なお、上述した実施の形態ではオンライン環境を例として説明したが、スタッフが直接撮像装置またはユーザの顔を動かすことが難しい環境であれば、本実施の形態に係る撮像誘導装置を利用することで同様の効果を得ることができる。

【0080】

（その他変形例）
上述した実施の形態では、肌分析に適した顔画像であるか否かの評価に、主に輝度に関する特性を用いていた。しかし、分析対象の部位の大きさや、顔画像内における分析対象の部位の位置など他の特性に基づいて肌分析に適した顔画像であるか否かを評価してもよい。すなわち、上述した実施の形態および変形例において、輝度に替えて他の特性の望ましい値を各部位と対応付けて記憶しておき、分析対象の部位に応じてその特性が望ましい値に近づくように誘導を行ってもよい。

【0081】

上述した実施の形態において、顔の移動または回転の誘導と、撮像装置（スマートフォンなど）の移動とまたは回転の誘導とは、相互に入れ替えてもよい。撮像装置の一方向への移動または回転と顔の逆方向への移動または回転とは顔画像上では同一の変化として現れるためである。また、この性質を利用して、第２変形例において、誘導内容を変更する際に、移動または回転する対象を撮像装置にするのかユーザの顔にするのかを切り替えるようにしてもよい。このようにすると、特に、ユーザの顔向きが人体の可動域の限界まで移動または回転している場合や、撮像装置が固定されている場合など、顔と撮像装置のどちらかの移動または回転が規制されていることにより場合に有益である。ただし、照明が偏った方向から照射されている場合には、撮像装置の移動または回転と、顔の移動または回転とでは陰影の現れ方が異なるため、入れ替えることは適切ではない。そのため、顔画像の分析の結果、照明が偏った方向から照射されている場合には、第２変形例においても、移動または回転する対象を入れ替えた誘導内容への切り替えは抑制するようにしてもよい。同様に、輝度や照明の当たり方を誘導する場合には、顔、撮像装置、照明のどれを動かしても同様の結果が得られるので、誘導を行う対象を必要に応じて切り替えてもよい。

【0082】

なお、例えば、以下のような態様も本開示の技術的範囲に属するものと了解される。

【0083】

（１）本開示の実施の形態に係る撮像誘導装置は、顔の部位ごとに、部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶する記憶部と、被検者の分析対象の顔の部位に関する部位情報を取得する部位情報取得部と、分析対象の顔の部位を含む顔画像から分析対象の顔の部位の部位画像を抽出する部位画像抽出部と、取得した部位情報と抽出した部位画像と部位情報に対応する特性の目標値とに基づいて、被検者の撮像状態を誘導する被検者誘導部と、を有する。

【0084】

（２）特性は、部位の輝度を示す輝度値であり、条件は、輝度値が目標範囲に収まることであり、被検者誘導部は、分析対象の顔の部位に応じて輝度値が目標範囲に収まるように被検者の撮像状態を誘導する。

【0085】

（３）特性は、部位に対する照明の当たり方であり、被検者誘導部は、分析対象の顔の部位に応じて、顔を照らす照明の顔への当たり方を変えるように、被検者の撮像状態を誘導する。

【0086】

（４）照明の当たり方は、部位に対して照明が当たる向きであり、条件は、部位に対して照明が当たる向きが所定の目標向きの範囲に収まることであり、被検者誘導部は、分析対象の顔の部位に応じて、照明が顔に当たる向きが照明の目標向きの範囲に収まるように、被検者の撮像状態を誘導する。

【0087】

（５）部位情報取得部は、分析対象の複数の部位に関する部位情報を取得し、記憶部は、分析対象の複数の部位それぞれについて、特性の目標値を記録しており、被検者誘導部は、分析対象の複数の部位が特性の目標値に近づくように、被検者の撮像状態を誘導する。

【0088】

（６）特性の目標値は、特性の値の目標範囲であり、特性の条件は、特性が目標範囲に収まることであり、記憶部は、分析対象の部位が１つである場合と複数である場合と、同一の特性について異なる目標範囲を記録しており、被検者誘導部は、分析対象の部位の数が１つであるか複数であるかに応じて、誘導に用いる目標範囲を変更する。

【0089】

（７）被検者誘導部は、誘導前後の被検者の撮像状態を比較し、比較結果に応じて被検者の撮像状態を誘導する方法を変更する。

【0090】

（８）被検者誘導部は、被検者の過去の撮像状態を記憶し、記憶した過去の撮像状態と等しくなるように被検者の撮像状態を誘導する。

【0091】

（９）本開示の一実施例に係る撮像誘導方法は、顔の部位ごとに、部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、被検者の分析対象の顔の部位に関する部位情報を取得することと、分析対象の顔の部位を含む顔画像から分析対象の顔の部位の部位画像を抽出することと、取得した部位情報と抽出した部位画像と部位情報に対応する特性の目標値とに基づいて、被検者の撮像状態を誘導することと、を含む、コンピュータによって実行される。

【0092】

（１０）本開示の一実施例に係るプログラムは、顔の部位ごとに、部位を撮影した画像である部位画像の特性の目標とすべき条件を記憶することと、被検者の分析対象の顔の部位に関する部位情報を取得することと、分析対象の顔の部位を含む顔画像から分析対象の顔の部位の部位画像を抽出することと、取得した部位情報と抽出した部位画像と部位情報に対応する特性の目標値とに基づいて、被検者の撮像状態を誘導することと、をコンピュータに実行させる。

【0093】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0094】

１００ 撮像誘導装置
１０１ 記憶装置
１０２ プロセッサ
１０３ ユーザインタフェース装置
１０４ 通信装置
１１０ 画像取得部
１１１ 表示制御部
１１２ 部位情報取得部
１１３ 部位画像抽出部
１１４ 被検者誘導部

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】