特開 2024-94181 シワ検出方法、コンピュータプログラム及びシワ検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094181

(43)【公開日】2024-07-09

(54)【発明の名称】シワ検出方法、コンピュータプログラム及びシワ検出システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240702BHJP

   G06T 7/60 20170101ALI20240702BHJP

【ＦＩ】

G06T7/00 660A

G06T7/60 300A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022210979

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100224719

【弁理士】

【氏名又は名称】長谷川 隆治

(72)【発明者】

【氏名】倉田 智宏

(72)【発明者】

【氏名】黒住 元紀

(72)【発明者】

【氏名】福島 遥香

(72)【発明者】

【氏名】大石 貴矢

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096AA06

5L096CA04

5L096EA39

5L096EA43

5L096FA04

5L096FA06

5L096FA16

5L096FA59

5L096FA60

5L096FA62

5L096FA66

5L096FA67

5L096FA69

5L096GA10

5L096GA34

5L096GA55

5L096HA11

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】画像中における個別のシワ検出を行う為の新規な技術を提供すること。
【解決手段】コンピュータが実行するシワ検出方法であって、入力画像を受け付ける入力画像受付工程と、前記入力画像から、シワ部の候補輪郭を決定する候補輪郭決定工程と、前記候補輪郭の特徴量を算出する特徴量算出工程と、シワ部のアノテーションを用いて学習したシワ部の検出モデルに対して、前記シワ部の候補輪郭特徴量を入力してシワ部を検出するシワ検出工程と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータが実行するシワ検出方法であって、
入力画像を受け付ける入力画像受付工程と、
前記入力画像から、シワ部の候補輪郭を決定する候補輪郭決定工程と、
前記候補輪郭の特徴量を算出する特徴量算出工程と、
シワ部のアノテーションを用いて学習したシワ部の検出モデルに対して、前記シワ部の候補輪郭特徴量を入力してシワ部を検出するシワ検出工程と、を有するシワ検出方法。

【請求項2】

前記候補輪郭決定工程は、第一のウィンドウサイズで前記入力画像に対するフィルタ処理を行い、第一候補輪郭を決定する第一候補輪郭決定工程と、
前記第一のウィンドウサイズよりも大きな第二のウィンドウサイズで前記入力画像に対するフィルタ処理を行い、第二候補輪郭を決定する第二候補輪郭決定工程と、を含み、
さらに、非シワ部のアノテーションを用いて学習した非シワ部の検出モデルに対して、前記非シワ部の候補輪郭特徴量を入力して非シワ部を検出する非シワ検出工程と、
前記シワ検出工程及び前記非シワ検出工程において検出した前記シワ部及び前記非シワ部をマスク処理して、前記入力画像と合成する画像出力工程を有する請求項１に記載のシワ検出方法。

【請求項3】

前記マスク処理により生成したシワ要素を前記入力画像と合成する、請求項２に記載のシワ検出方法。

【請求項4】

前記入力画像は諧調画像であり、
前記フィルタ処理は、前記入力画像に対する二値化フィルタ処理である請求項２に記載のシワ検出方法。

【請求項5】

前記二値化フィルタ処理は、適応二値化処理である請求項４に記載のシワ検出方法。

【請求項6】

前記シワ検出工程では、前記シワ部の検出モデルに対して前記シワ部の候補輪郭特徴量を入力してシワ部のセグメンテーションを作成する請求項１に記載のシワ検出方法。

【請求項7】

前記シワ検出工程では、各候補輪郭に対して、複数の異なる検出モデルを用いてモデル別の分類推定値を算出し、複数の前記分類推定値を用いてシワ部を検出する請求項１に記載のシワ検出方法。

【請求項8】

前記シワ検出工程で用いる検出モデルは、ランダムフォレスト、多層パーセプトロン、及びカルマンフィルタを少なくとも一つを含む請求項１に記載のシワ検出方法。

【請求項9】

前記入力画像は動画中のフレーム画像であり、
前記シワ検出工程では、各候補輪郭に対して、検出モデルとしてカルマンフィルタを適用し、前のフレーム画像における分類推定値を用いて現フレーム画像の分類推定値を算出する請求項８に記載のシワ検出方法。

【請求項10】

特徴量算出工程で算出する前記特徴量は、以下の（ａ）～（ｅ）を少なくとも一つを含む請求項１に記載のシワ検出方法：
（ａ）前記入力画像中における基準部から見た前記候補輪郭の位置情報、
（ｂ）前記候補輪郭の色度、及び候補輪郭周辺領域の色度に基づく色情報、
（ｃ）前記候補輪郭の面積、
（ｄ）前記候補輪郭の円形度、及び
（ｅ）前記候補輪郭に対する直線フィッティングの傾き。

【請求項11】

前記入力画像は対象者の目、額、頬及び全顔を含み、
前記位置情報は、入力画像中における対象者の目から見た前記候補輪郭の相対位置を示す請求項１０に記載のシワ検出方法。

【請求項12】

前記候補輪郭周辺領域の色度は、ある候補輪郭の外接矩形内における1又は複数の候補輪郭領域外の色度を含む請求項１０に記載のシワ検出方法。

【請求項13】

請求項１～１２のうちのいずれか一項に記載のシワ検出方法を前記コンピュータに実行させる、コンピュータプログラム。

【請求項14】

シワ検出装置であって、
入力画像を受け付ける受付部と、
前記入力画像から、シワ部の候補輪郭を決定する候補輪郭決定部と、
前記候補輪郭の特徴量を算出する特徴量算出部と、
シワ部のアノテーションを用いて学習したシワ部検出モデルに対して、前記シワ部の候補輪郭特徴量を入力してシワ部を検出するシワ検出部と、を備えるシワ検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シワ検出方法、コンピュータプログラム及びシワ検出システムに関する。

【背景技術】

【0002】

従来から、シワに着目して被験者の肌を分析する方法が、種々開発されてきた。例えば特許文献１には、動画像に含まれる被験者の顔の表情の変化に基づき、被験者の顔の解析領域に予め配列された複数の追跡点の変化量を追跡し、当該変化量から前記解析領域における肌の圧縮率を取得する追跡ステップと、追跡ステップにより得られる圧縮率に基づいて被験者の肌状態を解析する肌状態解析ステップとを有することを特徴とする画像解析方法が記載されている。

【0003】

特許文献２には、皮膚表面の所定位置が所定長、所定時間が変位するように皮膚を動かすシワのくせづけの前後で顔画像を撮り、シワが形成又は強調された状態（以下、シワの形成状態という）を複数段階に評価したシワのスコアインデックスに基づき、シワのくせづけ前の顔画像とシワのくせづけ後の顔画像のそれぞれについてシワの形成状態のスコア値を得、シワのくせづけ後の顔画像のシワの形成状態のスコア値と、シワのくせづけ前の顔画像のシワの形成状態のスコア値との差を皮膚の折り目ジワの評価値とする折り目ジワの評価方法が記載されている。

【0004】

特許文献３には、教師用肌画像の被写肌共通の属性又は状態を示す正解情報とその教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている学習済みの判別モデルを利用可能な一以上のプロセッサが、評価用肌画像を取得し、取得された評価用肌画像から所定画像サイズの肌パッチ画像群を取得し、取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行い、正規化された各肌パッチ画像をそれぞれ当該判別モデルに入力することで、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する肌画像分析方法が記載されている。

【0005】

特許文献４には、皮膚の診断装置であって、前記記憶部は、複数であるＮ個の各皮膚の徴候について、Ｎ個の各皮膚の徴候診断を判定するために画像のピクセルを分類する畳み込みニューラルネットワークであるＣＮＮを記憶して提供し、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候のそれぞれに関する皮膚の徴候データを使用して学習され、前記処理部は、前記画像を受信し、前記ＣＮＮを用いて前記画像を処理し、前記Ｎ個の各皮膚の徴候診断を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４－１９３１９７号公報

【特許文献2】特開２０２２－０４５２８０号公報

【特許文献3】特開２０２２－０７８９３６号公報

【特許文献4】特表２０２２－５１２０４４号公報

【0007】

ここで、特許文献１，２に記載の技術では、被験者の顔に追跡用のマークを配置して、シワ検出を行っていた。特許文献３，４に記載の技術では、ニューラルネットワーク等を用いて、肌の評価を行っていた。一方で、特許文献１～４には、機械学習モデルを用いて、画像中における個別のシワ検出を行う技術については開示されていない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、機械学習モデルを用いて、画像中における個別のシワ検出を行う新規な技術を提供することを課題とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明は、コンピュータが実行するシワ検出方法であって、
入力画像を受け付ける入力画像受付工程と、
前記入力画像から、シワ部の候補輪郭を決定する候補輪郭決定工程と、
前記候補輪郭の特徴量を算出する特徴量算出工程と、
シワ部のアノテーションを用いて学習したシワ部の検出モデルに対して、前記シワ部の候補輪郭特徴量を入力してシワ部を検出するシワ検出工程と、を有する。

【0010】

このような構成とすることで、入力画像中のシワ部の候補輪郭を決定し、シワ部のアノテーションを用いて学習した検出モデルを利用してシワ部の検出を行うことができる。

【0011】

本発明の好ましい形態では、前記候補輪郭決定工程は、第一のウィンドウサイズで前記入力画像に対するフィルタ処理を行い、第一候補輪郭を決定する第一候補輪郭決定工程と、
前記第一のウィンドウサイズよりも大きな第二のウィンドウサイズで前記入力画像に対するフィルタ処理を行い、第二候補輪郭を決定する第二候補輪郭決定工程と、を含み、
さらに、非シワ部のアノテーションを用いて学習した非シワ部の検出モデルに対して、前記非シワ部の候補輪郭特徴量を入力して非シワ部を検出する非シワ検出工程と、
前記シワ検出工程及び前記非シワ検出工程において検出した前記シワ部及び前記非シワ部をマスク処理して、前記入力画像と合成する画像出力工程を有する。

【0012】

本発明の好ましい形態では、前記マスク処理により生成したシワ要素を前記入力画像と合成する。

【0013】

本発明の好ましい形態では、前記入力画像は諧調画像であり、
前記フィルタ処理は、前記入力画像に対する二値化フィルタ処理である。

【0014】

本発明の好ましい形態では、前記二値化フィルタ処理は、適応二値化処理である。

【0015】

本発明の好ましい形態では、前記シワ検出工程では、前記シワ部の検出モデルに対して前記シワ部の候補輪郭特徴量を入力してシワ部のセグメンテーションを作成する。

【0016】

このような構成とすることで、例えば顔画像において、シワなどのミクロな特徴と、ほうれい線等のよりマクロな特徴について、それぞれ検出を行うことができ、シワ部のセグメンテーションを表示したマスク画像を生成することができる。

【0017】

本発明の好ましい形態では、前記シワ検出工程では、各候補輪郭に対して、複数の異なる検出モデルを用いてモデル別の分類推定値を算出し、複数の前記分類推定値を用いてシワ部を検出する。

【0018】

本発明の好ましい形態では、前記シワ検出工程で用いる検出モデルは、ランダムフォレスト、多層パーセプトロン、及びカルマンフィルタを少なくとも一つを含む。

【0019】

本発明の好ましい形態では、前記入力画像は動画中のフレーム画像であり、
前記シワ検出工程では、各候補輪郭に対して、検出モデルとしてカルマンフィルタを適用し、前のフレーム画像における分類推定値を用いて現フレーム画像の分類推定値を算出する。

【0020】

このような構成とすることで、複数のモデル別の分類推定値を用いてシワ部検出が可能となり、誤検出等のリスク低減が期待される。

【0021】

本発明の好ましい形態では、特徴量算出工程で算出する前記特徴量は、以下の（ａ）～（ｅ）を少なくとも一つを含む請求項１に記載のシワ検出方法：
（ａ）前記入力画像中における基準部から見た前記候補輪郭の位置情報、
（ｂ）前記候補輪郭の色度、及び候補輪郭周辺領域の色度に基づく色情報、
（ｃ）前記候補輪郭の面積、
（ｄ）前記候補輪郭の円形度、及び
（ｅ）前記候補輪郭に対する直線フィッティングの傾き。

【0022】

本発明の好ましい形態では、前記入力画像は対象者の目、額、頬及び全顔を含み、
前記位置情報は、入力画像中における対象者の目から見た前記候補輪郭の相対位置を示す。

【0023】

本発明の好ましい形態では、前記候補輪郭周辺領域の色度は、ある候補輪郭の外接矩形内における1又は複数の候補輪郭領域外の色度を含む。

【0024】

このような構成とすることで、画像中における顔の位置が変化したり、光の反射具合が変化した場合であっても、誤検出等のリスク低減が期待される。

【0025】

また、本発明は、前記シワ検出方法を前記コンピュータ装置に実行させる、コンピュータプログラムである。

【0026】

また、本発明は、シワ検出装置であって、
入力画像を受け付ける受付部と、
前記入力画像から、シワ部の候補輪郭を決定する候補輪郭決定部と、
前記候補輪郭の特徴量を算出する特徴量算出部と、
シワ部のアノテーションを用いて学習したシワ部検出モデルに対して、前記シワ部の候補輪郭特徴量を入力してシワ部を検出するシワ検出部と、を備える。

【発明の効果】

【0027】

本発明は、機械学習モデルを用いて、画像中における個別のシワ検出を行う新規な技術を提供することができる。

【図面の簡単な説明】

【0028】

【図1】一実施の形態のシステムの機能構成を示すブロック図。

【図2】一実施の形態のシステムのハードウェア構成図。

【図3】一実施の形態の特徴量の一覧。

【図4】一実施の形態の特徴量の算出例。

【図5】一実施の形態の特徴量の算出例。

【図6】一実施の形態の学習処理の処理フローチャート。

【図7】一実施の形態のシワ検出処理の処理フローチャート。

【発明を実施するための形態】

【0029】

以下、添付図面を参照して、本発明をよりに詳細に説明する。図面には好ましい実施形態が示されるが、本発明は、異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。本実施形態では学習装置、シワ検出装置の構成、動作等について説明するが、装置等により実行される方法、コンピュータプログラム等によっても、同様の作用効果を奏することができる。コンピュータプログラムは、コンピュータが読み取り可能な非一過性の記録媒体として提供されてもよい。

【0030】

＜１．システム構成＞
図１は、一実施の形態のシステムの構成を示すブロック図である。図１に示すように、シワ検出システム０は、学習装置１、シワ検出装置２、端末装置３、及び撮像装置４を備える。

【0031】

学習装置１及びシワ検出装置２としては、汎用のサーバやパーソナルコンピュータ等の情報処理装置１０を１又は複数利用することができる。学習装置１及びシワ検出装置２は、同じ情報処理装置１０に構成されてもよいし、別々の情報処理装置１０に構成されてもよい。また、学習装置１及びシワ検出装置２は、後述する機能構成を備えているが、学習装置１の備えた機能構成の一部が、学習装置１と通信可能に構成された別の装置に配置されてもよい。同様に、シワ検出装置２の備えた機能構成の一部が、学習装置１やシワ検出装置２と通信可能に構成された別の装置に配置されてもよい。

【0032】

撮像装置４は、学習装置１及びシワ検出装置２に対して、画像を受け渡すための装置であり、本実施形態では、動画撮影機能を備えたビデオカメラを用いる。撮像装置４は、静止画撮影機能を備えたカメラであってもよい。

【0033】

端末装置３は、撮像装置４が撮像した顔画像（動画含む）を学習装置１及びシワ検出装置２に受け渡したり、学習装置１及びシワ検出装置２に対する情報の入出力に用いられる。端末装置３としては、パーソナルコンピュータやスマートフォン、タブレット端末、パーソナルコンピュータ等の端末装置９０を利用することができる。端末装置３は複数台用いられてもよいし、１台であってもよい。同様に撮像装置４も複数台用いられてもよいし、１台であってもよい。また、端末装置３が動画撮影機能や静止画撮影機能を備える場合、端末装置３が撮像装置４を兼ねても構わない。

【0034】

本実施形態では、端末装置３及び撮像装置４をそれぞれ複数台用いることとし、学習装置１に対する情報の入出力を行う端末装置３を端末装置３１、端末装置３１を介して学習装置１に顔画像を受け渡す撮像装置４を撮像装置４１とする。また、シワ検出装置２に対する情報の入出力を行う端末装置３を端末装置３２、端末装置３２を介してシワ検出装置２に顔画像を受け渡す撮像装置４を撮像装置４２とする。区別不要な場合には、単に端末装置３及び撮像装置４と呼称する場合もある。

【0035】

これらの装置は、ＩＰ（Internet Protocol）ネットワーク等、任意の通信プロトコルを用いる任意のネットワークを介して通信を行ってもよい。

【0036】

＜１．１．ハードウェア構成＞
図２は、ハードウェア構成図である。図２（ａ）に示すように、情報処理装置１０（学習装置１及びシワ検出装置２）は、処理部１０１、記憶部１０２、及び通信部１０３を有し、各部及び各工程の作用発揮に用いられる。

【0037】

処理部１０１は、命令セットを実行可能なＣＰＵなどのプロセッサを有し、ＯＳ並びに、学習プログラム（学習装置１の場合）又はシワ検出プログラム（シワ検出装置２の場合）等を実行する。
記憶部１０２は、命令セットを記憶可能なＲＡＭなどの揮発性メモリ、ＯＳ、学習プログラム、又はシワ検出プログラム等を記録可能な、ＨＤＤやＳＳＤなどの不揮発性の記録媒体を有する。
通信部１０３は、ネットワークに物理的に接続するためのインタフェースを有し、ネットワークとの通信制御を実行して、他の情報処理装置１０や端末装置９０との通信を行う。

【0038】

図２（ｂ）に示すように、端末装置９０（端末装置３）は、処理部９０１、記憶部９０２、通信部９０３、入力部９０４、及び出力部９０５を有し、各部及び各工程の作用発揮に用いられる。

【0039】

処理部９０１は、命令セットを実行可能なＣＰＵなどのプロセッサを有し、ＯＳ並びに、学習装置利用プログラム（端末装置３１の場合）又はシワ検出装置利用プログラム（端末装置３２の場合）等を実行する。
学習装置利用プログラム及びシワ検出装置利用プログラムは、学習装置１及びシワ検出装置２に対する操作、データ等の入力、出力結果の表示等を行う為のプログラムであるが、例えば、ウェブブラウザを介して利用可能なウェブプログラムとして端末装置３１及び端末装置３２に利用可能に提供されても構わない。
記憶部９０２は、命令セットを記憶可能なＲＡＭなどの揮発性メモリ、ＯＳ並びに、学習装置利用プログラム又はシワ検出装置利用プログラム等を記録可能な、ＨＤＤやＳＳＤなどの不揮発性の記録媒体を有する。
通信部９０３は、ネットワークに物理的に接続するためのインタフェースを有し、ネットワークとの通信制御を実行して、情報処理装置１０との通信を行う。
入力部９０４は、タッチパネルやキーボードなどの入力処理が可能な操作入力デバイス、マイクなどの音声入力が可能な音声入力デバイス、カメラなどの画像入力が可能な画像入力デバイスを有する。
出力部９０５は、ディスプレイなどの表示処理が可能な表示デバイス、スピーカなどの音声出力デバイスを有する。

【0040】

＜１．２．シワ検出システム０の機能構成＞
図１に示すように、学習装置１は、受付部１１、候補輪郭決定部１２、特徴量算出部１３、分類付与部１４、シワ検出モデル学習部１５、及び非シワ検出モデル学習部１６を備える。また、シワ検出装置２は、受付部２１、候補輪郭決定部２２、特徴量算出部２３、シワ検出部２４、非シワ検出部２５、及びマスク画像表示部２６を備える。
これは、ソフトウェア（記憶部１０２等に一過的又は非一過的に記憶された学習プログラム／シワ検出プログラム）による情報処理が、ハードウェア（処理部１０１等）によって具体的に実現されたものである。

【0041】

ここで、「非シワ」とは、シワ以外の、例えば、シミ、ほくろ、毛穴、毛髪、ほうれい線等を指す。

【0042】

＜１．３．入力画像＞
撮像装置４は、検出モデルの学習又は学習モデルを用いたシワ検出の為に入力される画像を取得し、端末装置３を介して受付部１１、２１に受け渡す。本実施形態では、入力画像は、対象者の目、額、頬及び全顔を含むのもとするが、これらの一部だけを含む入力画像を用いて、学習及びシワ検出を行うように構成してもよい。入力画像は、例えば、カラー又はグレースケールの諧調画像である。

【0043】

受付部１１、２１は入力画像を受け付ける。入力画像は、画像ファイル形式で入力されてもよいし、動画ファイル形式で入力されてもよい。受付部１１、２１は、入力画像が動画ファイル形式の場合、動画のフレーム画像を画像ファイル形式に変換し、動画の時系列を保持した状態で画像ファイルを記憶部１０２に格納する。ここで、時系列を保持した状態とは、例えば、画像ファイルのファイル名にフレームのシリアル番号を含める等、フレーム画像の順番を示す情報が含まれた状態を指す。その他、画像のファイル名に対して、順番等を紐付けて記憶領域に格納する等、任意の方法で時系列が保持されてよい。

【0044】

＜１．４．候補輪郭の決定＞
候補輪郭決定部１２、２２は、入力画像中のシワ部、及び非シワ部の候補輪郭を決定する。候補輪郭決定部１２、２２は、第一のウィンドウサイズで入力画像に対するフィルタ処理を行って、入力画像中における連続領域を決定し、第一候補輪郭とすると共に、第一のウィンドウサイズよりも大きな第二のウィンドウサイズで同様の入力画像に対するフィルタ処理を行って、入力画像中における連続領域を決定し、第二候補輪郭とする。

【0045】

フィルタ処理は、例えば、所定の畳み込みウィンドウサイズおける二値化処理であり、本実施形態では、候補輪郭決定部１２、２２は、入力画像に対して所定のウィンドウサイズでの適応二値化処理を行うこととする。例えば、入力画像が４０００×３０００ｐｉｘｅｌｓの時に、第一のウィンドウサイズは例えば４１×４１ｐｉｘｅｌｓであり、第ニのウィンドウサイズは例えば１２１×１２１ｐｉｘｅｌｓであるが、ウィンドウサイズは任意に設定してもよい。第ニのウィンドウの一辺は、好ましくは第一のウィンドウの２倍以上の長さであり、好ましくは２．５倍以上の長さであり、好ましくは第一ウィンドウの４倍以下の長さであり、好ましくは３．５倍以下の長さであり、好ましくは３倍以下の長さである。第ニのウィンドウの面積は、好ましくは第一のウィンドウの４倍以上の面積であり、好ましくは８倍以上の面積となり、好ましくは第一のウィンドウの１６倍以下の面積であり、好ましくは９倍以下の面積である。なお、候補輪郭決定部１２、２２は、フィルタ処理によって得られた個々の候補輪郭に対してシリアル番号やＩＤ等の識別子を発行すると共に、候補輪郭を特定可能な座標点等と紐付けて格納し、セグメントを区別可能に格納してもよい。

【0046】

＜１．５．特徴量算出処理＞
特徴量算出部１３、２３は、候補輪郭決定部１２、２２が決定した第一候補輪郭、及び第二候補輪郭のそれぞれについて特徴量を算出する。本実施形態では、特徴量算出部１３、２３は、候補輪郭毎に複数属性の特徴量を算出することとする。図３は、本実施形態で特徴量算出部１３、２３が算出する特徴量の一覧である。

【0047】

特徴量算出部１３、２３は、位置属性の特徴量として、（ａ）入力画像中における基準部から見た候補輪郭の位置情報を算出し、第一特徴量とする。本実施形態では、特徴量算出部１３、２３は任意の画像処理を実行して入力画像中の目検出処理を行い、第一特徴量として、目を基準部とし、基準部から見た候補輪郭の相対位置の情報として、候補輪郭の任意の点までの極座標（角度及び距離）を算出する。

【0048】

＜１．６．特徴量＞
図４は、特徴量の算出例を示す。符号（ａ）は第一特徴量の算出例である。図示例では、特徴量算出部１３、２３は、入力画像に対して既知の目検出処理を行って目領域の中心を検出し、目領域のバウンディングボックス（外部接線矩形）中心を原点とし、候補輪郭の重心位置までの極座標（ｒ，θ）を算出して、第一特徴量とする。なお、基準部は目以外であってもよく、例えは鼻や口、全顔等であってもよい。相対位置は任意の座標系における座標であってよい。座標系の原点は入力画像の端点等であってもよいが、入力画像内の顔の位置による影響が低減される為、基準部を原点とすることが好ましい。

【0049】

原点の位置は、基準部の輪郭や輪郭の外接矩形等の中心座標、重心座標、縁部上の座標、端点座標等、基準部に紐づく任意の座標を用いることができる。同様に、候補輪郭の座標は、候補輪郭や候補輪郭の外接矩形等の中心座標、重心座標、縁部上の座標、端点座標等、候補輪郭に紐づく任意の座標を用いることができる。

【0050】

また、特徴量量算出部１３、２３は、更に、色属性の特徴量として、（ｂ）候補輪郭の色度、及び候補輪郭周辺領域の色度に基づく色情報を算出し、第二特徴量とする。

【0051】

図５は、第二特徴量の算出例を示す。図示例では、特徴量算出部１３、２３は、入力画像（諧調画像）の候補輪郭周辺領域における色度の平均と、候補輪郭の色度の平均の差分値を算出し、色情報とする。ここで、候補輪郭（Ｌ_ｉ）についての候補輪郭周辺領域Ｐ_ｉとは、候補輪郭（Ｌ_ｉ）の外接矩形内等、候補輪郭（Ｌ_ｉ）の周囲において、ｉ番目のシワ候補（Ｌ_ｉ）輪郭内領域外かつ、ｉ番目以外のシワ候補（Ｌ_ｊ）輪郭内領域外とする（式（１））。候補輪郭は対象物Ｌ_ｉである。

【0052】

【数1】

【0053】

また、特徴量算出部１３、２３は、更に、大きさ属性の特徴量として、（ｃ）候補輪郭の面積を算出し、第三特徴量とする。面積は、例えば、候補輪郭内のピクセル数等により求まる。面積は、目や鼻、全顔等の比較対象の面積との相対値であってもよい。

【0054】

また、特徴量算出部１３、２３は、更に、形状属性の特徴量として、（ｄ）候補輪郭の円形度を算出し、第四特徴量とする。円経度は、例えば式（２）で求める。

【0055】

【数2】

【0056】

また、特徴量算出部１３、２３は、更に、向き属性の特徴量として、（ｅ）前記候補輪郭に対する直線フィッティングの傾きを算出し、第五特徴量とする。特徴量算出部１３、２３は、候補輪郭に対して直線フィッティング処理を行い、直線の傾きを算出する。

【0057】

＜１．７．教師データの作成＞
分類付与部１４は、候補輪郭毎にアノテーションを付与し、特徴量算出部１３が算出した第一～第五特徴量とアノテーションを紐づけることで、検出モデルを学習する為の教師データを生成する。本実施形態では、分類付与部１４は、第一候補輪郭の特徴量と分類情報を紐づけることで、シワ部検出モデルを学習する為の教師データを生成し、第二候補輪郭の特徴量と分類情報を紐づけることで、非シワ部検出モデルを学習する為の教師データを生成する。

【0058】

分類情報はアノテーションを示す情報であり、例えば、シワ、シミ、ほくろ、毛穴、毛髪、ほうれい線、その他等の対象物の種別を示す情報であり、候補輪郭のセグメンテーションは、設定された分類情報に応じて、異なる色で呈色される。なお、分類情報は、例えば、シワと非シワの２種類等であってもよく、後述の学習処理や検出モデルでの判定においても、シワと非シワを分類するようにしてもよい。

【0059】

本実施形態では、分類付与部１４は、候補輪郭決定部１２が決定した１又は複数の第一候補輪郭、並びに１又は複数の第二候補輪郭を入力画像にマスク処理して端末装置３１に表示させると共に、候補輪郭毎に分類情報の登録を受け付ける。ここで、非シワ部の候補輪郭内に位置するシワ部の候補輪郭については、教師データから除外してもよい。この時、一部だけが非シワ部の候補輪郭内に位置するシワ部の候補輪郭についても、教師データから除外しよい。或いは、非シワ部の候補輪郭内に位置するシワ部の候補輪郭については、非シワ部に対して設定された分類情報が設定されるようにしてもよい。この時、一部だけが非シワ部の候補輪郭内に位置するシワ部の候補輪郭についても、非シワ部に対して設定された分類情報が設定されるようにしてもよい。

【0060】

＜１．８．学習処理＞
シワ検出モデル学習部１５は、候補輪郭決定部１２が決定した第一候補輪郭に対して特徴量算出部１３が算出した特徴量（候補輪郭特徴量）と、分類付与部１４を介して設定された分類情報と、の組み合わせを教師データとして、機械学習モデルであるシワ検出モデルの学習処理を行う。ここで、同様に、非シワ検出モデル学習部１６は、候補輪郭決定部１２が決定した第二候補輪郭に対して特徴量算出部１３が算出した特徴量（候補輪郭特徴量）と、分類付与部１４を介して設定された分類情報と、の組み合わせを教師データとして、機械学習モデルである非シワ検出モデルの学習処理を行う。

【0061】

シワ検出モデル学習部１５は、シワ検出モデルとして複数種類の機械学習モデルを学習する。同様に、非シワ検出モデル学習部１６は、非シワ検出モデルとして複数種類の機械学習モデルを学習処理する。本実施形態では、シワ検出モデル学習部１５は、第一候補輪郭の教師データのセットを用いてランダムフォレスト及び多層パーセプトロンを学習処理する。また、非シワ検出モデル学習部１６は、第二候補輪郭の教師データのセットを用いて、ランダムフォレスト及び多層パーセプトロンを学習処理する。なお、シワ検出モデル学習部１５及び非シワ検出モデル学習部１６は、同じ教師データのセットを用いてランダムフォレスト及び多層パーセプトロンを学習処理してもよいし、一部又は全部が異なる教師データを用いてそれぞれを学習処理してもよい。

【0062】

＜１．９．シワ検出＞
シワ検出部２４は、シワ検出モデル学習部１５によって学習処理されたシワ検出モデルに対して第一候補輪郭の特徴量を入力することで分類推定値を算出し、第一候補輪郭に対して分類情報を付与する。これにより、シワ部及び非シワ部を検出する。分類推定値は、入力された特徴量が、何れの分類情報に分類されるかを示す。本実施形態では、まず、シワ検出モデル学習部１５によって学習処理されたランダムフォレスト及び多層パーセプトロンの検出モデルのそれぞれに特徴量を入力して、それぞれの検出モデルにおける分類推定値を算出する。そして、例えば、式（３）に示すように、複数の検出モデルを介して算出した分類推定値を用いて、該第一候補輪郭の分類推定値を決定する。式（３）において、符号ｉは入力画像中における候補輪郭の番号を、Ｐ_ｒｆｉ及びｗ_ｒｆは、ランダムフォレストを用いて算出した候補輪郭ｉの分類推定値及び分類推定値の重みを、Ｐ_ｍｐｉ及びｗ_ｍｐは、多層パーセプトロンを用いて算出した候補輪郭ｉの分類推定値及び分類推定値の重みを、Ｐ_ｉは最終的な候補輪郭ｉの分類推定値を示す。なお、重みの値は一例であり、任意に設定してよい。

【0063】

【数3】

【0064】

ここで更に、入力画像が動画であり、経時的に連続する複数のフレーム画像について、シワ部のセグメンテーションを行う場合、カルマンフィルタを用いて分類推定値を算出する。例えば、式（４）に示すように、更に、カルマンフィルタを含む複数の検出モデルを介して算出した分類推定値を用いて、該フレーム画像における該第一候補輪郭の分類推定値を決定してもよい。式（４）において、符号ｈはフレーム画像の番号を示し、シワ検出部２４は、カルマンフィルタに対して前フレームｈ－１のフレーム画像における同じ候補輪郭（ｈ－１）ｉの分類推定値Ｐ_{（ｈ－１）ｉ}を用いて、現フレーム画像における分類推定値Ｐ_ｈｉを算出する。なお、式（３）同様に重みは一例であり、任意に設定してよい。なお、前のフレーム画像とは、必ずしも動画中の直前のフレーム画像でなくてもよいが、時系列的に近接したフレーム画像であることが好ましい。

【0065】

【数4】

【0066】

非シワ検出部２５は、シワ検出部２４と同様に、非シワ検出モデル学習部１６によって学習処理された非シワ検出モデルに対して第二候補輪郭の特徴量を入力することで分類推定値を算出し、第二候補輪郭に対して分類情報を付与する。これにより、シワ部及び非シワ部を検出する。例えば、式（３）に示すように、複数の検出モデルを介して算出した分類推定値を用いて、該第一候補輪郭の分類推定値を決定する。また、入力画像が動画であり、経時的に連続する複数のフレーム画像について、非シワ部のセグメンテーションを行う場合、式（４）に示すように、カルマンフィルタを用いて分類推定値を算出する。

【0067】

なお、本実施形態では、シワ検出部２４及び非シワ検出部２５は、分類情報によって、ほくろ、ほうれい線等のセグメンテーションを区別可能に分類するが、これらシワ以外のセグメンテーションを総称して非シワ部と呼称する。

【0068】

マスク画像表示部２６は、シワ検出部２４が算出した分類推定値と、非シワ検出部２５が算出した分類推定値を用いてマスク画像を生成し、端末装置３２に、入力画像に対して、シワ部及び非シワ部のセグメンテーションを重畳表示させる。なお、入力画像が動画の場合は、マスク画像表示部２６は端末装置３２にシワ部及び非シワ部のセグメンテーションが重畳された動画を表示させてもよい。

【0069】

シワ検出部２４が算出した分類推定値から各第一候補輪郭の分類情報が決定し、非シワ検出部２５が算出した分類推定値から各第二候補輪郭の分類情報が決定する。マスク画像表示部２６は、各第一候補輪郭の分類情報と、各第二候補輪郭の分類情報と、を用いてシワ部のセグメンテーション、及び非シワ部のセグメンテーションを塗りつぶし等し、入力画像と重ねたマスク画像を生成する。なお、マスク画像表示部２６は、セグメンテーション縁部を呈色する等して、マスク画像を生成してもよい。

【0070】

シワ検出部２４が検出したシワ部（第一候補輪郭のうち、シワに分類されたセグメンテーション）をシワ分類第一候補輪郭、検出した非シワ部（第一候補輪郭のうち、非シワ部に分類されたセグメンテーション）を非シワ分類第一候補輪郭とする。また、非シワ検出部２５が検出したシワ部（第二候補輪郭のうち、シワに分類されたセグメンテーション）をシワ分類第二候補輪郭、検出した非シワ部（第二候補輪郭のうち、非シワ部に分類されたセグメンテーション）を非シワ分類第二候補輪郭とする。

【0071】

このとき、例えば、マスク画像表示部２６は、シワ分類第一候補輪郭、及びシワ分類第二候補輪郭を、最終的なシワ部のセグメンテーションとして決定してもよい。この時、シワ分類第一候補輪郭の誤検知を除外する為に、マスク画像表示部２６は、シワ分類第一候補輪郭のうち、ピクセルの一部又は全部が非シワ分類非シワ部候補輪郭のセグメンテーション内に含まれるシワに分類されたセグメンテーションについて除外を行い、最終的なシワ部のセグメンテーションを決定してもよい。ピクセルの一部が含まれる場合、候補輪郭全体を除外してもよいし、含まれたピクセルの部分を候補輪郭から除外するようにしてもよい。

【0072】

同様に、例えば、マスク画像表示部２６は、非シワ分類第二候補輪郭、及び非シワ分類第一候補輪郭を、最終的な非シワ部のセグメンテーションとして決定してもよい。また、非シワ分類第二候補輪郭の誤検知を除外する為に、マスク画像表示部２６は、非シワ分類第二候補輪郭のうち、ピクセルの一部又は全部がシワ分類シワ部候補輪郭のセグメンテーション内に含まれる非シワに分類されたセグメンテーションについて除外を行い、最終的な非シワ部のセグメンテーションを決定してもよい。ピクセルの一部が含まれる場合、候補輪郭全体を除外してもよいし、含まれたピクセルの部分を候補輪郭から除外するようにしてもよい。

【0073】

なお、マスク画像表示部２６は、第一候補輪郭内を分類推定値に応じた色で塗りつぶし、第一候補輪郭外を透過した第一マスク画像と、第二候補輪郭内を分類推定値に応じた色で塗りつぶし、第二候補輪郭を透過した第一マスク画像と、を入力画像に重ねることで、シワ部及び非シワ部のセグメンテーションを行ってもよい。この時、入力画像を最も下のレイヤに、第一マスク画像をその次のレイヤに、第二マスク画像をその上のレイヤとして重ねることで、第一マスク画像において誤検出されたシワ部（本来は非シワ部）を、第二マスク画像のセグメンテーションによって除外してもよい。

【0074】

＜２．学習処理手順＞
次いで、図６を用いて、学習処理の手順について説明する。ステップＳ１０１において、受付部１１は、教師データを作成する動画ファイルの指定を受け付け、ステップＳ１０２において、該動画ファイル中のフレーム画像の指定を受け付け、入力画像とする。

【0075】

ステップＳ１０３において、候補輪郭決定部１２は、入力画像に対して、第一のウィンドウサイズである小さい窓を用いて適応二値化処理を行い、ミクロな特徴量を抽出する。ステップＳ１０４において、適応二値化処理された入力画像中における連続領域を第一候補輪郭とする。同様に、ステップＳ１０３において、候補輪郭決定部１２は、入力画像に対して、第二のウィンドウサイズである大きい窓を用いて適応二値化処理を行い、マクロな特徴量を抽出する。ステップＳ１０４において、適応二値化処理された入力画像中における連続領域を第二候補輪郭とする。

【0076】

ステップＳ１０５では、特徴量算出部１３を用いて、第一候補輪郭及び第二候補輪郭のそれぞれについて特徴量を算出する。また、分類付与部１４を介して、第一候補輪郭及び第二候補輪郭のそれぞれに対して正解となる分類情報を付与する。第一候補輪郭について算出した特徴量及び付与した分類情報を組み合わせて、シワ部検出モデルの教師データを生成する。また、第二候補輪郭について算出した特徴量及び付与した分類情報を組み合わせて、非シワ部検出モデルの教師データを生成する。

【0077】

ステップＳ１０６では、これらの処理を所定数の教師データが作成されるまで繰り返し実行する。教師データが所望する数作成されていない場合（ステップＳ１０６でＮＯ）、ステップＳ１０７に進む。ステップＳ１０７において、同じ動画ファイルの別のフレーム画像を用いる場合（ステップＳ１０７でＹＥＳ）、ステップＳ１０２に進む。別の動画ファイルを用いる場合（ステップＳ１０７でＮＯ）、ステップＳ１０１に進む。

【0078】

ステップＳ１０８では、シワ検出モデル学習部１５は、ステップＳ１０５で生成した第一候補輪郭の教師データを用いてシワ検出モデルを学習処理する。また、非シワ検出モデル学習部１６は、第二候補輪郭の教師データを用いて非シワ検出モデルを学習処理する。

【0079】

＜３．シワ検出処理手順＞
次いで、図７を用いて、シワ検出処理の手順について説明する。ステップＳ２０１において、受付部２１は、シワ検出を行う動画ファイルの指定を受け付け、ステップＳ２０２において、該動画ファイル中のフレーム画像を入力画像とする。

【0080】

ステップＳ２０３Ａにおいて、候補輪郭決定部２２は、入力画像に対して、第一のウィンドウサイズである小さい窓を用いて適応二値化処理を行い、ミクロな特徴量を抽出する。ステップＳ２０４Ａにおいて、適応二値化処理された入力画像中における連続領域を第一候補輪郭とする。同様に、ステップＳ２０３Ｂにおいて、候補輪郭決定部１２は、入力画像に対して、第二のウィンドウサイズである大きい窓を用いて適応二値化処理を行い、マクロな特徴量を抽出する。ステップＳ２０４Ｂにおいて、適応二値化処理された入力画像中における連続領域を第二候補輪郭とする。

【0081】

ステップＳ２０５Ａにおいて、特徴量算出部２３は、第一候補輪郭の特徴量を算出し、シワ検出部２４は、算出した第一候補輪郭の特徴量をシワ検出モデルに入力して、第一候補輪郭毎に分類情報を付与する。ステップＳ２０６Ａにおいて、マスク画像表示部２６は、この分類情報に基づいて、シワ部のセグメンテーションを決定する。同様に、ステップＳ２０５Ｂにおいて、特徴量算出部２３は、第二候補輪郭の特徴量を算出し、非シワ検出部２５は、算出した第二候補輪郭の特徴量を非シワ検出モデルに入力して、第二候補輪郭毎に分類情報を付与する。ステップＳ２０６Ｂにおいて、マスク画像表示部２６は、この分類情報に基づいて、非シワ部のセグメンテーションを決定する。

【0082】

ステップＳ２０７では、マスク画像表示部２６は、シワ部のセグメンテーション及び非シワ部のセグメンテーションを用いて、最終的なシワ部のセグメンテーション、及び最終的な非シワ部のセグメンテーションを決定し、入力画像にこれらセグメンテーションを重畳したマスク画像を生成する。

【0083】

本実施形態では、顔画像を用いてシワ検出を行うこととするが、顔以外の部位についてシワ検出を可能に検出モデルの学習等を行っても構わない。また、本実施形態では、受付部１１及び２１、候補輪郭決定部１２及び２２、特徴量算出部１３及び２３を学習装置１及びシワ検出装置２のそれぞれに設けているが、一方が他方を兼ねるように構成してもよい。

【産業上の利用可能性】

【0084】

本発明によれば入力画像中のシワ部の候補輪郭を決定し、シワ部のアノテーションを用いて学習した検出モデルを利用してシワ部の検出を行うことができる。また本発明によれば、例えば顔画像において、シワなどのミクロな特徴と、ほうれい線等のよりマクロな特徴について、それぞれ検出を行うことができ、シワ部のセグメンテーションを表示したマスク画像を生成することができる。また本発明によれば、複数のモデル別の分類推定値を用いてシワ部検出が可能となり、誤検出等のリスク低減が期待される。また本発明によれば、画像中における顔の位置が変化したり、光の反射具合が変化した場合であっても、誤検出等のリスク低減が期待される。

【符号の説明】

【0085】

０ ：シワ検出システム
１ ：学習装置
２ ：シワ検出装置
３、３１、３２：端末装置
４、４１、４２：撮像装置
１０ ：情報処理装置
１１、２１ ：受付部
１２、２２ ：候補輪郭決定部
１３、２３ ：特徴量算出部
１４ ：分類付与部
１５ ：シワ検出モデル学習部
１６ ：非シワ検出モデル学習部
２４ ：シワ検出部
２５ ：非シワ検出部
２６ ：マスク画像表示部
９０ ：端末装置
１０１ ：処理部
１０２ ：記憶部
１０３ ：通信部
９０１ ：処理部
９０２ ：記憶部
９０３ ：通信部
９０４ ：入力部
９０５ ：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】