(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159857
(43)【公開日】2023-11-01
(54)【発明の名称】毛髪の状態を判別する状態判別方法、状態判別装置、および状態判別プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231025BHJP
A61B 5/107 20060101ALI20231025BHJP
【FI】
G06T7/00 300F
A61B5/107 700
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023016841
(22)【出願日】2023-02-07
(62)【分割の表示】P 2022069252の分割
【原出願日】2022-04-20
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (その1) ウェブサイトの掲載日 2021年6月2日 ウェブサイトのアドレス https://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/pdf/kaiseki_pdf04.pdf (その2) ウェブサイトの掲載日 2022年4月8日 ウェブサイトのアドレス https://www.sakai-chem.co.jp/jp/ https://www.sakai-chem.co.jp/jp/pdf/kaiseki_pdf04.pdf (その3) 展示日 2021年5月19日~2021年5月21日 展示会名、開催場所 CITE JAPAN 第10回化粧品産業技術展 パシフィコ横浜(神奈川県横浜市西区みなとみらい1-1-1) (その4) ウェブサイトの掲載日 2021年6月16日~2021年6月18日 ウェブサイトのアドレス https://www.japan-it-online.jp/ja-jp.html https://www.japan-it-online.jp/ja-jp/about/ai.html
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (その5) ウェブサイトの掲載日 2021年8月4日~2021年9月3日 (再公開)2021年10月22日~2021年11月26日 ウェブサイトのアドレス https://www.matsumoto-trd.co.jp/ https://www.matsumoto-trd.co.jp/2021exhibition/entry/ https://www.matsumoto-trd.co.jp/2021exhibition/greeting/ https://www.matsumoto-trd.co.jp/2021-exhibition/sak.html (その6) 展示日 2021年10月6日~2021年10月8日 展示会名、開催場所 食品開発展2021 東京ビッグサイト(東京都江東区有明3-10-1) (その7) ウェブサイトの掲載日 2021年9月29日~2021年11月12日 ウェブサイトのアドレス https://www.powtex.com/online/ https://powtex.com/online/expo/exhibitor/5-b13/ (その8) 展示日 2021年10月13日~2021年10月15日 展示会名、開催場所 国際粉体工業展大阪2021 インテックス大阪(大阪府大阪市住之江区南港北1-5-102)
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (その9) ウェブサイトの掲載日 2021年10月18日~2021年10月29日 ウェブサイトのアドレス https://www.chemmate.jp/online https://www.chemmate.jp/online/exhibitor https://www.chemmate.jp/online/exhibitor/list/5 https://www.chemmate.jp/online/exhibitor/booth/472 (その10) 展示日 2021年12月1日~2021年12月3日 展示会名、開催場所 国際画像機器展2021 パシフィコ横浜(神奈川県横浜市西区みなとみらい1-1-1) (その11) 展示日 2022年1月14日 展示会名、開催場所 化粧品製造技術マッチングフェア2022 大阪産業創造館(大阪市中央区本町1-4-5) (その12)展示日 2022年1月28日 展示会名、開催場所 複合材料・カーボンフェア2022 大阪産業創造館(大阪市中央区本町1-4-5) (その13) 展示日 2022年4月20日~2022年4月22日 展示会名、開催場所 ファインケミカルジャパン2022 東京ビッグサイト(東京都江東区有明3-10-1)
(71)【出願人】
【識別番号】000174541
【氏名又は名称】堺化学工業株式会社
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】窪内 将隆
(72)【発明者】
【氏名】西本 拓磨
【テーマコード(参考)】
4C038
5L096
【Fターム(参考)】
4C038VA05
4C038VB21
4C038VB22
4C038VC05
5L096BA20
5L096CA02
5L096FA04
5L096FA06
5L096FA32
5L096FA33
5L096FA59
5L096HA13
5L096JA11
(57)【要約】
【課題】生体組織の状態を客観的に判別する。
【解決手段】毛髪の状態を判別する状態判別方法であって、毛髪の表面の画像を取得する取得ステップS1と、前記画像において、前記毛髪のキューティクルで画定される境界線に囲まれた領域を認識する領域認識ステップS2と、前記領域の特徴量を算出する特徴量算出ステップS3と、前記特徴量に基づいて、前記毛髪の状態を判別する状態判別ステップS4と、を備え、前記毛髪の状態は、毛髪年齢、つや、直毛度、および性別の少なくともいずれかを含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
毛髪の状態を判別する状態判別方法であって、
毛髪の表面の画像を取得する取得ステップと、
前記画像において、前記毛髪のキューティクルで画定される境界線に囲まれた領域を認識する領域認識ステップと、
前記領域の特徴量を算出する特徴量算出ステップと、
前記特徴量に基づいて、前記毛髪の状態を判別する状態判別ステップと、
を備え、
前記毛髪の状態は、毛髪年齢、つや、直毛度、および性別の少なくともいずれかを含む、状態判別方法。
【請求項2】
前記毛髪の状態が、毛髪年齢である場合、
前記特徴量は、前記領域の認識数、絶対最大長の標準偏差、およびアスペクト比の標準偏差の少なくともいずれかを含み、
前記毛髪の状態が、つやである場合、
前記特徴量は、前記領域の認識数、面積の平均、円形度の最大、およびアスペクト比の標準偏差の少なくともいずれかを含み、
前記毛髪の状態が、直毛度である場合、
前記特徴量は、前記領域の認識数、および円形度の標準偏差の少なくともいずれかを含み、
前記毛髪の状態が、性別である場合、
前記特徴量は、前記領域の絶対最大長の標準偏差、円形度の標準偏差、アスペクト比の平均、およびアスペクト比の標準偏差の少なくともいずれかを含む、請求項1に記載の状態判別方法。
【請求項3】
前記領域認識ステップでは、機械学習された領域認識モデルを用いて前記領域を認識する、請求項1または2に記載の状態判別方法。
【請求項4】
前記状態判別ステップでは、機械学習された状態判別モデルを用いて前記状態を判別する、請求項1または2に記載の状態判別方法。
【請求項5】
毛髪の状態を判別する状態判別装置であって、
毛髪の表面の画像を取得する取得部と、
前記画像において、前記毛髪のキューティクルで画定される境界線に囲まれた領域を認識する領域認識部と、
前記領域の特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記毛髪の状態を判別する状態判別部と、
を備え、
前記毛髪の状態は、毛髪年齢、つや、直毛度、および性別の少なくともいずれかを含む、状態判別装置。
【請求項6】
毛髪の状態を判別する状態判別プログラムであって、
毛髪の表面の画像を取得する取得ステップと、
前記画像において、前記毛髪のキューティクルで画定される境界線に囲まれた領域を認識する領域認識ステップと、
前記領域の特徴量を算出する特徴量算出ステップと、
前記特徴量に基づいて、前記毛髪の状態を判別する状態判別ステップと、
をコンピュータに実行させ、
前記毛髪の状態は、毛髪年齢、つや、直毛度、および性別の少なくともいずれかを含む、状態判別プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体組織の状態を判別する技術に関する。
【背景技術】
【0002】
生体組織の画像に基づいて、生体組織の状態を判別する技術が提案されている。例えば、特許文献1には、被験者の毛髪の複数の部位の拡大画像を同時に複数示す診断画面を表示し、毛髪の正常な部位と傷んだ部位等を見比べながら、毛髪の傷み具合等を診断する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された従来技術では、診断者(人間)が診断画面を見ながら毛髪の傷み具合等を診断しているため、客観性が担保されないという問題がある。
【0005】
本発明は、上記問題を解決するためになされたものであって、生体組織の状態を客観的に判別することを課題とする。
【課題を解決するための手段】
【0006】
本発明に係る状態判別方法は、生体組織の状態を判別する状態判別方法であって、生体組織の表面または断面の画像を取得する取得ステップと、前記画像において、境界線に囲まれた領域を認識する領域認識ステップと、前記領域の特徴量を算出する特徴量算出ステップと、前記特徴量に基づいて、前記生体組織の状態を判別する状態判別ステップと、を備える。
【0007】
好ましい実施形態によれば、前記生体組織は体毛である。
【0008】
好ましい実施形態によれば、前記生体組織は毛髪である。
【0009】
好ましい実施形態によれば、前記境界線は、前記毛髪のキューティクルで画定される。
【0010】
好ましい実施形態によれば、前記特徴量は、前記領域の大きさ、および形状の少なくともいずれかを含む。
【0011】
好ましい実施形態によれば、前記特徴量は、前記領域の絶対最大長、面積、円形度、およびアスペクト比の少なくともいずれかを含む。
【0012】
好ましい実施形態によれば、前記生体組織は皮膚である。
【0013】
好ましい実施形態によれば、前記境界線は、前記皮膚の皮溝で画定される。
【0014】
好ましい実施形態によれば、前記特徴量は、前記領域の面積、円形度、およびアスペクト比の少なくともいずれかを含む。
【0015】
好ましい実施形態によれば、前記領域認識ステップでは、機械学習された領域認識モデルを用いて前記領域を認識する。
【0016】
好ましい実施形態によれば、前記状態判別ステップでは、機械学習された状態判別モデルを用いて前記状態を判別する。
【0017】
本発明に係る状態判別装置は、生体組織の状態を判別する状態判別装置であって、生体組織の表面または断面の画像を取得する取得部と、前記画像において、境界線に囲まれた領域を認識する領域認識部と、前記領域の特徴量を算出する特徴量算出部と、前記特徴量に基づいて、前記生体組織の状態を判別する状態判別部と、を備える。
【0018】
本発明に係る状態判別プログラムは、生体組織の状態を判別する状態判別プログラムであって、生体組織の表面または断面の画像を取得する取得ステップと、前記画像において、境界線に囲まれた領域を認識する領域認識ステップと、前記領域の特徴量を算出する特徴量算出ステップと、前記特徴量に基づいて、前記生体組織の状態を判別する状態判別ステップと、をコンピュータに実行させる。
【発明の効果】
【0019】
本発明によれば、生体組織の状態を客観的に判別することができる。
【図面の簡単な説明】
【0020】
【
図1】本発明の一実施形態に係る状態判別装置のブロック図である。
【
図3】本発明の一実施形態に係る状態判別方法の処理手順を示すフローチャートである。
【
図4】(a)は、キューティクルの剥離が少ない毛髪表面の画像であり、(b)は、(a)に示す画像において、認識された領域を強調表示した画像である。
【
図5】(a)は、キューティクルの剥離が多い毛髪表面の画像であり、(b)は、(a)に示す画像において、認識された領域を強調表示した画像である。
【
図6】(a)は、年齢と認識数との相関性を示すグラフであり、(b)は、年齢と領域の絶対最大長の標準偏差との相関性を示すグラフであり、(c)は、年齢と領域のアスペクト比の標準偏差との相関性を示すグラフである。
【
図7】(a)は、つやと認識数との相関性を示すグラフであり、(b)は、つやと領域の面積の平均との相関性を示すグラフであり、(c)は、つやと領域の円形度の最大との相関性を示すグラフであり、(d)は、つやと領域のアスペクト比の標準偏差との相関性を示すグラフである。
【
図8】(a)は、直毛度と認識数との相関性を示すグラフであり、(b)は、直毛度と領域の円形度の標準偏差との相関性を示すグラフである。
【
図9】(a)は、性別と領域の絶対最大長の標準偏差との相関性を示すグラフであり、(b)は、性別と領域の円形度の標準偏差との相関性を示すグラフであり、(c)は、性別と領域のアスペクト比の平均との相関性を示すグラフであり、(d)は、性別と領域のアスペクト比の標準偏差との相関性を示すグラフである。
【
図10】本発明の一実施形態に係るモデル生成システムのブロック図である。
【
図11】モデルの生成方法の処理手順を示すフローチャートである。
【
図12】(a)は、対象画像の一例であり、(b)は、(a)に示す画像において、認識された領域を強調表示した画像である。
【
図13】(a)は、年齢と領域の面積の平均との相関性を示すグラフであり、(b)は、年齢と領域の円形度の標準偏差との相関性を示すグラフであり、(c)は、年齢と領域のアスペクト比の平均との相関性を示すグラフである。
【
図14】乾燥肌と面積の平均との相関性を示すグラフである。
【
図15】(a)は、ボディクリームの使用頻度と領域のアスペクト比の平均との相関性を示すグラフであり、(b)は、ボディクリームの使用頻度と領域の円形度の標準偏差との相関性を示すグラフである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。
【0022】
(状態判別装置)
図1は、本実施形態に係る状態判別装置1のブロック図である。状態判別装置1は、生体組織の状態を判別する装置であり、本実施形態では、生体組織は毛髪である。状態判別装置1は、例えば毛髪の状態判別サービスを実施する企業によって管理される。
【0023】
状態判別装置1は、汎用のコンピュータで構成することができ、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置10を備えている。補助記憶装置10には、状態判別サービスの対象者の毛髪を撮影した対象画像D1、領域認識モデルM1、状態判別モデルM2の他、状態判別プログラム等の状態判別装置1を動作させるための各種プログラムが格納されている。
【0024】
対象画像D1は、毛髪の表面画像であり、顕微鏡などの撮像装置を用いて撮影することができる。
図2に対象画像D1の一例を示す。毛髪の表面は、多数のキューティクルによって覆われており、キューティクルによって画定される境界線が白い線として映っている。領域認識モデルM1および状態判別モデルM2の生成方法については、後述する。
【0025】
また、状態判別装置1は、機能ブロックとして、対象画像取得部11と、領域認識部12と、特徴量算出部13と、状態判別部14とを備えている。本実施形態において、これらの各部は、状態判別装置1のプロセッサが状態判別プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。
【0026】
状態判別装置1の上記各部の機能について、
図3に基づいて説明する。
図3は、本実施形態に係る状態判別方法の処理手順を示すフローチャートであり、これらの処理は、状態判別装置1によって実行される。
【0027】
ステップS1(取得ステップ)では、対象画像取得部11が補助記憶装置10から、毛髪の表面画像である対象画像D1を取得する。なお、対象画像取得部11は、撮像装置などから対象画像D1を取得してもよいし、静止画像に限らず動画を取得してもよい。
【0028】
ステップS2(領域認識ステップ)では、領域認識部12が対象画像D1において、境界線に囲まれた領域を認識する。本実施形態では、領域認識部12は、領域認識モデルM1を用いて領域を認識する。領域認識モデルM1は、後述するように、生体組織の表面画像が入力されると、境界線に囲まれた領域の大きさや形に関する特徴量を出力するように機械学習された学習済モデルである。
【0029】
また、本実施形態では、境界線はキューティクル領域の白線で画定される。キューティクルは複数の層が重なった構造をしており、重なりにより生じる段差が白線となって、鱗片状の領域を形成する。すなわち、領域認識モデルM1は、白線で囲まれた鱗片状の領域を認識するように学習されている。なお、領域を形成する線は、白線に限定されず、コントラスト差によって生じる線であればよい。
【0030】
図4(a)は、キューティクルの剥離が少ない毛髪表面の画像である。剥離していないキューティクルの表面は凹凸が緩やかであり、キューティクルで画定される境界線のコントラストは低い。そのため、
図4(b)に示すように、領域認識部12(領域認識モデルM1)によって認識される領域(強調表示部分)の数は少なくなる。なお、
図4(b)における領域の認識数は32である。
【0031】
図5(a)は、キューティクルの剥離が多い毛髪表面の画像である。キューティクルが剥離すると、キューティクルの剥離部分(下層のキューティクル)と隣接するキューティクルとの段差が大きくなり、キューティクルの剥離部分で画定される境界線のコントラストが高くなる。そのため、
図5(b)に示すように、領域認識部12(領域認識モデルM1)によって認識される領域(強調表示部分)の数は多くなる。なお、
図5(b)における領域の認識数は52である。
【0032】
再び
図3を参照する。ステップS3(特徴量算出ステップ)では、特徴量算出部13が、領域認識部12によって認識された領域の特徴量を算出する。特徴量は、毛髪の状態と相関性のあるものであれば特に限定されないが、本実施形態では、特徴量は、認識された領域の数(以下、認識数)、領域の大きさおよび形状である。より具体的には、領域の大きさおよび形状は、例えば、絶対最大長、対角幅、面積、およびアスペクト比、ならびに、それらの平均(mean)、標準偏差(std)、最小(min)、および最大(max)である。なお、上記特徴量に、円相当径、円形度、正方形相当径、四角度、周囲長などの多重共線性を有する特徴量を含めてもよいし、これら説明変数を含有する特徴量であっても良い。実施例では、領域の大きさおよび形状は、絶対最大長の標準偏差、面積の平均、円形度の標準偏差、円形度の最大、アスペクト比の平均、アスペクト比の標準偏差である。これらの特徴量は、画像解析によって算出することができる。
【0033】
ステップS4(状態判別ステップ)では、状態判別部14が、特徴量算出部13によって算出された特徴量に基づいて、毛髪の状態を判別する。本実施形態では、状態判別部14は、状態判別モデルM2を用いて毛髪の状態を判別する。状態判別モデルM2は、後述するように、領域の特徴量が入力されると、毛髪の状態の判別結果を出力するように機械学習された学習済モデルである。
【0034】
本実施形態では、毛髪の状態は、年齢、つや、直毛度、および性別である。年齢、つや、直毛度、および性別と、特徴量との相関性を下記の表1に示す。
【0035】
【0036】
表1において、「正」は、状態と特徴量との間に正の相関性があることを意味し、「負」は、状態と特徴量との間に負の相関性があることを意味し、「-」は、相関性が小さいことを意味する。また、星印は、女性が低く、男性が高いことを意味する。表1に示す相関性は、出願人による検証実験によって得られたものであり、被験者は、女性30名、男性20名、年齢層は、1~69歳であり、頭髪を採取したのち1サンプルにつき3枚の画像を走査型電子顕微鏡で撮影した。
【0037】
図6(a)は、年齢と認識数との相関性を示すグラフであり、
図6(b)は、年齢と領域の絶対最大長の標準偏差との相関性を示すグラフであり、
図6(c)は、年齢と領域のアスペクト比の標準偏差との相関性を示すグラフである。このように、毛髪年齢は、認識数、絶対最大長の標準偏差、およびアスペクト比の標準偏差と正の相関が見られる。つまり、加齢とともに、キューティクルの剥離が多くなるとともに、キューティクルの形や大きさにバラツキが生じる。
【0038】
図7(a)は、つやと認識数との相関性を示すグラフであり、
図7(b)は、つやと領域の面積の平均との相関性を示すグラフであり、
図7(c)は、つやと領域の円形度の最大との相関性を示すグラフであり、
図7(d)は、つやと領域のアスペクト比の標準偏差との相関性を示すグラフである。つやの評価は5段階であり、縦軸の数値が大きくなるほどつやがあることを意味する。このように、つやは、認識数、面積の平均、円形度の最大、およびアスペクト比の標準偏差と負の相関が見られる。つまり、キューティクルの剥離が少なく、1つの領域の面積が小さく、形状は四角に近く、細長さにバラツキがない場合に、つやがある髪質に見える。
【0039】
図8(a)は、直毛度と認識数との相関性を示すグラフであり、
図8(b)は、直毛度と領域の円形度の標準偏差との相関性を示すグラフである。直毛度の評価は5段階であり、縦軸の数値が大きくなるほど直毛であることを意味する。このように、直毛度は、認識数、および円形度の標準偏差と負の相関が見られる。つまり、キューティクルの剥離が少なく、キューティクルの丸みにバラツキがない場合、直毛に見える。
【0040】
図9(a)は、性別と領域の絶対最大長の標準偏差との相関性を示すグラフであり、
図9(b)は、性別と領域の円形度の標準偏差との相関性を示すグラフであり、
図9(c)は、性別と領域のアスペクト比の平均との相関性を示すグラフであり、
図9(d)は、性別と領域のアスペクト比の標準偏差との相関性を示すグラフである。各グラフにおいて、縦軸は人数であり、女性は赤色で示され、男性は緑色で示されている。このように、絶対最大長の標準偏差、円形度の標準偏差、アスペクト比の平均、およびアスペクト比の標準偏差において、女性が低く、男性が高くなる。つまり、女性の方がキューティクル1つの領域が四角であり、大きさや形のバラツキが少ない。この女性の傾向は、つやが良く、直毛である傾向であるため、一般に男性より女性の方が「髪がキレイ」ということを表している。
【0041】
状態判別モデルM2は、以上のような特徴量と毛髪の状態との相関性を機械学習しているため、特徴量から毛髪の状態の判別結果を出力する。よって、状態判別部14は、特徴量算出部13から入力された特徴量を状態判別モデルM2に入力することにより、毛髪の状態を客観的に判別することができる。
【0042】
なお、毛髪状態データD4は、年齢、性別、つや、直毛に限らず、既病歴やパーソナルヘルスレコード、特にPSA(ガン)やγ-GPT(肝機能)でも良い。
【0043】
(モデルの生成)
続いて、領域認識モデルM1および状態判別モデルM2の生成方法について説明する。
図10は、本実施形態に係るモデル生成システム2のブロック図である。モデル生成システム2は、教師データ生成装置3と、機械学習装置4とを備える。
【0044】
教師データ生成装置3は、領域認識モデルM1および状態判別モデルM2を機械学習するための教師データを生成する装置である。教師データ生成装置3は、汎用のコンピュータで構成することができ、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置30を備えている。補助記憶装置30には、複数の学習用画像D2、毛髪状態データD4の他、教師データ生成プログラムなどの教師データ生成装置3を動作させるための各種プログラムが格納されている。
【0045】
学習用画像D2は、教師データを生成するためのサンプルとなる画像であり、毛髪の表面を含む画像であればよい。毛髪状態データD4は、各学習用画像D2の毛髪の状態を示すデータであり、当該状態は、公知の手法により判定されたものである。
【0046】
また、教師データ生成装置3は、機能ブロックとして、学習用画像取得部31と、領域特定部32と、ラベリング部33と、特徴量算出部34と、検索部35と、ラベリング部36とを備えており、これらにより、教師データとして、領域認識用教師データD3および状態判別用教師データD5が生成される。本実施形態において、これらの各部は、教師データ生成装置3のプロセッサが教師データ生成プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。
【0047】
機械学習装置4は、領域認識モデルM1および状態判別モデルM2を機械学習する装置である。機械学習装置4は、汎用のコンピュータで構成することができ、教師データ生成装置3と同様に、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置40を備えている。補助記憶装置40には、教師データ生成装置3から転送された教師データD3、D5や、機械学習装置4を動作させるための各種プログラム等が格納されている。
【0048】
なお、本実施形態では、機械学習装置4はクラウド上に設けられているが、教師データ生成装置3と同じ場所に設置してもよいし、あるいは、教師データ生成装置3と機械学習装置4とを一体的に構成してもよい。
【0049】
機械学習装置4は、機能ブロックとして学習部41を備えている。学習部41は、教師データD3、D5に基づいて機械学習を行うことにより、領域認識モデルM1および状態判別モデルM2を生成する。機械学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。また、状態判別モデルM2に関しては、機械学習に限らず統計解析の回帰モデルなどであっても良い。生成された領域認識モデルM1および状態判別モデルM2は、補助記憶装置40に格納され、その後、毛髪の領域認識や状態判別のために用いられる。
【0050】
図11は、領域認識モデルM1および状態判別モデルM2の生成方法の処理手順を示すフローチャートである。これらの処理のうち、ステップS11~S18は教師データ生成装置3によって実行され、ステップS19は機械学習装置4によって実行される。
【0051】
ステップS11では、学習用画像取得部31が、補助記憶装置30から学習用画像D2を取得する。
【0052】
ステップS12では、領域特定部32が、学習用画像D2において、境界線に囲まれた領域を特定する。本実施形態では、人間が学習用画像D2を見ながら、マウスやタッチパネルなどの入力装置を用いて、キューティクルの白線部分で画定される境界線を作成する。また、境界線に囲まれた領域を塗りつぶしても良い。領域特定部32は、作成された境界線に囲まれた領域の座標を特定する。
【0053】
ステップS13では、ラベリング部33が、領域特定部32によって特定された領域の座標を学習用画像D2にラベリングすることにより、領域認識用教師データD3を生成する。領域認識用教師データD3は、補助記憶装置30に保存される。
【0054】
ステップS14では、特徴量算出部34が、領域特定部32によって特定された領域の特徴量を算出する。特徴量は、
図1に示す特徴量算出部13が算出する特徴量と同一である。
【0055】
ステップS15では、検索部35が、毛髪状態データD4から、処理した学習用画像D2の毛髪の状態を検索する。
【0056】
ステップS16では、ラベリング部36が、検索部35によって検索された毛髪の状態を、特徴量算出部34によって算出された特徴量とラベリングすることにより、状態判別用教師データD5を生成する。状態判別用教師データD5は、補助記憶装置30に保存される。
【0057】
ステップS11~S16は、全ての学習用画像D2が処理されるまで(ステップS17においてYES)繰り返される。その後、ステップS18において、領域認識用教師データD3および状態判別用教師データD5は機械学習装置4に転送される。
【0058】
ステップS19では、学習部41が領域認識用教師データD3を用いて機械学習することにより、領域認識モデルM1を生成し、状態判別用教師データD5を用いて機械学習することにより、状態判別モデルM2を生成する。
【0059】
また、状態判別装置1で(領域認識モデルM1や状態判別モデルM2で)新たに解析した結果を用いて、領域認識用教師データD3、毛髪状態データD4や状態判別用教師データD5を更新しても良い。これにより教師データが増え、精度が高い学習済モデルを作成することが期待できる。
【0060】
(付記事項)
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、毛髪の状態を判別する場合について説明したが、判別対象は生体組織であれば特に限定されず、例えば、毛髪以外の体毛、皮膚(肌)や爪などであってもよい。また、上記実施形態では、ヒトの生体組織を対象としていたが、犬や猫などの動物の生態組織を対象としてもよい。また、上記実施形態では、生体組織の表面の画像を解析していたが、生体組織の断面の画像を解析してもよい。
【0061】
以下の変形例では、判別対象が皮膚である場合について説明する。皮膚の状態を判別する装置は、
図1に示す状態判別装置1を用いることができる。
【0062】
図12(a)は、状態判別装置1の対象画像取得部11が取得した対象画像D1の一例である。対象画像D1は、マイクロスコープで撮像された前腕部の皮膚の表面画像であり、領域認識部12は、対象画像D1において、皮膚の皮溝で画定される境界線に囲まれた領域を認識する。
図12(b)は、対象画像D1において、認識された領域を強調表示した画像である。
【0063】
続いて、特徴量算出部13が領域の特徴量を算出し、状態判別部14が特徴量に基づいて皮膚の状態を判別する。本変形例では、特徴量は、領域の面積の平均、円形度の標準偏差、およびアスペクト比の平均である。これらの特徴量は、皮膚の状態との相関性が見出されている。
【0064】
皮膚年齢、乾燥肌(乾燥度合)、およびボディクリームの使用頻度と、特徴量との相関性を下記の表2に示す。
【0065】
【0066】
表2において、「正」は、状態と特徴量との間に正の相関性があることを意味し、「負」は、状態と特徴量との間に負の相関性があることを意味し、「-」は、相関性が小さいことを意味する。また、星印は、乾燥肌であるほど大きくなることを意味する。ボディクリームに関しては、使用する頻度で1~4の4段階評価(1:まったく使わない、2:週一回程度使う、3:週に2~3回は使う、4:ほぼ毎日使う)としている。表2に示す相関性は、出願人による検証実験によって得られたものである。具体的には、22歳~61歳の62名の被験者を対象にマイクロスコープで前腕部を3点撮像した後、肌画像を解析し、解析の精度が低かったサンプルを除き、N=51で機械学習を行った。アルゴリズムには、線形回帰とランダムフォレストを用い、各ターゲットがどの項目と相関があるか確かめたものである。
【0067】
図13(a)は、年齢と領域の面積の平均との相関性を示すグラフであり、
図13(b)は、年齢と領域の円形度の標準偏差との相関性を示すグラフであり、
図13(c)は、年齢と領域のアスペクト比の平均との相関性を示すグラフである。このように、肌年齢は、面積の平均、円形度の標準偏差、およびアスペクト比の平均と正の相関が見られる。つまり、加齢とともに、肌のキメが粗くなり、形は細長く、バラツキが出てくる傾向が見られる。
【0068】
図14は、乾燥肌と面積の平均との相関性を示すグラフである。このように、乾燥肌と答えた人の肌は、乾燥肌ではない人と比較し、面積の平均が大きくなる傾向が見られる。
【0069】
図15(a)は、ボディクリームの使用頻度と領域のアスペクト比の平均との相関性を示すグラフであり、
図15(b)は、ボディクリームの使用頻度と領域の円形度の標準偏差との相関性を示すグラフである。このように、ボディクリームの使用頻度は、アスペクト比の平均、および円形度の標準偏差と負の相関が見られる。これらの傾向は加齢とは逆になっているため、ボディクリームを用いることで、肌を若く保つことができていることが示唆されている。
【符号の説明】
【0070】
1 状態判別装置
10 補助記憶装置
11 対象画像取得部
12 領域認識部
13 特徴量算出部
14 状態判別部
2 モデル生成システム
3 教師データ生成装置
30 補助記憶装置
31 学習用画像取得部
32 領域特定部
33 ラベリング部
34 特徴量算出部
35 検索部
36 ラベリング部
4 機械学習装置
40 補助記憶装置
41 学習部
D1 対象画像
D2 学習用画像
D3 教師データ
D3 領域認識用教師データ
D4 毛髪状態データ
D5 状態判別用教師データ
M1 領域認識モデル
M2 状態判別モデル