ホーム > 特許ランキング > 学校法人 芝浦工業大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101714
(43)【公開日】2024-07-30
(54)【発明の名称】毛状体の抽出方法、および推論モデルの生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240723BHJP
A61B 5/107 20060101ALI20240723BHJP
【ＦＩ】
G06T7/00 612
A61B5/107 700
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023005789
(22)【出願日】2023-01-18
(71)【出願人】
【識別番号】599016431
【氏名又は名称】学校法人 芝浦工業大学
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】高橋 正信
(72)【発明者】
【氏名】後藤 敬之
【テーマコード（参考）】
4C038
5L096
【Ｆターム（参考）】
4C038VA04
4C038VB21
4C038VC05
5L096EA18
5L096EA43
5L096FA10
5L096FA59
5L096FA69
5L096GA30
5L096GA51
5L096JA03
5L096KA04
(57)【要約】
【課題】毛状体の状態を定量的に評価可能でかつ簡略化された手法を提供する。
【解決手段】予測画像データＥＤは、それぞれ一本の頭髪が映り込んでいると予測された複数の黒色領域を含んでいる予測画像２０に対応する。シード画像データＳＤは、一つの黒色領域２１ａに対応する位置において黒色領域２１ａよりも小さい面積を有するシード３１１を含んでいるシード画像３１に対応する。第二推論モデル１０２は、予測画像データＥＤとシード画像データＳＤに基づいて、シード３１１に対応する位置を含む一本の頭髪が原画像に映り込んでいる確率を推論する。当該確率を二値化することにより、抽出画像４１に対応する抽出画像データＸＤが取得される。抽出画像４１は、シード３１１に対応する位置を含み、かつシード３１１よりも大きい面積を有するように一本の頭髪の少なくとも一部が抽出された黒色領域４１１を含んでいる。
【選択図】図６
【解決手段】予測画像データＥＤは、それぞれ一本の頭髪が映り込んでいると予測された複数の黒色領域を含んでいる予測画像２０に対応する。シード画像データＳＤは、一つの黒色領域２１ａに対応する位置において黒色領域２１ａよりも小さい面積を有するシード３１１を含んでいるシード画像３１に対応する。第二推論モデル１０２は、予測画像データＥＤとシード画像データＳＤに基づいて、シード３１１に対応する位置を含む一本の頭髪が原画像に映り込んでいる確率を推論する。当該確率を二値化することにより、抽出画像４１に対応する抽出画像データＸＤが取得される。抽出画像４１は、シード３１１に対応する位置を含み、かつシード３１１よりも大きい面積を有するように一本の頭髪の少なくとも一部が抽出された黒色領域４１１を含んでいる。
【選択図】図６
【特許請求の範囲】
【請求項1】
原画像に映り込んだ複数の毛状体の一つを抽出する方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する、
毛状体の抽出方法。
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する、
毛状体の抽出方法。
【請求項2】
前記画像処理は、入力された原画像データに対応する原画像の各画素に前記複数の毛状体の一部が映り込んでいる確率を出力する推論モデルに前記原画像データを入力する処理を含んでいる、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項3】
前記第一シード画像の取得に先立ち、前記予測画像における前記複数の毛状体の一部が映り込んでいると予測された領域の幅が規格化される、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項4】
前記第一サブ領域は、前記領域の端部に対応する位置に配置される、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項5】
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を前記第一サブ領域とは異なる位置に含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得し、
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
請求項１に記載の毛状体の抽出方法。
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得し、
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
請求項１に記載の毛状体の抽出方法。
【請求項6】
前記第一抽出画像データの取得後に、前記第一サブ領域に対応付けられた前記複数の領域の一つが前記予測画像から削除された修正予測画像に対応する修正予測画像データを取得し、
前記修正予測画像における前記複数の領域の別の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の別の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の別の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得する、
請求項１に記載の毛状体の抽出方法。
前記修正予測画像における前記複数の領域の別の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の別の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の別の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得する、
請求項１に記載の毛状体の抽出方法。
【請求項7】
前記修正予測画像においては、前記第一サブ領域に対応付けられた前記複数の領域の一つを含み、かつ当該領域よりも大きな面積を有する範囲の画像が、前記予測画像から削除されている、
請求項６に記載の毛状体の抽出方法。
請求項６に記載の毛状体の抽出方法。
【請求項8】
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
請求項６に記載の毛状体の抽出方法。
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
請求項６に記載の毛状体の抽出方法。
【請求項9】
前記第一抽出画像データを新たな前記第一シード画像データとして前記確率を再推論する、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項10】
前記第一抽出画像データが新たな前記第一シード画像データとされる前に、前記複数の毛状体の一つが抽出された画像の幅を規格化する処理に対応する修正を、前記第一抽出画像データに対して行なう、
請求項９に記載の毛状体の抽出方法。
請求項９に記載の毛状体の抽出方法。
【請求項11】
前記第一サブ領域に対応する位置を含むように抽出されていない画像を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項12】
前記第一サブ領域に対応する位置を含むように抽出された画像のうち、前記複数の毛状体の一部が映り込んでいると予測された領域と重なる部分以外を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項13】
前記複数の毛状体の一つが抽出された画像が分岐点を含んでいる場合、当該分岐点から延びる当該画像の第一部分と第二部分の一方を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
請求項１に記載の毛状体の抽出方法。
請求項１に記載の毛状体の抽出方法。
【請求項14】
複数の毛状体が映り込んだ原画像の各画素に当該複数の毛状体の一つの一部が映り込んでいる確率を推論する推論モデルの生成方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記複数の毛状体の一つが映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域を含んでいるシード画像に対応するシード画像データを用意し、
少なくとも前記サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる正解画像に対応する正解画像データを用意し、
前記原画像データと前記シード画像データが入力された場合の正解として前記正解画像データが出力されるように機械学習を実行する、
推論モデルの生成方法。
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記複数の毛状体の一つが映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域を含んでいるシード画像に対応するシード画像データを用意し、
少なくとも前記サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる正解画像に対応する正解画像データを用意し、
前記原画像データと前記シード画像データが入力された場合の正解として前記正解画像データが出力されるように機械学習を実行する、
推論モデルの生成方法。
【請求項15】
複数の毛状体が映り込んだ原画像の各画素に当該複数の毛状体の一つの一部が映り込んでいる確率を推論する推論モデルの生成方法であって、
複数の毛状体が映り込んだ原画像を模した二値化画像である模擬画像に対応する模擬画像データを用意し、
前記複数の毛状体の一つが映り込んだ領域に対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを用意し、
少なくとも前記第一サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記模擬画像から抽出された画像を含んでいる第一正解画像に対応する第一正解画像データを用意し、
前記模擬画像データと前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する、
推論モデルの生成方法。
複数の毛状体が映り込んだ原画像を模した二値化画像である模擬画像に対応する模擬画像データを用意し、
前記複数の毛状体の一つが映り込んだ領域に対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを用意し、
少なくとも前記第一サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記模擬画像から抽出された画像を含んでいる第一正解画像に対応する第一正解画像データを用意し、
前記模擬画像データと前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する、
推論モデルの生成方法。
【請求項16】
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記複数の毛状体の一つが映り込んでいると予測された領域に対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを用意し、
少なくとも前記第二サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる第二正解画像に対応する第二正解画像データを用意し、
前記原画像データと前記第二シード画像データが入力された場合の正解として前記第二正解画像データが出力されるように機械学習を実行する、
請求項１５に記載の推論モデルの生成方法。
前記複数の毛状体の一つが映り込んでいると予測された領域に対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを用意し、
少なくとも前記第二サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる第二正解画像に対応する第二正解画像データを用意し、
前記原画像データと前記第二シード画像データが入力された場合の正解として前記第二正解画像データが出力されるように機械学習を実行する、
請求項１５に記載の推論モデルの生成方法。
【請求項17】
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記原画像データ、前記模擬画像データ、および前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する、
請求項１５に記載の推論モデルの生成方法。
前記原画像データ、前記模擬画像データ、および前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する、
請求項１５に記載の推論モデルの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、原画像に映り込んだ複数の毛状体の一つを抽出する方法に関連する。本開示は、複数の毛状体が映り込んだ原画像の各画素に当該複数の毛状体の一つの一部が映り込んでいる確率を推論する推論モデルの生成方法にも関連する。
【背景技術】
【0002】
毛状体の状態の一例である毛髪密度（単位面積あたりの毛髪の本数）などを定量的に評価するための手法として、フォトトリコグラム法が知られている。特許文献１は、対象者の箭毛された部位をビデオカメラで撮影し、取得された当該部位の画像に基づいて毛髪特性を評価する手法を、フォトトリコグラム法の一例として開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平０３－２１８７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
毛状体の状態を定量的に評価可能でかつ簡略化された手法の提供が求められている。
【課題を解決するための手段】
【0005】
本開示により提供される態様例の一つは、原画像に映り込んだ複数の毛状体の一つを抽出する方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する。
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する。
【0006】
本開示により提供される態様例の一つは、複数の毛状体が映り込んだ原画像の各画素に当該複数の毛状体の一つの一部が映り込んでいる確率を推論する推論モデルの生成方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記複数の毛状体の一つが映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域を含んでいるシード画像に対応するシード画像データを用意し、
少なくとも前記サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる正解画像に対応する正解画像データを用意し、
前記原画像データと前記シード画像データが入力された場合の正解として前記正解画像データが出力されるように機械学習を実行する。
複数の毛状体が映り込んだ原画像に対応する原画像データを用意し、
前記複数の毛状体の一つが映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域を含んでいるシード画像に対応するシード画像データを用意し、
少なくとも前記サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記原画像から抽出された画像を含んでいる正解画像に対応する正解画像データを用意し、
前記原画像データと前記シード画像データが入力された場合の正解として前記正解画像データが出力されるように機械学習を実行する。
【0007】
本開示により提供される態様例の一つは、複数の毛状体が映り込んだ原画像の各画素に当該複数の毛状体の一つの一部が映り込んでいる確率を推論する推論モデルの生成方法であって、
複数の毛状体が映り込んだ原画像を模した二値化画像である模擬画像に対応する模擬画像データを用意し、
前記複数の毛状体の一つが映り込んだ領域に対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを用意し、
少なくとも前記第一サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記模擬画像から抽出された画像を含んでいる第一正解画像に対応する第一正解画像データを用意し、
前記模擬画像データと前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する。
複数の毛状体が映り込んだ原画像を模した二値化画像である模擬画像に対応する模擬画像データを用意し、
前記複数の毛状体の一つが映り込んだ領域に対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを用意し、
少なくとも前記第一サブ領域に対応する位置を含むように映り込んだ前記複数の毛状体の一つが前記模擬画像から抽出された画像を含んでいる第一正解画像に対応する第一正解画像データを用意し、
前記模擬画像データと前記第一シード画像データが入力された場合の正解として前記第一正解画像データが出力されるように機械学習を実行する。
【0008】
物体の領域抽出とクラス分類を画素単位で行なう手法として、インスタンスセグメンテーションが知られている。当該手法においては、バウンディングボックスを用いて個々の頭髪が映り込んでいる領域を絞り込み、バウンディングボックス内で頭髪のセグメンテーションを行なう。
【0009】
他方、上記の各態様例においては、インスタンスセグメンテーションとは根本的に異なる新規な思想が採用されている。上記の抽出方法においては、原画像に映り込んだ複数の毛状体のうち注目する一つについて、個々の毛状体よりも小さな面積を有する第一サブ領域が設定される。推論モデルは、そのような第一サブ領域を、当該一つの毛状体が映り込んだ領域を示すように「成長させる」機能を有しているとも言える。予測画像に含まれる毛状体が映り込んでいると予測された全ての領域について第一シード画像の生成と第一抽出画像の取得を繰り返すことにより、原画像に映り込んだ複数の毛状体を一つずつ抽出できる。
【0010】
したがって、毛状体の状態の定量的評価を適切に行なうことができる。加えて、毛状体の一例として個々の頭髪が抽出される場合において、対象者に箭毛を強いる必要もない。よって、毛状体の状態を定量的に評価可能で、かつ簡略化された手法を提供できる。
【図面の簡単な説明】
【0011】
【図1】一実施形態に係る頭髪の抽出方法の流れを例示している。
【図2】頭髪の原画像を取得する方法を例示している。
【図3】頭髪の原画像を例示している。
【図4】予測画像を取得する方法を例示している。
【図5】予測画像を取得する方法の別例を示している。
【図6】抽出画像を取得する方法の一例を示している。
【図9】抽出画像を取得する方法の別例を示している。
【図10】抽出画像を取得する方法の別例を示している。
【図11】抽出画像を取得する方法の別例を示している。
【図12】抽出画像を取得する方法の別例を示している。
【発明を実施するための形態】
【0012】
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。
【0013】
一実施形態例においては、対象者の画像に映り込んだ複数の頭髪から一本の頭髪を抽出する画像処理が実行される。頭髪は、毛状体の一例である。図１は、当該方法の流れを例示している。
【0014】
まず、対象者の頭髪の原画像が取得される（ＳＴＥＰ１）。図２は、対象者の頭髪の原画像を取得する方法の一例を示している。対象者の頭部１における頭髪状態の把握を所望する箇所と対向するように撮像装置２が配置される。可能であれば、ヘアピン３を用いて当該箇所の頭髪を分け留め、頭皮が露出した状態とされることが望ましい。
【0015】
図３は、撮像装置２により撮像された頭髪の原画像１０を例示している。原画像１０には複数の頭髪１１が映り込んでいる。本例においては、原画像１０は、２５６×２５６個の画素を含んでいる。撮像装置２は、原画像１０に対応する原画像データを出力する。
【0016】
続いて、図１に例示されるように、予測画像が取得される（ＳＴＥＰ２）。具体的には、原画像データに所定の画像処理が適用されることにより、原画像１０の各画素に複数の頭髪１１のいずれかの一部が映り込んでいるかが予測される。
【0017】
本例においては、図４に示されるように、原画像１０に対応する原画像データＯＤが第一推論モデル１０１に入力される。第一推論モデル１０１は、入力された原画像データＯＤに対応する原画像１０の各画素に頭髪１１の一部が映り込んでいる確率を出力するように機械学習がなされたコンピュータアルゴリズムである。換言すると、第一推論モデル１０１は、原画像１０に映り込んだ頭部の画像から頭髪をセグメンテーションするように機械学習がなされている。第一推論モデル１０１に用いられるコンピュータアルゴリズムの例としては、Ｕ－ｎｅｔが挙げられる。
【0018】
例えば第一推論モデル１０１により出力された確率を二値化する処理を行なうことにより、同図に例示される予測画像２０が取得されうる。予測画像２０もまた、２５６×２５６個の画素を含んでいる。
【0019】
予測画像２０は、複数の黒色領域２１を含んでいる。複数の黒色領域２１の各々は、第一推論モデル１０１により出力された確率が閾値以上である画素を含んでいる。すなわち、黒色領域２１は、頭髪１１の一部が映り込んでいると予測された原画像１０の画素に対応している。
【0020】
予測画像２０は、白色領域２２を含んでいる。白色領域２２は、当該確率が閾値未満である画素を含んでいる。すなわち、白色領域２２は、頭髪１１の一部が映り込んでいないと予測された原画像１０の画素に対応している。なお、当該確率に対する黒色と白色の関係は逆でもよい。
【0021】
したがって、予測画像２０に対応する予測画像データＥＤは、各々が黒色または白色に対応付けられた値を有する複数の画素データを含む。
【0022】
前述の画像処理は、図５に例示される処理２０ａ、処理２０ｂ、および処理２０ｃの少なくとも一つを含みうる。
【0023】
処理２０ａにおいては、図４に例示される予測画像２０の周縁部が除去される。除去される部分の大きさは、例えば予測画像２０の四辺から１０画素の範囲とされうる。これにより注目する領域と隣接する領域から及びうる後段の抽出処理への影響を抑制できる。
【0024】
処理２０ｂにおいては、予測画像２０に含まれる複数の黒色領域２１のうち、面積が所定の閾値未満であるものが除去される。これにより、頭髪である確からしさがより高い黒色領域２１が残され、ノイズや頭皮上に位置する小さな異物などが後段の抽出処理に及ぼしうる影響を抑制できる。
【0025】
処理２０ｃにおいては、黒色領域２１の幅が規格化される。これにより、各黒色領域２１の区別性を高めることができるので、比較的近い距離で隣り合う頭髪同士が一本の頭髪とみなされる可能性を低減できる。
【0026】
続いて、図１に例示されるように、予測画像２０に含まれる黒色領域２１に対して「シード」と称されるサブ領域が設定されることにより、シード画像が取得される（ＳＴＥＰ３）。「シード」とは、黒色領域２１よりも小さい面積を有しているサブ領域であり、少なくとも一つの画素を含んでいる。
【0027】
具体的には、図６に例示されるように、予測画像２０に含まれる複数の黒色領域２１の一つである黒色領域２１ａについて「シード」が配置される位置が決定され、シード画像３１が生成される。シード画像３１もまた、２５６×２５６個の画素を含んでいる。シード画像３１は、黒色領域２１ａに対応する位置に配置された単一のシード３１１を含んでいる。本例においては、シード３１１は、少なくとも一つの黒色の画素を含んでいる。よって、シード画像３１に対応するシード画像データＳＤは、黒色に対応付けられた値を有する少なくとも一つの画素データを含んでいる。
【0028】
続いて、図１に例示されるように、黒色領域２１ａに対応する一本の頭髪を抽出する処理が行なわれる（ＳＴＥＰ４）。具体的には、上記のように取得された予測画像データＥＤとシード画像データＳＤとに基づいて、原画像１０における少なくともシード３１１に対応する位置に黒色領域２１ａに対応する一本の頭髪１１が映り込んでいる確率が推論される。
【0029】
本例においては、図６に示されるように、予測画像２０に対応する予測画像データＥＤとシード画像３１に対応するシード画像データＳＤが、第二推論モデル１０２に入力される。第二推論モデル１０２は、当該入力に基づいて、原画像１０における少なくともシード３１１に対応する位置に複数の頭髪１１の一本が映り込んでいる確率を出力するように機械学習がなされたコンピュータアルゴリズムである。換言すると、第二推論モデル１０２は、シード３１１が配置された位置を含むように映り込んだ頭髪を、原画像１０に映り込んだ頭部の画像からセグメンテーションするように機械学習がなされている。第二推論モデル１０２に用いられるコンピュータアルゴリズムの例としては、Ｕ－ｎｅｔが挙げられる。
【0030】
図７は、機械学習により第二推論モデル１０２を生成する方法の一例を示している。本例においては、原画像データＯＤ、シード画像データＳＤ、および正解画像データＣＤのセットが多数用意される。
【0031】
原画像データＯＤは、複数の頭髪５１が映り込んだ原画像５０に対応している。シード画像データＳＤは、複数の頭髪５１の一本が映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域（シード）６１を含んでいるシード画像６０に対応している。正解画像データＣＤは、少なくともサブ領域６１を含む位置に映り込んだ複数の頭髪５１の一本が原画像５０から抽出された画像７１を含んでいる正解画像７０に対応している。
【0032】
機械学習は、各セットにおける原画像データＯＤとシード画像データＳＤが入力された場合の正解として同セットにおける正解画像データＣＤが出力されるように推論パラメータのチューニングがなされる。その結果として、第二推論モデル１０２は、原画像に映り込んだ複数の頭髪の一本に着目して生成されたシードの位置に基づいて、当該シードの位置を含み、かつ当該一本の頭髪が映り込んでいる確率が高い領域を推論する能力を獲得できる。
【0033】
図８は、機械学習により第二推論モデル１０２を生成する方法の別例を示している。本例においては、模擬画像データＩＤ、シード画像データＳＤ、および正解画像データＣＤのセットが多数用意される。
【0034】
模擬画像データＩＤは、複数の頭髪が映り込んだ原画像を模した二値化画像である模擬画像８０に対応している。模擬画像８０は、複数の模擬頭髪８１を含んでいる。模擬画像８０は、コンピュータにより実行される自動画像生成アルゴリズムにより生成されうる。
【0035】
例えば、５１２×５１２画素の大きさを有する正方形の領域内に複数の楕円弧を描画した後、２５６×２５６画素の大きさを有する当該領域の中心部を切り出す処理を行なうことにより、模擬画像８０が取得されうる。描画された各楕円弧の一部が模擬頭髪８１を形成する。楕円弧の描画パラメータは以下の通りとされうる。
本数：μ＝30本，σ＝20本の正規分布でランダム、かつ10～20本の範囲内
中心座標：正方形領域内でランダム
長径：正方形領域をはみ出さない範囲でランダム
短径：正方形領域をはみ出さない範囲でランダム
傾き角（偏角）：0～360°でランダム
描画開始角度：偏角－45°～偏角＋45°でランダム
描画終了角度：偏角－45°～偏角＋45°でランダム
太さ：4～8画素でランダム
長さ：一定の閾値より長いもののみ描画
本数：μ＝30本，σ＝20本の正規分布でランダム、かつ10～20本の範囲内
中心座標：正方形領域内でランダム
長径：正方形領域をはみ出さない範囲でランダム
短径：正方形領域をはみ出さない範囲でランダム
傾き角（偏角）：0～360°でランダム
描画開始角度：偏角－45°～偏角＋45°でランダム
描画終了角度：偏角－45°～偏角＋45°でランダム
太さ：4～8画素でランダム
長さ：一定の閾値より長いもののみ描画
【0036】
本例におけるシード画像データＳＤは、複数の模擬頭髪８１の一本が映り込んでいる領域に対応する位置において当該領域よりも小さい面積を有するサブ領域（シード）６１を含んでいるシード画像６０に対応している。正解画像データＣＤは、少なくともサブ領域６１を含む位置に映り込んだ複数の模擬頭髪８１の一本が模擬画像８０から抽出された画像７１を含んでいる正解画像７０に対応している。
【0037】
機械学習は、各セットにおける模擬画像データＩＤとシード画像データＳＤが入力された場合の正解として同セットにおける正解画像データＣＤが出力されるように推論パラメータのチューニングがなされる。本例に係る手法によっても、第二推論モデル１０２は、原画像に映り込んだ複数の頭髪の一本に着目して生成されたシードの位置に基づいて、当該シードの位置を含み、かつ当該一本の頭髪が映り込んでいる確率が高い領域を推論する能力を獲得できる。加えて、模擬画像８０はコンピュータアルゴリズムにより自動生成できるので、豊富な量の機械学習を効率よく実行できる。
【0038】
模擬画像データＩＤを用いた機械学習がある程度進行した段階で、図７を参照して説明した原画像データＯＤを用いる学習に移行してもよい。これにより、現実に取得される頭髪の原画像への対応性がより高められた第二推論モデル１０２の機械学習を効率よく実行できる。
【0039】
図６に例示されるように、上記のような機械学習を通じて生成された第二推論モデル１０２から予測画像データＥＤとシード画像３１に対応するシード画像データＳＤに基づいて出力された確率を二値化することにより、抽出画像４１が取得される。抽出画像４１もまた、２５６×２５６個の画素を含んでいる。
【0040】
抽出画像４１は、黒色領域４１１を含んでいる。黒色領域４１１は、第二推論モデル１０２により出力された確率が閾値以上である画素を含んでいる。黒色領域４１１は、シード画像３１におけるシード３１１と対応する位置の画素を含んでいる。黒色領域４１１の面積は、シード３１１の面積よりも大きい。すなわち、黒色領域４１１は、一本の頭髪１１が少なくともシード３１１に対応する位置を含むように映り込んでいると推論された原画像１０の画素に対応している。
【0041】
抽出画像４１は、白色領域４１０を含んでいる。白色領域４１０は、当該確率が閾値未満である画素を含んでいる。すなわち、白色領域２２は、一本の頭髪１１が少なくともシード３１１に対応する位置を含むように映り込んでいないと推論された原画像１０の画素に対応している。なお、当該確率に対する黒色と白色の関係は逆でもよい。
【0042】
したがって、抽出画像４１に対応する抽出画像データＸＤは、各々が黒色または白色に対応付けられた値を有する複数の画素データを含む。
【0043】
物体の領域抽出とクラス分類を画素単位で行なう手法として、インスタンスセグメンテーションが知られている。当該手法においては、バウンディングボックスを用いて個々の頭髪が映り込んでいる領域を絞り込み、バウンディングボックス内で頭髪のセグメンテーションを行なう。
【0044】
他方、本開示に係る抽出方法においては、インスタンスセグメンテーションとは根本的に異なる新規な思想が採用されている。本方法においては、原画像１０に映り込んだ複数の頭髪１１のうち注目する一本について、個々の頭髪１１よりも小さな面積を有するシード３１１が設定される。第二推論モデル１０２は、そのようなシード３１１を、当該一本の頭髪１１が映り込んだ領域を示すように「成長させる」機能を有しているとも言える。予測画像２０に含まれる全ての黒色領域２１についてシード画像の生成と抽出画像の取得を繰り返すことにより、原画像１０に映り込んだ複数の頭髪１１を一本ずつ抽出できる。
【0045】
したがって、対象者の頭髪状態（頭髪密度など）の定量的評価を適切に行なうことができる。加えて、個々の頭髪１１を抽出するために対象者に箭毛を強いる必要もない。よって、頭髪状態を定量的に評価可能で、かつ簡略化された頭髪抽出の手法を提供できる。
【0046】
シード３１１を含むシード画像３１が第二推論モデル１０２に入力されることにより、シード３１１よりも大きな面積を有する黒色領域（一本の頭髪１１が映り込んでいる確率が高い領域）が得られるが、この黒色領域が必ずしも一本の頭髪１１の抽出に十分な大きさを有しているとは限らない。図６においては、「成長不十分」な黒色領域４１２を含む抽出画像４１Ａが例示されている。
【0047】
このような場合、抽出画像４１Ａは、新たなシード画像として予測画像２０とともに第二推論モデル１０２へ入力されうる。すなわち、第二推論モデル１０２は、抽出画像４１Ａに含まれる黒色領域４１２を新たなシードとして、予測画像２０における黒色領域２１ａに対応する一本の頭髪１１が原画像１０における少なくとも黒色領域４１２に対応する位置に映り込んでいる確率を再推論する。
【0048】
第二推論モデル１０２により出力された当該確率を二値化する処理が行なわれることにより、新たな抽出画像４１Ｂが取得される。抽出画像４１Ｂは、黒色領域４１３を含んでいる。黒色領域４１３は、抽出画像４１Ａにおける黒色領域４１２と対応する位置の画素を含んでいる。黒色領域４１３の面積は、シードとして用いられた黒色領域４１２の面積よりも大きい。
【0049】
図６に示される例においては、抽出画像４１Ｂに含まれる黒色領域４１３もまた「成長不十分」と判断されている。よって、抽出画像４１Ｂは、新たなシード画像として予測画像２０とともに第二推論モデル１０２へ入力されている。すなわち、第二推論モデル１０２は、抽出画像４１Ｂに含まれる黒色領域４１３を新たなシードとして、予測画像２０における黒色領域２１ａに対応する一本の頭髪１１が原画像１０における少なくとも黒色領域４１３に対応する位置に映り込んでいる確率を再推論する。結果として、予測画像２０における黒色領域２１ａに対応する一本の頭髪１１を抽出するのに十分な大きさを有する黒色領域４１１を含む抽出画像４１が取得されている。
【0050】
上記のような処理を行なうことにより、不十分な大きさの黒色領域を含む抽出画像に起因する所望の頭髪１１の抽出精度の低下を抑制できる。なお、「成長不十分」であるかを判断する処理に代えて、抽出画像を新たなシード画像として第二推論モデル１０２へ入力する処理を所定の回数だけ繰り返すようにしてもよい。あるいは、最新の抽出画像に含まれる黒色領域４１３の大きさと前回の抽出画像に含まれる黒色領域４１３の大きさの差分が閾値を下回った場合には成長が十分であるとみなし、抽出画像を新たなシード画像として第二推論モデル１０２へ入力する処理を終了してもよい。
【0051】
なお、第二推論モデル１０２による推論を経ることにより、抽出画像に含まれる黒色領域の大きさは、頭髪１１の長さ方向だけでなく頭髪１１の幅方向にも増大する。したがって、抽出画像が新たなシード画像として第二推論モデル１０２に入力される前に、図５を参照して説明した処理２０ｃを行なうことによって黒色領域の幅を規格化することが好ましい。これにより、頭髪１１の長さ方向へのシードの「成長」を促すことができるだけでなく、頭髪１１の幅方向へのシードの「成長」に起因する所望の頭髪１１の抽出精度の低下を抑制できる。
【0052】
抽出画像４１が取得された後で予測画像２０に含まれる全ての黒色領域２１についてシード画像の生成と抽出画像の取得が繰り返される処理について、より詳細に説明する。以降の説明においては、抽出画像４１の場合と実質的に同じ内容についての繰り返しとなる説明は省略する。
【0053】
抽出画像４１が取得された後、予測画像２０の一部が削除された修正予測画像を取得する処理が行なわれる（ＳＴＥＰ５）。
【0054】
具体的には、図９に例示されるように、予測画像２０においてシード３１１に対応付けられた黒色領域２１ａが削除された修正予測画像２０Ａに対応する修正予測画像データＭＤが取得される。
【0055】
続いて、原画像１０に映り込んだ全ての頭髪１１について抽出処理がなされたかが判断される（図１のＳＴＥＰ６）。具体的には、修正予測画像中に黒色領域が残っているかに基づいて判断がなされる。黒色領域が残っていないと判断されると（ＳＴＥＰ６においてＹＥＳ）、全ての頭髪１１について抽出処理がなされたとみなされ、処理は終了する。
【0056】
黒色領域が残っていると判断されると（ＳＴＥＰ６においてＮＯ）、処理はＳＴＥＰ３に戻り、「シード」が配置される別の黒色領域がランダムに選ばれるとともに、選ばれた別の黒色領域について「シード」が配置される位置がランダムに決定される。図９に示される例においては、修正予測画像２０Ａに含まれる別の黒色領域２１ｂが選択され、新たなシード画像３２が生成されている。シード画像３２は、黒色領域２１ｂに対応する位置に配置された単一のシード３２１を含んでいる。
【0057】
続いて、シード画像３１の場合と同様に、シード画像３２に対応するシード画像データが第二推論モデル１０２への入力に供される。これにより、原画像１０における少なくともシード３２１に対応する位置に黒色領域２１ｂに対応する一本の頭髪１１が映り込んでいる確率が出力される。
【0058】
第二推論モデル１０２により出力された確率を二値化する処理を行なうことにより、抽出画像４２が取得される（図１のＳＴＥＰ４）。抽出画像４２は、黒色領域４２１を含んでいる。黒色領域４２１は、第二推論モデル１０２により出力された確率が閾値以上である画素を含んでいる。黒色領域４２１は、シード画像３２におけるシード３２１と対応する位置の画素を含んでいる。黒色領域４２１の面積は、シード３２１の面積よりも大きい。すなわち、黒色領域４２１は、一本の頭髪１１が少なくともシード３２１に対応する位置を含むように映り込んでいると推論された原画像１０の画素に対応している。
【0059】
続いて、修正予測画像２０Ａにおいてシード３２１に対応付けられた黒色領域２１ｂが削除された修正予測画像２０Ｂに対応する修正予測画像データＭＤが取得される（図１のＳＴＥＰ５）。
【0060】
予測画像２０に含まれていた全ての黒色領域２１について抽出画像の取得が完了していないので（図１のＳＴＥＰ６においてＮＯ）、修正予測画像２０Ｂに含まれる別の黒色領域２１ｃについて「シード」が配置される位置が決定され、新たなシード画像３３が生成される（図１のＳＴＥＰ３）。シード画像３３は、黒色領域２１ｃに対応する位置に配置された単一のシード３３１を含んでいる。
【0061】
続いて、シード画像３１の場合と同様に、シード画像３３に対応するシード画像データが第二推論モデル１０２への入力に供される。これにより、原画像１０における少なくともシード３３１に対応する位置に黒色領域２１ｃに対応する一本の頭髪１１が映り込んでいる確率が出力される。
【0062】
第二推論モデル１０２により出力された確率を二値化する処理を行なうことにより、抽出画像４３が取得される（図１のＳＴＥＰ４）。抽出画像４３は、黒色領域４３１を含んでいる。黒色領域４３１は、第二推論モデル１０２により出力された確率が閾値以上である画素を含んでいる。黒色領域４３１は、シード画像３３におけるシード３３１と対応する位置の画素を含んでいる。黒色領域４３１の面積は、シード３３１の面積よりも大きい。すなわち、黒色領域４３１は、一本の頭髪１１が少なくともシード３３１に対応する位置を含むように映り込んでいると推論された原画像１０の画素に対応している。
【0063】
すなわち、シードの設定を通じて既に抽出がなされた頭髪に対応する黒色領域２１を削除する処理を通じて修正予測画像データＭＤが取得される。これにより、既に抽出処理がなされた頭髪に対応する黒色領域２１の存在が、後続する抽出処理に供される黒色領域２１に対して及ぼしうる影響を抑制できる。例えば、所望の黒色領域２１に対して然るべくシードの設定がなされることなく、抽出済みの頭髪に対応する黒色領域２１に対して重複的にシードが設定されてしまう事態の発生を抑制できる。
【0064】
なお、修正予測画像データＭＤの取得に際しては、削除対象の黒色領域２１を含み、かつ当該黒色領域２１よりも大きな面積を有する範囲の画像が削除されることが好ましい。この場合、抽出済みの頭髪に対応する黒色領域２１の周囲に残存しうるノイズ画像に対して不要なシードが設定されてしまう事態の発生を抑制できる。
【0065】
第二推論モデル１０２は、図７に例示されるような複数の頭髪５１が重なった原画像５０からサブ領域（シード）６１を含む位置に映り込んだ１本の頭髪５１が原画像５０から抽出された画像７１を生成するように学習がなされるが、重なっている二本以上の頭髪５１が抽出される場合がありうる。例えば、図９に示される抽出画像４３に含まれている黒色領域４３１のように、二本の頭髪１１が分岐点を有する一つの黒色領域として抽出される場合がありうる。
【0066】
この場合、図１０に例示されるように、分岐点４３１ａから延びる第一部分４３１１と第二部分４３１２の一方を削除する処理に対応する修正が、抽出画像データＸＤに対して行なわれうる。
【0067】
まず、分岐点４３１ａを含む黒色領域４３１について、三つの先端４３１ｂ、４３１ｃ、４３１ｄが特定される。先端４３１ｂは、黒色領域４３１の基部４３１０の先端に対応している。基部４３１０は、黒色領域４３１のうちシード３１１が設定された位置を含む部分である。先端４３１ｃは、第一部分４３１１の先端である。先端４３１ｄは、第二部分４３１２の先端である。
【0068】
続いて、分岐点４３１ａから三つの４３１ｂ、４３１ｃ、４３１ｄへそれぞれ向かう三本のベクトルＶ０、Ｖ１、Ｖ２が定義される。
【0069】
次に、基部４３１０に対応するベクトルＶ０と第一部分４３１１に対応するベクトルＶ１の内積Ｐ１が計算される。同様に、基部４３１０に対応するベクトルＶ０と第二部分４３１２に対応するベクトルＶ２の内積Ｐ２が計算される。
【0070】
最後に、内積Ｐ１と内積Ｐ２の大きさが比較され、より小さな内積を提供したベクトルに対応する第一部分４３１１と第二部分４３１２の一方が、削除に供される。すなわち、基部４３１０に対する屈曲がより大きい第一部分４３１１と第二部分４３１２の一方が、削除に供される。本例においては、第二部分４３１２が削除された新たな抽出画像４１が取得されている。
【0071】
削除された第二部分４３１２については、第二部分４３１２を含む新たな抽出画像４１として取り扱われてもよいし、第二部分４３１２を含む新たな予測画像２０としてシードの設定に供されてもよい。
【0072】
本開示に係る抽出方法が対象とする頭髪は、細長い形状を有しており、かつ隣り合う頭髪と重なり合いやすい。よって、インスタンスセグメンテーションに用いられるバウンディングボックスの形状もまた細長くなり、かつバウンディングボックス同士の重畳が生じやすくなる。このような条件下では、個々の頭髪の抽出精度を高めることが難しい。他方、上記のような処理を行なうことにより、重なり合った複数の頭髪１１の個別抽出精度の低下を抑制できる。
【0073】
図１１は、抽出画像データＸＤに対する修正処理の別例を示している。前述のように、第二推論モデル１０２による推論を経ることにより、抽出画像に含まれる黒色領域の大きさは、頭髪１１の長さ方向だけでなく頭髪１１の幅方向にも増大する。同図に例示される抽出画像４１Ｃは、頭髪１１の幅方向にも「成長」した黒色領域４１４を含んでいる。
【0074】
本開示に係る抽出方法においては、黒色領域４１４のうち、予測画像２０に含まれる黒色領域２１ａと重なる部分以外を抽出画像４１Ｃから削除する処理に対応する修正が、抽出画像データＸＤに対してなされうる。
【0075】
このような処理を行なうことにより、不要な「成長」部分がそぎ落とされて実際の頭髪１１により近い形状の黒色領域を含む抽出画像が得られる。結果として、所望の頭髪１１の抽出精度の低下を抑制できる。
【0076】
図１１に例示されるように、第二推論モデル１０２の推論アルゴリズムによっては、予測画像２０に含まれる黒色領域２１ａに由来しない黒色領域４１５が予期せず抽出画像４１Ｃに含まれる場合がある。
【0077】
本開示に係る抽出方法においては、シード３１１に対応する位置を含むように抽出されていない黒色領域４１５を抽出画像４１Ｃから削除する処理に対応する修正が、抽出画像データＸＤに対してなされうる。
【0078】
このような処理を行なうことにより、第二推論モデル１０２によって予期せず生成された不要な黒色領域が所望の頭髪１１の抽出に及ぼしうる影響を抑制できる。
【0079】
図６、図９、および図１１に例示されるように、上記の各処理例においては、予測画像２０に含まれる黒色領域２１の端部に対応する位置にシードが設定されている。黒色領域２１の端部は頭髪１１の先端または基端に対応している確率が高いので、所望の頭髪１１の少なくとも一部が抽出された画像が生成される可能性を高めることができる。しかしながら、シードが設定される位置は、黒色領域２１に含まれる任意の位置でありうる。
【0080】
上記の各処理例においては、予測画像２０に含まれる複数の黒色領域２１の各々に対して単一のシードが設定されている。しかしながら、図１２に例示されるように、特定の黒色領域２１に対して複数のシードが設定されうる。
【0081】
本例においては、予測画像２０に含まれる複数の黒色領域２１の一つである黒色領域２１ａに対して第一のシード３４１が設定され、シード３４１を含むシード画像３４が生成されている。予測画像２０に対応する予測画像データＥＤとシード画像３４に対応するシード画像データＳＤが第二推論モデル１０２に入力されることにより、黒色領域４１６を含む抽出画像４１Ｄが取得されている。
【0082】
加えて、同じ黒色領域２１ａに対して第二のシード３５１が設定され、シード３５１を含むシード画像３５が生成されている。第二のシード３５１が設定される位置は、第一のシード３４１が設定される位置と異なっている。予測画像２０に対応する予測画像データＥＤとシード画像３４に対応するシード画像データＳＤが第二推論モデル１０２に入力されることにより、黒色領域４１７を含む抽出画像４１Ｅが取得されている。
【0083】
本例においては、第一のシード３１４に基づいて取得された抽出画像４１Ｄに含まれる黒色領域４１６と、第二のシード３１５に基づいて取得された抽出画像４１Ｅに含まれる黒色領域４１７との類似性を示す指標値が取得される。指標値の例としては、ＩｏＵ（Intersection over Union）、Ｆ値などが挙げられる。
【0084】
当該指標値が所定の閾値を上回る場合、抽出画像４１Ｄと抽出画像４１Ｅに基づいて、新たな抽出画像４１Ｆが生成される。なお、閾値は一定であってもよいし、可変であってもよい。
【0085】
具体的には、抽出画像４１Ｄに含まれる黒色領域４１６と抽出画像４１Ｅに含まれる黒色領域４１７の平均画像が取得される。平均画像に含まれる各画素の階調値は、元の抽出画像における対応する画素の階調値同士の平均値となる。例えば平均画像の階調値が所定の中間調に対応する閾値を下回る場合に黒色とされるように二値化処理を行なうことにより、新たな黒色領域４１８を含む抽出画像４１Ｆが生成される。
【0086】
このような処理によれば、予測画像２０に含まれる特定の黒色領域２１について重複した抽出画像が取得されることを避けつつ、当該特定の黒色領域２１が単一の頭髪１１に対応しているのか、あるいは複数の頭髪に１１に対応しているのかを弁別できる。
【0087】
予測画像２０に含まれる複数の黒色領域２１の各々について設定されるシードの数は、三つ以上であってもよい。その場合、ペアを形成しうる全ての抽出画像の組合せについて類似性に対応する指標値の取得がなされ、指標値の最も大きな組合せについて新たな抽出画像が生成される。新たな抽出画像は、その抽出画像の生成元となった抽出画像の代わりに、類似性に対応する指標値の取得に利用される。新たな抽出画像と別の抽出画像の平均画像を取得する場合は、新たな抽出画像の生成元となった全ての抽出画像と別の抽出画像を全て用いて平均画像を取得する。ペアを形成しうる全ての抽出画像の組合せについて類似性に対応する指標値を取得し、新たな抽出画像を生成する処理は、類似性を示す指標値が全ての組合せについて閾値以下となるまで反復される。
【0088】
なお、複数の抽出画像同士の類似性に対応する指標値を取得する上述の処理は、図６と図９を参照して説明した複数の抽出画像４１～４３についても適用可能である。この場合、予測画像に含まれる別々の黒色領域２１が、単一の頭髪１１に対応しているのか、あるいは複数の頭髪１１に対応しているのかを弁別できる。
【0089】
これまで説明した本開示に係る各処理は、少なくとも一つのコンピュータに搭載された少なくとも一つのプロセッサにより実行される。
【0090】
当該プロセッサは、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、当該機能を実現するためのコンピュータプログラムが記憶されうる。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。この場合、当該汎用メモリは、コンピュータプログラムが記憶された非一時的なコンピュータ可読媒体の一例である。
【0091】
当該プロセッサは、当該機能を実現するためのコンピュータプログラムがプリインストールされた記憶素子を備えたマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。この場合、当該記憶素子は、コンピュータプログラムが記憶された非一時的なコンピュータ可読媒体の一例である。
【0092】
当該プロセッサは、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
【0093】
これまで説明した各処理は、本開示の理解を容易にするための例示にすぎない。各処理例は、本開示の趣旨から逸脱しなければ、適宜の変更や他の処理例との組合せがなされうる。
【0094】
上記の実施形態例においては、図４に示されるように、原画像１０に対応する原画像データＯＤを第一推論モデル１０１に入力することにより、予測画像データＥＤが取得されている。しかしながら、予測画像データＥＤを取得するために必ずしも第一推論モデル１０１が用いられることを要しない。例えば、原画像１０を単純に二値化処理することで予測画像２０が取得されてもよい。
【0095】
上記の実施形態例においては、予測画像２０に対応する予測画像データＥＤがシード画像データＳＤとともに第二推論モデル１０２に入力されることにより、抽出画像データＸＤが取得されている。これに加えてあるいは代えて、原画像１０に対応する原画像データＯＤが、シード画像データＳＤとともに第二推論モデル１０２に入力されてもよい。
【0096】
なお、原画像データＯＤと予測画像データＥＤの双方が第二推論モデル１０２に入力される構成の場合、この第二推論モデル１０２を生成するための機械学習は、原画像データＯＤと模擬画像データＩＤの双方を用いて行なわれる必要がある。
【0097】
上記の実施形態例においては、人の頭髪が抽出の対象とされている。しかしながら、人の身体の他の部位に生えている毛髪、および人以外の動植物に生えている毛髪もまた、抽出の対象となりうる。また、ブラシの毛などの非生体が備えている毛状体もまた、抽出の対象となりうる。
【0098】
以下に列挙される構成もまた、本開示の一部を構成する。
項目１：
原画像に映り込んだ複数の毛状体の一つを抽出する方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する、
毛状体の抽出方法。
項目２：
前記画像処理は、入力された原画像データに対応する原画像の各画素に前記複数の毛状体の一部が映り込んでいる確率を出力する推論モデルに前記原画像データを入力する処理を含んでいる、
項目１に記載の毛状体の抽出方法。
項目３：
前記第一シード画像の取得に先立ち、前記予測画像における前記複数の毛状体の一部が映り込んでいると予測された領域の幅が規格化される、
項目１または２に記載の毛状体の抽出方法。
項目４：
前記第一サブ領域は、前記領域の端部に対応する位置に配置される、
項目１から３のいずれか一項に記載の毛状体の抽出方法。
項目５：
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を前記第一サブ領域とは異なる位置に含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得し、
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
項目１に記載の毛状体の抽出方法。
項目６：
前記第一抽出画像データの取得後に、前記第一サブ領域に対応付けられた前記複数の領域の一つが前記予測画像から削除された修正予測画像に対応する修正予測画像データを取得し、
前記修正予測画像における前記複数の領域の別の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の別の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の別の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得する、
項目１から４のいずれか一項に記載の毛状体の抽出方法。
項目７：
前記修正予測画像においては、前記第一サブ領域に対応付けられた前記複数の領域の一つを含み、かつ当該領域よりも大きな面積を有する範囲の画像が、前記予測画像から削除されている、
項目６に記載の毛状体の抽出方法。
項目８：
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
項目６または７に記載の毛状体の抽出方法。
項目９：
前記第一抽出画像データを新たな前記第一シード画像データとして前記確率を再推論する、
項目１から８のいずれか一項に記載の毛状体の抽出方法。
項目１０：
前記第一抽出画像データが新たな前記第一シード画像データとされる前に、前記複数の毛状体の一つが抽出された画像の幅を規格化する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目９に記載の毛状体の抽出方法。
項目１１：
前記第一サブ領域に対応する位置を含むように抽出されていない画像を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１０のいずれか一項に記載の毛状体の抽出方法。
項目１２：
前記第一サブ領域に対応する位置を含むように抽出された画像のうち、前記複数の毛状体の一部が映り込んでいると予測された領域と重なる部分以外を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１１のいずれか一項に記載の毛状体の抽出方法。
項目１３：
前記複数の毛状体の一つが抽出された画像が分岐点を含んでいる場合、当該分岐点から延びる当該画像の第一部分と第二部分の一方を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１２のいずれか一項に記載の毛状体の抽出方法。
項目１：
原画像に映り込んだ複数の毛状体の一つを抽出する方法であって、
複数の毛状体が映り込んだ原画像に対応する原画像データを取得し、
前記原画像データに画像処理を適用することにより、前記原画像の各画素に前記複数の毛状体のいずれかの一部が映り込んでいるかを予測し、
各々が前記複数の毛状体の一つが映り込んでいると予測された複数の領域を含んでいる予測画像に対応する予測画像データを取得し、
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第一サブ領域を含んでいる第一シード画像に対応する第一シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第一シード画像データとに基づいて、前記第一サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を、推論モデルを用いて推論し、
前記確率を二値化することにより、前記第一サブ領域に対応する位置を含み、かつ前記第一サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第一抽出画像に対応する第一抽出画像データを取得する、
毛状体の抽出方法。
項目２：
前記画像処理は、入力された原画像データに対応する原画像の各画素に前記複数の毛状体の一部が映り込んでいる確率を出力する推論モデルに前記原画像データを入力する処理を含んでいる、
項目１に記載の毛状体の抽出方法。
項目３：
前記第一シード画像の取得に先立ち、前記予測画像における前記複数の毛状体の一部が映り込んでいると予測された領域の幅が規格化される、
項目１または２に記載の毛状体の抽出方法。
項目４：
前記第一サブ領域は、前記領域の端部に対応する位置に配置される、
項目１から３のいずれか一項に記載の毛状体の抽出方法。
項目５：
前記複数の領域の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を前記第一サブ領域とは異なる位置に含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得し、
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
項目１に記載の毛状体の抽出方法。
項目６：
前記第一抽出画像データの取得後に、前記第一サブ領域に対応付けられた前記複数の領域の一つが前記予測画像から削除された修正予測画像に対応する修正予測画像データを取得し、
前記修正予測画像における前記複数の領域の別の一つに対応する位置において当該領域よりも小さい面積を有する第二サブ領域を含んでいる第二シード画像に対応する第二シード画像データを取得し、
前記原画像データおよび前記予測画像データの少なくとも一方と前記第二シード画像データに基づいて、前記第二サブ領域に対応する位置を含む前記複数の毛状体の別の一つが前記原画像に映り込んでいる確率を推論し、
前記確率を二値化することにより、前記第二サブ領域に対応する位置を含み、かつ前記第二サブ領域よりも大きい面積を有するように前記複数の毛状体の別の一つの少なくとも一部が抽出された画像を含んでいる第二抽出画像に対応する第二抽出画像データを取得する、
項目１から４のいずれか一項に記載の毛状体の抽出方法。
項目７：
前記修正予測画像においては、前記第一サブ領域に対応付けられた前記複数の領域の一つを含み、かつ当該領域よりも大きな面積を有する範囲の画像が、前記予測画像から削除されている、
項目６に記載の毛状体の抽出方法。
項目８：
前記第一抽出画像に抽出されている画像と、前記第二抽出画像に抽出されている画像との類似性を示す指標値を取得し、
前記指標値が閾値を上回る場合、前記第一抽出画像と前記第二抽出画像に基づいて前記複数の毛状体の一つの少なくとも一部を含むように生成された新たな抽出画像に対応するデータを、前記第一抽出画像データとして採用する、
項目６または７に記載の毛状体の抽出方法。
項目９：
前記第一抽出画像データを新たな前記第一シード画像データとして前記確率を再推論する、
項目１から８のいずれか一項に記載の毛状体の抽出方法。
項目１０：
前記第一抽出画像データが新たな前記第一シード画像データとされる前に、前記複数の毛状体の一つが抽出された画像の幅を規格化する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目９に記載の毛状体の抽出方法。
項目１１：
前記第一サブ領域に対応する位置を含むように抽出されていない画像を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１０のいずれか一項に記載の毛状体の抽出方法。
項目１２：
前記第一サブ領域に対応する位置を含むように抽出された画像のうち、前記複数の毛状体の一部が映り込んでいると予測された領域と重なる部分以外を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１１のいずれか一項に記載の毛状体の抽出方法。
項目１３：
前記複数の毛状体の一つが抽出された画像が分岐点を含んでいる場合、当該分岐点から延びる当該画像の第一部分と第二部分の一方を前記第一抽出画像から削除する処理に対応する修正を、前記第一抽出画像データに対して行なう、
項目１から１２のいずれか一項に記載の毛状体の抽出方法。
【符号の説明】
【0099】
１０：原画像、１１：頭髪、２０：予測画像、２０Ａ：修正予測画像、２１：黒色領域、３１：シード画像、３１１：シード、４１：抽出画像、４１１：黒色領域、８０：模擬画像、８１：模擬頭髪、１０１：第一推論モデル、１０２：第二推論モデル、ＣＤ：正解画像データ、ＥＤ：予測画像データ、ＩＤ：模擬画像データ、ＭＤ：修正予測画像データ、ＯＤ：原画像データ、ＳＤ：シード画像データ、ＸＤ：抽出画像データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
