特表 2024-502308 皮膚病変検出モデルを適切に調整するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-18

(54)【発明の名称】皮膚病変検出モデルを適切に調整するための装置及び方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240111BHJP

   G06T 7/00 20170101ALI20240111BHJP

   G06V 10/82 20220101ALI20240111BHJP

   A61B 5/00 20060101ALI20240111BHJP

   G16H 50/50 20180101ALI20240111BHJP

【ＦＩ】

A61B10/00 Q

G06T7/00 350C

G06T7/00 614

G06V10/82

A61B5/00 M

G16H50/50

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023539122

(86)(22)【出願日】2021-12-07

(85)【翻訳文提出日】2023-06-26

(86)【国際出願番号】 EP2021084507

(87)【国際公開番号】W WO2022144150

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】20217603.8

(32)【優先日】2020-12-29

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ワン ルー

(72)【発明者】

【氏名】ムースコップス バスティアン ウィルヘルムス マリア

(72)【発明者】

【氏名】シュイヤース エリク ゴシヌス ペトルス

(72)【発明者】

【氏名】パレロ ジョナサン アランブラ

【テーマコード（参考）】

4C117

5L096

5L099

【Ｆターム（参考）】

4C117XD05

4C117XE43

4C117XG05

4C117XJ13

4C117XJ14

4C117XJ35

4C117XJ45

4C117XK09

4C117XK18

4C117XL01

4C117XL12

4C117XL14

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096CA22

5L096DA02

5L096EA14

5L096EA39

5L096FA16

5L096FA69

5L096GA30

5L096GA51

5L096JA25

5L099AA03

(57)【要約】

一態様によると、皮膚病変検出モデル３０を適切に調整するための装置１０が提供される。装置１０は、プロセッサ１２とメモリ１１とを備える。プロセッサ１２は、使用者に関連付けられた使用者データ１３を受信し、皮膚病変検出モデル１４の出力を受信し、使用者データ１３に従って皮膚病変検出モデル１４の出力を修正して、使用者に対して皮膚病変検出を示す修正した出力１５を提供し、修正した出力１５を出力するように構成されている。

【特許請求の範囲】

【請求項1】

皮膚病変検出モデルを適切に調整するための装置であって、前記装置が、プロセッサとメモリとを備え、前記プロセッサが、
使用者に関連付けられた使用者データであって、前記使用者データが前記使用者の既知の皮膚特徴の位置を含む、使用者データを受信し、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信し、
前記検出皮膚病変の前記位置を前記使用者の前記既知の皮膚特徴の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供し、前記使用者の前記既知の皮膚特徴の前記位置に対応する前記検出皮膚病変の前記位置に応じて、前記修正した出力から前記検出皮膚病変を除外し、
前記修正した出力を出力するように構成されている、装置。

【請求項2】

前記使用者データが、
前記使用者の既知の皮膚病変と、
前記使用者の注意領域と、
前記使用者の皮膚病変のタイプの好みと
のうちの、１つ又は複数をさらに含む、請求項１に記載の装置。

【請求項3】

皮膚病変検出モデルを適切に調整するための装置であって、前記装置が、プロセッサとメモリとを備え、前記プロセッサが、
使用者に関連付けられた使用者データであって、前記使用者データが前記使用者の注意領域の位置を含む、使用者データを受信し、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信し、
前記検出皮膚病変が前記使用者の前記注意領域の前記位置内にあることを反映するために、前記検出皮膚病変の前記位置を前記使用者の前記注意領域の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供し、
前記修正した出力を出力する、装置。

【請求項4】

前記使用者データが、
前記使用者の既知の皮膚特徴と、
前記使用者の既知の皮膚病変と、
前記使用者の皮膚病変のタイプの好みと
のうちの１つ又は複数をさらに含む、請求項３に記載の装置。

【請求項5】

前記皮膚病変検出モデルの前記出力が、検出皮膚病変の位置と、前記検出皮膚病変に関連付けられた確率スコアとを含む、請求項１又は３に記載の装置。

【請求項6】

前記修正した出力が、１つ又は複数の検出皮膚病変と、前記検出皮膚病変のそれぞれの付随する検出スコアとを含む、請求項５に記載の装置。

【請求項7】

前記プロセッサが、受信された前記使用者データをメモリ・デバイスに記憶する、請求項１から６のいずれか一項に記載の装置。

【請求項8】

前記皮膚病変検出モデルの前記出力が、検出皮膚病変の確率スコアを含み、
前記プロセッサが、前記使用者データに従って前記確率スコアを重み付けすることによって、前記皮膚病変検出モデルの前記出力を修正して、前記修正した出力において修正確率スコアを提供する、請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記プロセッサが、
前記修正確率スコアが所定の閾値を超えるかを判定し、
前記修正確率スコアが前記所定の閾値を超えることに応答して、警告を生成し、
前記警告を出力する、請求項８に記載の装置。

【請求項10】

前記使用者データが、
メモリ・デバイスと、
前記使用者に関連付けられ、前記装置に通信可能に接続された使用者デバイスと、
前記装置のユーザ・インターフェイスと、
前記装置に通信可能に接続された撮像デバイスと、
前記装置の音声入力部
とのうちの１つ又は複数から受信される、請求項１から９のいずれか一項に記載の装置。

【請求項11】

前記プロセッサが、
前記使用者の画像を取得し、
前記使用者から入力情報を受けとり、
前記使用者から受けとった前記入力情報に従って、前記使用者の前記画像から前記使用者データを抽出する、請求項１から１０のいずれか一項に記載の装置。

【請求項12】

皮膚病変検出モデルを適切に調整する方法であって、前記方法が、
使用者に関連付けられた使用者データを受信するステップであって、前記使用者データが前記使用者の注意領域の位置を含む、受信するステップと、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信するステップと、
前記検出皮膚病変が、前記使用者の前記注意領域の前記位置内にあることを反映するために、前記検出皮膚病変の前記位置を前記使用者の前記注意領域の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供するステップと、
前記修正した出力を出力するステップとを有する、方法。

【請求項13】

皮膚病変検出モデルを適切に調整する方法であって、前記方法が、
使用者に関連付けられた使用者データを受信するステップであって、前記使用者データが前記使用者の注意領域の位置を含む、受信するステップと、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信するステップと、
前記検出皮膚病変が、前記使用者の前記注意領域の前記位置内にあることを反映するために、前記検出皮膚病変の前記位置を前記使用者の前記注意領域の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供するステップと、
前記修正した出力を出力するステップとを有する、方法。

【請求項14】

実行されるとき、皮膚病変検出モデルを適切に調整する方法を実行するコンピュータ・プログラムであって、前記方法が、
使用者に関連付けられた使用者データを受信するステップであって、前記使用者データが、前記使用者の注意領域の位置を含む、受信するステップと、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信するステップと、
前記検出皮膚病変が、前記使用者の前記注意領域の前記位置内にあることを反映するために、前記検出皮膚病変の前記位置を前記使用者の前記注意領域の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供するステップと、
前記修正した出力を出力するステップとを有する、コンピュータ・プログラム。

【請求項15】

実行されるとき、皮膚病変検出モデルを適切に調整する方法を実行するコンピュータ・プログラムであって、前記方法が、
使用者に関連付けられた使用者データを受信するステップであって、前記使用者データが、前記使用者の注意領域の位置を含む、受信するステップと、
検出皮膚病変の位置を含む前記皮膚病変検出モデルの出力を受信するステップと、
前記検出皮膚病変が、前記使用者の前記注意領域の前記位置内にあることを反映するために、前記検出皮膚病変の前記位置を前記使用者の前記注意領域の前記位置と比較することによって、前記使用者データに従って前記皮膚病変検出モデルの前記出力を修正して、前記使用者に対して皮膚病変検出を示す修正した出力を提供するステップと、
前記修正した出力を出力するステップとを有する、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、一般に、皮膚病変の検出、及び皮膚病変検出のためのモデルの改善に関する。

【背景技術】

【0002】

スキンケアの領域では、例えば、にきび、シミ、発疹、斑、結節などの皮膚病変の検出は、個人が皮膚病変を治療したり、又は患部に追加のケアを適用したりするのに望ましい機能である。皮膚病変を早期に検出することにより、病変に起因する皮膚への障害を最小限にするための予防措置をとることが可能になる。検出モデルが知られており、従来のカメラ技術を使用して使用者の一領域を分析し、任意の皮膚病変を検出する。しかしながら、そのような検出モデルの精度は低いことが多く、結果として検出結果が不正確になる。これは、検出モデルに対する使用者の信頼を低下させ得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、皮膚病変を検出するための検出モデルの出力を改善することが望ましい。すなわち、使用者にとって検出結果の精度が向上するような、皮膚病変検出モデルの結果を改善することが望ましい。

【課題を解決するための手段】

【0004】

本発明は、独立請求項に定義されている。好ましい実施形態は、従属請求項に定義されている。

【0005】

第１の態様の実施形態によると、皮膚病変検出モデルを適切に調整するための装置が提供され、本装置は、プロセッサとメモリとを備え、プロセッサは、使用者に関連付けられた使用者データを受信し、皮膚病変検出モデルの出力を受信し、使用者データに従って皮膚病変検出モデルの出力を修正して、使用者に対して皮膚病変検出を示す修正した出力を提供し、修正した出力を出力するように構成されている。

【0006】

したがって、使用者の情報を使用して、皮膚病変を検出するための検出モデルの全体性能が改善するように、検出モデルの出力が修正される。検出モデルの変更結果は、使用者に合わせられており、本装置によって提供される皮膚病変検出の精度が向上する。すなわち、使用者に関連付けられた情報を使用して検出モデルの出力を修正することによって、検出モデルの結果が使用者により適切であるように変更されるので、所与の使用者についての皮膚病変検出の知覚される精度が改善する。使用者に関する結果の精度が向上することにより、検出に対する使用者の信頼も向上する。

【0007】

検出モデルは、スキンケアの分野で見られるものなどの皮膚病変検出のための任意のモデルである。検出モデルは、自動検出モデルとも呼ばれ、人工知能（ＡＩ）モデルであってもよい。そのようなモデルは当技術分野で知られており、データを解析して皮膚病変を検出する。例えば、検出モデルは、使用者の画像データを取得し、取得した画像データの処理を行って１つ又は複数の皮膚病変を検出する。本装置は、使用者の画像を（例えば、装置に関連付けられた又は含まれるカメラを介して）取得し、皮膚病変検出モデルへの入力として画像を提供する。この画像は、評価データと呼ばれる。検出モデルの結果は、検出皮膚病変のリスト及び関連付けられた確率スコア、すなわち検出の信頼度スコアとして提供される。この結果は、使用者が検出皮膚病変の位置を確認できるように、使用者の画像上に提供されてよい。

【0008】

本装置は、１つ又は複数のプロセッサを備え、本装置のプロセスは、単一のプロセッサによって、又は複数のプロセッサを組み合わせて行われる。したがって、単一のプロセッサが本装置のプロセスのうちの１つ又は複数を行う。メモリ及び１つ又は複数のプロセッサは、例えばバスを介して、通信可能に接続される。１つ又は複数のプロセッサは、例えば、本装置のプロセスを行うときに生成される中間データなどの情報を記憶し、メモリから取り出す。

【0009】

使用者は、皮膚病変検出モデルの対象者である個人である。例えば、使用者は、例えばスマートフォンなどの使用者デバイス上の皮膚病変検出用のアプリケーションを使用する個人である。使用者データは、検出モデルによって検出された皮膚病変の評価に関連する使用者についての情報である。修正した出力は、修正検出結果である。すなわち、修正した出力は、修正検出結果が使用者に合わせられているように、使用者データに従って修正されたモジュールの検出結果である。

【0010】

使用者データは、使用者の既知の皮膚特徴、使用者の既知の皮膚病変、使用者の注意領域、使用者の皮膚病変のタイプの好みのうちの、１つ又は複数を含む。すなわち、使用者データは、使用者の既知の皮膚特徴、使用者の既知の皮膚病変、使用者の注意領域、使用者の皮膚病変のタイプの好み、又はそれらの任意の組み合わせに関する情報を含む。したがって、使用者データは、検出モデルの出力を修正するのに適した情報を含む。例えば、使用者データは、使用者の（例えば、ほくろ又は傷跡などの）既知の皮膚特徴を特定する情報を含み、及び／又は使用者の（例えば、使用者のシミができやすい顔の領域などの）注意領域を特定する情報を含む。そのような情報は、検出モデルの結果への使用者の解釈に影響を与え、したがって、結果を適切に調整することに関連する。

【0011】

使用者データは、使用者の既知の皮膚特徴の位置と、使用者の既知の皮膚病変の位置と、使用者の注意領域の位置とのうちの、１つ又は複数を含む。したがって、使用者データは、特徴及び／又は領域の特定と、上記特徴又は領域の配置とを含む。位置は、座標として、例えば使用者の画像の座標（又は座標の範囲）として提供される。

【0012】

使用者の既知の皮膚特徴は、ほくろ、傷跡、母斑、そばかす、及び斑のうちの１つ又は複数を備える。すなわち、使用者の既知の皮膚特徴としては、ほくろ、傷跡、母斑、そばかす、斑、又はそれらの任意の組み合わせが挙げられる。使用者の既知の皮膚病変は、例えば、にきびなどの皮膚病変であって、使用者はこの皮膚病変を認識している。例えば、使用者は特定の皮膚病変を無視したいことがあるので、この皮膚病変は修正した出力に含まれない、又は低スコアが付けられるべきである。

【0013】

この情報は、使用者が気にしている皮膚病変のタイプ、よって、使用者がどの皮膚病変タイプについて通知されたいかに関する使用者の好みを示す。したがって、使用者データは、検出モデルの出力がこの好みを反映するように修正されるように、そのような情報を含む。好みは、ランキング・リストとして提供される。例えば、使用者データは、使用者が斑よりもにきびを知りたい、及び／又は結節よりも斑の検出をしたいことを示す。

【0014】

注意領域とは、皮膚病変ができやすい領域などの、使用者の関心がある領域、又は例えば顔などの、使用者にとって重要と考えられる領域である。注意領域は、重要領域、優先領域及び／又は評価領域とも呼ばれる。使用者データの使用者によって、注意領域が特定される。代替的又は追加的に、注意領域は、装置に関連付けられたカメラを介して自動的に撮影され、使用者データ（の一部）として装置に提供される。例えば、顔認識を使用して使用者の注意領域が特定される。

【0015】

皮膚病変検出モデルの出力は、検出皮膚病変の位置を含む。皮膚病変検出モデルの出力は、検出皮膚病変に関連付けられた確率スコアも含む。したがって、検出モデルの出力により、検出皮膚病変の配置及び／又は信頼度スコアが特定される。複数の皮膚病変が検出され、出力は、検出皮膚病変の１つ又は複数に関連付けられた位置及び／又は確率スコアを含んでいる。確率スコアは、検出された特徴が皮膚病変であると判定する際の検出モデルの信頼度スコアを示す。位置は、座標として、例えば、皮膚病変が検出された使用者の画像の座標（又は座標の範囲）として提供される。使用者データの位置及び／又は検出皮膚病変の位置は、使用者の取得画像（又は一連の画像）から決定／抽出される。

【0016】

修正した出力は、１つ又は複数の検出皮膚病変を含む。修正した出力は、検出皮膚病変のそれぞれに付随する検出スコアも含む。すなわち、修正した出力は、検出皮膚病変と皮膚病変の検出スコアとを含む。修正した出力は、検出皮膚病変の位置も含む。検出スコアは、使用者データに対する検出モデルの確率スコアの修正を反映している。したがって、検出スコアは、使用者データ、すなわち使用者の好み及び皮膚特徴を反映する検出皮膚病変のランキングを提供する。

【0017】

検出スコアは、例えば、０から１０の間（両端含む）の任意の整数又は分数である。例えば、検出スコア０は、検出病変が修正した出力から除外されることを意味し、検出スコア１は、重要度レベルが低いことを示し、検出スコア１０は、重要度レベルが高いことを示す。「重要度」は、使用者にとっての重要度、すなわち使用者の優先順位に関する。

【0018】

皮膚病変検出モデルの出力は、検出皮膚病変の位置を含む。使用者データは、使用者の既知の皮膚特徴の位置を含む。プロセッサは、検出皮膚病変の位置を使用者の既知の皮膚特徴の位置と比較することによって、皮膚病変検出モデルの出力を修正するように構成されている。すなわち、検出皮膚病変の位置と既知の皮膚特徴とを照らし合わせ、それに応じて皮膚病変検出モデルの出力が修正される。位置を比較することによって、使用者の皮膚特徴が検出モデルによって誤って皮膚病変として特定されたこと、及び／又は検出皮膚病変が使用者にとって既知であることが判定される。したがって、検出された特徴を除外するか、又は低い検出スコアを与えるように出力が修正される。このように誤検出が特定及び除去されるので、検出モデルの結果が改善する。

【0019】

したがって、プロセッサは、使用者の既知の皮膚特徴の位置に対応する検出皮膚病変の位置に応じて、検出皮膚病変を修正した出力から除外するように構成されている。すなわち、検出皮膚病変と既知の皮膚特徴との位置が符合する又は一致する場合、検出皮膚病変は、修正した出力に含まれないように破棄される。あるいは、これらの位置が互いに対応しており、検出皮膚病変が既知の皮膚特徴である可能性がある、すなわち、検出モデルによって皮膚特徴が誤って皮膚病変として特定されることを反映する低い検出スコアが、検出皮膚病変に付与される。互いに対応する位置とは、互いが一致する、符合する、重なる、及び／又は、所定の距離内にあることを意味する。検出皮膚病変を破棄すること、又は位置が対応するときに低い検出スコアを検出皮膚病変に付与することによって、誤検出がフィルタリングされるので、修正した出力がより正確になる。

【0020】

皮膚病変検出モデルの出力は、検出皮膚病変の位置を含む。使用者データは、使用者の注意領域の位置を含む。プロセッサは、検出皮膚病変の位置を使用者の注意領域の位置と比較することによって、皮膚病変検出モデルの出力を修正するように構成される。すなわち、検出皮膚病変の位置と注意領域の位置とを照らし合わせ、それに応じて皮膚病変検出モデルの出力が修正される。位置を比較することによって、使用者にとって重要な領域として特定された領域に、検出皮膚病変が存在すると判定される。したがって、出力はこれを反映するように修正され、検出モデルの結果は使用者にとって改善される。

【0021】

プロセッサは、検出皮膚病変の位置が使用者の注意領域の位置に対応することに応じて、修正した出力において検出皮膚病変に強調を行うように構成されている。すなわち、検出皮膚病変と注意領域との位置が符合又は一致する場合、病変が使用者にとって重要な領域に配置されていることを示すように、検出皮膚病変が強調される。代替的又は追加的に、検出皮膚病変には、その位置が注意領域に対応することを反映する、高い検出スコアが付与される。互いに対応する位置とは、互いに一致する、符合する、重なる、及び／又は、所定の距離内にあることを意味する。検出皮膚病変を強調すること、又は位置が対応するときに検出皮膚病変に高い検出スコアを付与することによって、修正した出力の使用者への関連度がより高くなる。強調は使用者の画像上に提供され、例えば、検出皮膚病変が目立たせられる。その画像が使用者に表示される。

【0022】

皮膚病変検出モデルの出力は、複数の検出皮膚病変を含む。プロセッサは、使用者データに従って、複数の皮膚病変をフィルタリングするように構成されている。すなわち、重要度の低い領域（すなわち注意領域ではない領域）にある検出皮膚病変が除去されるように、使用者データを使用して、検出モデルの結果がフィルタリングされ、既知の皮膚特徴が除去され、既知の皮膚病変が除去され、及び／又は使用者への重要度が低い皮膚病変タイプが除去される。

【0023】

プロセッサは、受信した使用者データをメモリ・デバイスに記憶するように構成されている。したがって、使用者データはメモリ・デバイスに記憶され、そこから受信される。プロセッサは、皮膚病変検出モデルの出力のその後の修正において、記憶された使用者データを取り出すように構成されている。すなわち、使用者データは、初期プロセス中に使用者によって提供され、メモリ・デバイスに記憶される。その後のプロセスにおいて、使用者が情報を再度提供する必要がないように、プロセッサがメモリ・デバイスから使用者データを取り出す。これにより、使用者の負担が軽減される。メモリ・デバイスは、装置のメモリであってよく、又は、例えばネットワーク接続サーバ若しくはクラウド・サーバなどの、装置と通信可能に接続された別のメモリ・デバイスであってもよい。

【0024】

皮膚病変検出モデルの出力は、検出皮膚病変の確率スコアを含む。プロセッサは、使用者データに従って確率スコアを重み付けすることによって皮膚病変検出モデルの出力を修正して、修正された確率スコアを修正した出力において提供するように構成されている。そのため、確率スコアを調整して使用者データを反映させる。例えば、既知の皮膚特徴である可能性があると判定された皮膚病変が、使用者データから検出される確率は、低いスコアに重み付けされる。反対に、注意領域に位置する検出皮膚病変は、高いスコアで重み付けされる。したがって、重み付けは使用者の好み及び特徴を反映している。

【0025】

プロセッサは、修正された確率スコアが所定の閾値を超えるかを判定するように構成されている。プロセッサは、修正された確率スコアが所定の閾値を超えることに応答して、警告を生成するように構成されている。プロセッサは、警告を出力するように構成されている。したがって、修正された確率スコアが所定の閾値よりも大きい場合、警告が生成され、使用者に出力される。例えば、使用者にとって重要な領域で皮膚病変が検出されたことに対して、使用者に警告が出され、使用者は検出皮膚病変を治療するなどの措置をとることができる。警告は、例えば使用者デバイスを介して、使用者に提供される視覚的通知及び／又は音声通知である。例えば、警告は、使用者の注意を引くために、使用者の画像上で、例えば太字及び／又は強調表示などの視覚化として提供される。したがって、非常に重要と認識される可能性がある検出皮膚病変が、使用者に通知される。

【0026】

本装置は、検出皮膚病変に関する使用者への勧告も提供する。例えば、治療勧告が使用者に提供される。使用者は、警告及び／若しくは勧告を解除し、並びに／又は例えばインターネットから更なる情報を要求する。例えば、警告を解除し、検出皮膚病変のタイプ用の治療アドバイスを検索する指示を、装置はユーザ・インターフェイスを介して受けとる。

【0027】

使用者データは、メモリ・デバイス、使用者に関連付けられ、装置と通信可能に接続された使用者デバイス、装置のユーザ・インターフェイス、装置と通信可能に接続された撮像デバイス、及び装置の音声入力部のうちの１つ又は複数から受信される。また、カメラを備え、使用者の視線又は使用者が顔のどこを触ったかを撮影する別のデバイスから、使用者データが受信される。したがって、使用者データは、使用者によって入力される、及び／又はメモリから取り出される。本装置は、使用者から入力情報を受けとるように構成された入力デバイスを備え、入力情報から使用者データを抽出する。

【0028】

プロセッサは、使用者の画像を取得するように構成されている。プロセッサは、使用者から入力情報を受けとるように構成されている。プロセッサは、使用者から受けとった入力情報に従って、使用者の画像から使用者データを抽出するように構成されている。すなわち、使用者の画像が取得され、使用者は、画像から使用者データを取得することを可能にする入力情報を提供する。例えば、使用者は、ユーザ・インターフェイスを通じて画像にアノテーションを付与する。使用者が入力した（例えば、タッチ・パネル上のタッチ操作などの）アノテーションから、注意領域及び／又は既知の皮膚特徴が、画像から抽出される。

【0029】

換言すると、使用者の画像が取得され、使用者が画像にアノテーションを付与する使用者入力が受けとられて、それにより使用者データが提供される。アノテーションは、表示デバイス又はユーザ・インターフェイス上で行われ、表示デバイス又はユーザ・インターフェイスでは、画像が表示され、使用者が、評価領域及び／又は既知の皮膚特徴を特定するための（例えば、タッチ・パネル及び／又は音声制御を介したものなどの）入力を提供する。使用者データは、撮影画像の使用者自身のアノテーション、例えば、本装置、又は本装置に通信可能に接続された別のデバイスの、（ガイド付きユーザ・インターフェイス、ＧＵＩなどの）ユーザ・インターフェイス及びディスプレイを介したアノテーションから取得される。したがって、使用者データは、画像データとして提供されるか、又は画像データから抽出される。

【0030】

本装置は、使用者の顔画像を取得し、顔画像を正規化するために顔画像の顔位置合わせを行う。正規化された顔画像は、入力として皮膚病変検出モデルに提供される。

【0031】

本装置は、使用者の顔画像を取得し、その顔画像を入力として皮膚病変検出モデルに提供する。本装置は、皮膚病変検出モデルから出力された顔画像に対して顔位置合わせを行って出力された顔画像を正規化する。

【0032】

使用者データは、使用者の顔画像を含む。皮膚病変検出モデルの出力は、使用者の解析された顔画像を含む。プロセッサは、使用者の解析された顔画像を使用者の顔画像と位置合わせし、解析された顔画像における検出皮膚病変を、顔画像における使用者の特定された既知の特徴又は使用者の特定された評価領域で、フィルタリングする。

【0033】

修正した出力は、本装置の表示デバイス、及び本装置の送信機のうちの１つ又は複数に出力される。すなわち、本装置は、修正した出力を表示するように構成された表示デバイスを備え、及び／又は、本装置は、修正した出力を送信するように構成された送信機を備える。送信機は、本装置と通信可能に接続された使用者デバイスに出力を送信する。したがって、情報は、使用者に提示されるか、又は使用者に提示するための別のデバイスに送信される。

【0034】

プロセッサは、修正した出力に従ってユーザ・インターフェイスの画面を生成するように構成されている。すなわち、修正した出力は、ユーザ・インターフェイス（ＧＵＩ）の画面として使用者に提供される。検出結果を使用者に提供するために、プロセッサによって複数の画面が生成される。例えば、検出皮膚病変のそれぞれを特定するために、ＧＵＩの分割画面が生成される。使用者データに従って皮膚病変検出モデルの出力を（例えば、既知の特徴を検出結果から除外するために）修正する場合、生成され、使用者に提示されるＧＵＩ画面を減らす必要がある。これにより、本装置の効率が向上する。

【0035】

第２の態様の実施形態によると、皮膚病変検出モデルを適切に調整する方法が提供され、本方法は、使用者に関連付けられた使用者データを受信することと、皮膚病変検出モデルの出力を受信することと、使用者データに従って皮膚病変検出モデルの出力を修正して、使用者に対して皮膚病変検出を示す修正した出力を提供することと、修正した出力を出力することとを有する。本方法は、コンピュータで実施される。

【0036】

第３の態様の実施形態によると、実行されたとき、皮膚病変検出モデルを適切に調整する方法を実行するコンピュータ・プログラムが提供され、本方法は、使用者に関連付けられた使用者データを受信することと、皮膚病変検出モデルの出力を受信することと、使用者データに従って皮膚病変検出モデルの出力を修正して、使用者に対して皮膚病変検出を示す修正した出力を提供することと、修正した出力を出力することとを有する方法。本方法は、コンピュータで実施される。

【0037】

本方法及びコンピュータ・プログラムの態様の特徴及びサブ特徴は、本装置の態様に適用されてよく、逆も同様である。

【0038】

本発明の第４の態様の実施形態によると、上記のコンピュータ・プログラムを記憶する非一時的なコンピュータ可読媒体が提供される。

【0039】

本発明の第５の態様の実施形態によると、使用者によって入力された使用者データを受けとるためのユーザ・インターフェイスと、使用者の皮膚病変を検出するための皮膚病変検出モデルと、使用者に出力情報を表示するためのディスプレイと、使用者に関連付けられた使用者データを受信し、皮膚病変検出モデルの出力を受信し、使用者データに従って皮膚病変検出モデルの出力を修正して、使用者に対して皮膚病変検出を示す修正した出力を提供し、修正した出力をディスプレイに出力するように構成された装置とを含むシステムが提供される。

【0040】

本発明の好ましい実施形態による装置又はコンピュータ・プログラムは、本方法の態様の任意の組み合わせを含む。さらなる実施形態による方法又はコンピュータ・プログラムは、処理能力及びメモリ能力を必要とするという点で、コンピュータで実施されるものとして説明される。

【0041】

好ましい実施形態による装置は、特定の機能を実行するように構成若しくは配置された、又は単に実行「する」ものとして説明される。この構成又は配置は、ハードウェア若しくはミドルウェア、又は任意の他の適切なシステムを使用したものであり得る。好ましい実施形態では、構成又は配置はソフトウェアによるものである。

【0042】

一態様によると、少なくとも１つのコンピュータにロードされたとき、コンピュータを、前述の装置の定義のいずれか又はそれらの任意の組み合わせによる装置となるように構成する、プログラムが提供される。

【0043】

さらなる態様によると、少なくとも１つのコンピュータにロードされたとき、少なくとも１つのコンピュータを、先述の方法の定義のいずれか又はそれらの任意の組み合わせによる方法ステップを実行するように構成する、プログラムが提供される。

【0044】

一般に、コンピュータは、定義された機能を提供するように構成又は配置されるものとして列挙された要素を備える。例えばこのコンピュータは、メモリ、処理部、及びネットワーク・インターフェイスを含む。

【0045】

本発明は、デジタル電子回路、又はコンピュータのハードウェア、ファームウェア、ソフトウェア、若しくはそれらの組み合わせにおいて実施される。本発明は、コンピュータ・プログラム又はコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品とは、すなわち、１つ又は複数のハードウェア・モジュールによって実行されるため、又はその動作を制御するために、非一時的な情報担体、例えば機械可読記憶デバイス又は伝播信号内に実体として具体化されたコンピュータ・プログラムのことである。

【0046】

コンピュータ・プログラムは、スタンドアロン・プログラム、コンピュータ・プログラムの一部、又は複数のコンピュータ・プログラムの形態であってもよく、コンパイル型言語又はインタプリタ型言語を含む任意の形態のプログラミング言語で記述され、スタンドアロン・プログラムとして、又はデータ処理環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしての形態を含む、任意の形態でデプロイされる。コンピュータ・プログラムは、１つのモジュールで、又は１つの場所の複数のモジュールで、若しくは複数の場所に分散し、通信ネットワークによって相互接続された複数のモジュールで、実行されるようにデプロイされる。

【0047】

本発明の方法ステップは、１つ又は複数のプログラマブル・プロセッサが、コンピュータ・プログラムを実行するによって実行され、このコンピュータ・プログラムは、入力データに対して動作し、出力を生成することによって本発明の機能を実行する。本発明の装置は、プログラムされたハードウェアとして、又は、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）若しくはＡＳＩＣ（特定用途向け集積回路）を含む特定目的の論理回路として実施される。

【0048】

コンピュータ・プログラムの実行に適したプロセッサとしては、一例として、汎用と特定との両方の目的のマイクロプロセッサ、及び任意の種類のデジタル・コンピュータの任意の１つ又は複数のプロセッサが挙げられる。一般に、プロセッサは、読み取り専用メモリ若しくはランダム・アクセス・メモリ、又はその両方から命令及びデータを受信する。コンピュータに必須の要素は、命令及びデータを記憶するための１つ又は複数のメモリ・デバイスに結合された命令を実行するためのプロセッサである。

【0049】

本発明を特定の実施形態に関して説明する。他の実施形態は、以下の特許請求の範囲の範囲内にある。例えば、本発明のステップは、異なる順序で実行されたとしても望ましい結果を達成する。

【0050】

本発明の要素は、「メモリ」、「プロセッサ」などの用語を用いて説明されてきた。そのような用語及びそれらの均等物が、空間的に分離しているが、定義された機能を果たすために組み合わさるシステムの一部を指し得ることは、当業者であれば理解するであろう。同様に、システムの同じ物理的な部分は、定義された機能のうちの２つ以上を提供し得る。

【0051】

例えば、別々に定義された手段は、適宜、同じメモリ及び／又はプロセッサを使用して実施されてよい。

【0052】

ここで、例示的な実施形態が、例示のみを目的とし、下記の図面を参照して、説明される。

【図面の簡単な説明】

【0053】

【図1】本発明の一態様の一般的な実施形態による主要な装置構成要素のブロック図である。

【図2】本発明の一態様の一般的な実施形態による方法のフロー・チャートである。

【図3】本発明の一態様の実施形態によるシステムのブロック図である。

【図4】本発明の一態様の実施形態によるプロセス・フローのフロー図である。

【図5】発明実施形態を実施するために使用されるハードウェアを図示するハードウェア図である。

【発明を実施するための形態】

【0054】

本開示の実施形態、並びにそれらの様々な特徴及び有利な詳細は、図面に記載及び／又は図示され、以下の説明で詳述される非限定的な実施例を参照してより完全に説明される。図面で図示された特徴は、必ずしも縮尺通りに描かれておらず、一実施形態の特徴は、本明細書に明示的に言及されていなくても、当業者であれば認識するであろうように、他の実施形態で採用され得ることに留意されたい。よく知られている構成要素及び処理技法についての説明は、本開示の実施形態を不必要に不明瞭にしないために省略することがある。本明細書で使用される実施例は、単に、本実施形態が実践されるやり方の理解を容易にし、当業者が同じことを実践することをさらに可能にすることを意図している。したがって、本明細書の実施例は、添付の特許請求の範囲及び準拠法のみによって定義される本開示の実施形態の範囲を限定すると解釈されるべきではない。

【0055】

本開示の実施形態は、本明細書に記載された特定の方法体系、プロトコル、デバイス、装置、材料、アプリケーションなどに限定されず、これらは変化し得ることが理解される。本明細書で使用される用語は、特定の実施形態を説明する目的のみで使用され、特許請求される実施形態の範囲を限定することを意図していないことも理解されるべきである。本明細書及び添付の特許請求の範囲で使用される場合、単数形は、コンテキストで明確にそうでないと定められない限り、複数の参照を含むことに留意されたい。

【0056】

別途定義されない限り、本明細書で使用される全ての技術用語及び科学用語は、本開示の実施形態が属する技術分野における当業者によって一般的に理解されるのと同じ意味を有する。好ましい方法、デバイス、及び材料が記載されているが、本明細書に記載されているものと類似又は同等の任意の方法及び材料が、実施形態の実践又は試験において使用されてよい。

【0057】

態様の実施形態は、皮膚病変検出モデル（の結果）を適切に調整するための装置、方法、コンピュータ・プログラム、及びシステムを提供する。

【0058】

上述のように、スキンケアの領域では、（従来の）カメラ技術を使用した（にきび、シミ、発疹、斑、結節などの）皮膚病変の自動検出が、望ましい機能である。そのような皮膚病変は不快なものと理解されることが多いが、（早期に）検出することにより、使用者が病変（例えば、にきび）について対処／治療し、追加のケアを患部に施すことが可能になる。しかしながら、検出モデルの精度は低いことが多く、不正確な検出結果につながる。実際、にきび検出の感度及び特異度が１００％に達することは不可能である。最近の、訓練された人間のアノテータ（すなわち、皮膚治療者）を介してにきびを検出するＷｉｚａｒｄ－ｏｆ－ＯＺ法ユーザ・テストによって、人間でさえもにきびを完全に正しく検出することはできないことが示された。そのような検出モデルの精度は、環境光、すなわち使用者の画像が撮影される環境の照明などの要因によっても大きく影響され得る。

【0059】

検出モデルの特定の一実施例は、Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ、Ｓａｎｔｏｓｈ Ｋｕｍａｒ Ｄｉｖｖａｌａ、Ｒｏｓｓ Ｂ． Ｇｉｒｓｈｉｃｋ、Ａｌｉ Ｆａｒｈａｄｉによる論文「Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」、ＡｒＸｉｖ１５０６．０２６４０、２０１５年において記載されている。この論文では、ニューラル・ネットワークを使用して画像からオブジェクトのバウンディング・ボックスを効率的に推定する技法について説明している。このニューラル・ネットワーク・アーキテクチャが異なるタイプの皮膚病変で訓練されると、全ての検出皮膚病変について、皮膚病変の位置（バウンディング・ボックスによる）及び関連付けられた確率が描写されることになる。

【0060】

検出モデルにおいて、検出精度は、カメラの低画質、撮影設定、環境照明、及び／又は皮膚特徴が差別化されないことを含むいくつかの要因によって影響を受ける。モデルの訓練段階でこれらの要因を考慮することは非常に困難である。一方、使用者は、自分のよく皮膚病変が起きる領域を知っている。さらに、使用者には、重要であり、にきび／病変があることが特に望ましくない自身の注目領域があることがよくある。例えば、使用者は、顔の病変／にきびを、体の他の領域にある病変／にきびよりも煩わしいと考える。

【0061】

しかしながら、使用者自身の知識及び注目領域を皮膚病変検出用のモデルに組み込むことは困難である。前述と同じユーザ・テストでは、１５人中約１０人の使用者が、にきびをチェックする領域を絞ったと指摘した。彼らは、まず注目領域をチェックし、これらの領域の病変／にきびについて（例えば、押し出す又は掃除するなどの）対処をする傾向がある。

【0062】

また、検出モデルは、（例えば、ほくろ、母斑、傷跡などの）皮膚特徴を病変／にきびとして誤検出する。そのような誤検出により、モデルの精度が低くなり、検出モデルに対する使用者の信頼が低減する。すなわち、検出システムがこれらの（恒常的な）皮膚特徴を皮膚病変として検出し続ける場合、使用者はシステムを信頼せず、検出アプリケーションを使用するのをやめかねない。

【0063】

したがって、検出結果の精度が使用者にとって向上するように、皮膚病変検出モデルの結果を改善することが望ましい。態様の実施形態によると、これは、使用者に関連付けられたデータを使用して皮膚病変検出モデルを適切に調整することによって達成される。したがって、検出システムの知覚性能を向上させ、将来的に目標としている推奨値を生成するために、使用者の知識が検出アルゴリズムと組み合わされる。実際の検出モデルの改善は、本開示の範囲外にあり、態様の実施形態は、使用者に固有の検出結果を提供するために検出モデルの結果を適切に調整するための手段を提供する。また、結果の適切な調整とは、検出モデルの結果を調整、洗練、調節、及び／又は較正することであると考えられる。

【0064】

態様の実施形態は、使用者の知識と皮膚病変検出アルゴリズムとを組み合わせることによって、検出皮膚病変のスコアを生成する方法を提供する。上述のように、家庭用の皮膚病変検出アプリケーションでは、人間のアノテータでさえも皮膚病変検出において１００％正確にはなれない。一方、使用者は、自身の皮膚特徴（例えば、ほくろ）と、皮膚病変ができやすく、にきびがよくできる領域とについてよく知っている。したがって、使用者の知識を皮膚病変検出アルゴリズムの出力と組み合わせることによって、検出モデルの知覚性能が最適化される。

【0065】

図１は、装置１０における主要な装置構成要素への情報の流れのブロック図を示している。装置１０は、メモリ１１とプロセッサ１２とを備える。プロセッサ１２は、使用者に関連付けられた使用者データ１３を受信し、皮膚病変検出モデル１４の出力も受信する。プロセッサ１２は、使用者データ１３に従って皮膚病変検出モデル１４の出力を修正して使用者に対して皮膚病変検出を示す修正した出力１５を提供し、プロセッサ１２は修正した出力１５を出力する。

【0066】

本装置は、他のデバイスと通信可能に接続されることが可能な適切な処理デバイスである。デバイスは、例えば、使用者に関連付けられたスマートフォンである。追加的に、本装置は、処理の一部がクラウドで行われるようなクラウド・コンピューティング・ネットワークの一部として提供される。

【0067】

図２は、本発明の態様の一般的な実施形態による方法を表すフロー・チャートを示している。まず、ステップＳ２１において、使用者に関連付けられた使用者データが受信され、ステップＳ２２において、皮膚病変検出モデルの出力が受信される。ステップＳ２３では、皮膚病変検出モデルの出力が使用者データに従って修正されて、使用者に対して皮膚病変検出を示す修正した出力を提供する。最後に、ステップＳ２４で修正した出力が出力される。

【0068】

図３は、本発明の態様の実施形態によるシステムのブロック図を示している。システム１００は、装置１０と、ユーザ・インターフェイス２０と、検出モデル３０と、ディスプレイ４０と、メモリ５０とを備える。ユーザ・インターフェイス２０は、使用者によって入力される使用者データ１３を受けとる。ユーザ・インターフェイス２０は、例えば、使用者の画像を表示し、画像にアノテーションが付与されるように使用者からの入力を受けとる（スマートフォンなどのデバイスの）タッチ・パネルである。使用者データ１３は、使用者の既知の皮膚特徴及び／又は特定の関心領域を特定する情報である。追加的又は代替的に、使用者データ１３は、使用者の既知の皮膚病変を特定する情報及び／又は皮膚病変のタイプについての使用者の好みである。装置１０は、ユーザ・インターフェイス２０からの使用者データ１３、及び検出モデル３０の出力１４を受信する。装置１０は、使用者データ１３に従って検出モデル３０の出力１４を修正して、修正した出力１５を提供する。例えば、使用者データ１３において特定された既知の皮膚特徴が、検出モデル３０によって皮膚病変として誤検出される。したがって、装置１０は、特定された皮膚病変が、実際には、使用者データ１３において特定された、例えばほくろなどの既知の皮膚特徴であることを反映するように、モデル３０の検出結果１４を修正する。したがって、既知の皮膚特徴は修正した出力１５から除去される。次いで、使用者データ１３に従って修正された検出結果が使用者に提供されるように、修正した出力１５がディスプレイ４０に提供される。

【0069】

使用者データ１３は、メモリ５０に記憶され、装置１０によってメモリ５０から取り出される。このように、使用者データ１３は、追加的又は代替的にメモリ５０からユーザ・インターフェイス２０に受信される。したがって、使用者データ１３は、初期動作／較正動作において使用者によってユーザ・インターフェイス２０を介して入力され、次いでメモリ５０に記憶される。後続の動作において、検出モデル３０が実行されるたびに使用者が使用者データ１３を入力する必要がないように、使用者データ１３は、装置１０によってメモリ５０から取り出される。そのため、決定がより迅速に行われ、使用者の負担が低減される。メモリ５０は、装置１０のメモリであってよく、例えば装置１０に関連付けられた別のメモリ・デバイスであってもよく、及び／又は、例えばネットワーク・サーバ若しくはクラウド・サーバなどの別のデバイスから受信されてもよい。

【0070】

図３の要素の配置は、デモンストレーションの目的のみで提供される。すなわち、図３の要素は別個のエンティティとして示されているが、これらの要素は、列挙された要素のうちの１つ又は複数をそれぞれ提供する１つ又は複数の単一デバイスとして提供されてよい。システム要素は、例えば、スマートフォンなどの使用者デバイスとして提供される。すなわち、使用者はスマートフォンを使用して彼ら自身の画像を取得し、次いでスマートフォンのタッチ・パネル又はマイクロフォン（音声入力）を使用して画像にアノテーションを付与して使用者データを提供する。取得された画像は、皮膚病変を検出するためにデバイスにインストールされた検出モデルによって使用され、デバイスは、使用者データに従って検出結果を修正して修正した出力を提供する。次いで、修正した出力は、スマートフォンのディスプレイに出力される。修正した出力は、修正された結果が画像上で明示された使用者の画像として表示される。視覚的な出力に対して代替的又は追加的に、出力は音声出力として提供されるか、又はスマートフォンのさらなる処理をトリガする。例えば、修正した出力は、適切な皮膚病変の治療のインターネット検索をトリガし、及び／又は、使用者が検出皮膚病変の治療のための製品を注文するためのプロセスをトリガする。

【0071】

このように、本発明の実施形態は、使用者にとって検出結果の精度が向上するように、皮膚病変を検出するための検出モデルの結果を改善する。

【0072】

一態様の実施形態によると、検出されたにきび又は病変へのスコア付け機構を提供する方法が提供される。そのようなスコア付け機構は、自動検出モデルからの出力を使用者入力と組み合わせる。記載されたモデルの出力は、皮膚病変検出の確率を組み込んだスコアを提供し、また、使用者が気にしている領域などの、使用者の考慮事項に向けられる。

【0073】

例えば、使用者データを使用して検出モデルの出力を修正することによって、検出モデルによって低い確率が割り当てられた（すなわち、にきびである可能性が低い／信頼度スコアが低い）検出皮膚病変は、使用者データによって特定された特定の関心領域に位置している場合、高スコアを与えられる。逆に、検出モデルによって高確率が割り当てられた検出病変は、その位置が既知の皮膚特徴の位置と一致する場合、検出モデルが既知の皮膚特徴を誤って皮膚病変として特定した可能性が非常に高いので、修正した出力において低スコアが付与される。そのため、使用者の関心領域で検出病変に強調が施され、及び／又はモデルによって病変として誤検出された検出皮膚特徴が破棄される。同様に、使用者が知っている皮膚病変も、修正した出力では低スコアが付与される。使用者は、使用者がより気にしている特定のタイプの検出皮膚病変が、使用者がより関心のない他のタイプの検出皮膚病変よりも高スコアを付与されるように、皮膚病変のタイプの好みも設定する。このように、使用者に対する検出モデルの知覚性能が向上する。

【0074】

図４は、本発明の態様の実施形態による処理フローのフロー図を示している。このプロセスは、以下のモジュール、すなわち、
－ 使用者入力、例えば、頻発領域又は注意領域、ほくろ、母斑などを収集する使用者入力収集部４１と、
－ 顔位置合わせ及びにきび／病変の位置推定部４２と、
－ 皮膚病変検出部４３と、
－ 検出スコアの生成部４４と、
－ 知識ベース４５とを含む。

【0075】

使用者入力（使用者データ）収集部
使用者入力は、画像及び動画（すなわち画像のシーケンス）を使用して、（例えば、スマートフォンなどの使用者デバイスに提供される）皮膚検出アプリケーションから収集される。入力は、
－ 使用者のにきび若しくは病変がよくある、及び／又は使用者が気にしている、顔又は体の特定の領域と、
－ 例えば、母斑、ほくろなどの、使用者が知っている恒常的な皮膚特徴と、
－ 例えば、にきびを押し出すことから生じる傷跡などの、新たに現れる恒常的な（又は半恒常的な）皮膚特徴と
のうちのいずれか、又は任意のそれらの組合せを含む。

【0076】

使用者は、測定画像をクリックし、注意領域又は皮膚特徴（例えば、ほくろ）を特定するために測定画像にアノテーションを付与する。代替的に又は追加的に、音声制御入力を使用して使用者データが提供される。

【0077】

顔位置合わせ及びにきび／病変の位置推定部
このモジュールは、検出されたにきび又は病変の位置を様々な測定にわたって一致させるために利用される。使用者入力と組み合わせたとき、モジュールは、検出されたにきび若しくは病変が指示領域（注意領域）内にあるのか、又は恒常的な皮膚特徴（例えば、母斑若しくは傷跡）であるのかを知ることができる。顔位置合わせは、前処理ステップとして、又は後処理ステップとして適用される。第１のケースでは、取得した使用者の顔の画像が、まず標準視点に正規化される。例えば、画像が小さい角度で撮影された場合、まず正面図画像になるように（可能な範囲で）補正される。次いで、この正規化画像に対して、検出が適用される。第２のケースでは、元画像（例えば、小さい角度での画像）に対して検出を適用し、（例えば、にきびの）検出された位置を位置合わせの段階で正規化位置に変換される。

【0078】

皮膚病変検出部
特定のタイプの皮膚病変を検出する、単一の画像ベースのアルゴリズム又は画像ベースのアルゴリズムの組み合わせである。実施例としては、にきび検出、皮膚炎検出、及び黒にきび検出のアルゴリズムが挙げられる。アルゴリズムは、顔位置合わせモジュールからの位置合わせされた画像（又は、代替的に、検出後に正規化が行われる場合、位置合わせされていない取得画像）を処理し、検出皮膚病変のリストをそれらの位置及び確率と共に出力する。

【0079】

検出スコアの作成部
にきび又は病変の検出モデルは、確率スコアを備えた、検出されたにきび（又は病変）のフィルタリングされていないリストを、使用者の顔又は体の（正規化された）位置と共に出力すると想定される。次いで、検出されたにきび／病変のそれぞれに新しいスコアが付与された修正した出力を提供するように、使用者データに従って出力リストが修正される。

【0080】

にきび検出及び修正スコアの実施例が表１に示されている。表１からわかるように、にきび１は、確率スコアが高いので、にきび検出モデルから「にきびである可能性が高い」と検出された。しかしながら、にきび１の位置は、使用者データの使用者によって示されたほくろ（既知の皮膚特徴）の位置に対応している。知識ベースに従うと、「ほくろはにきびではない」ので、結果を修正してスコア０が提供される。にきび４は「にきびである可能性が高い」ものであり、使用者からの他の指示は提供されなかったので、にきび４のスコアは検出モデルによって提供された確率スコアを反映している。すなわち、出力は修正されない。

【0081】

にきび３は、検出モデルによって高確率であると決定されていない。しかしながら、使用者データで使用者が特定した注意領域の内側に位置しているので、使用者にとっての領域の重要度を反映するように出力が修正される。したがって、検出スコアは、使用者の注目や主観的関心に従い、高スコア「９」である。にきび２の位置はにきび３の位置と類似している。しかしながら、検出モデルからの確率が非常に低いので、使用者注意領域に関する位置を反映させて検出スコアが加点されるが、確率が低いため中程度に限定される。したがって、本方法は、客観的な測定と使用者データを特徴とする主観との間のバランスを提供する。

【0082】

【表1】

【0083】

検出スコアを計算する（すなわち、出力を修正する）ための単純な例示的メトリックが以下に示され、説明は「／／」で示される。

【表2】

【0084】

上記のメトリックは例として提供されただけであり、多くの代替メトリックが考案され得る。例えば、態様の別の実施形態では、使用者は注意領域を指示する。次いで、検出されたにきびが注意領域内にあるかに応じて、確率を（検出スコアとして）増減させる。検出されたにきびが注意領域内にある場合、確率は変更されないままである（例えば、検出スコア＝確率）。一方、検出されたにきびが注意領域の外にある場合、確率が下げられる（例えば、検出スコア＝ゲイン＊確率、ここで、ゲイン＜１．０）。このように、注意領域内に位置していない、検出された病変／にきびは、検出モデルの確率に見合った低スコア評価が付与される。

【0085】

このように、皮膚検出アルゴリズムからの出力が使用者入力と組み合わされ、皮膚病変検出の選択を決定する定量化が行われる。態様の実施形態は、皮膚測定アプリケーションのモジュールとして提供され、及び／又は皮膚測定デバイスを用いて提供される。態様の実施形態は、使用者に提供されるにきび／病変の検出の量を制御するのに使用され、それにより使用者がモニタリング又は治療領域に集中できるようになる。

【0086】

したがって、態様の実施形態は、皮膚病変を検出するための検出モデル（の出力）を適切に調整するための装置及び方法を提供する。使用者の情報を使用して、皮膚病変を検出するための検出モデルの全体性能が向上するように、検出モデルの出力が修正される。検出モデルの変更結果は、使用者に合わせられており、本装置によって提供される皮膚病変検出の精度が向上する。使用者に関する結果の精度が向上することにより、検出に対する使用者の信頼も向上する。

【0087】

図５は、本発明を具体化し得る、皮膚病変検出処理に適したリソースを組み込んだサーバなどのコンピューティング・デバイスのブロック図であり、このコンピューティング・デバイスは、本発明を具現化しており、本発明を具現化する方法のステップの一部又は全部を実施するため、及び実施形態の装置のタスクの一部又は全部を実行するために使用される。例えば、図５のコンピューティング・デバイスは、図２に示す方法のステップＳ２１～Ｓ２４の全部又は一部のみを実施するため、図１に示す装置のタスクの全部又は一部のみを実行するため、メモリ１１及び／又はプロセッサ１２のタスクの全部又は一部のみを実行するため、並びに図３に示すシステムのタスクの全部又は一部のみを実行するために使用される。コンピューティング・デバイスは、プロセッサ９９３とメモリ９９４とを備え、図４に示すプロセスのステップの全部又は一部のみを実施する。任意選択で、コンピューティング・デバイスは、他のコンピューティング・デバイス、例えば発明実施形態の他のコンピューティング・デバイスと通信するためのネットワーク・インターフェイス９９７も含む。

【0088】

例えば、実施形態では、そのようなコンピューティング・デバイスのネットワークで構成される。任意選択として、コンピューティング・デバイスは、使用者が、例えば、使用者データ又は解析用画像のいずれかを入力するためのキーボード及びマウスなどの１つ又は複数の入力機構９９６と、１つ又は複数のモニタなどの表示ユニット９９５とを含む。表示ユニットは、コンピューティング・デバイスによって記憶されたデータを表したもの、例えば、受信された使用者データ及び／又は検出の修正した出力を表したものを示す。また、表示ユニット９９５は、使用者とコンピューティング・デバイス上に記憶されたプログラム及びデータとの間の対話を可能にする、カーソル、ダイアログ・ボックス及びダイアログ画面を表示する。入力機構９９６は、使用者がコンピューティング・デバイスにデータ及び命令を入力することを可能にする。これらの構成要素は、バス９９２を介して互いに接続可能である。

【0089】

メモリ９９４は、コンピュータ可読媒体を含んでよく、この用語は、コンピュータ実行可能命令を搬送するか、又はデータ構造を記憶するように構成された単一の媒体又は複数の媒体（例えば、集中データベース若しくは分散データベース並びに／又は関連付けられたキャッシュ及びサーバ）を指す。コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ、又は特定目的処理デバイス（例えば、１つ又は複数のプロセッサ）によってアクセス可能であり、これらが１つ又は複数の機能又は動作を実行させる、命令及びデータを含む。したがって、「コンピュータ可読記憶媒体」という用語は、マシンが実行するための命令のセットを記憶、符号化又は搬送することができ、マシンに本開示の方法の任意の１つ又は複数の方法を実行させる、任意の媒体も含む。「コンピュータ可読記憶媒体」という用語は、それに応じて、固体メモリ、光学媒体、及び磁気媒体を含むと解釈されるが、これらに限定されない。限定的ではないが、例として、そのようなコンピュータ可読媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、電気的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）又はその他の光ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶デバイス、フラッシュ・メモリ・デバイス（例えば、固体メモリ・デバイス）を含む、非一時的なコンピュータ可読記憶媒体を含む。

【0090】

プロセッサ９９３は、コンピューティング・デバイスを制御し、処理動作、例えば、メモリに記憶されたコードを実行して、本明細書及び特許請求の範囲に記載の様々な異なる機能を実施するように構成されている。メモリ９９４は、（例えば使用者データなどの）入力、（例えば検出モデルの出力などの）中間結果、（例えば修正した出力などの）及び上述の処理の結果などの、プロセッサ９９３によって読み書きされているデータを記憶する。本明細書で言及されるように、プロセッサは、マイクロプロセッサ、中央処理ユニットなどの１つ又は複数の汎用処理デバイスを含む。プロセッサは、複合命令セット・コンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット・コンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実施するプロセッサ、若しくは命令セットの組み合せを実施するプロセッサを含む。プロセッサは、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワーク・プロセッサなどの１つ又は複数の特定目的処理デバイスも含む。１つ又は複数の実施形態では、プロセッサは、本明細書で考察されている動作及びステップを行うための命令を実行するように構成されている。

【0091】

表示ユニット９９５は、コンピューティング・デバイスによって記憶されたデータを表したものを表示し、また、使用者とコンピューティング・デバイスに記憶されたプログラム及びデータとの間の対話を可能にするカーソル、ダイアログ・ボックス、及び画面を表示する。入力機構９９６は、使用者がコンピューティング・デバイスにデータ及び命令を入力することを可能にする。表示ユニット９９５及び入力機構９９６は、出力２６を形成する。

【0092】

ネットワーク・インターフェイス（ネットワークＩ／Ｆ）９９７は、インターネットなどのネットワークに接続され、ネットワークを介して他のそのようなコンピューティング・デバイスに接続可能である。ネットワークＩ／Ｆ９９７は、ネットワークを介した他の装置からの／他の装置へのデータの入力／出力を制御する。マイクロフォン、スピーカ、プリンタ、電源ユニット、ファン、ケース、スキャナ、トラッカボールなどの、その他の周辺機器が、コンピューティング・デバイスに含まれる。

【0093】

本発明を具体化する方法は、図５に図示されるものなどのコンピューティング・デバイス上で実行される。そのようなコンピューティング・デバイスは、図５に図示される全ての構成要素を有する必要はなく、それらの構成要素のサブセットで構成される。本発明を具体化する方法は、ネットワークを介して１つ又は複数のデータ・ストレージ・サーバと通信する単一のコンピューティング・デバイスによって実行される。コンピューティング・デバイスは、処理前及び処理後の入力内容、例えばダイアログ及び／又は訓練済みモデルを記憶するデータ記憶装置自体である。

【0094】

本発明を具体化する方法は、互いに協働して動作する複数のコンピューティング・デバイスによって実行される。複数のコンピューティング・デバイスのうちの１つ又は複数は、データの少なくとも一部分を記憶するデータ・ストレージ・サーバである。

【0095】

一般的に、ノートパソコン、ｉＰａｄ（登録商標）、タブレットＰＣなどのその他のハードウェア構成が代替的に提供され得る。発明実施形態の方法を実行するためのソフトウェア、及び入力内容、並びに任意の他の必要なファイルは、例えば、インターネットなどのネットワークを介して、又はリムーバブル・メディアを使用して、ダウンロードされる。任意のダイアログ又は訓練済みモデルは、記憶されており、リムーバブル・メディアに書き込まれ、又はネットワーク経由でダウンロードされる。

【0096】

本発明実施形態は、皮膚病変の検出が望まれる任意の分野に適用される。本発明実施形態は、好ましくは、スキンケア及び化粧品の分野、特に家庭で使用される皮膚病変検出システムの分野に適用される。

【0097】

開示された実施形態に対する変形例は、本明細書に記載された原理及び技法を実践する当業者によって、図面、開示、及び添付の特許請求の範囲を研究することによって理解され、実施される。特許請求の範囲において、「含む／備える」という語は、他の要素又はステップを排除せず、単数形の要素は、複数であることを排除しない。単一のプロセッサ又はその他のユニットが、特許請求の範囲に記載された複数の項目の機能を果たてよい。ある方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組み合わせが有利に使用できないことを示してはない。コンピュータ・プログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又は固体媒体などの適切な媒体に記憶又は配布され得るが、インターネット又は他の有線若しくは無線の電気通信システムを介したものなどの他の形態で配布されてもよい。特許請求の範囲における任意の参照符号は、範囲を限定すると解釈されるべきではない。

【0098】

本発明の上記の実施形態は、実施形態のうちの他のいずれもから独立して、又は実施形態のうちの１つ若しくは複数の他のものとの任意の実施可能な組み合わせで、有利に使用される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】