特表 2022-549433 画像および専門知識から皮膚症状を収集し特定するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-25

(54)【発明の名称】画像および専門知識から皮膚症状を収集し特定するシステム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20221117BHJP

   G16H 30/20 20180101ALI20221117BHJP

   A61B 5/00 20060101ALI20221117BHJP

【ＦＩ】

A61B10/00 Q

G16H30/20

A61B5/00 G

A61B5/00 M

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022518288

(86)(22)【出願日】2020-07-07

(85)【翻訳文提出日】2022-05-09

(86)【国際出願番号】 IB2020000552

(87)【国際公開番号】W WO2021053385

(87)【国際公開日】2021-03-25

(81)【指定国・地域】

(71)【出願人】

【識別番号】522109663

【氏名又は名称】トリアージ テクノロジーズ インク．

【氏名又は名称原語表記】Ｔｒｉａｇｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．

【住所又は居所原語表記】１ Ａｄｅｌａｉｄｅ Ｓｔｒｅｅｔ Ｅａｓｔ， Ｓｕｉｔｅ ３００１ Ｔｏｒｏｎｔｏ， ＯＮ Ｍ５Ｃ １Ｊ４ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(72)【発明者】

【氏名】アビッド， アブデルラティフ

(72)【発明者】

【氏名】サンフィズ， アルバード， ヒメネス

(72)【発明者】

【氏名】ロメロ ロペス， アドリア

(72)【発明者】

【氏名】ジャーメイン， エリック， ティー．

(72)【発明者】

【氏名】アクロート， モハメッド

(72)【発明者】

【氏名】チャリャ， アニルド

(72)【発明者】

【氏名】カワハラ， ジェレミー， ジー．

(72)【発明者】

【氏名】ソリス－レイエス， ステファン， エー．

【テーマコード（参考）】

4C117

5L099

【Ｆターム（参考）】

4C117XE43

4C117XK07

4C117XK08

4C117XK09

4C117XK18

4C117XK20

4C117XK33

4C117XK43

4C117XL01

5L099AA04

(57)【要約】

視覚的分類器モデルを皮膚症状画像データセットで訓練し、同モデルを使用してアップロードされた画像のコンテキストを判定し、皮膚症状分類の確率を生成し、同分類についての予測を判定し、予測及び予測に関する情報を表示し、アップロードされた画像に類似する皮膚病画像例を表示することにより、皮膚画像から皮膚症状を判定する方法及びシステムである。

【特許請求の範囲】

【請求項1】

皮膚症状分類アプリケーションにアップロードされた画像であって、皮膚症状分類アプリケーション内で処理され又はサーバにアップロードされる画像から、皮膚症状を判定するように構成されたシステムであって、
機械読み取り可能な命令によって構成される１つ又は複数のハードウエアのプロセッサを備え、前記機械読み取り可能な命令により、
皮膚症状画像が専門家による判定に従って１つ又は複数の皮膚症状に関連付けられた、皮膚症状画像の１つ又は複数のデータセットを保存し、
視覚的分類器モデルを前記皮膚症状画像の１つ又は複数のデータセットで訓練し、
前記皮膚症状分類アプリケーションのユーザインタフェースを介して、１つ又は複数のアップロードされた画像を受信し、
前記アップロードされた画像を視覚的分類器モデルに通して前記アップロードされた画像のコンテキストを判定し、
前記アップロードされた画像が１つ又は複数の皮膚症状分類を示す予測確率を表す、前記視覚的分類器モデルの出力を生成し、
前記皮膚症状分類の予測セットを判定し、
前記アップロードされた画像が示す前記予測セットをユーザインタフェースを介してコンピュータディスプレイに表示させ、
前記予測セットについての情報を表示させ、
前記アップロードされた画像に類似する、前記予測セット又は皮膚病の皮膚病画像例を表示させる、
システム。

【請求項2】

前記機械読み取り可能な命令により更に、
専門家に提示される画像のキューを生成し、
前記ユーザインタフェースを介して所定数の専門家に第２画像を提示し、
専門家から前記第２画像に対するラベルと対応する確率とを受信し、保存し、
専門家によってなされるレビューを複合することによって、有効な皮膚症状画像の１つ又は複数のデータセットを生成し、
前記キューから前記第２画像を除外し、
前記ラベルと対応する確率とを前記第２画像と共に保存する、
請求項１に記載のシステム。

【請求項3】

前記機械読み取り可能な命令により更に、
１つ又は複数のユーザインタフェースを介して前記第２画像を提示し、
専門家に対し、前記第２画像が所要パラメータを満たすか、健康な皮膚に見えるか、皮膚病及び特定の皮膚病の可能性を示すか、画像の品質が悪いか、又は複数の専門家のうちの専門家が前記第２画像に正しくラベル付けする方法が分からない確率測度の入力を促すユーザインタフェース表示要素セットを提供する、
請求項２に記載のシステム。

【請求項4】

前記機械読み取り可能な命令により更に、
前記アップロードされた画像が、マルチゲートモジュールにおいて画像及び追加のユーザ提供情報を考慮した、保存された所要パラメータのセットを満たすかを判定し、
前記マルチゲートモジュールに前記アップロードされた画像を通し、前記マルチゲートモジュールは、視覚的分類器を含み、（ｉ）前記アップロードされた画像が前記所要パラメータを満たすとの判定に応答して、前記アップロードされた画像をモダリティ特定モジュールに向けさせる出力を生成する、又は（ｉｉ）前記アップロードされた画像が前記所要パラメータを満たさないことを示す、
請求項１に記載のシステム。

【請求項5】

前記有効な皮膚症状画像の１つ又は複数のデータセットは、皮膚病症状間の関係を保持するオントロジーにマッピングされたラベル付き画像を含み、前記オントロジーは、親子関係を有する皮膚症状を表すノードと、皮膚症状同士を広い概念のラベルから特定の状況的な疾患ラベルまで関連付けるリンクとを含む、
請求項１に記載のシステム。

【請求項6】

前記１つ又は複数のハードウエアのプロセッサは更に、前記１つ又は複数のデータセットを、階層構造を含むデータ構造に構造化するように機械読み取り可能な命令によって構成される、
請求項５に記載のシステム。

【請求項7】

前記一つまたは複数のハードウエアのプロセッサは更に、管理者のユーザが画像のレビュータスクを生成し管理できるユーザインタフェースを提示するように機械読み取り可能な命令によって構成される、
請求項１に記載のシステム。

【請求項8】

前記一つまたは複数のハードウエアのプロセッサは更に、ユーザが複数の専門家の意見に基づき前記アップロードされた画像と共にある症状セットを受信するために、前記アップロードされた画像の専門家のレビューを複合し、前記アップロードした画像をアップロードしたユーザに提供するように、機械読み取り可能な命令によって構成される、請求項１に記載のシステム。

【請求項9】

ユーザの皮膚の一部の前記アップロードされた画像は第三者アプリケーションから受信され、前記第三者アプリケーションは遠隔医療又は遠隔治療アプリケーションを含む、請求項１に記載のシステム。

【請求項10】

前記一つまたは複数のハードウエアのプロセッサは更に、前記アップロードされた画像に類似する前記予測セット又は皮膚病の皮膚病画像例が類似度測定基準に基づき特定されるように、機械読み取り可能な命令によって構成される、請求項１に記載のシステム。

【請求項11】

前記一つまたは複数のハードウエアのプロセッサは更に、
前記アップロードされた画像の予測確率及び信頼度に基づいてクエリーを選択し提示する質問モジュールを起動させ、
前記ユーザインタフェースを介して前記クエリーに対する回答を受信し、
受信した回答に基づき繰り返しクエリーを提示し前記予測確率をリファインする、
ように機械読み取り可能な命令によって構成される、
請求項１に記載のシステム。

【請求項12】

皮膚症状分類アプリケーションにアップロードされた画像であって、皮膚症状分類アプリケーション内で処理され又はサーバにアップロードされる画像から、皮膚症状を判定する方法であって、
皮膚症状画像が専門家による判定に従って１つ又は複数の皮膚症状に関連付けられた、皮膚症状画像の１つ又は複数のデータセットを保存し、
視覚的分類器モデルを前記皮膚症状画像の１つ又は複数のデータセットで訓練し、
前記皮膚症状分類アプリケーションのユーザインタフェースを介して、１つ又は複数のアップロードされた画像を受信し、
前記アップロードされた画像を視覚的分類器モデルに通して前記アップロードされた画像のコンテキストを判定し、
前記アップロードされた画像が１つ又は複数の皮膚症状分類を示す予測確率を表す、前記視覚的分類器モデルの出力を生成し、
前記皮膚症状分類の予測セットを判定し、
前記アップロードされた画像が示す前記予測セットをユーザインタフェースを介してコンピュータディスプレイに表示させ、
前記予測セットについての情報を表示させ、
前記アップロードされた画像に類似する、前記予測セット又は皮膚病の皮膚病画像例を表示させる、
ことを含む、方法。

【請求項13】

有効な皮膚症状画像の１つ又は複数のデータセットは、
専門家に提示される画像のキューを生成し、
前記ユーザインタフェースを介して所定数の専門家に第２画像を提示し、
専門家から前記第２画像に対するラベルと対応する確率とを受信し、保存し、
専門家によって生成されるレビューを複合することによって、生成され、
前記キューから前記第２画像を除外し、
前記ラベルと対応する確率とを前記第２画像と共に保存する、ことを含む、
請求項１２に記載の方法。

【請求項14】

前記第２画像を提示することは、１つ又は複数のユーザインタフェースを介して前記第２画像を提示することを含み、
前記第２画像を提示することは、複数の専門家のうちの専門家に対し、前記第２画像が所要パラメータを満たすか、健康な皮膚に見えるか、皮膚病及び特定の皮膚病の可能性を示すか、画像の品質が悪いか、又は専門家が前記第２画像に正しくラベル付けする方法が分からない確率測度の入力を促すユーザインタフェース表示要素セットを提供することを含む、
請求項１３に記載の方法。

【請求項15】

前記第２画像が保存された所要パラメータのセットを満たすかは、
マルチゲートモジュールにおいて第２画像及び追加のユーザ提供情報を考慮し、
前記マルチゲートモジュールに前記第２画像を通すことによって判定され、前記マルチゲートモジュールは、視覚的分類器を含み、（ｉ）前記第２画像が前記所要パラメータを満たすとの判定に応答して、前記第２画像をモダリティ特定モジュールに向けさせる出力を生成する、又は（ｉｉ）前記第２画像が前記所要パラメータを満たさないこと示す、
請求項１２に記載の方法。

【請求項16】

前記有効な皮膚症状画像の１つ又は複数のデータセットは、皮膚病症状間の関係を保持するオントロジーにマッピングされたラベル付き画像を含み、前記オントロジーは、親子関係を有する皮膚症状を表すノードを含み、同方法は更に、関連する皮膚症状同士を広い概念のラベルから特定の状況的な疾患ラベルまでリンクすることを含む、
請求項１２に記載の方法。

【請求項17】

１つ又は複数のハードウエアのプロセッサは更に、前記１つ又は複数のデータセットを、階層構造を含むデータ構造に構造化するように機械読み取り可能な命令によって構成される、請求項１６に記載の方法。

【請求項18】

１つ又は複数のハードウエアのプロセッサは更に、管理者のユーザが画像のレビュータスクを生成し管理できるユーザインタフェースを提示するように機械読み取り可能な命令によって構成される、請求項１２に記載の方法。

【請求項19】

ユーザが複数の専門家の意見に基づき前記アップロードされた画像と共にある症状セットを受信するために、前記アップロードされた画像の専門家のレビューを複合し、前記アップロードした画像をアップロードしたユーザに提供する、請求項１２に記載の方法。

【請求項20】

皮膚症状分類アプリケーションにアップロードされた画像であって、皮膚症状分類アプリケーション内で処理され又はサーバにアップロードされる画像から、皮膚症状を判定する方法を実行する、１つ又は複数のプロセッサによって実行可能な命令を実装する、非一時的コンピュータ読み取り可能な記録媒体であって、前記方法は、
皮膚症状画像が専門家による判定に従って１つ又は複数の皮膚症状に関連付けられた、皮膚症状画像の１つ又は複数のデータセットを保存し、
視覚的分類器モデルを前記皮膚症状画像の１つ又は複数のデータセットで訓練し、
前記皮膚症状分類アプリケーションのユーザインタフェースを介して、１つ又は複数のアップロードされた画像を受信し
前記アップロードされた画像を視覚的分類器モデルに通過させて前記アップロードされた画像のコンテキストを判定し、
前記アップロードされた画像が１つ又は複数の皮膚症状分類を示す予測確率を表す、前記視覚的分類器モデルの出力を生成し、
前記皮膚症状分類の予測セットを判定し、
前記アップロードされた画像が示す前記予測セットをユーザインタフェースを介してコンピュータディスプレイに表示させ、
前記予測セットについての情報を表示させ、
前記アップロードされた画像に類似する、前記予測セット又は皮膚病の皮膚病画像例を表示させる、ことを含む、
記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年５月２１日に出願された米国特許出願第１６／８８０，６２２号の利益を主張するものであり、２０１９年９月１８日に出願された米国特許出願第６２／９０２，３５４号の利益を主張するものであり、これらの内容の全ては、本願において、参照により包含される。

【0002】

（本開示の分野）
本開示は、皮膚症状の専門知識をエンコードする機械学習の方法及びアルゴリズムを使用してユーザから提供された画像や他のデータに基づいて皮膚症状を自動的に特定し、既存及び入力データの収集、保存、ラベリング、動的構造化、及び専門家のレビューを促進するインフラストラクチャを活用するシステムに関する。

【背景技術】

【0003】

世界的にもっとも一般的な健康問題として皮膚病があり、年齢、性別、人種を問わず人々に影響を与える。これらの症状の患者数は、心臓疾患、糖尿病及び肥満に匹敵する。５人のうち一人のアメリカ人は、７０歳までに皮膚癌を患うと予測されており、悪性の皮膚損傷は、重大な公衆衛生及び臨床的問題と考えられている。

【0004】

画像内の対象物を確実に認識できるコンピュータシステムの開発は長年の課題であり、相当な研究努力の対象であった。画像から皮膚症状を視覚的に特定するアプリケーションを提供する今までの試みは、様々な障害に直面してきた。システム及び方法の改善が必要とされている。

【発明の概要】

【0005】

開示された技術の各実施形態によれば、システム、コンピュータにより実行可能な方法、及び／又はコンピュータにより読み取り可能な媒体は、皮膚症状分類アプリケーションにアップロードされた画像であって、皮膚症状分類アプリケーション内で処理され又はサーバにアップロードされる画像から、皮膚症状を判定するように構成されてもよい。

【0006】

例えば、サーバは、皮膚症状分類アプリケーションにアップロードされた画像であって、皮膚症状分類アプリケーション内で処理され又はサーバにアップロードされる画像から、皮膚症状を判定するように構成されてもよい。システムは、機械読み取り可能な命令によって構成される１つ又は複数のハードウエアのプロセッサを備え、同命令により、専門家によって生成された皮膚症状に対応するラベル及び確率が付された皮膚症状画像の１つ又は複数のデータセットを保存し、視覚的分類器モデルを皮膚症状画像の１つ又は複数のデータセットで訓練し、皮膚症状分類アプリケーションのユーザインタフェースを介して、患部皮膚の部分のアップロードされた画像を受信し、アップロードされた画像を視覚的分類器モデルに通してアップロードされた画像のコンテキストを判定し、アップロードされた画像が１つ又は複数の皮膚症状分類に該当する予測確率を表す視覚的分類器モデルの出力を生成し、リファインされた確率を用いて皮膚症状分類の予測セットを判定し、ユーザインタフェースを介してコンピュータディスプレイ上に、アップロードされた画像が該当する予測セット（又は、少なくとも同セットの一部）を表示させ、同予測セットについての情報を表示させ、アップロードされた画像に類似する、予測セット又は皮膚病の皮膚病画像例を表示させる。

【0007】

一部の実施形態において、システムは、アップロードされた画像の予測確率及び信頼度に基づくクエリーを選択し提示する質問モジュールを起動させ、ユーザインタフェースを介してクエリーに対する回答を受信し、クエリーを繰り返し提示し、受信した回答に基づき予測確率をリファインする。

【0008】

一部の実施形態において、皮膚症状の有効な画像の１つ又は複数のデータセットは、システム内において、システムによって管理される画像のキューを生成して専門家に提示することによって生成され、皮膚症状の有効な画像の１つ又は複数のデータセットは、ユーザインタフェースを介して所定数の専門家に第２画像を提示することによって生成され、皮膚症状の有効な画像の１つ又は複数のデータセットは、各専門家から画像に対するラベル及び対応する確率を受信し保存することにより生成され、皮膚症状の有効な画像の１つ又は複数のデータセットは、複数の専門家によってなされるレビューを複合することにより生成され、１つ又は複数のハードウエアのプロセッサは更に、キューから画像を取り出し、その画像のラベル及び対応する確率を保存するように機械読み取り可能な命令によって構成される。一部の実施形態において、アップロードされた画像及び第２画像は同じ画像である。一部の実施形態において、アップロードされた画像及び第２画像は異なる画像である。

【0009】

一部の実施形態において、画像を提示することは、１つ又は複数のユーザインタフェースを介して画像を提示することを含み、画像を提示することは、専門家に対し、その画像が所要パラメータを満たすか、健康な皮膚に見えるか、皮膚病及び対応する特定の皮膚病の可能性を示すか、画像の品質が悪いか、又は専門家がその画像に正しくラベル付けする方法が分からない確率測度の入力を促すユーザインタフェースの表示要素セットを提供することを含む。

【0010】

一部の実施形態において、その画像が、保存された所要パラメータセットを満たすかどうかを判定するステップは、マルチゲートモジュールにおいて画像及び追加のユーザ提供情報を考慮する。マルチゲートモジュールは、視覚的分類器を組み込み、画像が所要パラメータを満たすことを判定し、画像をモダリティ特定モジュールに向けさせ、或いは画像が所要パラメータを満たさないことを示す出力を生成する。

【0011】

一部の実施形態において、皮膚症状の有効な画像の１つ又は複数のデータセットは、皮膚病症状間の関係を保持するオントロジーにマッピングされたラベル付き画像を含み、オントロジーは、親子関係を有する皮膚症状を表すノードを含み、同方法は更に、関連する皮膚症状同士を広い概念のラベルから特定の状況的な疾患のラベルまでリンクすることを含む。

【0012】

一部の実施形態において、１つ又は複数のハードウエアのプロセッサは更に、データセットを、階層構造を含むデータ構造に構造化するように機械読み取り可能な命令によって構成される。

【0013】

一部の実施形態において、１つ又は複数のハードウエアのプロセッサは更に、管理者のユーザが画像レビュータスクを生成し管理するユーザインタフェースを提示させるように機械読み取り可能な命令によって構成される。

【0014】

一部の実施形態において、ユーザが、複数の専門家の意見に基づきアップロードされた画像と共にある予測セットを受信するために、アップロードされた画像の専門家レビューは、複合され、アップロードされた画像をアップロードしたユーザに提供される。

【0015】

一部の実施形態において、方法は、ここで概説したシステムによって表現された動作を実行するように構成されてもよい。一部の実施形態において、非一時的なコンピュータ読み取り可能な記憶媒体は、ここで概説したシステムによって表現された動作を実行するために１つ又は複数のプロセッサによって実行可能な命令を実装する。

【0016】

開示された技術の他の特徴及び観点は、添付の図面を併せて、以下の詳細な説明から明らかとなる。図面は、開示された技術の実施形態による構成を例として示すものである。概要はここに記載する発明の範囲を制限することを意図したものではなく、発明の範囲は添付の特許請求の範囲によってのみ画定されるものである。

【図面の簡単な説明】

【0017】

一又は複数の実施形態に係る本開示を、添付の図面を参照して詳細に説明する。図面は、説明のためだけに提供されており、典型的または例示的な実施形態を示しているに過ぎない。

【0018】

【図1】図１は、本開示の一実施形態による、単一の統合システム内においてローカルで又は分散型ネットワークを介して相互に動作し得る複数のデバイスを有する皮膚症状システムを示す。

【0019】

【図2】図２は、本開示の一実施形態によるデータデバイスを示す。

【0020】

【図3】図３は、本開示の一実施形態によるユーザデバイスを示す。

【0021】

【図4】図４は、本開示の一実施形態による専門家デバイスを示す。

【0022】

【図5】図５は、本開示の一実施形態による、ユーザの入力により皮膚症状を特定する方法を示す。

【0023】

【図6】図６は、本開示の一実施形態による、システムの予測性能を測るのに利用される測定基準と視覚化の例を示す。

【0024】

【図7】図７は、本開示の一実施形態による類似画像の検索例を示す。

【0025】

【図8】図８は、本開示の一実施形態による、類似画像を検索するために画像間の類似性を判定し及び／又は画像検索を行うためにシステムが使用される方法例を示す。

【0026】

【図9】図９は、本開示の一実施形態による、システムによる機械学習モデルの訓練及び評価の方法例を示す。

【0027】

【図10】図１０は、本開示の一実施形態による専門家のフィードバックの収集方法を示す。

【0028】

【図11】図１１は、本開示の一実施形態による専門家からのフィードバックを受信するためのインタフェースの例を示す。

【発明を実施するための形態】

【0029】

本開示の１つの観点は、画像（例えば、携帯カメラや他の撮像装置を介したもの）、他のアップロードされたデータ（例えば、患者の年齢及び／又は他の患者のデータ）から皮膚症状を特定するように構成されたシステムに関し、これらはシステム内でローカルに処理され、サーバ（例えば、ウェブサイトをホストするウェブサーバ）に送信されてもよく、或いはロ―カル及びリモートの処理を組み合わせてもよい。しかし、本開示の概念は、他の病状や非医学的テーマに関わる画像を分類することにも適用可能である。簡略化のため、本記載は主に皮膚症状の特定を中心に説明する。簡略化のため、「ｉｍａｇｅ」、「ｉｍａｇｅｓ」、「ｏｎｅ ｏｒ ｍｏｒｅ ｉｍａｇｅｓ」は置きかえて使用することが可能であり、動画等他のタイプのデータも含む。本開示の主旨が、多様な形式の媒体や複合データ（例えば、動画、立体画像、デプス、メタデータ、及び他の媒体及び／又はデータ）に適用できることは理解されるところである。

【0030】

方法は、皮膚症状の画像の１つ又は複数のデータセットをデータベースに格納することを含む。画像は、皮膚症状に対応するラベル及び／又は他のインフォマティブなタグが付けられてもよい。方法は、皮膚症状画像の１つ又は複数のデータセット及びメタデータを使用して皮膚症状を特定するように視認可能な分類モデルを訓練すること、１つ又は複数の特定の症状に関連する可能性のある１つ又は複数のオントロジーを使用して構造化させること、アプリケーションのインタフェースを介して、年齢、性別、当該皮膚症状が生じた体の位置、及び／又はその他のユーザ特定情報等の様々なユーザ特定情報、及びアップロードされた皮膚画像及び関連するメタデータを受信すること、画像の全体的なコンテキストを判定し画像を適切なモデル又はアクションに向けさせるために、画像をマルチゲートモジュールに通すこと、１つ又は複数の皮膚症状分類へのアップロードされた画像の予測確率を計算すること、アップロードされた画像の予測確率に基づき、アプリケーションを介してクエリーを選択、提示する質問モジュールを起動させること、ユーザインタフェースを介してクエリーに対する回答を受信すること、受信した回答及びユーザ特定情報に基づき予測確率をリファインすること、ユーザインタフェースを介してディスプレイ上に、アップロードされた画像が１つ又は複数の皮膚症状分類に該当するリファインされた予測のうち少なくとも一部を表示させること、及びユーザインタフェースを介してデジタルディスプレイ上に、アップロードされた画像に視覚的且つ臨床的に類似する画像を表示させることを含んでもよい。

【0031】

本開示の１つの観点は、ディープラーニング、コンピュータによる画像認識、皮膚病の専門家の知識をエンコードするアルゴリズムを取り入れた人工知能（ＡＩ）、ビッグデータ、及び分析技術を採用するシステムに関する。例えば、システムは、皮膚画像のデータセットで訓練された視覚的分類器を、皮膚症状の専門家知識に基づく質問に対するユーザの回答をエンコードする質問モジュールと組み合わせることにより皮膚症状を予測するようにしてもよい。

【0032】

本開示の１つの観点によれば、システムに対して新規に入力される画像は、専門家団（例えば、医療協力者）により審査されるようにしてもよい。単一の診断の不確実性をより確実なものとし、皮膚科医の鑑別診断を提供するプロセスをより良く再現するために、各医療協力者は、複数の皮膚症状候補ラベルを（例えばユーザインタフェースを介して）画像に割り当ててもよい。割り当てられたラベルはランク付けされ、或いは各症状候補の予測確率を示す信頼値を付与されてもよい。これらの皮膚症状候補ラベル及び予測確率は、保存され及び／又は皮膚画像のデータセットに付加されてもよく、皮膚症状ラベルの予測確率は、その特定の画像をレビューした医療協力者間で複合させてもよい。これにより、システムは、医療専門家グループが広範なデータセット上で生成したラベル及び各ラベルの予測確率に基づいて訓練されることができ、リファインされた確率を生成することを含め、新たなケースの予測をする場合にシステムの確実性を向上させる。システムは、オンラインでの機械学習及び他の形態の機械学習を活用してもよい。

【0033】

システムは、ここに記載するように、ユーザによってアップロードされた画像の予測を生成する。しかし、新規の画像はさまざまな他のソースから得ることができ、ここに記載する多様な統合モジュールの機能として取得してもよい。例えば、本開示は、ユーザが医療専門家に画像や他の情報を送信し、医学的所見が提供される遠隔医療又は遠隔皮膚科学モジュールを含んでもよく、この情報はデータセットに追加されてもよい。画像は、実務においてその技術を使用する臨床医から得てもよい。それは、臨床医のワークフローに統合されたシステムを介して画像をアップロードすることを含むようにしてもよく、臨床中の患者に使用したり、過去の患者の既存のデータベースで使用したり、或いは双方に使用したりするようにしてもよい。画像はまたここで詳細に説明するように他のソースから得てもよい。

【0034】

システムは、ユーザインタフェースを介して、医師等の専門家に提供される調査を行って、皮膚症状情報を収集し、臨床オントロジーの構造を確立し、さまざまな皮膚症状の症例を受信するようにしてもよい。調査データは、皮膚症状の知識ベースを生成するように処理されてもよい。調査により、医師は、症状を特定する質問（例えば、人口統計的な流行）に答え、画像例をアップロードし、画像のメタデータ又はコンテキストを提供し、診断、鑑別診断、各診断に関連する予測確率を提供し、外見に加え他の関連症状（痒み、痛み等）を提供できるようにしてもよい。この皮膚症状データを利用して、システムを訓練したりテストしたりして、皮膚症状の専門家知識をエンコードするアルゴリズムを作成してもよい。

【0035】

本開示の１つの観点は、画像だけではすぐに入手できない、患者の診断に関連する可能性のある情報を得るための、技術基盤のアプローチを含む。例えば、医師は、患者の診断を効率的に行うために、患者に質問をしてもっともらしい状態まで絞り込む。システムは、画像、患者の特定情報（例えば、年齢、性別、患部の位置、及び／又は患者の他の特定情報）、及び一連の質問とその回答に基づき患者を診断し、技術を継続的に発展させる機械学習を使用する自動化されたアプローチを含む。

【0036】

システムは、ここに記載する機能を実行する機械読み取り可能な命令によって構成される１つ又は複数のハードウエアのプロセッサを含んでいてもよい。システムは、記載する方法でデータセットを格納するように構成されている。画像は、皮膚症状に対応するラベルを付けられてもよい。システムは、皮膚症状の画像の１つ又は複数のデータセットで視認可能な分類モデルを訓練するように構成されてもよい。システムは、アプリケーションのユーザインタフェースを介して、患部皮膚を撮像したアップロードされた画像を受信するように構成されてもよい。システムは、アップロードされた画像を、画像の全体的なコンテキストを判定し画像を適切なモデルやアクションに向けさせるマルチゲートモジュールに通してもよい。マルチゲートモジュールが、当該画像が皮膚症状を示すと判定すると、画像は後続の皮膚分類モデルに送られる。この皮膚分類モデルは、予測確率や他の入力からリファインされた確率を計算し、画像が多様な皮膚症状分類に分類される。予測は、その他のユーザ提供情報や質問モジュールによってリファインされる。ユーザに関する関連情報が質問された（又は、質問の上限数に達した）とシステムが判定すると、これらの予測された症状がユーザに対し表示される。

【0037】

システムは、アップロードされた画像が１つ又は複数の皮膚症状分類を示す可能性を表すリファインされた確率を含む視覚的分類器モデルの出力を生成するように構成されてもよい。システムは、アプリケーションを介して、視認可能な予測確率とその他の追加情報とに基づき判定されたクエリーを選択し提示する質問モジュールを起動させるように構成されてもよい。システムは、ユーザインタフェースを介して、クエリーに対する回答を受信するように構成されてもよい。システムは、受信した回答に基づき予測をリファインするように構成されてもよい。システムは、ユーザインタフェースを介して、デジタルディスプレイ上の１つ又は複数の皮膚症状分類にアップロードされた画像が分類される、精錬された予測を表示するように構成されてもよい。システムは、ユーザインタフェースを介して、デジタルディスプレイ上にアップロードされた画像に視覚的且つ臨床的に類似する画像を表示するように構成されてもよい。

【0038】

システムは、多様なアプリケーションを提供してもよく、例えば、画像及びその他提供される情報に基づき可能性のある病状を特定することを支援するスタンドアローンのシステム、及び／又は臨床医が診る前に患者をトリアージすることを支援する遠隔医療プラットフォームに統合されたシステムであってもよい。

【0039】

皮膚症状システム及びデバイス
システムは、皮膚症状の画像の視覚的特定を含む、数多くの利点を協働して提供するモジュールセット（例えば、ハードウエアのプロセッサにおいてプログラムされたコンピュータソフトウエアモジュール）を利用する分散ネットワークを含んでいてもよい。一部の例では、いくつかのモジュールは、データをネットワークに送信しないでローカルで動作する（例えば、撮像デバイスにおいて）ように組み合わせられてもよい。一部の例では、画像はローカルで処理されてよく、その後データはサーバに送信してシステム内に保存される。

【0040】

図１は、本開示の一実施形態により、単一の統合システムにおいてローカルで又は分散型ネットワークで相互に動作する複数のデバイスを有する皮膚症状システムを示す。図示１００においては、皮膚症状システム１０２は、データデバイス１１２とユーザデバイス１１４と専門家デバイス１１６とを含む複数のデバイスと、データソース及びネットワーク１１０を介して通信する。例えば、複数のデバイス及びデータソースのうち１つ又は複数が画像をアップロードすると、システムは、リアルタイムで画像に関連する皮膚症状を予測するように構成されてもよい。

【0041】

皮膚症状システム１０２は、プロセッサ１２２と連結するメモリ１２０と通信サブシステム１２４とを備えてもよい。プロセッサ１２２は、１つまたは複数の集積回路として実現でき、皮膚症状システム１０２の動作を制御するように使用できる。プロセッサ１２２は、コンピュータ読み取り可能な媒体１３０に格納されたプログラムコード又はコンピュータ読み取り可能なコードに応答して多くのプログラムを実行でき、プログラムやプロセスを複数同時に実行し続けることが可能である。通信サブシステム１２４は、皮膚症状システム１０２が、データデバイス１１２、ユーザデバイス１１４、専門家デバイス１１６を含む他のデバイスと直接通信するために、及び／又はネットワーク１１０（外部又は内部）或いは他の手段を介してこれらのデバイスと接続するために使用できる１つ又は複数の通信コネクションを含み得る。

【0042】

メモリ１２０は、不揮発性メモリ（例えば、フラッシュメモリ）、揮発性メモリ（例えば、ＤＲＡＭ、ＳＲＡＭ）、コンピュータ読み取り可能な媒体１３０、他の非一時的な記録媒体やその組み合わせを使用して実現してもよい。コンピュータ読み取り可能な媒体１３０は、プロセッサ１２２により実行されるオペレーティングシステム１３２を格納してもよい。一部の実施形態では、オペレーティングシステム１３２は、ここに記載する１つ又は複数の特徴を実現するのに起動され得る１つ又は複数のソフトウエア又はハードウエアのモジュールを実行してもよい。例えば、コンピュータ読み取り可能な媒体１３０は、ラボモジュール１３４、人工知能モジュール１３６、質問モジュール１３８、エビデンス管理モジュール１４０、オントロジーモジュール１４２、専門家モジュール１４４、及び／又は第三者アドバイスモジュール１４６を格納してもよい。

【0043】

ラボモジュール１３４は、次のような多くのシステムの動作の態様を管理し追跡する中央システムとして動作するように構成されてもよい。データの格納及び管理、モデル訓練、結果評価、オントロジーの保持、画像を外部の専門家によってラベル付けするタスクレビューの調整。ラボモジュール１３４は、洗練され、包括的且つ説明可能な方法で、システマティックな調整、同期、追跡、及び多様な機能セット（例えば、モデル、データセット、オントロジー及びレビュータスク）の分析を提供し得る。

【0044】

ラボモジュール１３４は、オントロジーを利用するように構成されてもよい。オントロジーは、皮膚疾患の関係を保持する階層ツリー構造である。ツリー構造は、親子関係を有する皮膚症状を表すノードを含み、広い概念のラベルから具体的で状況的な病状ラベルまでの関連した症状同士を関連付ける。データセットの画像は、ツリー構造の１つ又は複数のノードに関連付けられる。ツリー構造は訓練する分類（モデルを訓練するのに使用される臨床的に関連する個々又はグループの症状）を決定するのに使用してもよい。

【0045】

ラボモジュール１３４は、モデルを格納・管理し、モデルスナップショットを生成するように構成されてもよい。モデルスナップショットは、機械学習モデルをある時点で停止させたバージョンに対応してもよい。例えば、モデルスナップショットは、その重みと合わせた畳み込みニューラルネットワーク（ＣＮＮ)アーキテクチャであってもよい。モデルがアップロードされると、ラボモジュール１３４からテストデータに対する評価を起動させることができる。評価結果及び統計は、ラボモジュール１３４の一部（例えば、評価タブ）を介して表示できる。各評価には、画像セット（データセットスナップショット）及び特定の機械学習モデル（モデルスナップショット）と共に、固有識別子を割り当ててもよい。評価測定基準の概要が提供され確認されてもよい。これにより、試験の評価の管理、記録及び測定基準の表示について、一貫性をもって一元的且つ永続的なロケーションを提供する。ラボモジュール１３４は、調整、同期、追跡、及び機能セット（例えば、モデル、データセット、オントロジー及びレビュータスク）の分析によって、機械学習プロセスを記録し表示するように構成されてもよい。

【0046】

ラボモジュール１３４は、モデルスナップショットを動的に評価するように構成されてもよい。モデルスナップショットは、システムにより使用されるモデルの過去及び現在のバージョンのデータ、出力及びパラメータを含み得る。ラボモジュール１３４は、評価結果を利用して、異なるモデルバージョンを自動的に比較し、展開し利用するのに最適なモデルを決定してもよい。ラボモジュール１３４は、最適なモデルを人工知能モジュール１３６に自動的に展開するように構成されてもよい。

【0047】

ラボモジュール１３４は、各データソースから提供される画像を管理するように構成されてもよい。例えば、ラボモジュール１３４は、画像を取得し調整してもよい（例えば、画像をトリミングする等）し、画像をラボモジュール１３４で受け取る前にユーザデバイスで調整してもよい。全ての画像は、関連する画像の集合である１つ又は複数のデータセットに関連付けてもよい。ラボモジュール１３４は、ユーザが新規の画像をそれぞれアップロード（例えば、ＪＰＧ、ＧＩＦ又はＰＮＧフォーマットで）できるように、或いは複数の画像を有する圧縮したファイル（例えば、ＺＩＰフォーマット）をアップロードできるようにしてもよい。ラボモジュール１３４は、アップロードの履歴リスト（例えば、アップロードされたファイル名、アップロードした者の名前、アップロードした日、及びアップロードした画像数）が見られるインタフェースを提供してもよい。ラボモジュール１３４は、重複する又はほぼ同じ画像を、画素値と他の画像のメタデータとを比較することにより検出するように構成されてもよい。重複する又はほぼ同じ画像を検出すると、ラボは、そのデータストア内の既存のメタデータをマージする又は書き換えてアップロードした画像の重複を排除してもよい。重複する又はほぼ同じとして検出された画像は、レビューのためにタグをつけられてもよい。

【0048】

ラボモジュール１３４は、ユーザが、（例えば、ユーザインタフェースを介して）データセット内の特定の画像に対しタグを付加したりタグを取り除いたりできるように構成されてもよい。タグは、画像に付けられるメタデータの形式であり、「キー：値」の形式をとってもよい。ここで、「キー」はタグの種別又はカテゴリーを特定するものであり、「値」はその種別又はカテゴリー内の値を特定するものである。例えば、一部のタグは「動物：猫」や「動物：犬」である。画像は１つ又は複数の関連付けられたタグを有していてもよい。ラボモジュール１３４は、例えば、タグのクエリーによって、画像のサーチ、ブラウズ、及びアクセスを行うように構成される。

【0049】

ラボモジュール１３４は、特定の状況において画像に特定のタグを自動的に付加するように構成される。例えば、ラボモジュール１３４は、四角でない画像に「ラボ：四角でない」とのタグを画像に付加するように構成されてもよい。一部の例では、ラボモジュール１３４は、外部アプリケーションプログラミングインターフェース（ＡＰＩ）に自動的に問い合わせ、その結果に基づいて画像にタグを付加するように構成されてもよい。一部の例では、ラボモジュール１３４は、画像を分類する１つ又は複数のモデルを使用し、その結果に基づいて画像にタグを付加するように構成されてもよい。一部の例では、ラボモジュール１３４は、専門家モジュール１４４でなされたレビューに基づきタグを付加するように構成されてもよい。

【0050】

ラボモジュール１３４は、ユーザがデータセットスナップショットを生成し、管理し、使用するように構成されてもよい。データセットスナップショットは、ラボモジュール１３４のデータベースに格納された特定の画像のデータセットの、ある時点でのスナップショットに対応してもよい。画像セットを利用してモデルを評価又は訓練する場合、ラボモジュール１３４は、画像のタグの有無に関するユーザの問い合わせによって、画像インベントリーの特定のサブセットを特定し抽出することによってこのプロセスを促進し確認するように構成される。

【0051】

ラボモジュール１３４は、ユーザが以前のスナップショットの評価をダウンロードしたり再生したりできるように構成されてもよい。スナップショットは、データインベントリにおいて画像が後から追加され或いは再度ラベル付けされても、保存され、変化しない。これによりスナップショットにおける管理及び一貫性が可能になり、将来の評価を通して完全性を維持し、結果の再現性を確保できる。

【0052】

ラボモジュール１３４は、選択的に画像を異なる区分（例えば、所定の閾値にファイルを限定すること、動的に決められた区分、部分区分等に基づいて）に分けるように構成されてもよい。一部の例では、ユーザは、各データ区分に固有の名称を選んで、画像を区分する基準を特定してもよい。一部の例では、システムは、画像をランダムに選択するオプションを提供する。それは、各データ区分の最大画像数（例えば、１０００の靴の画像がある場合、「１００」を選択することによって、１００のランダムな靴の画像のサブセットが全１０００の靴の画像から選択される）や、全画像のうちの割合（先の例で言うと、５０％を選択することにより５００の靴の画像を出す）により選択される。画像がトリミングされる場合、トリミングされた画像は、トリミングされた状態でダウンロードされてもよいし、オリジナルのトリミング前の画像をトリミングの座標を示す関連ファイルと共にダウンロードしてもよい。一部の例では、ユーザは、例えば区分内の全画像数が所望の画像数未満の場合は、データ区分を省略してもよい。

【0053】

ラボモジュール１３４は、キューを介した特定の基準を前提として、画像を隔離するように構成されてもよい。基準が設定されると、キューの特性に画像が適合すると、これらの画像は見たり修正したりできるようにアクセス可能にしてもよい。スナップショットとは対照的に、キューは、新規のアップロードや画像の修正を含め、ラボにおけるデータの最新状態を反映したものであってもよい。

【0054】

ラボモジュール１３４は、複数の画像のタグを一度に修正（つまり、バルク修正操作）できるインタフェースを提供するように構成されてもよい。例えば、インタフェースは、（タグクエリー、スナップショット、アップロード、キューを介して、或いは画像ＩＤのリストから）選択したグループの画像に対し、タグを付加したり、修正したり、取り除いたりする機能を提供してもよい。ラボモジュール１３４は、定常的に画像を隠すインタフェースを提供するように構成されてもよい。隠された画像は、以前の既存のスナップショットに残すことができるが、新たなスナップショットの生成に対しては制限される。

【0055】

人工知能モジュール１３６は、画像を受け取り、視覚識別コンポーネント（例えば、視覚的分類器）に提供する。人工知能モジュール１３６は、１つ又は複数の学習アルゴリズムを実行して画像に関連付けられた追加の情報を利用してもよい。畳み込みニューラルネットワーク（ＣＮＮｓ）又は他のニューラルネットワークモデルは、画像から予測するように実現される。

【0056】

人工知能モジュール１３６は、ニューラルネットワークを最適化するために、確率的勾配降下法や、他の種類の最適化アルゴリズムに依存してもよい。例えば、進化的方法（遺伝的アルゴリズム）、及び／又は逆伝搬及び進化的方法を含む任意のタイプの重み更新規則を用いるアルゴリズムを含む「貢献度分配（ｃｒｅｄｉｔ ａｓｓｉｇｎｍｅｎｔ)学習アルゴリズム」を使用してもよい。本開示は、構造自動探索（ＮＡＳ)を利用してもよい。

【0057】

人工知能モジュール１３６は、異なる畳み込みニューラルネットワーク（ＣＮＮｓ）を考慮するように構成されてもよい。例えば、異なる構成（例えば、レイヤー数、畳み込みフィルタのサイズ、プーリングレイヤーのサイズ、正則化法の使用の違い等）の広範囲にわたる様々なＣＮＮアーキテクチャを使用してもよい。パフォーマンスを向上させるために複数のアーキテクチャと手法を併せて使用してもよい。

【0058】

様々なデータ正規化手法を使用して、ネットワークに送られる前にデータを前処理してもよい。例えば、データセット内の画像の平均画素値を各画像から引く平均減算（ｍｅａｎ ｓｕｂｔｒａｃｔｉｏｎ)を用いてもよい。

【0059】

異なるタイプのモデル重み初期化（ｗｅｉｇｈｔ ｉｎｉｔｉａｌｉｚａｔｉｏｎ）を用いてもよい。例えば、重みはランダムに初期化されてもよいし、異なる視覚的オブジェクト認識タスク（例えば、ＩｍａｇｅＮｅｔデータベース）で訓練された重みを使用して初期化してもよいし、方法を組み合わせて使用してもよい。

【0060】

データの処理やネットワークのハイパーパラメータの選択に際しては異なる方法を使用してもよい。例えば、効果的なモデル構成を決定するために、多様な重み付けされた損失関数、ネットワーク正則化法、及びデータ拡大手法にモデルを組み合わせてもよい。

【0061】

視覚的分類システムは、複数の畳み込みニューラルネットワーク（例えば、Ｉｎｃｅｐｔｉｏｎ ３、Ｉｎｃｅｐｔｉｏｎ ＲｅｓＮｅｔ ｖｅｒｓｉｏｎ ２、及びＤｅｎｓｅＮｅｔ及び/又は他のＣＮＮｓ）の組み合わせを使用し、画像の前処理時にデータ正規化を行い、他のデータセット（例えば、ＩｍａｇｅＮｅｔ）で事前訓練されたモデルからモデルの重み付けを初期化し、訓練中に、ドロップアウトやバッチ正規化等の異なる正則化法を適用し、分類重みを損失関数に追加し、及び／又はオーバーサンプリング法を用いてデータセットの分類の不均衡に対応することを含んでいてもよい。

【0062】

人工知能モジュール１３６は、１つ又は複数の分類器を使用して１つ又は複数の機械学習モデルを実現するように構成されてもよい。分類器は、入力サンプルにラベル付けするように訓練されるアルゴリズムを含んでいてもよい。分類器の１つの例は、皮膚症状分類器であり、ラベル付けされた画像で訓練された視覚的分類器を使用して皮膚症状を分類してもよい。画像を受信し分類すると、システムは、ユーザに対してＮ個（例えば、Ｎ＝５）の可能性のある出力予測を列挙してもよい。一部の例では、各画像は、複数の摂動や歪みを受ける場合がある。摂動画像は、分類器に複数回通してもよく、各摂動画像からの確率を集約して最終的な予測を形成してもよい。一部の例では、複数の画像又は患部皮膚に対応する動画において複数のフレームを受信すると、システムは各画像又はフレームからの確率を集約して最終的な予測リストを形成してもよい。

【0063】

人工知能モジュール１３６は、モデルを訓練するように構成されてもよい。例えば、訓練プロセスは、視覚的分類器及びその他モジュール（例えば、質問モジュール１３８等）に、サンプル（例えば、画像）と、複数の専門家の複合レビューから引き出された各ラベルの対応する確率とを提供してもよい。訓練サンプルが与えられると、モデルは複数の専門家の複合レビューにより出されたラベルの確率を予測するように訓練される。視覚的分類器は、皮膚症状の画像で訓練される場合、訓練データから各皮膚症状のグループを差別化できる特徴を学習するようにしてもよい。新規の画像が提示される場合、視覚的分類器はその画像を処理して、各ラベルの予測確率と共に皮膚症状ラベル候補を特定できる。

【0064】

人工知能モジュール１３６は、その予測性能を評価する多様な評価測定基準を使用するように構成されてもよい。測定基準は、例えば、正確性、交差エントロピー、感度、特定性、正確性、及び／又は他の測定基準を含んでいてもよい。これらのファクターの１つ又は複数を、モデルの予測性能を評価するのに使用してもよい。

【0065】

人工知能モジュール１３６は、多数のモデルを、個別又は他のモデルと組み合わせて利用するように構成されてもよい。各モデルは、異なる訓練手法やモデルアーキテクチャを適用することにより、特定の画像の特徴を感知できるものであってもよい。人工知能モジュール１３６は、予測された皮膚症状に対する各モデルの貢献度を量るための、訓練されたモデルの性能を測定する測定基準を使用するように構成されてもよい。考慮すべき一部のファクターは、特定の分類を検出する性能とモデルの複雑性を含む（例えば、レイヤーの数、レイヤー間の連結の数や種類）。

【0066】

人工知能モジュール１３６は、モデルを動的に訓練するように構成されてもよい。例えば、新規のレビューされたデータが入手可能になると、人工知能モジュール１３６は、その新規のデータを取り込んでモデルを再訓練してもよい。アップデートされたモデルの性能は、内部のラベル付けされた画像セットを用いてレビューされてもよい。性能が向上すると、アップデートされたモデルは生産環境にリリースされ、ユーザが利用できるモデルを向上させる。

【0067】

人工知能モジュール１３６は、システムの他のモジュール（例えば、質問モジュール１３８）と相互に作用して、最初の診断候補と追加のモジュールでリファインできる差異を提供してもよい。

【0068】

質問モジュール１３８は、関連する質問を生成して送信するように構成されてもよい。質問は、予備的な症状候補と画像の視覚的な分類から計算された予測確率とに基づき、最初の予測皮膚症状の分類を更に絞り込んでもよい。この質問プロセスは、可能性のある皮膚症状を除外し又は確認してもよい。まず画像を視覚的分類器に提供することによって、可能性のある皮膚症状や選択される質問をより絞り込むことができる（例えば、視覚的分類器によって判定された可能性の高い皮膚症状に焦点を合わせる）。

【0069】

質問モジュール１３８は、一部の例において、上限数の質問がなされた場合、或いはシステムにより予測皮膚病分類候補に関係する質問がユーザにより対応されたと判定された場合に、質問と回答のプロセスを終了させるように構成されてもよい。

【0070】

システムは、質問と特定の皮膚病との関連性に応じた異なる質問の回答により重点を置くように構成されてもよい。質問モジュール１３８は、各予測皮膚症状に関連付けられた最初の予測確率をリファインして、ユーザに示される診察の質を向上させ、リファインされた確率を生成してもよい。

【0071】

質問モジュール１３８は、質問を提供するために提供される情報を使用し症状候補の確率を調整するように構成されてもよい（ユーザが提供した情報と矛盾する皮膚症状候補を除外することを含む）。例えば、皮膚症状候補が「メラノーマ」である場合、尋ねられ得る質問は「あなたの皮膚症状は、最近その色、大きさ又は形状が変化しましたか？」である。これは、メラノーマの重要なインジケータが、色、大きさ又は形状が変化する皮膚病斑であるという公知の医学的知識をエンコードするものである。質問及びその回答は、各画像と関連付けられてもよい。

【0072】

質問モジュール１３８は、質問を生成し、ユーザ提供情報（例えば、年齢、性別、及び病斑が生じた体の部位）を取り込むように構成される。例えば、質問モジュール１３８は、アップロードされた画像から（例えば、人工知能モジュール１３６からの）視覚的分類器の予測確率を、患者への質問を決定するための予測確率として使用してもよい（例えば、診断に到るのに必要な医者と患者間の会話を模した技術的アプローチを用いる）。質問モジュール１３８は、あらかじめ定義された質問リストから関連する質問を選択するように構成されてもよい。ここでは、回答は可能性の高い皮膚予測を決定することに関する情報獲得を最大化し得る。質問モジュール１３８は、各質問後の回答に基づいて視覚的分類器システムの分類確率をリファインしてもよい。

【0073】

質問モジュール１３８は、ＣＮＮと強化学習（ＲＬ)エージェントを組み合わせるように構成されてもよい。これにより、差異のある診断を絞り込むのに必要な平均質問数を減らすことができる。ＲＬエージェントは、潜在的な症状を正しく特定する確率を最大化するために、症状の存在についてどのように患者に質問するかを学習する。ＲＬエージェントは、尋ねられた質問に対する回答に加えて、ＣＮＮによって提供される視覚情報を用いて質問モジュール１３８を誘導してもよい。ＣＮＮは症状を予測するために視覚情報に依存するため、ＲＬに基づくアプローチは、ＣＮＮのアプローチに比べて性能を挙げることができる。

【0074】

エビデンス管理モジュール１４０は、システムが受け取ったエビデンスを監視するように構成されてもよく、複数のエビデンスのソース（例えば、人工知能モジュール１３６や質問モジュール１３８からの予測、医療記録、専門家の意見等）に基づいて最終的な予測診断を決定してもよい。エビデンス管理モジュール１４０は、オントロジー内において異なる粒度で生成された複数のエビデンスのソースからの予測にアクセスし、共有され標準化されたオントロジー上にそれらの予測を投影し統合してもよい。エビデンス管理モジュール１４０はまた複数の意見を結合してもよい。

【0075】

エビデンス管理モジュール１４０は、システム性能を監視するように構成されてもよく、推定プロセスのあるステップにおいて結論に至らない場合は、ネットワーク１１０を介してデータを専門家デバイス１１６に送信して専門家に更に情報を求めてもよい。

【0076】

オントロジーモジュール１４２は、皮膚症状間の関係を表すように構成されてもよい。ここでは、オントロジーは、皮膚症状を表すノードと、症状間の関係を表すエッジを含む。オントロジーは、広い上位のラベルから特定の状況的な病状ラベルまで、異なる粒度のレベルで皮膚症状ラベルをエンコードしてもよい。皮膚科オントロジー構造は、確立された医療オントロジー（例えば、ＳＮＯＭＥＤ ＣＴ等）に基づいて導出し、及び／又は拡張したものであってもよい。他の対象物を分類するのに他のオントロジーを使用してもよい。

【0077】

オントロジーモジュール１４２は、類似する病態生理や臨床関係を有する症状を特定するように構成されてもよい。データセットは異なる度合いのラベル粒度や病状の具体性でラベル付けされた画像を含むので、オントロジーは、異なる粒度でラベル付けされた画像を、視覚的分類器によって使用される共通のグルーピングに集約するのに使用されてもよい（例えば、視覚的分類器を訓練するのに使用される分類ラベル）。例えば、結節性基底細胞癌（ＮＢＣＣ）は、基底細胞癌（ＢＣＣ）の亜類型である。この関係は、ＮＢＣＣをＢＣＣの子として表すことにより、オントロジー内でエンコードされてもよい。この関係に基づき、ＢＣＣ訓練分類レベルは、ＮＢＣＣと同様にＢＣＣとしてラベル付けされた画像により形成されてもよい。症状のグルーピングはまた、各オントロジーノードに関連付けられた画像の数に依存してもよい。これらの症状グルーピングは、保存され、皮膚症状のグルーピングと共に出力される視覚的分類器のマッピングを決定するのに使用される。

【0078】

画像は、各ラベルに割り当てられた複数の確率値の複数のラベルを有してもよく、画像はオントロジー内において１つ又は複数のノードに関連付けられてもよい。各ラベルに割り当てられた確率値は、オントロジーノードに関連付けられた画像の数に対する画像の部分貢献を示してもよい。

【0079】

オントロジーモジュール１４２は、ラボモジュール１３４内のオントロジー機能を通じて視覚化されてもよい。ここでは、オントロジーコード、人により読み取り可能な対応するラベル、及び各ノードに関連付けられた画素数等の情報が示され、編集されてもよい。

【0080】

専門家モジュール１４４は、画像及び関連する患者データ（分かる場合は患者の年齢等）を専門家のフィードバックのために１つ又は複数の専門家デバイス１１６に提供することにより、画像のレビューを促進するように構成されてもよい。画像に対する専門家のフィードバックは、皮膚症状候補及び同画像に対する対応する確率、同画像における皮膚症状が健康な皮膚に見えるか、品質が悪く見えるか、画像からは専門家が状態を判定できないことを取得することを含む。

【0081】

専門家モジュール１４４は、Ｎ（例えば、Ｎ＝５）人までの専門家（例えば、皮膚科医）に専門家デバイス１１６を介して画像を提供し、各専門家はレビュータスクを行うようにしてもよい。Ｎ人の専門家が画像をレビューした後、画像に対するレビューは停止されてもよい。画像は、Ｍ（例えば、Ｍ＝３）人の専門家からのレビューが受信されると、有効とされて訓練及び評価に使用可能にされる。画像のレビュータスクの生成者は、画像をレビューする専門家の最小人数のＭと最大人数のＮとを選択してもよい。

【0082】

専門家モジュール１４４は、皮膚症状の画像のデータセットを拡張するためにレビューを受信し格納するようにしてもよい。複数の専門家によるレビュー（例えば、ラベルと対応する確率）は複合されて、各イメージの確率的なラベリングを形成してもよい。複数の画像は、編成され、臨床オントロジー（例えば、オントロジーモジュール１４２）又はその他のカスタムリスト内でマッピングされるコード及び関連付けられた確率でラベル付けされてもよい。

【0083】

専門家モジュール１４４（ラボモジュール１３４等と連携して）は、最初に画像をアップロードしたユーザに、専門家ユーザによる複合画像レビューを提供するように構成されてもよい。複合画像レビューは、ユーザデバイス１１４のユーザインタフェースに提供されてもよい。

【0084】

第三者アドバイスモジュール１４６は、追加のデータを受信する第三者アプリケーションを統合するように構成されてもよい。例えば、第三者アプリケーションは、遠隔治療、遠隔皮膚科学、又は画像を受信して専門家による診察を行う他の第三者アプリケーションを含んでいてもよい。第三者アプリケーションからの情報は、通信サブシステム１２４を介して受信され、人工知能モジュール１３６に訓練やテストのデータとして提供されてもよい。

【0085】

また、システムの特徴や機能は他の方法において利用されてもよい。例えば、第三者アプリケーションは独立してスダンドアローンアプリケーションとして動作してもよい（例えば、遠隔治療等）。第三者アプリケーション１４６は、第三者モジュールをシステムに統合して、スタンドアローンの第三者アプリケーションに比べ相乗的な結果を達成するようにしてもよい。例えば、他のシステムコンポーネント（例えば、視覚的分類器及び質問モジュール）に第三者アプリケーションを統合することにより、従来のシステムよりも改善したものとなり得る。一例として、エンドユーザが第三者アドバイスモジュール１４６を立ち上げ、画像をアップロードすると、人工知能モジュール１３６は、その画像に関連付けられた皮膚症状に対する予測を行い、質問モジュール１３８はその最初の予測に基づいてエンドユーザに質問を提示してもよい。この情報全ては、システムの効率を高めるためにプロバイダに提示されてもよい。

【0086】

後述するように、これらの機能は単一のプラットフォームに統合されて多くの相乗作用を提供する。本開示の１つの観点は、多様な機能及びそれらの相互作用を統合して、改善された結果及び継続的に改善するデータセットを提供することに関する。

【0087】

皮膚症状システム１０２はまた、図２に示すデータデバイス１１２、図３に示すユーザデバイス１１４、及び図４に示す専門家デバイス１１６を含め、複数のデバイス及びデータソースと通信を行うように構成されてもよい。

【0088】

図２は、本開示の実施形態によるデータデバイスを示す。図示２００では、データデバイス２１２は、１つ又は複数のメモリ２２０、プロセッサ２２２、コンピュータ読み取り可能な媒体２３０を含んでいてもよい。プロセッサ２２２は、オペレーティングシステム２３２を起動することによりプロセッサ２２２に接続される複数のハードウエア又はソフトウエアを制御して、システムのモジュールにより記述される多様な機能の処理を実行してもよい。例えば、プロセッサ２２２は、命令や他の要素から受信するデータを含み、データモジュール２３４を含め、ロードされた命令やデータを処理してもよい。皮膚症状システム１０２の様々なコンポーネントは、データデバイス２１２によっても実行され得る。データデバイス２１２は、ネットワーク１１０との電子通信を行うモバイルデバイス（例えば、アンテナ、セルラーモジュール等）の機能を組み込んでいてもよい。

【0089】

データモジュール２３４は、皮膚症状システム１０２により使用する画像を提供するように構成されてもよい。データモジュール２３４は、ネットワーク１１０を介して皮膚症状システム１０２に画像を送信してもよい。

【0090】

データモジュール２３４は、ユーザデバイス１１４によって提供される画像を補充してモデルの訓練及び評価を支援する。データモジュール２３４によって提供される画像は、皮膚科医によりラベル付けされた画像、皮膚科学のテキストブック、皮膚科学アトラス、統合システムネットワークにおいて皮膚科医から受信する有効なデータを含む、専門家によってラベル付けされた画像を含んでいてもよい。レビューされていないソースからのデータは、ラベル付けのためにレビュープロセスに提供され、既存のデータセットを拡張させてもよい。

【0091】

図３は、本開示の実施形態にかかるユーザデバイスを示す。図示３００では、ユーザデバイス３１２は、１つ又は複数のメモリ３２０、プロセッサ３２２、及びコンピュータ読み取り可能な媒体３３０を含んでいてもよい。プロセッサ３２２は、オペレーティングシステム３３２を起動することによりプロセッサ３２２に接続される複数のハードウエア又はソフトウエアを制御して、システムのモジュールにより記述される多様な機能の処理を実行してもよい。例えば、プロセッサ３２２は、命令や他の要素から受信するデータを含み、撮像モジュール３３４を含め、ロードされた命令やデータを処理してもよい。皮膚症状システム１０２の様々なコンポーネントは、ユーザデバイス３１２によっても実行され得る。データデバイス３１２は、ネットワーク１１０との電子通信を行うモバイルデバイス（例えば、アンテナ、セルラーモジュール等）の機能を組み込んでいてもよい。

【0092】

ユーザデバイス３１２は、撮像モジュール３３４を介して１つ又は複数の皮膚症状の画像又は動画を撮るように構成されてもよい。例えば、撮像モジュール３３４は、ユーザが、ユーザデバイス３１２に付随するカメラ又は他の撮像センサ３２４を操作して、皮膚症状に撮像センサ３２４を向けて分析対象の皮膚症状の画像又は動画を撮ることができるように構成されてもよい。皮膚症状の画像は、メモリ３２０によりローカルで保存されてもよいし、ユーザデバイス３１２に連結されるクラウドデータストアに保存されてもよいし、一時的なストレージに保存されてもよい。皮膚症状の画像は、ネットワーク１１０を介して皮膚症状システム１０２に送信されてもよい。

【0093】

判定モジュール３３６は、皮膚症状システム１０２からネットワーク１１０を介して皮膚症状予測と対応する確率を受信するように構成されてもよい。判定モジュール３３６は、電子ファイルを受信し、その電子ファイルを画像として患者のユーザデバイス３１２のディスプレイに提供してもよい。

【0094】

図４は、本開示の一実施形態にかかる専門家デバイスを示す。図示４００では、専門家デバイス４１２は、１つ又は複数のメモリ４２０、プロセッサ４２２、及びコンピュータ読み取り可能な媒体４３０を含んでいてもよい。プロセッサ４２２は、オペレーティングシステム４３２を起動することによりプロセッサ４２２に接続される複数のハードウエア又はソフトウエアを制御して、システムのモジュールにより記述される多様な機能の処理を実行してもよい。例えば、プロセッサ４２２は、命令や他の要素から受信するデータを含み、フィードバックモジュール４３４を含め、ロードされた命令やデータを処理してもよい。皮膚症状システム１０２の様々なコンポーネントは、専門家デバイス４１２によっても実行され得る。専門家デバイス４１５は、ネットワーク１１０との電子通信を行うモバイルデバイス（例えば、アンテナ、セルラーモジュール等）の機能を組み込んでいてもよい。

【0095】

専門家デバイス４１２は、画像データを受信し、フィードバックモジュール４３４を介してフィードバックを提供するように構成されてもよい。例えば、画像は専門家デバイス４１２のディスプレイに提供されてもよい。システムの一部の実施では、画像を提示することは、インタフェースを介して画像を表示させること、及びインタフェースディスプレイ要素のセットを提供することを含んでいてもよい。インタフェースは、画像に関するフィードバックを提供するツールを提供してもよい（例えば、皮膚症状のラベル付け及び関連するラベル確率、画像の品質に関連する情報等）。インタフェースを介して受信する情報は、ネットワーク１１０を介して皮膚症状システム１０２に送信されてもよい。

【0096】

複数の専門家デバイス４１２は、専門家モジュール１４４の記述において詳細に説明される単一の画像についてのフィードバックを提供してもよい。ここでは、複合的なフィードバックにより一群の専門家の意見を生成し得る。

【0097】

皮膚症状データの処理方法
図５は、本開示の一実施形態による、皮膚症状のデータの処理例５００を示す。動作５０２では、ユーザは、ユーザデバイス１１４のユーザインタフェースを用いて、１つ又は複数の画像をネットワーク１１０を介して皮膚症状システム１０２にアップロードする。画像は皮膚症状システム１０２により受信される。

【0098】

動作５０４では、画像はマルチゲートモジュールに通され、視覚的分類器及びユーザ提供情報を用いて画像内のコンテキストが検出される。この検出されたコンテキストに基づき、マルチゲートモジュールは、コンテキスト特定動作をとる。一例として、マルチゲートモジュールにより画像が所要パラメータを満たさない（例えば、画像が皮膚を含まない）或いは画像の品質が悪いと検出された場合、処理は動作５１２に進む。動作５１２では、マルチゲートモジュールは、「範囲外」と判定し、新規の画像を要求してもよい。マルチゲートモジュールはまた、画像の種別を検出してもよい。例えば、マルチゲートモジュールは、ダーモスコピー画像と非ダーモスコピー画像とを区別してもよい。検出された画像の種別に基づき、画像は、特定の画像の種別用に設計されたモジュールに向けられる。

【0099】

マルチゲートモジュールにより画像が所要パラメータを満たす（例えば、画像が皮膚を含む）及び／又は画像の品質が良いと検出された場合、処理は動作５０６に進む。検出されたコンテキストに基づき、動作５０６では、人工知能モジュール１３６が画像を使用し、当該画像が各皮膚症状分類に分類される予測確率を判定する。ユーザが画像をアップロードすると、システムは皮膚予測を行い、これらの画像はレビューのキューに追加されて、レビューのために専門家団に提供されてもよい。システムは、システムの予測が専門家のラベル付けや対応する確率とどの程度合っているかを評価してもよい。予測アルゴリズムはこの情報によって再訓練されてもよい。

【0100】

動作５０８では、視覚的分類器により予測された皮膚症状の確率を、質問モジュール１３８を用いてリファインしてもよい。ここで、質問は、ユーザデバイス１１４を通じてユーザに提示されてもよく、ユーザの回答は組み込まれて予測された皮膚症状の確率を更にリファインする。これらの質問は、皮膚症状システム１０２の人工知能モジュール１３６によってなされた最初の予測された皮膚症状の確率に基づくものであってもよい。

【0101】

動作５１０では、予測はユーザデバイス１１４に送信されてもよい。ユーザデバイス１１４は、可能性のある皮膚症状のランク付けされたリストと、対応する確率と、皮膚症状に関する追加情報と、治療オプションと、ユーザがアップロードした画像に類似し得る代表的な皮膚症状の画像とを表示してもよい。

【0102】

類似する皮膚症状の検索方法
図７は、本開示の一実施形態による、システムが画像の表示を圧縮する方法の一例を示す。画像圧縮は、例えば１つ又は複数の特徴マップを使用してその２次元の空間的構造をサマライズ（ｓｕｍｍａｒｉｚｅ)してもよい。特徴マップは、特定の畳み込みＣＮＮ層の学習された画像のレスポンスであってもよい。類似する画像は類似する特徴マップを有していてもよい。

【0103】

図示７００では、動作７０２でデータが選択される。皮膚状態システム１０２は、類似するドメイン又は様相（例えば、ダーモスコピー画像）からデータを選択して機械学習モデルを訓練する。これにより、モデルは、所定のドメイン内の区別可能な特徴を識別し得る。

【0104】

動作７０４では、皮膚状態システム１０２は、１つ又は複数の機械学習モデルを訓練して、人工知能モジュール１３６に記述されるように皮膚病を分類してもよく、或いは当該皮膚病に関連付けられた既知の視覚的特性を認識するように訓練されてもよい。

【0105】

動作７０６では、１つ又は複数の類似度測定基準を計算して類似画像を比較し検索してもよい。例えば、システムは、異なる類似度又は距離測定基準（例えば、コサイン類似度、ユークリッド距離等）を用いて、画像間の類似度を計算してもよい。

【0106】

動作７０８により、システムは、計算された類似度又は距離測定基準に基づいて類似画像を検索してもよい。ここでは、戻り画像はソートされた類似性順序に基づくものであり、戻り画像の数は、閾値、定数の画像、又は両者の組み合わせに基づくものであってもよい。アップロードされた画像に類似する画像からの既知の皮膚状態ラベルを、個別に又は視覚的分類器と共に使用して、アップロードされた画像の皮膚状態予測確率を推測してもよい。画像は、順序付けられた類似性に基づきレビューされ、訓練９０４、検証９０６、テスト９０８のデータ区別を通して類似する画像を分割してもよい。

【0107】

図８は、本開示の一実施形態にかかる画像検索の例を示す。図示例８００は、類似する皮膚病斑の画像がシステムによって検索される例を示す。類似する皮膚画像は、スケール、変換、回転、色、明るさ、及び他の非アフィン変換における変化があっても検索され得る。皮膚状態システム１０２は、アフィン及び非アフィン変換による色及び明るさの微小変化に対して不変であってもよい。

【0108】

訓練データパイプラインの生成方法
図９は、本開示の一実施形態による、人工知能モジュール１３６において使用される視覚的分類モデルを訓練するパイプラインを示す。図示９００では、データは、データデバイス１１２、ユーザデバイス１１４、及び専門家デバイス１１６を含む各ソースから受信される。データは１つ又は複数のデータセット９０２に保存されてもよい。

【0109】

データは、訓練データ９０４、検証データ９０６、及びテストデータ９０８に区分されてもよい。データの区分は、区分をまたがって類似する画像を分割するために、類似する皮膚症状の画像を検索する方法を導入してもよい。学習アルゴリズム９１０は、分類モデル９１２を訓練するのに訓練データ９０４に依拠し、訓練中のモデルの性能を監視するのに検証データ９０６に依拠してもよい。テストデータ９０８は、図６の例６０２、６０４に示されるように、訓練された分類モデルの性能を評価するのに使用されてもよい。分類モデル９１２は、畳み込みニューラルネットワーク（ＣＮＮ）又は他のタイプのディープラーニングモデル及び多様な学習アルゴリズムとして実現され、最適化アプローチを、人工知能モジュール１３６に記述されているように、本開示の実施形態で実施してもよい。

【0110】

分類モデル９１２の出力は、各皮膚症状候補に関連付けられた予測確率のリストであり、予測アルゴリズム９１４への入力として機能してもよい。予測アルゴリズム９１４はこれらの確率を使用して画像に付与される予測セットを決定する。例えば、予測アルゴリズム１９４は、所定の画像に対する予測ラベルとして、トップＫの最も可能性の高い皮膚症状を付与してもよい。予測アルゴリズム９１４からの出力は、１つ又は複数の予測と共に予測データストア９１６に保存されてもよい。

【0111】

テストデータ９０８を、訓練された分類モデル９１２及び予測アルゴリズム９１４を通過させて、皮膚状態予測９１６を決定してもよい。これらの予測は、既知のテストデータ９０８のラベルと比較され、テストデータ９０８へのシステム性能を示す出力評価９２０を生成してもよい。

【0112】

図１０は、本開示の一実施形態にかかる、データをリビューするためのデータ処理パイプラインを示す。図示１０００において、動作１００２では、ユーザは１つ又は複数の画像を提供してもよい。動作１００４では、画像はレビューキュー（ラボモジュール１３４に記述される）に送られ、皮膚科医のグローバルネットワークを含む１人又は複数の専門家によりレビューされる。

【0113】

動作１００６では、専門家は画像及び関連する患者情報を示され、フィードバックを求められてもよい。専門家は、画像に対して１つ又は複数のラベル及び対応する確率を付与することによって、画像にアクセスし体系的にラベル付けすることができる。システムは、専門家によって付与されたラベル及び確率を追跡してもよい。フィードバックを提供するユーザインタフェースの例を図１１に示す。

【0114】

システムは、複数の専門家が画像に対するフィードバックを提供し終わるまで、画像に関するフィードバックの受信を継続するようにしてもよい。Ｍ人の専門家からフィードバックを受信すると、画像は考慮され有効にされて、訓練及び評価に使用可能とされる。これらの有効な画像は、患部症状の特定を支援することができ、システムに評価と継続的な訓練のための追加データを提供する。これにより、システムは、永続的な使用から学習することができ、最終的にはシステム全体の性能を向上させる。

【0115】

動作１００８では、画像は、第２の閾値にかかるとレビューキューから除外されてもよい。例えば、Ｑ人の専門家が、画像の質が悪い、或いは画像が想定される使用事例を示す所要パラメータ外にあること（例えば、画像が皮膚病を示していない）を示す場合、画像をレビューキューから除外し、追加のコンテキストがない限り皮膚科医が特定するのに不適切であるとみなしてもよい。

【0116】

その他留意事項
現時点で最も実用的であり好ましいと考えられる態様に基づいて、本技術を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものであり、本技術は開示された実施形態に限定されるものではなく、むしろ本開示の趣旨及び範囲に入る変形や均等な配置も含められることが意図されていることを理解されるべきである。例えば、本技術は、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができることを期待するものであることを理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】