知財求人 - 知財ポータルサイト「IP Force」
▶ ソルベンタム インテレクチュアル プロパティズ カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-07-15
(54)【発明の名称】創傷の予測将来画像を生成するための人工知能技術
(51)【国際特許分類】
G06T 7/00 20170101AFI20250708BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 616
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024572330
(86)(22)【出願日】2023-06-05
(85)【翻訳文提出日】2024-12-09
(86)【国際出願番号】 IB2023055761
(87)【国際公開番号】W WO2023242673
(87)【国際公開日】2023-12-21
(31)【優先権主張番号】63/351,954
(32)【優先日】2022-06-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524062087
【氏名又は名称】ソルベンタム インテレクチュアル プロパティズ カンパニー
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100146466
【弁理士】
【氏名又は名称】高橋 正俊
(74)【代理人】
【識別番号】100202418
【弁理士】
【氏名又は名称】河原 肇
(72)【発明者】
【氏名】ムハンマド ジャマル アフリディ
(72)【発明者】
【氏名】サブハラクシュミ エム．ファルクノール
(72)【発明者】
【氏名】バヒド ミージャリリ
(72)【発明者】
【氏名】コアンシアオ クー
(72)【発明者】
【氏名】ブライアン ディー．ローレンス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA04
5L096EA03
5L096EA15
5L096EA16
5L096EA35
5L096EA39
5L096HA11
5L096KA04
(57)【要約】
例示的なシステムはプロセッサを含み、プロセッサは、対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像のシーケンスであって、各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、１つ以上の画像のシーケンスの画像キャプチャデータを取得し、画像シーケンスであって、将来の時間と画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、各サンプリング時間間隔よりも大きい、画像シーケンスの画像キャプチャデータを、トレーニングされて対応する将来の時間における創傷の将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルに渡し、創傷の将来の外観の１つ以上の予測画像を表す画像データを出力するように構成されている。
【選択図】図１Ｃ
【選択図】図１Ｃ
【特許請求の範囲】
【請求項1】
システムであって、メモリと、
前記メモリに結合された１つ以上のプロセッサを有する処理ユニットとを含み、前記１つ以上のプロセッサは、前記処理ユニットに、
対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像のシーケンスであって、前記画像シーケンスの最後の画像の前の前記画像の各々は、前記画像と次の画像との間のサンプリング時間間隔によって分離されている、１つ以上の画像のシーケンスの画像キャプチャデータを取得させ、
前記画像シーケンスの前記画像キャプチャデータを、トレーニングされて前記創傷の前記将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルであって、前記１つ以上の予測画像の各々は、対応する将来の時間における前記創傷の将来の外観を表し、前記機械学習モデルは、履歴画像データを使用してトレーニングされており、前記履歴画像データは、１つ以上の履歴画像データセットを含み、前記１つ以上の履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の外観の履歴画像シーケンスの画像データを含み、前記将来の時間と前記画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、前記サンプリング時間間隔の各々よりも大きい、機械学習モデルに渡させ、
前記創傷の前記将来の外観の前記１つ以上の予測画像を表す前記画像データを出力させる、ように構成されている、システム。
【請求項2】
前記画像キャプチャデータは、治療方法又は１つ以上の治療方法パラメータを識別するメタデータを含む、請求項１に記載のシステム。
【請求項3】
前記治療方法パラメータは、陰圧創傷治療（ＮＰＷＴ）パラメータを含む、請求項２に記載のシステム。
【請求項4】
前記機械学習モデルは双方向にトレーニングされており、トレーニングの第１の方向は、前記履歴画像シーケンスから前記１つ以上の予測将来画像を生成するように前記機械学習モデルをトレーニングし、トレーニングの第２の方向は、前記１つ以上の予測画像及び第１の画像に続く前記履歴画像シーケンス内の画像から再構成された前記第１の画像を生成するように前記機械学習モデルをトレーニングする、請求項１に記載のシステム。
【請求項5】
前記機械学習モデル内のレイヤは、前記トレーニングの第１の方向と前記トレーニングの第２の方向によって共有される、請求項４に記載のシステム。
【請求項6】
前記機械学習モデルは、第２の機械学習モデルを含み、第１の機械学習モデルは、前記履歴創傷画像に関連付けられたサンプリング期間中にキャプチャされた前記履歴画像シーケンスの第１の画像サブセット及び前記サンプリング期間後にキャプチャされた第２の画像サブセットを含む第１のトレーニング画像データセットを使用して、前記第２の機械学習モデルに先だってトレーニングされており、
前記第２の機械学習モデルは、前記第１の機械学習モデルの１つ以上のレイヤを含むように制約されている、
請求項４に記載のシステム。
【請求項7】
前記第１の機械学習モデルは双方向にトレーニングされている、請求項６に記載のシステム。
【請求項8】
前記１つ以上のレイヤは、最後のレイヤ、最後から２番目のレイヤ、又は１つ以上の中間レベルのレイヤを含む、請求項６に記載のシステム。
【請求項9】
前記機械学習モデルは、第２の機械学習モデルを含み、第１の機械学習モデルは、前記履歴創傷に関連付けられたサンプリング期間中にキャプチャされた前記履歴画像シーケンスの第１の画像サブセット、及び前記サンプリング期間中にキャプチャされた第２の画像サブセットを含む第１のトレーニング画像データセットを使用して、前記第２の機械学習モデルに先だってトレーニングされており、前記第１の画像サブセット内の画像数は前記第２の画像サブセット内の画像数よりも多く、
前記第２の機械学習モデルは、前記第１の機械学習モデルの１つ以上のレイヤを使用するように制約されている、
請求項１に記載のシステム。
【請求項10】
前記第１の機械学習モデルは双方向にトレーニングされている、請求項９に記載のシステム。
【請求項11】
前記予測時間間隔は、前記画像シーケンスに関連付けられた入力時間間隔よりも長い、請求項１に記載のシステム。
【請求項12】
前記機械学習モデルは、前記履歴画像シーケンスに対応する履歴メタデータを使用してトレーニングされており、前記処理ユニットは、前記画像シーケンスに対応する前記創傷の創傷特性であって、前記創傷特性は、創傷領域、創傷深さ、又は創傷治癒段階のうちの１つ以上を含む、前記創傷の創傷特性を含むメタデータを取得し
前記メタデータを前記機械学習モデルに渡して、前記対応する将来の時間における前記の予測メタデータを生成し、
前記予測メタデータを出力する、ように更に構成されている、請求項１に記載のシステム。
【請求項13】
方法であって、１つ以上のプロセッサを備える処理ユニットによって、対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像シーケンスであって、前記画像のシーケンスの最後の画像の前の前記画像の各々は、前記画像と次の画像との間のサンプリング時間間隔によって分離されている、１つ以上の画像シーケンスの画像キャプチャデータを取得することと、
前記画像シーケンスの前記画像キャプチャデータを、トレーニングされて前記創傷の前記将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルであって、前記１つ以上の予測画像の各々は対応する将来の時間における前記創傷の将来の外観を表し、前記機械学習モデルは履歴画像データを使用してトレーニングされており、前記履歴画像データは１つ以上の履歴画像データセットを含み、前記１つ以上の履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の外観の履歴画像シーケンスの画像データを含み、前記将来の時間と前記画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、前記各サンプリング時間間隔よりも大きい、機械学習モデルに渡すことと、
前記創傷の前記将来の外観の前記１つ以上の予測画像を表す前記画像データを出力することと、を含む、方法。
【請求項14】
前記機械学習モデルは、第１の画像に第１の重みを割り当てる重み付き損失を使用してトレーニングされており、前記第１の重みは、前記第１の画像に対応する前記予測将来時間よりも遅い対応する予測将来時間を有する第２の画像に割り当てられる第２の重みよりも小さい、請求項１３に記載の方法。
【請求項15】
前記機械学習モデルは双方向にトレーニングされており、トレーニングの第１の方向は、前記履歴画像シーケンスから前記１つ以上の予測画像を生成するように前記機械学習モデルをトレーニングし、トレーニングの第２の方向は、前記１つ以上の予測画像及び前記第１の画像に続く前記履歴画像シーケンス内の画像から再構成された第１の画像を生成するように前記機械学習モデルをトレーニングする、請求項１３に記載の方法。
【請求項16】
前記機械学習モデル内のレイヤは、前記トレーニングの第１の方向と前記トレーニングの第２の方向によって共有される、請求項１５に記載の方法。
【請求項17】
前記機械学習モデルは、第２の機械学習モデルを含み、第１の機械学習モデルは、前記創傷に関連付けられたサンプリング期間から選択された前記履歴画像シーケンスの第１の画像サブセット及び前記サンプリング期間後にキャプチャされた前記創傷の画像から選択された第２の画像サブセットを含む第１のトレーニング画像データセットを使用して、前記第２の機械学習モデルに先だってトレーニングされており、
前記第２の機械学習モデルは、前記第２の機械学習モデルのトレーニングフェーズ中に前記第１の機械学習モデルのレイヤを含むように制約されている、請求項１５に記載の方法。
【請求項18】
前記第１の機械学習モデルが双方向にトレーニングされている、請求項１７に記載の方法。
【請求項19】
前記レイヤは、最後のレイヤを含む、請求項１７に記載の方法。
【請求項20】
前記機械学習モデルは、第２の機械学習モデルを含み、第１の機械学習モデルは、前記履歴創傷に関連付けられたサンプリング期間中にキャプチャされた前記履歴画像シーケンスの第１の画像サブセット及び前記創傷の前記治療期間中にキャプチャされた第２の画像サブセットを含む第１のトレーニング画像データセットを使用して、前記第２の機械学習モデルに先だってトレーニングされており、前記第１の画像サブセット内の画像数は、前記第２の画像サブセット内の画像数よりも多く、
前記第２の機械学習モデルは、前記第１の機械学習モデルのレイヤを使用するように制約されている、
請求項１５に記載の方法。
【請求項21】
前記第１の機械学習モデルは双方向にトレーニングされている、請求項２０に記載の方法。
【請求項22】
前記画像キャプチャデータは、治療方法又は１つ以上の治療方法パラメータを識別するメタデータを含む、請求項１３に記載の方法。
【請求項23】
前記治療方法パラメータは、陰圧創傷治療（ＮＰＷＴ）パラメータを含む、請求項２２に記載の方法。
【請求項24】
前記機械学習モデルは、前記履歴画像シーケンスに対応する履歴メタデータを使用してトレーニングされており、前記方法は、前記画像シーケンスに対応する前記創傷の創傷特性であって、前記創傷特性は、創傷領域、創傷深さ、又は創傷治癒段階のうちの１つ以上を含む、傷特性を含むメタデータを取得することと、
前記メタデータを前記機械学習モデルに渡して、前記対応する将来の時間における前記創傷の予測メタデータを生成することと、
前記予測メタデータを出力することと、を更に含む、請求項１３に記載の方法。
【請求項25】
方法であって、履歴画像データであって、前記履歴画像データは、複数の履歴画像データセットを含み、前記履歴画像データセットの各履歴画像データセットは、対応する創傷の履歴画像シーケンスの画像データを含み、前記履歴画像シーケンスの最後の画像の前の前記履歴画像シーケンスの各画像は、前記画像と次の画像との間のサンプリング時間間隔によって分離されている、履歴画像データを受信することと、
前記複数の履歴画像データセットの各履歴画像データセットについて、前記機械学習モデルをトレーニングして、前記創傷の前記将来の外観の１つ以上の予測画像であって、各画像は、前記履歴画像シーケンスからの将来の時間に対応し、前記将来の時間と前記履歴画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、前記サンプリング時間間隔の各々より大きい、１つ以上の予測画像を生成することと、
前記１つ以上の予測画像と前記創傷に関連付けられた１つ以上のターゲット画像との間の差に基づいて、前記機械学習モデルのレイヤ内の重みを調整することと、を含む、方法。
【請求項26】
前記機械学習モデルをトレーニングして、前記予測将来画像及び前記第１の画像に続く画像の前記履歴シーケンス内の画像から、再構成された第１の画像を生成することと、前記再構成された第１の画像と前記履歴画像シーケンスの第１の画像との間の差に基づいて、前記機械学習モデルの前記レイヤ内の前記重みを調整することと、
を更に含む、請求項２５に記載の方法。
【請求項27】
前記機械学習モデルをトレーニングすることは、第１の出力画像に第１の重みを割り当てる重み付け損失を使用して前記機械学習モデルをトレーニングすることを含み、前記第１の重みは、前記第１の画像に対応する前記予測将来時間よりも遅い対応する予測将来時間を有する第２の出力画像に割り当てられる第２の重みよりも小さい、請求項２５に記載の方法。
【請求項28】
前記機械学習モデルは第２の機械学習モデルを含み、前記方法は、前記第２の機械学習モデルをトレーニングする前に、前記創傷に関連付けられたサンプリング期間中にキャプチャされた前記履歴画像シーケンスの第１の画像サブセット及び前記サンプリング期間後にキャプチャされた第２の画像サブセットを含む第１のトレーニング画像データセットを使用して、第１の機械学習モデルをトレーニングすることと、
前記第１の機械学習モデルのレイヤを含むように前記第２の機械学習モデルを制約することと、を更に含む、請求項２５に記載の方法。
【請求項29】
前記レイヤは最後のレイヤを含む、請求項２８に記載の方法。
【請求項30】
前記機械学習モデルは第２の機械学習モデルを含み、前記方法は、前記第２の機械学習モデルをトレーニングする前に、前記履歴創傷に関連付けられたサンプリング期間中にキャプチャされた前記履歴画像シーケンスの第１の画像サブセット及び前記サンプリング期間中にキャプチャされた第２の画像サブセットであって、前記第１の画像サブセット内の画像数は前記第２の画像サブセット内の画像数よりも多い、第１の画像サブセット及び第２の画像サブセットを含む第１のトレーニング画像データセットを使用して第１の機械学習モデルをトレーニングすることと、
前記第１の機械学習モデルのレイヤを使用するように前記第２の機械学習モデルを制約することと、を更に含む、請求項２５に記載の方法。
【請求項31】
前記画像キャプチャデータは、治療方法又は１つ以上の治療方法パラメータを識別するメタデータを含む、請求項２５に記載の方法。
【請求項32】
前記治療方法パラメータは、陰圧創傷治療（ＮＰＷＴ）パラメータを含む、請求項３１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２２年６月１４日に出願された米国特許仮出願第６３／３５１，９５４号の優先権の利益を主張するものであり、本仮出願は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２２年６月１４日に出願された米国特許仮出願第６３／３５１，９５４号の優先権の利益を主張するものであり、本仮出願は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
多くの実世界プロセス、特に化学的及び生物学的性質のものは、経時的にゆっくりと進行する。例えば、創傷は、創傷の性質、創傷のサイズ、及び治癒期間中に使用される治療に応じて、完全に治癒するのに数週間かかる場合がある。
【発明の概要】
【0003】
本開示は、概して、創傷の将来の外観を示す予測画像を生成するための技術を説明する。より具体的には、本開示は、機械学習モデルを創傷の実際の画像の時系列に適用することに基づいて、創傷の将来の外観の予測画像を生成するための例示的な技術について説明する。予測画像は、将来における創傷の日数又は週の推定される外観を表すことができる。これは、医療従事者が、特定の治療又は治療パラメータが与えられた場合に、創傷の起こり得る将来の外観の合理的に正確な予測に基づいて、創傷を治療するために使用される治療又は治療パラメータの早期決定を行うことを可能にすることができる。
【0004】
本明細書に説明されるように、予測システムは、画像キャプチャ、治療前及び／又は治療の予備段階中の創傷の時系列画像を受信し、特定の治療又は治療パラメータを、所与の将来の時点に現れるであろう創傷の予測画像を生成することができる。予測デバイスの処理ユニットは、画像データを受信し、画像データ、治療方法、及び／又は治療パラメータに基づいてトレーニングして、創傷の将来の外観の予測画像を生成する機械学習モデルに画像データを提供する。本明細書に記載される様々な例では、予測システムは、初期期間から時系列の画像、例えば、治療前の創傷の初期画像及び治療が開始された後にキャプチャされた創傷の画像を受信し、時系列の画像を処理して、数日又は数週間の治療後に現れる可能性が高い創傷の予測画像を生成することができる。
【0005】
創傷治療の既存の方法は、典型的には、創傷の現在の状態に依存して治療決定を導く。本開示の技術は、既存の方法に勝る少なくとも１つの技術的利点を提供し得る。例えば、本明細書に開示される技術の実際の適用は、創傷治癒及び創傷外観に関して改善された結果をもたらすであろう、治療及び／又は治療パラメータに関する決定を導くために使用することができる、創傷の将来の外観の予測画像を生成することができる予測システムである。治療が進行するにつれて、本明細書に開示される技術を使用する予測システムは、創傷のさらなる画像キャプチャを受信することができ、創傷の将来の外観の新しい予測画像を生成することができる。これらの新しい予測画像は、現在の治療計画が最適であるかどうか、又は創傷の治療が修正されるか、若しくは新しい治療と交換される必要があるかどうかを判断するために使用することができる。
【0006】
一例では、本開示は、メモリと、メモリに結合された１つ以上のプロセッサを有する処理ユニットとを含むシステムを説明し、１つ以上のプロセッサは、処理ユニットに、対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像シーケンスであって、画像シーケンスの最後の画像の前の各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、１つ以上画像シーケンスの画像キャプチャデータを取得させ、画像シーケンスの画像キャプチャデータを、トレーニングされて創傷の将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルであって、１つ以上の予測画像の各々は、対応する将来の時間における創傷の将来の外観を表し、機械学習モデルは履歴画像データを使用してトレーニングされており、履歴画像データは１つ以上の履歴画像データセットを含み、１つ以上の履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の外観の履歴画像シーケンスの画像データを含み将来の時間と画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は各サンプリング時間間隔よりも大きい、機械学習モデルに渡し、創傷の将来の外観の１つ以上の予測画像を表す画像データを出力することとを行わせる命令を実行するように構成されている。
【0007】
別の例では、本開示は、方法を説明し、方法は、１つ以上のプロセッサを含む処理ユニットによって、対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像シーケンスであって、画像シーケンスの最後の画像の前の各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、１つ以上の画像シーケンスの画像キャプチャデータを取得することと、画像シーケンスの画像キャプチャデータを、トレーニングされて創傷の将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルであって、１つ以上の予測画像の各々は対応する将来の時間における創傷の将来の外観を表し、機械学習モデルは履歴画像データを使用してトレーニングされており、履歴画像データは１つ以上の履歴画像データセットを含み、１つ以上の履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の外観の履歴画像シーケンスの画像データを含み、将来の時間と画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、各サンプリング時間間隔よりも大きい、機械学習モデルに渡すことと、創傷の将来の外観の１つ以上の予測画像を表す画像データを出力することとを含む。
【0008】
別の例では、本開示は、方法を説明し、方法は、履歴画像データであって、履歴画像データは複数の履歴画像データセットを含み、履歴画像データセットの各履歴画像データセットは対応する創傷の履歴画像シーケンスの画像データを含み、履歴画像シーケンスの最後の画像の前の履歴画像シーケンスの各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、履歴画像データを受信することと、複数の履歴画像データセットの各履歴画像データセットについて、機械学習モデルをトレーニングして、創傷の将来の外観の１つ以上の予測画像であって、各画像は、履歴画像シーケンスからの将来の時間に対応し、将来の時間と履歴画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、各サンプリング時間間隔より大きい、１つ以上の予測画像を生成することと、１つ以上の予測画像と、創傷に関連付けられた１つ以上のターゲット画像との間の差に基づいて、機械学習モデルのレイヤ内の重みを調整することとを含む。
【0009】
さらなる例では、本開示は、システムを説明し、システムは、対応する画像キャプチャ時間における創傷の外観を表す１つ以上の画像シーケンスであって、画像シーケンスの最後の画像の前の各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、画像シーケンスの画像キャプチャデータを取得する手段と、画像シーケンスの画像キャプチャデータを、トレーニングされて創傷の将来の外観の１つ以上の予測画像を表す画像データを生成する機械学習モデルであって、１つ以上の予測画像の各々は、対応する将来の時間における創傷の将来の外観を表し、機械学習モデルは履歴画像データを使用してトレーニングされており、履歴画像データは、１つ以上の履歴画像データセットを含み、１つ以上の履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の外観の履歴画像シーケンスの画像データを含み、将来の時間と画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、各サンプリング時間間隔よりも大きい、機械学習モデルに渡す手段と、創傷の将来の外観の１つ以上の予測画像を表す画像データを出力する手段とを含む。
【0010】
またさらなる例では、本開示は、システムを説明し、システムは、履歴画像データであって、履歴画像データは複数の履歴画像データセットを含み、履歴画像データセットの各履歴画像データセットは対応する創傷の履歴画像シーケンスの画像データを含み、履歴画像シーケンスの最後の画像の前の履歴画像シーケンスの各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている、履歴画像データを受信する手段と、複数の履歴画像データセットの各履歴画像データセットについて、機械学習モデルをトレーニングして、創傷の将来の外観の１つ以上の予測画像であって、各画像は履歴画像シーケンスからの将来の時間に対応し、将来の時間と履歴画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は各サンプリング時間間隔よりも大きい、１つ以上の予測画像を生成する手段と、１つ以上の予測画像と創傷に関連付けられた１つ以上のターゲット画像との間の差に基づいて、機械学習モデルのレイヤ内の重みを調整する手段と、を含む。
【0011】
本開示の少なくとも１つの例の詳細が、添付の図面及び以下の説明に記載される。本開示の他の特徴、目的、及び利点は、説明及び図面から、並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0012】
【図1A】本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムを示すブロック図である。
【図1B】本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムを示すブロック図である。
【図1C】本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムを示すブロック図である。
【図2A】本開示で説明される少なくとも１つの例示的な技術による、トレーニングシステムを示すブロック図である。
【図2B】本開示で説明される少なくとも１つの例示的な技術による、トレーニングシステムを示すブロック図である。
【図3】本開示で説明される少なくとも１つの例示的な技術による、別のトレーニングシステムを示すブロック図である。
【図5】本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムの例示的な処理ユニットのブロック図である。
【図6】本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成する方法の例示的な動作を示すフローチャートである。
【図7】本開示の１つ以上の技術による、トレーニングシステムの例示的な動作を示す流れ図である。
【発明を実施するための形態】
【0013】
創傷の現在の画像キャプチャ及び画像キャプチャに関連付けられたメタデータに基づいて、創傷の将来の画像の予測画像を生成するシステム及び技術が説明される。予測システムは、患者自身の画像キャプチャデバイス（例えば、スマートフォンカメラ、デジタルカメラなど）を使用して、患者によって撮影された創傷の画像キャプチャを受信することができる。画像キャプチャは、初期サンプル期間にわたるサンプルの時系列とすることができる。予測システムは、将来のある時点、おそらく将来の数日又は数週間で現れるであろう創傷の将来の外観の予測画像を生成することができる。将来の時点と時系列の最後のサンプルとの間の差は、予測間隔と呼ばれる場合がある。サンプリング期間は、創傷の全治療期間よりも比較的はるかに短くすることができ、すなわち、サンプリング期間は予測間隔よりもはるかに短い場合がある。
【0014】
図１Ａは、本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムを示すブロック図である。いくつかの態様では、システム１００は、予測システム１０２及びクライアントデバイス１３２を含む。予測システム１０２及びクライアントデバイス１３２は、ネットワーク１３０を介して互いに通信可能に結合されている場合がある。ネットワーク１３０は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットの一部であるネットワークを含む、任意のタイプのネットワークであり得る。
【0015】
クライアントデバイス１３２は、画像キャプチャデバイス１１０を有する任意のタイプのコンピューティングデバイスであり得る。いくつかの態様では、クライアントデバイス１３２は、スマートフォン、例えば、患者又は患者に関連付けられた他の人が所有するスマートフォンであり得る。いくつかの態様では、クライアントデバイス１３２は、診療所、病院、又は他の医療施設におけるカメラであり得る。
【0016】
画像キャプチャデバイス１１０は、創傷の１つ以上の画像１０３を取得する。図１Ａに示す例では、画像キャプチャデバイス１１０は、患者が負傷した後の異なる時点で３つの画像をキャプチャする。この例では、画像キャプチャデバイス１１０は、患者が負傷した初日の傷口１０９Ａの画像、患者が負傷してから３日後の傷口１０９Ｂの画像、及び患者が負傷してから７日後の傷口１０９Ｃの画像をキャプチャする。
【0017】
画像キャプチャデバイス１１０は、創傷を表す画像データをキャプチャするように構成された、カメラ又は他の構成要素であり得る。画像キャプチャデバイス１１０は、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、又はレーザスキャナなどの、画像データをキャプチャすることが可能な構成要素を含み得る。図１Ａには１つの画像キャプチャデバイス１１０が示されているが、複数の画像キャプチャデバイス１１０があってもよい。画像１０９は、全て同じデバイスからキャプチャされてもよく、又は異なるデバイスからキャプチャされてもよい。例えば、創傷１０９Ａの画像は、患者の創傷を治療又は診断する医療施設においてクライアントデバイス１３２によってキャプチャされてもよく、一方で、創傷１０９Ｂ及び１０９Ｃの画像は、患者所有のクライアントデバイス１３２によってキャプチャされてもよい。
【0018】
いくつかの態様では、画像１０３は２次元画像として表されている場合がある。いくつかの態様では、画像１０３は、画像の３次元（three-dimensional、３Ｄ）ボリュームとすることができる。例えば、画像は、比較的短い期間にわたって記録された画像データの３Ｄボリュームとして表されている場合がある。一例として、３Ｄボリュームはビデオ記録であり得る。ボリュームの３つの次元は、ｘ次元、ｙ次元、及び時間次元とすることができる。したがって、画像データをキャプチャすることは、２Ｄ画像をキャプチャすること、又はある期間にわたって複数のフレームの画像データを３Ｄボリュームとして記録することを指すことがある。
【0019】
画像キャプチャデバイス１１０は、キャプチャされた画像１０３をクライアントデバイス１３２のストレージユニット１０７に記憶し得る。クライアントデバイス１３２は、キャプチャされた画像１０３を、ネットワーク１３０を介して予測システム１０２に送信し得る。いくつかの態様では、クライアントデバイス１３２は、キャプチャされた画像１０３を予測システム１０２に個別に、つまり創傷１０９の別の画像がキャプチャされる前に、送信することができる。いくつかの態様では、クライアントデバイス１３２は、創傷の複数の画像１０３をストレージユニット１０７に記憶し、複数の画像を一緒に予測システム１０２に送信し得る。
【0020】
予測システム１０２は、クライアントデバイス１３２によって送信された画像１０３を受信し、受信した画像を創傷画像シーケンス１１２の一部としてストレージユニット１０５に記憶することができる。いくつかの態様では、創傷画像シーケンスは、創傷１０９の単一の画像であり得る。いくつかの態様では、創傷画像シーケンス１１２は、創傷１０９の時系列の画像（例えば、ある期間にわたって創傷１０９Ａ～１０９Ｃがキャプチャされた画像）であり得る。予測システム１０２は、創傷シーケンス１１２に関連付けられたメタデータ１１４の一部として１つ以上のタイムスタンプを記憶し得る。タイムスタンプは、画像がキャプチャされたときを示す画像データ１０３から取得されたタイムスタンプであり得る。画像が受信されたときを示すタイムスタンプが、予測システムによって生成されている場合がある。タイムスタンプは、画像と共に記憶されてもよく、又はメタデータ１１４として記憶されてもよい。メタデータ１１４はまた、創傷を治療するために使用されている治療のタイプ（例えば、創傷閉鎖及び治癒治療）、皮膚及び／又は創傷を洗浄するために使用される製品、及び創傷に包帯するために使用される製品などのデータを含み得る。一例として、メタデータ１１４は、陰圧創傷治療（Negative-Pressure Wound Therapy、ＮＰＷＴ）システムを制御する１つ以上のパラメータを含み得る。ＮＰＷＴシステムは、創傷洗浄及び／又は点滴注入を制御する１つ以上の入力パラメータに基づいて、創傷部位における流体を制御するように構成されていることができる。ＮＰＷＴシステムの詳細については、２０２１年４月２３日に出願され、「Ｗｏｕｎｄ Ｔｈｅｒａｐｙ Ｓｙｓｔｅｍ」と題された米国仮特許出願第６３／２０１，３１９号に記載されており、その全体が参照により本明細書に組み込まれる。
【0021】
メタデータ１１４はまた、創傷のサイズ、創傷の位置、影響を受けた組織タイプ、創傷に関連付けられた感染及び滲出液（分泌物）の徴候及び／又は症状、又は創傷に関連付けられた他のデータなどの創傷自体の特性を含み得る。メタデータ１１４はまた、患者に関する人口統計情報（年齢、性別、民族など）、又は患者に関連付けられた他のデータを含み得る。例えば、メタデータ１１４は、体重、体格指数などの患者記録からのデータ、個人及び／又は家族の病歴及び併存疾患、過去及び現在の診断、例えば、糖尿病、肥満、心血管疾患、コレステロール、血圧など、投薬量及び使用頻度を含む処方薬、血液検査結果及び値、遺伝子検査結果、アレルギー及びアレルギー検査結果、並びに任意の他の適切な患者健康記録データを含み得る。
【0022】
予測システム１０２の処理ユニット１０４は、創傷画像シーケンス１１２を読み取って処理することができる。例えば、予測システム１０２は、ユーザインターフェース１１１を介してユーザからコマンドを受信することに応答して、創傷シーケンス１１２を読み取り、処理し得る。処理ユニット１０４は、人工知能（artificial intelligence、ＡＩ）エンジン１０６及び機械学習モデル１０８を利用して、創傷画像シーケンス１１２の画像データ及び任意選択的にメタデータ１１４を処理し、予測創傷画像データ１１６及び任意選択的に予測メタデータ１１７を生成することができる。いくつかの態様では、ＡＩエンジン１０６及び機械学習モデル１０８は、ニューラルネットワークを実現し得る。例えば、機械学習モデル１０８は、本明細書で説明される技術を使用してトレーニングされたニューラルネットワークのレイヤを定義し、創傷画像シーケンス１１２を入力として受信し、予測創傷画像データ１１６を出力として生成することができる。いくつかの態様では、予測創傷画像データ１１６は、創傷画像シーケンス１１２内の画像の画像データと同じ形式である。例えば、創傷画像シーケンス１１２内の画像が２Ｄ画像である場合、予測創傷画像データ１１６は、２Ｄ画像を表すことができる。同様に、創傷画像シーケンス１１２内の画像が３Ｄボリュームである場合、予測創傷画像データ１１６は３Ｄボリュームを表す。いくつかの態様では、予測創傷画像データ１１６は、創傷画像シーケンス１１２内の画像の画像データとは異なる形式を有することができる。例えば、創傷画像シーケンス１１２内の画像は、３Ｄボリュームとすることができる。予測システム１０２は、予測創傷画像データ１１６を２Ｄ画像として生成することができる。
【0023】
いくつかの態様では、予測システムは、画像処理の特徴（例えば、経時的な初期画像からの差、勾配ベースの画像など）を抽出し、そのような特徴を予測システム１０２及び機械学習モデル１０８への追加の入力として使用し得る。
【0024】
いくつかの態様では、予測創傷画像データ１１６は、単一の予測創傷画像のデータとすることができる。いくつかの態様では、予測創傷画像データ１１６は、画像シーケンス（例えば、２Ｄ画像又は３Ｄボリューム）とすることができる。いくつかの態様では、画像シーケンスは、時間的順序を有する予測画像の時間シーケンスであり得る。例えば、予測創傷画像データ１１６の最初の画像は、最も早い予測画像であってもよく、最後の画像は、シーケンスの最も遠い時点における予測画像であってもよい。
【0025】
図１Ａに示される例において、創傷画像シーケンス１１２は、複数の画像のシーケンスであると推定される。いくつかの態様では、創傷画像シーケンス１１２は、単一の画像（例えば、単一の２Ｄ画像又は単一の３Ｄボリューム）であり得、機械学習モデル１０８は、トレーニングされて、単一の入力画像から予測創傷画像データ１１６を生成している場合がある。
【0026】
いくつかの例では、ユーザインターフェース１１１は、ユーザがシステム１００を制御することを可能にする。ユーザインターフェース１１１は、表示画面、タッチスクリーン、ボタン、音声入力、又は音声出力の任意の組合せを含むことができる。いくつかの例では、ユーザインターフェース１１１は、システム１００の要素の任意の組合せを電源オン又は電源オフし、予測システム１０２及び／又は処理ユニット１０４に構成情報及び他の入力を提供し、予測システム１０２からの出力を表示するように構成されている。
【0027】
図１Ｂは、本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するための別のシステムを示すブロック図である。図１Ｂに示す例では、予測システム１０２は、予測システム１０２が予測創傷画像データ１１６を生成する前に、創傷画像１０３を処理することができるプリプロセッサ１３６を含む。上述したように、創傷画像１０３は、クライアントデバイス１３２の画像キャプチャデバイス１１０を使用して生成されている場合がある。いくつかの態様では、クライアントデバイス１３２は、スマートフォン又は他のハンドヘルドデバイスであり得る。経時的にキャプチャされた創傷の画像は、異なる条件下でキャプチャされている場合がある。例えば、創傷の画像は、異なる距離、異なる角度、及び異なる照明条件でキャプチャされている場合がある。画像はまた、様々な量の背景要素を画像に含め得る。前処理前の形式のこれらの画像は、未登録創傷画像シーケンス１４２と呼ばれる。プリプロセッサ１３６は、画像セグメント化技術を使用して画像データから創傷をセグメント化し、背景要素及び／又は影響を受けていない身体部分などの非創傷要素を除外することができる。次いで、プリプロセッサ１３６は、セグメント化された創傷画像を、スケール及び角度に関して位置合わせすることができる。セグメント化され位置合わせされた創傷画像は、登録済み創傷画像シーケンス１４４と呼ばれることがある。いくつかの態様では、処理ユニット１３２は、位置合わせされた創傷画像シーケンス１４２を入力として使用して、予測創傷画像データ１１６を生成することができる。図１Ｂに示す例では、予測システム１３２は、将来の１週間（１４０Ａ）、将来の２週間（１４０Ｂ）、及び将来の３週間（１４０Ｃ）の創傷の外観を表す、創傷の将来の外観の３つの予測画像１４０Ａ～１４０Ｃを生成する。
【0028】
いくつかの態様では、予測システム１０２は、予測画像１１６に加えて、又はその代わりに、予測メタデータ１１７を生成し得る。予測メタデータ１１７は、予測される創傷形状（例えば、創傷領域、創傷深さ、創傷位置）、創傷治癒段階などの予測される将来の創傷特性を含むことができる。図１Ｂに示す例では、予測システム１３２は、創傷に関連付けられた予測メタデータの３つのセット、メタデータ１１８Ａ～１１８Ｃを生成する。これらのメタデータのセットは、将来の１週間（メタデータ１１８Ａ）、将来の２週間（メタデータ１１８Ｂ）、及び将来の３週間（メタデータ１１８Ｃ）における創傷特性を表す。
【0029】
図１Ｃは、本開示で説明される少なくとも１つの例示的な技術による、創傷の将来の外観の予測画像を生成するシステムの入力画像データを示すブロック図である。図１Ｃに示される例では、画像キャプチャデバイス１１０は、入力時間間隔１２０にわたる様々な時点で、例示的な創傷シーケンス１１２の画像１１２Ａ～１１２Ｃの画像データをキャプチャした。この例では、画像１１２Ａ及び画像１１２Ｂの画像キャプチャの間の時間間隔は、ｍ日とすることができる。画像１１２Ｂ及び画像１１２Ｃの画像キャプチャ間の時間間隔は、ｍ±ｋ日である。画像１１２Ｃがキャプチャされた時間と予測創傷画像データ１１６が生成される時間との間の予測時間間隔１２２は、ｍ＋ｈ日である。予測時間間隔１２２は、実際に経過した時間量は表していない。代わりに、予測時間間隔ｍ＋ｈは、画像１１２Ｃと予測される創傷画像データ１１６との間のシミュレートされた時間間隔を表す。画像１１２Ｃと予測創傷画像データ１１６の生成との間の実際の時間間隔は、単に、予測システム１０２が予測創傷画像データ１１６を生成するのにかかる時間量である可能性がある。予測時間間隔１２２は、入力時間間隔１２０よりもはるかに長くなる可能性がある。例えば、予測時間間隔１２２は、入力時間間隔１２０の２倍より長くなる可能性があり、いくつかの例では、更にはるかに長く、例えば数週間長くなる可能性がある。しかしながら、予測時間間隔１２２は、この点に限定されず、場合によっては、入力時間間隔と等しいか、又はほぼ等しいこともある。
【0030】
一例として、画像キャプチャデバイス１１０は、５日間にわたって１日おきに創傷１０９（図１Ａ）の画像１０３をキャプチャすることによって、創傷画像シーケンス１１２を作成し得る。予測システム１０２は、創傷画像シーケンス１１２を処理して、将来の時点、例えば、将来の２週間における創傷の将来の外観の予測画像を表す予測創傷画像データ１１６を生成することができる。予測創傷画像データ１１６を使用して、創傷に対する現在の治療計画が医師及び／又は患者にとって許容可能であるかどうか、又は異なる若しくは修正された治療計画が考慮されるべきかどうかを判断することができる。本明細書に記載の技術を使用して、ユーザ（又はユーザシステム）は、創傷の将来の外観の予測画像を使用して、現在存在する方法を使用して可能であるよりもはるかに早く、創傷治療に関する結論に到達することができる。上述の例では、ユーザは、現在の方法よりも数日又は数週間早く、創傷治療に関する結論に達することができる。
【0031】
図１Ｃに示す例は、創傷画像シーケンス１１２及び予測創傷画像データ１１６のいくつかの態様を示す。第１の態様は、長いサンプリング間隔が存在し得る、ということである。各入力画像は、互いに数日離れていてもよい。これらの間隔内で、創傷治癒に関与する潜在的に非線形のプロセスによって支配される、多くの変化が存在する可能性がある。したがって、傷口の正確な将来画像又は３Ｄボリュームを生成することは困難である。
【0032】
第２の態様は、画像キャプチャ間の時間間隔が一貫性がなく、不均一である可能性があるということである。図１Ｃに示されるように、最初の２つのサンプルはｍ日離れている可能性がある一方で、次の２つのサンプル間の時間はｍ日よりも長く又は短く（すなわち、ｍ±ｋ日）離れている可能性がある。また、予想される間隔が、データの欠落又は破損のために比較的大きい可能性がある。したがって、ｋは、創傷画像キャプチャが欠落又は破損しているときよりも更に高くなる可能性がある。
【0033】
第３の態様は、予測創傷画像データ１１６に関連付けられた予測時間間隔（例えば、ｍ＋ｈ）が、創傷の画像キャプチャ間の間隔と比較して非常に長くなる可能性があることである。例えば、創傷画像シーケンス１１２の最後にキャプチャされた画像（例えば、画像１１２Ｃ）と予測創傷画像データ１１６との間の予測時間間隔１２２は、数日から数週間離れていることがある。
【0034】
臨床医又は医療従事者などのユーザは、予測システム１０２を操作して、異なる治療又は異なる治療パラメータ（例えば、ＮＰＷＴパラメータ）が創傷治癒及び予測される創傷の将来の外観に及ぼす可能性のある影響を判断することができる。例えば、創傷を記述するメタデータと共に、創傷の１つ以上の現在の画像のセットが、予測システム１０２に提供されている場合がある。ユーザは、予測システム１０２への入力として、治療方法を記述するデータ、又は創傷治療システムのパラメータなどのさらなるメタデータを提供し得る。予測システム１０２は、創傷の現在の画像及び入力メタデータに基づいて、創傷の予測将来画像を生成することができる。ユーザは、提案された治療及び／又は治療システムパラメータなどの異なる入力パラメータを変更することができ、創傷の将来の外観の予測画像に関して所望の結果を生成する治療及び／又は治療パラメータを選択して創傷に適用することができる。
【0035】
図２Ａは、図２Ｂを参照して以下で説明するトレーニングシステムなどのトレーニングシステムのためのトレーニングデータを示すブロック図である。いくつかの態様では、トレーニングデータは、複数の履歴創傷画像シーケンスを含む。履歴創傷画像シーケンス２１２は、異なる時点でキャプチャされた対応する創傷の画像シーケンスの画像データを含む画像２３２Ａ～２３２Ｎを含む。履歴創傷画像シーケンスの画像２３２Ａ～２３２Ｍは、サンプリング期間２１０中にキャプチャされた画像とすることができる。サンプリング期間２１０は、創傷の治療の完了前にキャプチャされた画像を含むことができ、これは、治療の予想される完了の数日前又は数週間前にキャプチャされた画像を含み得る。一例として、画像２３２Ａは、患者が最初に自分の創傷の治療を求めて医師を訪れるときに、治療の開始前にキャプチャされてもよい。一般的に言えば、画像２３２Ｂ～２３２Ｍは、治療の完了前の任意の時点で、例えば、創傷の治療の初期段階中にキャプチャされている場合がある。画像２３２Ｍ＋１～２３２Ｎは、創傷の治療期間２０８の後期段階中にキャプチャされた画像とすることができる。シーケンスの最終画像である画像２３２Ｎは、シーケンスのターゲット画像とすることができる。すなわち、最終画像２３２Ｎは、創傷の治療における所望の時点において、例えば、治療の終了時又は治療が完了した後の時点において、所与の治療を受ける対応する創傷の外観に関するグラウンドトゥルースとして使用されている場合がある。
【0036】
図２Ｂは、本開示で説明される少なくとも１つの例示的な技術による、トレーニングシステムを示すブロック図である。トレーニングシステム２０２は、機械学習エンジン２０６を含む機械学習フレームワーク２０４を含むことができる。機械学習フレームワーク２０４は、トレーニングデータ２０３を受信し、トレーニングデータを処理して機械学習モデル２２４を生成することができる。いくつかの態様では、機械学習フレームワーク２０４は、機械学習モデル２２４をトレーニングするために教師あり又は教師なしの機械学習技術を使用し得る機械学習エンジン２０６を含む。いくつかの態様では、機械学習エンジン２０６は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）を実現する深層学習エンジンとすることができる。いくつかの態様では、機械学習エンジン２０６は、例えば、敵対的生成ネットワーク（generative adversarial network、ＧＡＮ）とすることができる。一例として、機械学習エンジンは、Ｔ－Ａｄｖｅｒｓａｒｉａｌ ＧＡＮとすることができる。いくつかの態様では、機械学習エンジン２０６は、Ｕ－Ｎｅｔ ２Ｄアーキテクチャ及びＵ－Ｎｅｔ ３Ｄアーキテクチャを含む、Ｕ－Ｎｅｔベースの機械学習エンジンとすることができる。Ｕ－Ｎｅｔアーキテクチャを使用して、トレーニングデータ内の空間情報などのコンテンツを保存することができる。Ｕ－Ｎｅｔアーキテクチャは、通常、縮小パス及び拡張パスを有し、レイヤ内のスキップ接続と組合せて、エンコーダ及びデコーダ上の対応する特徴マップをリンクするために使用することができる。特徴マップのリンク付けは、エンコーダにおける特徴の再利用を容易にすることができ、それによって情報損失を低減する。加えて、Ｕ－Ｎｅｔアーキテクチャは計算効率がよく、比較的小さなデータセットでトレーニングすることができる。
【0037】
いくつかの態様では、機械学習フレームワーク２０４は、機械学習モデル２２４をトレーニングするときに一緒に適用することができる複数の機械学習技術を実現し得る。例えば、機械学習エンジン２０６は、Ｕ－Ｎｅｔエンジンであってもよく、機械学習フレームワークは、機械学習エンジン２０６を使用して巡回学習技術を適用してもよい。機械学習フレームワーク及び巡回学習に関するさらなる詳細は、図４Ａ～図４Ｃに関して以下で提供される。
【0038】
トレーニングデータ２０３は、履歴創傷画像シーケンス２１２Ａ～２１２Ｎ（総称して履歴創傷画像シーケンス２１２と呼ばれる）を含むことができる。トレーニングデータ内の各履歴創傷画像シーケンス２１２は、機械学習モデル２２４をトレーニングする前にある期間にわたってキャプチャ又は記録された特定の創傷の時系列画像シーケンスである。例えば、履歴創傷画像シーケンス２１２Ａは、経時的な第１の創傷の外観を示す画像シーケンスの画像データであってもよく、履歴創傷画像シーケンス２１２Ｂは、経時的な第２の創傷の外観を示す画像シーケンスの画像データであってもよく、履歴創傷画像シーケンス２１２Ｃは、経時的な第３の創傷の外観を示す画像シーケンスの画像データであってもよい。
【0039】
トレーニングデータ２０３内の各履歴創傷画像シーケンス２１２Ａ、２１２Ｎは、対応するターゲット画像２２０Ａ、２２０Ｎを有することができる。画像シーケンスのターゲット画像は、「グラウンドトゥルース」最終画像、例えば、治療期間の終了時にキャプチャされた画像シーケンスに関連付けられた創傷の実際の画像である。
【0040】
トレーニングデータ２０３はまた、機械学習モデル２２４をトレーニングするために使用できるメタデータ２１４を含み得る。メタデータ２１４は、履歴創傷画像シーケンス２１２内の画像がいつキャプチャされたかを示すタイムスタンプを含むことができる。メタデータ２１４は、患者の人口統計情報、例えば、体重、体格指数などの患者記録からのデータ、個人及び／又は家族の病歴及び併存疾患、過去及び現在の診断、例えば、糖尿病、肥満、心血管疾患、コレステロール、血圧など、投薬量及び使用頻度を含む処方薬、血液検査結果及び値、遺伝子検査結果、アレルギー及びアレルギー検査結果、並びに任意の他の適切な患者健康記録データを含み得る。メタデータ２１４は、創傷形状（例えば、創傷位置、創傷深さ、創傷サイズなど）、影響を受けた組織タイプ、感染の徴候若しくは症状、及び／又は治癒段階などの創傷情報を含み得る。メタデータ２１４はまた、創傷を治療するために使用された治療のタイプ（例えば、創傷閉鎖及び治癒治療）、皮膚及び／又は創傷を洗浄するために使用された製品、並びに創傷に包帯するために使用された製品などのデータを含み得る。一例として、メタデータ２１４は、創傷を治療するために使用されるＮＰＷＴシステムの１つ以上のパラメータ値を含み得る。メタデータ２１４はまた、創傷のサイズ、創傷の位置、影響を受けた組織タイプ、感染の徴候及び／又は症状、並びに履歴画像がキャプチャされたときの創傷に関連付けられた滲出液（分泌物）を含み得る。メタデータ２１４はまた、患者に関する人口統計情報（年齢、性別など）、又は履歴画像がキャプチャされた時間における患者若しくは創傷に関連付けられた他のデータを含み得る。いくつかの態様では、メタデータ２１４は、画像の境界上にメタデータ情報をパディングすることによって、トレーニングシステム２０２（又は図１の予測システム１０２）に追加されている場合がある。いくつかの態様では、メタデータ２１４は、機械学習モデル２２４の中間レイヤにおいて生成された潜在特徴ベクトルにベクトルとして追加されている場合がある。
【0041】
トレーニングシステム２０２は、機械学習エンジン２０６による処理のために、トレーニングデータ２０３を機械学習フレームワーク２０４に提供する。機械学習エンジン２０６は、履歴創傷画像シーケンス２１２を処理して、予測画像データ２１８を生成する。予測画像データ２１８は、それぞれが関連付けられた将来の時間を有する、創傷の将来の外観の予測画像シーケンスを含むことができる。機械学習フレームワーク２０４は、予測画像を履歴創傷画像シーケンス２１２に関連付けられたターゲット画像２２０と比較して、予測画像とターゲット画像２２０との間の差を判断することができる。予測画像とターゲット画像２２０との間の差は、機械学習モデル２２４におけるトレーニング重みを更新して、創傷の将来の外観の正確な予測画像を生成するモデルの能力を改善しようとするために使用される。いくつかの態様では、機械学習モデル２２４における重みは、再構成損失又はＧＡＮ損失などの損失関数を使用して調整することができる。
【0042】
いくつかの態様では、機械学習フレームワーク２０４はまた、履歴創傷画像シーケンス２１２に関連付けられた履歴メタデータ情報（例えば、メタデータ２１４）を使用して予測メタデータ２１７を生成するように、機械学習モデル２２４をトレーニングし得る。メタデータ２１４は、履歴創傷画像シーケンス２１２及びターゲット画像２２０に対応するメタデータ及びターゲットメタデータの履歴シーケンスであり得る。機械学習フレームワークは、予測メタデータ２１７をターゲットメタデータと比較し、予測メタデータ２１７とターゲットメタデータとの間の差に基づいて機械学習モデルを調整することができる。
【0043】
トレーニングシステム２０２が機械学習モデル２２４をトレーニングした後、モデルは予測システム２１６に展開されている場合がある。予測システム２１６は、図１の予測システム１０２の実現であり得る。予測システム２１６は、創傷画像シーケンス１１２を受信し、ＡＩエンジン２２２及び展開された機械学習モデル２２４を使用して画像シーケンスを処理し、予測創傷画像データ１１６及び／又は予測メタデータ１１７を生成することができる。
【0044】
図２Ｂに示すように、機械学習フレームワーク２０４は、Ｓ画像（例えば、２Ｄ画像又は３Ｄボリューム）のシーケンスを含むことができる予測画像データ２１８を生成することができる。いくつかの態様では、機械学習フレームワーク２０４は、単一の２Ｄ画像又は３Ｄボリュームとすることができる予測画像データ２１８を生成することができる。加えて、履歴創傷画像シーケンス２１２は、図２Ｂに示されるように複数の画像のシーケンスとすることができる。いくつかの態様では、創傷画像シーケンス２１２は単一の画像（例えば、単一の２Ｄ画像又は単一の３Ｄボリューム）であり得、機械学習フレームワーク２０４は、単一の入力画像から予測画像データ２１８を生成するように機械学習モデル２２４をトレーニングし得る。
【0045】
いくつかの態様では、機械学習エンジン２０６は、予測画像データ２１８内の画像に異なる重みを割り当てる、重み付き損失関数を実行することができる。例えば、重み付き損失関数は、画像シーケンス内のより後にある画像に、シーケンス内のより前にある画像よりも大きな重みを割り当て得る。言い換えれば、第２の予測将来画像に関連付けられた予測将来時間よりも前の予測将来時間に関連付けられた第１の予測将来画像は、第２の予測将来画像よりも小さい重みを有することになる。これは、予測画像のシーケンス内の正確で時間的に後の予測将来画像が、シーケンス内のより早い将来の時間に対して予測される別の予測画像よりもエンドユーザにとってより貴重である可能性があるため、有益であり得る。いくつかの例では、これらの重みはデータから学習することもできる。例えば、機械学習モデルは、入力における各画像データの関連性及び重要性を自動的に学習することができる。
【0046】
図３は、本開示で説明する少なくとも１つの例示的な技術による、トレーニングシステムのさらなる態様を示すブロック図である。図３に示す例では、トレーニングシステム３００は、ローディング及びフォーマッティングユニット３０２と、データ分割ユニット３０４と、空間拡張ユニット３０６と、時間拡張ユニット３０８と、サンプリングユニット３１０と、バッチ処理ユニット３１２と、前処理ユニット３１３と、機械学習フレームワーク３１４と、テストユニット３２０と、結果視覚化ユニット３２２とを含む。ローディング及びフォーマッティングユニット３０２、データ分割ユニット３０４、空間拡張ユニット３０６、時間拡張ユニット３０８、サンプリングユニット３１０、バッチ処理ユニット３１２、前処理ユニット３１５、機械学習フレームワーク３１４、テストユニット３２０、及び結果視覚化ユニット３２２は、候補画像データセット３０１を、機械学習モデル３１９をトレーニングするために機械学習フレームワーク３１４によって使用される画像データセットのバッチに処理するための構成可能なパイプラインとして実現することができる。
【0047】
ローディング及びフォーマッティングユニット３０２は、候補画像データセット３０１を処理して、候補画像データセット３０１内の画像シーケンスをトレーニングシステムが処理できる形式にフォーマットすることができる。例えば、画像は、機械学習フレームワーク３１４と互換性のある形式になるように、拡大縮小、サイズ変更、トリミングなどがされている場合がある。
【0048】
データ分割ユニット３０４は、候補画像データセット３０１をトレーニングデータ、テストデータ、及び／又は検証データに分割することができる。例えば、入力パラメータは、トレーニングデータ、テストデータ、及び／又は検証データとして使用するデータセットの割合を指定し得る。
【0049】
空間拡張ユニット３０６は、既存の画像を１つ以上の追加のトレーニング画像に変換することによって、トレーニングデータの量を増加させることができる。例えば、画像は、トレーニングデータに含めることができる新しい画像を作成するために、画像の一部を切り取り、その一部を左、右、対角軸に沿って移動させ、画像を回転させ、画像をミラーリングすることなどによって変換されている場合がある。
【0050】
時間拡張ユニット３０８は、候補トレーニングデータの時間的態様に基づいて候補画像データセット３０１からの画像の選択を制御することができる。時間拡張ユニット３０８は、画像が時間軸上のどこに配置されているかに基づいて、画像シーケンスを選択することができる。一例として、時間拡張ユニット３０８は、開始時間及び終了時間に基づいて画像を選択することができる。
【0051】
サンプリングユニット３１０は、スキップ係数３１１に従ってトレーニングデータから画像を選択することができる。例えば、候補画像データセット３０１にすべての画像を含めるのではなく、サンプリングユニット３１０は、候補データセット内の画像のサブセットを選択することができる。スキップ係数３１１は、画像が選択される方法を制御するために使用されている場合がある。例えば、スキップ係数が４の場合、サンプリングユニット３１０に、トレーニングデータに含める次の画像を選択する前に、候補データセットの４つの画像をスキップさせ得る。
【0052】
構成データ３２４は、機械学習フレームワーク３１４による使用のためのデータソース、ハイパーパラメータ、機械学習パラメータ、機械学習のタイプなどを決定するデータを含むことができる。
【0053】
バッチ処理ユニット３１２は、ユニットとして処理されるトレーニングデータのバッチを作成し、制御する。例えば、トレーニングデータの第１のバッチは、第１の機械学習モデル３１９をトレーニングするために使用され得、トレーニングデータの第２のバッチは、第２の機械学習モデル３１９をトレーニングするために使用されている場合がある。バッチ処理ユニット３１２は、構成データ３２４を使用して、トレーニングデータのバッチのためにどのデータソースを使用すべきかを判断し得る。バッチ処理ユニット３１２はまた、構成データ３２４を使用して、トレーニングデータの対応するバッチを使用して機械学習モデル３１９をトレーニングするときに機械学習フレームワーク３１４が使用すべき構成パラメータを指定し得る。
【0054】
バッチ処理ユニット３１２は、機械学習モデル３１９のトレーニングに使用するために、トレーニングデータのバッチを機械学習フレームワーク３１４に提供することができる。いくつかの態様では、バッチ処理ユニット３１２は、トレーニングデータを前処理ユニット３１３に提供することができる。前処理ユニット３１３は、画像のトレーニングセット内の各創傷画像に画像セグメント化技術を適用して、創傷を他の画像データからセグメント化し、背景要素及び／又は影響を受けていない身体部分などの非創傷要素を除外することができる。次いで、プリプロセッサ１３６は、セグメント化された創傷画像を、スケール及び角度に関して位置合わせすることができる。セグメント化され位置合わせされた創傷画像は、位置合わせされた創傷画像シーケンス３１５と呼ばれることがある。
【0055】
機械学習フレームワーク３１４は、機械学習エンジン３１６を含むことができる。いくつかの態様では、機械学習フレームワーク３１４及び／又は機械学習エンジン３１６は、図２Ｂの機械学習フレームワーク２０４及び／又は機械学習エンジン２０６の実装形態とすることができる。上述したように、機械学習エンジン３１６は、ＣＮＮ、ＧＡＮ、Ｕ－Ｎｅｔ ２Ｄアーキテクチャ及びＵ－Ｎｅｔ ３Ｄアーキテクチャを含むＵ－Ｎｅｔベースの機械学習エンジンを実現する深層学習エンジンとすることができる。機械学習フレームワーク３１４は、本明細書で説明される技術を使用して機械学習モデル３１９をトレーニングして、創傷の将来の外観の予測画像を生成することができる。
【0056】
試験ユニット３２０は、機械学習モデル３１９を使用して生成された予測される将来の創傷画像の精度を判断するために、機械学習モデル３１９を試験することができる。上述したように、候補画像データセット３０１は、トレーニングデータと試験データとに分割することができる。機械学習モデル３１９は、トレーニングデータを使用してトレーニングされている。試験ユニット３２０は、試験データ内の履歴創傷画像シーケンスを入力として受信することができ、機械学習モデル３１９を使用して、予測創傷画像を出力として生成することができる。
【0057】
一例として、試験データは、創傷の画像の履歴シーケンスを含み得、シーケンス内の画像の第１の部分はサンプリング期間２１０中にキャプチャされ、シーケンス内の他の画像はサンプリング期間２１０後にキャプチャされる。シーケンス内の最後の画像は、ターゲット創傷画像とすることができる。試験ユニット３２０は、予測創傷画像を生成するために、画像の履歴シーケンスの第１の部分に機械学習モデル３１９を適用し得る。次いで、試験ユニット３２０は、予測創傷画像をターゲット創傷画像と比較し、比較に基づいて、予測創傷画像の精度を判断することができる。試験ユニット３２０は、機械学習モデル３１９の性能の様々な測定値を判断し、その測定値を、異なるトレーニングパラメータ及び／又はトレーニングデータを使用して生成された可能性がある他の機械学習モデルと比較することができる。比較の結果は、より良好な（例えば、より正確な）予測創傷画像を生成する機械学習モデル３１９を判断するために使用することができる。
【0058】
結果視覚化ユニット３２２は、機械学習モデル３１９のトレーニングに関してユーザにフィードバックを提供することができる。例えば、結果視覚化ユニット３２２は、機械学習モデル３１９によって生成された予測画像の精度に関する統計を出力することができる。いくつかの態様では、結果視覚化ユニット３２２は、入力創傷画像シーケンス及び機械学習モデル３１９によって生成された予測創傷画像の例を出力することができる。ユーザは、結果視覚化ユニット３２２の出力を利用して、機械学習モデル３１９のトレーニングに関して何らかの調整を行う必要があるかどうかを判断することができる。例えば、ユーザは、ハイパーパラメータ、予測時間間隔、又は他の構成データ３２４及び信号バッチ処理ユニット３１２を調整して、新しい機械学習モデル３１９をトレーニングするためのトレーニングデータの別のバッチの提供を開始し得る。結果視覚化ユニット３２２は、機械学習モデル３１９の性能を他の機械学習モデルと比較するために使用され得る出力を提供することができる。
【0059】
【0060】
図４Ａ～図４Ｃは、本開示で説明する少なくとも１つの例示的な技術による、図２及び図３に示すトレーニングシステムで使用される例示的な双方向機械学習フレームワークを示すブロック図である。図４Ａ～図４Ｃに示される例では、機械学習モデルは、トレーニングされており、入力創傷画像のシーケンス４０６を使用して創傷の将来の外観の予測画像を生成する。図４Ａ～図４Ｃに示す例では、画像シーケンス４０６は、ｋ個の画像ＩＭＧ１～ＩＭＧｋのシーケンスであり、ＩＭＧ１はシーケンス内の最初の画像であり、ＩＭＧｋはシーケンス内の最後の画像である。入力画像シーケンス４０６は、サンプリング期間中にキャプチャされた創傷の画像とすることができる。ＩＭＧｏｕｔは、画像４０６から選択された画像データを使用して機械学習フレームワークによって生成された予測将来画像である。ＩＭＧｌａｂｅｌは、治療の終了時又は治療後にキャプチャされた画像である。ＩＭＧｌａｂｅｌは、入力画像４０６がキャプチャされてから数日後、又は数週間後にキャプチャされた画像であり得る。ＩＭＧｌａｂｅｌは、ターゲット画像とも呼ばれる「グラウンドトゥルース」画像を表す。
【0061】
図４Ａは、画像シーケンスを渡す２つのパスを実行して機械学習モデルをトレーニングし、創傷の外観の将来画像を予測する機械学習フレームワーク４０２を示すブロック図である。機械学習フレームワーク４０２は、図２Ｂの機械学習フレームワーク２０４及び／又は図３の機械学習フレームワーク３１４の実装形態とすることができる。機械学習フレームワーク４０２は、２つの深層学習アーキテクチャ４０４Ａ及び４０４Ｂを含む。深層学習アーキテクチャ４０４Ａは、機械学習モデル４０５をトレーニングして、過去の画像のシーケンスから予測将来画像を生成するために使用され、深層学習アーキテクチャ４０４Ｂは、機械学習モデル４０５をトレーニングして、後の画像及び予測将来画像から過去の画像を再構築するために使用される。深層学習アーキテクチャ４０４Ａ及び４０４Ｂはそれぞれ、ＣＮＮ（Ｕ－Ｎｅｔ ２Ｄ及びＵ－Ｎｅｔ ３Ｄを含む）、ＧＡＮ、Ｔ－Ａｄｖｅｒｓａｒｉａｌ ＧＡＮ、Ｔｉｍｅ Ｃｙｃｌｉｃ ＧＡＮ、又は特権情報を使用するＧＡＮであり得る。いくつかの態様では、深層学習アーキテクチャ４０４Ａ及び４０４Ｂは、機械学習モデル４０５内のレイヤを共有する。共有レイヤは、過去の情報が将来の情報とリンクされ、予測将来画像を使用して過去の画像を再構成できる、という学習上の制約を提供する。図４Ａに示される例では、第１のパスの目標は、深層学習アーキテクチャ４０４Ａを使用して、グラウンドトゥルース画像ＩＭＧｌａｂｅｌと同じ又は類似する予測将来画像ＩＭＧｏｕｔを生成することである。ＩＭＧｏｕｔはＩＭＧｌａｂｅｌと比較され、ＩＭＧｏｕｔとＩＭＧｌａｂｅｌとの間の差は、深層学習アーキテクチャ４０４Ａにおけるトレーニング重みを更新して、生成された予測将来画像ＩＭＧｏｕｔの改善を試みるために使用される。いくつかの態様では、機械学習モデル４０５における重みは、再構成損失又はＧＡＮ損失などの損失関数を使用して調整することができる。上述のプロセスは、一般的に、いくつかの実装形態の単一方向トレーニングのために使用されるものと同じである。
【0062】
第２のパスでは、副次的目標は、深層学習アーキテクチャ４０４Ｂを使用して、後続の画像ＩＭＧ２～ＩＭＧｋ及び予測将来画像ＩＭＧｏｕｔを深層学習アーキテクチャ４０４Ｂへの入力として使用し、シーケンス内の実際の最初の画像ＩＭＧ１と同じ又は類似するシーケンス内の再構成された最初の画像ＩＭＧ１’を生成することである。ＩＭＧ１’は、ＩＭＧ１（現在はターゲット画像とみなされる）と比較され、その差は、機械学習モデル４０５のレイヤ内の重みを調整するために使用される。この第２のパスは、レイヤの重みをよりロバストにすることができ、機械学習モデルがトレーニングデータに過剰適合するのを回避することができる。
【0063】
図４Ｂは、２段階の双方向パスを実行して機械学習モデルをトレーニングし、傷の外観の将来画像を予測する機械学習フレームワーク４１０を示すブロック図である。機械学習フレームワーク４１０は、深層学習アーキテクチャ４１１Ａ、４１１Ｂ、及び４１１Ｃ（まとめて「深層学習アーキテクチャ４１１」）を含む。深層学習アーキテクチャ４１１の各々は、ＣＮＮ（Ｕ－Ｎｅｔ ２Ｄ及びＵ－Ｎｅｔ ３Ｄを含む）、ＧＡＮ、Ｔ－Ａｄｖｅｒｓａｒｉａｌ ＧＡＮ、Ｔｉｍｅ Ｃｙｃｌｉｃ ＧＡＮ、又は特権情報を使用するＧＡＮであり得る。
【0064】
いくつかの態様では、深層学習アーキテクチャ４１１Ａは、図４Ａを参照して上記で説明した深層学習アーキテクチャ４０４Ａ及び４０４Ｂと同様に実装される。すなわち、深層学習アーキテクチャ４１１Ａは、双方向とすることができ、画像シーケンスを渡して２つのパスを実行することができ、つまり、第１のパスは画像シーケンス４０６内の初期画像から予測将来画像ＩＭＧｏｕｔを生成し、第２のパスは予測将来画像ＩＭＧｏｕｔ及び画像シーケンス内の最初の画像に後続する画像に基づいて再構成された第１の画像ＩＭＧ１を生成する。いくつかの態様では、深層学習アーキテクチャ４１１Ａは、機械学習モデルをトレーニングする際に、より長い時間範囲の画像データを含めることにより、図４Ａの深層学習アーキテクチャ４０４Ａ及び４０４Ｂとは異っている。例えば、深層学習アーキテクチャ４１１Ａはまた、創傷の治療前に収集された入力画像４０６及び治療の初期段階における画像に加えて、創傷の治療の後期段階中に収集された画像４０８を含み得る。
【0065】
図４Ｂに示す例では、機械学習モデル４１５を生成する第１の段階は、機械学習アーキテクチャ４１１Ａを使用して機械学習モデル４１５をトレーニングして、グラウンドトゥルース画像ＩＭＧｌａｂｅｌと同じ又は類似の予測将来画像ＩＭＧｏｕｔを生成することを含む。機械学習フレームワーク４１０は、ＩＭＧｏｕｔをＩＭＧｌａｂｅｌと比較し、ＩＭＧｏｕｔとＩＭＧｌａｂｅｌとの間の差を使用して機械学習モデル４１５におけるトレーニング重みを更新し、生成された予測将来画像ＩＭＧｏｕｔの改善を試みる。いくつかの態様では、機械学習モデル４１５における重みは、再構成損失又はＧＡＮ損失などの損失関数を使用して調整され得る。更に、深層学習アーキテクチャ４１１Ａは、機械学習モデル４１５をトレーニングして、ＩＭＧｏｕｔ及びＩＭＧ１に続く画像から最初の画像ＩＭＧ１を再構成する。上述したように、図４Ｂに示す例では、機械学習の第１段階での深層学習アーキテクチャ４１１Ａへの入力は、治療前にキャプチャされた画像（例えば、ＩＭＧ１～ＩＭＧｋ）と、治療が開始された後であるが治療完了前にキャプチャされた画像（例えば、画像ＩＭＧｋ＋ｎ、ＩＭＧｋ＋ｎ＋１、ＩＭＧｋ＋ｎ＋２など）の両方を含むことができる。したがって、トレーニングの第１段階では、機械学習フレームワーク４１０は、より長い時間枠のデータを活用して、機械学習モデル４１５の精度を向上させる。
【0066】
予測将来画像の精度を向上させるために、より長い時間枠を使用することが有利であり得るが、本明細書に開示される技術の一態様は、創傷の治療後の段階の間にキャプチャされた画像に依存することなく、創傷の治療前にキャプチャされた画像及び創傷の治療のより早い段階の間にキャプチャされた画像を使用して、予測将来画像形状を生成することができる機械学習モデルである。したがって、図４Ｂに示される例では、機械学習の第２の段階中に、機械学習フレームワーク４１０は、創傷の治療前及び治療の初期段階中にキャプチャされた画像４０６を使用して、機械学習モデル４１５’のトレーニングを継続する。第１の段階の場合と同様に、トレーニングの第２の段階は双方向であり得、深層学習アーキテクチャ４１１Ｂは、機械学習モデル４１５’のレイヤを深層学習アーキテクチャ４１１Ｃと共有する。例えば、深層学習アーキテクチャ４１１Ｂは、入力画像４０６（例えば、ＩＭＧ１～ＩＭＧｋ）を使用して予測将来画像ＩＭＧｏｕｔを生成するように機械学習モデル４１５’をトレーニングし、ＩＭＧｏｕｔをＩＭＧｌａｂｅｌと比較して、機械学習モデル４１５’の重みに対する調整を判断する。更に、深層学習アーキテクチャ４１１Ｃは、ＩＭＧｏｕｔ及びＩＭＧｋ－ＩＭＧ２を入力として使用して再構成画像ＩＭＧ１’を生成するように機械学習モデル４１５’をトレーニングし、ＩＭＧ１’をＩＭＧ１と比較して、機械学習モデル４１５’の重みに対する調整を判断する。
【0067】
機械学習フレームワーク４１０は、機械学習モデル４１５’のトレーニングに制約４１２を課すことができる。例えば、機械学習フレームワーク４１０は、機械学習モデル４１５’の特定のレイヤが機械学習モデル４１５の対応するレイヤの重みに一致するという制約を強制することができる。いくつかの態様では、制約は、機械学習モデル４１５’の最終レイヤの重みが機械学習モデル４１５の最終レイヤの重みと一致することとすることができる。いくつかの態様では、制約は、機械学習モデル４１５’の中間レイヤの重みが機械学習モデル４１５の対応する中間レイヤの重みに一致することとすることができる。
【0068】
上記で説明した態様に加えて、図４Ｂに示される本開示のさらなる態様は、将来取得される追加のデータを使用して機械学習モデル４１５’をトレーニングできることである。例えば、機械学習モデル４１５は、トレーニングデータの初期セットを使用してトレーニングされている場合がある。さらなるデータが将来の時点で利用可能になるにつれて、機械学習モデル４１５’は、予測画像の精度を潜在的に向上させるために、上述のようにトレーニングされている場合がある。
【0069】
図４Ｂに示す例では、機械学習フレームワーク４１０は、機械学習モデル４１５と機械学習モデル４１５’の両方をトレーニングするために双方向トレーニング（すなわち、巡回トレーニング）を実行する。しかしながら、双方向トレーニングは要件ではなく、いくつかの態様では、機械学習フレームワーク４１０は、単一方向を使用して機械学習モデル４１５及び４１５’のいずれか又は両方をトレーニングすることができる。
【0070】
図４Ｃは、創傷の将来の外観を予測するように機械学習モデルをトレーニングするために２段階の双方向パスを実行する別の機械学習フレームワーク４２０を示すブロック図である。機械学習フレームワーク４２０は、深層学習アーキテクチャ４２２Ａ、４２２Ｂ、及び４２２Ｃ（まとめて「深層学習アーキテクチャ４２２」）を含む。深層学習アーキテクチャ４２２の各々は、ＣＮＮ（Ｕ－Ｎｅｔ ２Ｄ及びＵ－Ｎｅｔ ３Ｄを含む）、ＧＡＮ、Ｔ－Ａｄｖｅｒｓａｒｉａｌ ＧＡＮ、Ｔｉｍｅ Ｃｙｃｌｉｃ ＧＡＮ、又は特権情報を使用するＧＡＮであり得る。
【0071】
いくつかの態様では、深層学習アーキテクチャ４２５Ａは、図４Ａにおいて上述した深層学習アーキテクチャ４０４Ａ及び４０４Ｂ、並びに図４Ｂにおいて上述した深層学習アーキテクチャ４１１Ａと同様に実現される。すなわち、深層学習アーキテクチャ４２２Ａは、双方向とすることができ、画像シーケンスを渡して２つのパスを実行することができ、例えば、第１のパスは画像シーケンス４０６内の初期画像から予測将来画像ＩＭＧｏｕｔを生成し、第２のパスは予測将来画像ＩＭＧｏｕｔ及び画像シーケンス内の最初の画像に後続する画像に基づいて再構成された第１の画像ＩＭＧ１を生成する。深層学習アーキテクチャ４２２Ａは、深層学習アーキテクチャ４１１Ａと同様に、図４Ａに示される例よりも多くのトレーニングデータを含む。ただし、図４Ｃの例では、キャプチャされた追加のトレーニングデータは、創傷の治療前にキャプチャされた画像からのより多くの画像を含み得る。図４Ｃに示す例では、深層学習アーキテクチャ４２２Ａは、最初に、画像ＩＭＧ１～ＩＭＧ６を使用して機械学習モデル４２５をトレーニングする。したがって、トレーニングの第１段階では、深層学習アーキテクチャ４２２Ａは、より多くの画像サンプルを利用して機械学習モデル４２５の精度を向上させる。
【0072】
第２段階の間、深層学習アーキテクチャ４２２Ｂは、画像４０６からより少ない画像を使用して機械学習モデル４２５’をトレーニングする。図４Ｃに示す例では、深層学習アーキテクチャ４２２Ｂ及び４２２Ｃは、半分の数の画像（例えば、ＩＭＧ１、ＩＭＧ３、及びＩＭＧ５）を使用する。第１段階の場合と同様に、トレーニングの第２段階は双方向であり得、深層学習アーキテクチャ４２２Ｂは、機械学習モデル４２５’のレイヤを深層学習アーキテクチャ４２２Ｃと共有する。例えば、深層学習アーキテクチャ４２２Ｂは、入力画像４０６（例えば、ＩＭＧ１、ＩＭＧ３及びＩＭＧ５）を使用して予測将来画像ＩＭＧｏｕｔを生成するように機械学習モデル４２５’をトレーニングし、ＩＭＧｏｕｔをＩＭＧｌａｂｅｌと比較して、機械学習モデル４２５’の重みに対する調整を判断する。更に、深層学習アーキテクチャ４２２Ｃは、ＩＭＧｏｕｔ、ＩＭＧ５及びＩＭＧ３を入力として使用して再構成画像ＩＭＧ１’を生成するように機械学習モデル４２５’をトレーニングし、ＩＭＧ１’をＩＭＧ１と比較して、機械学習モデル４２５’の重みに対する調整を判断する。
【0073】
機械学習フレームワーク４２０は、機械学習モデル４２５’のトレーニングに制約４２４を課すことができる。例えば、機械学習フレームワーク４２０は、機械学習モデル４２５’の特定のレイヤが機械学習モデル４２５の対応するレイヤの重みと一致するという制約を強制することができる。いくつかの態様では、制約は、機械学習モデル４２５’の最終レイヤの重みが機械学習モデル４２５の最終レイヤの重みに一致することとすることができる。いくつかの態様では、制約は、機械学習モデル４２５’の中間レイヤの重みが、機械学習モデル４２５の対応する中間レイヤの重みに一致することとすることができる。
【0074】
上記で説明した態様に加えて、図４Ｃに示す本開示のさらなる態様は、トレーニングの初期段階（例えば、テスト段階）中により少ないサンプルを利用するにもかかわらず、機械学習フレームワーク４２０が、より多くのサンプルを使用してトレーニングされた機械学習モデルと同じ又は類似の精度を有し得る機械学習モデル４２５’を依然として生成できることである。
【0075】
図４Ｂに示される例と同様に、図４Ｃに示す例では、機械学習フレームワーク４２０は、機械学習モデル４２５及び機械学習モデル４２５’の両方をトレーニングするために双方向トレーニング（すなわち、巡回トレーニング）を実行する。しかしながら、双方向トレーニングは要件ではなく、いくつかの態様では、機械学習フレームワーク４１０は、単一方向を使用して機械学習モデル４１５及び４１５’のいずれか又は両方をトレーニングすることができる。
【0076】
図５は、本開示で説明される少なくとも１つの例示的な技術による、傷口の外観の予測将来画像を生成するためのシステムの例示的な処理ユニットのブロック図である。図５は、本開示で説明される少なくとも１つの例示的な技術による、例示的な処理ユニット５００を示すブロック図である。処理ユニット５００は、図１Ａ及び図１Ｂの処理ユニット１０４の一例又は代替実装形態であり得る。図５に示される処理ユニット５００のアーキテクチャは、例示目的のみのために示されている。処理ユニット５００は、図示された例示的なアーキテクチャに限定されるべきではない。他の例では、処理ユニット５００は、様々な方法で構成されている場合がある。図５に示される例では、処理ユニット５００は、入力創傷画像のシーケンスに基づいて予測創傷画像を生成するように構成された予測ユニット５１０を含む。予測ユニット５１０は、機械学習モデル５１４を使用して創傷画像シーケンスを処理して、予測創傷画像を出力として生成するように構成されたＡＩエンジン５１２を含むことができる。
【0077】
いくつかの態様では、機械学習モデル５１４は、ＣＮＮを定義するデータを含むことができる。いくつかの態様では、機械学習モデル５１４は、敵対的生成ネットワーク（ＧＡＮ）、Ｔ－Ａｄｖｅｒｓａｒｉａｌ ＧＡＮ、Ｕ－Ｎｅｔ ２Ｄ及びＵ－Ｎｅｔ ３Ｄを含むＵ－Ｎｅｔを定義するデータを含むことができる。
【0078】
処理ユニット５００は、本開示の少なくとも１つの態様に従って説明される動作及び／又は機能を実行することが可能であり得る、任意の好適なコンピューティングシステム（例えば、少なくとも１つのサーバコンピュータ、ワークステーション、メインフレーム、アプライアンス、クラウドコンピューティングシステム、及び／又は他のコンピューティングシステム）として実装されている場合がある。いくつかの例では、処理ユニット５００は、有線又は無線接続を介してシステム１００と接続するように構成されたクラウドコンピューティングシステム、サーバファーム、及び／又はサーバクラスタ（又はその一部）を表す。他の例では、処理ユニット５００は、データセンタ、クラウドコンピューティングシステム、サーバファーム、及び／若しくはサーバクラスタの少なくとも１つの仮想化されたコンピュートインスタンス（例えば、仮想マシン又はコンテナ）を表してもよいか、又はそれを通じて実装されてもよい。いくつかの例では、処理ユニット５００は、少なくとも１つのコンピューティングデバイスを含み、各コンピューティングデバイスは、メモリ及び少なくとも１つのプロセッサを有する。
【0079】
図５の例に示されるように、処理ユニット５００は、処理回路５０２、少なくとも１つのインターフェース５０４、少なくとも１つのストレージユニット５０６を含む。ＡＩエンジン５１２を含む予測ユニット５１０は、ストレージユニット５０６内に記憶され、処理回路５０２によって実行可能なプログラム命令及び／又はデータとして実装されている場合がある。ストレージユニット５０６は、機械学習モデル５１４を記憶し得る。処理ユニット５００のストレージユニット５０６はまた、処理ユニット５００の構成要素の動作を制御するために処理回路５０２によって実行可能なオペレーティングシステム（図示せず）を記憶し得る。処理ユニット５００の構成要素、ユニット、又はモジュールは、構成要素間通信のための通信チャネルを使用して（物理的に、通信可能に、及び／又は動作可能に）結合され得る。いくつかの例では、通信チャネルは、システムバス、ネットワーク接続、プロセス間通信データ構造、又はデータを通信するための任意の他の方法を含む。
【0080】
処理回路５０２は、一例では、処理ユニット５００内で実行するための機能及び／又はプロセス命令を実行するように構成された少なくとも１つのプロセッサを含み得る。例えば、処理回路５０２は、ストレージユニット５０６によって記憶された命令を処理することが可能であり得る。処理回路５０２は、例えば、マイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又は同等のディスクリート若しくは集積論理回路、又は前述のデバイス若しくは回路のうちのいずれかの組合せを含み得る。
【0081】
検査動作の並列処理を容易にするために、処理ユニット５００内に処理回路５０２の複数のインスタンスが存在し得る。複数のインスタンスは、同じタイプ、例えば、マルチプロセッサシステム又はマルチコアプロセッサであってもよい。複数のインスタンスは、異なるタイプ、例えば、関連付けられた複数のグラフィックスプロセッサユニット（graphics processor unit、ＧＰＵ）を有するマルチコアプロセッサであってもよい。
【0082】
処理ユニット５００は、インターフェース５０４を利用して、少なくとも１つのネットワークを介して外部システムと通信することができる。いくつかの例では、インターフェース５０４は、処理ユニット５００を予測システム１０２に電気的に結合するように構成された電気インターフェースを含む。他の例では、インターフェース５０４は、ネットワークインターフェース（例えば、イーサネットインターフェース、光トランシーバ、無線周波数（radio frequency、ＲＦ）トランシーバ、Ｗｉ－Ｆｉ、又は「ＢＬＵＥＴＯＯＴＨ（登録商標）」という商標のワイヤレス技術の使用を介して、電話インターフェース、又は情報を送信及び受信することができる任意の他のタイプのデバイス）であり得る。いくつかの例では、処理ユニット５００は、インターフェース５０４を利用して外部システムとワイヤレス通信する。
【0083】
ストレージユニット５０６は、動作中に処理ユニット５００内に情報を記憶するように構成されている場合がある。ストレージユニット５０６は、コンピュータ可読記憶媒体又はコンピュータ可読記憶デバイスを含み得る。いくつかの例では、ストレージユニット５０６は、少なくとも短期メモリ又は長期メモリを含む。ストレージユニット５０６は、例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、磁気ディスク、光ディスク、フラッシュメモリ、磁気ディスク、光ディスク、フラッシュメモリ、又は電気的プログラマブルメモリ（electrically programmable memory、ＥＰＲＯＭ）若しくは電気的消去可能プログラマブルメモリ（electrically erasable and programmable memory、ＥＥＰＲＯＭ）の形態を含み得る。いくつかの例では、ストレージユニット５０６は、処理回路５０２による実行のためのプログラム命令を記憶するために使用される。ストレージユニット５０６は、プログラム実行中に情報を一時的に記憶するために、処理ユニット５００上で動作するソフトウェア又はアプリケーションによって使用されている場合がある。
【0084】
図６は、本開示の１つ以上の技術による、予測システムの例示的な動作を示す流れ図である。予測システムは、１つ以上のプロセッサを備える処理ユニットによって、創傷の外観を表す画像シーケンスの画像データを受信することができ、画像は複数の時間でキャプチャされており、画像シーケンスの最後の画像の前の画像の各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている（６０５）。次に、予測システムは、トレーニングされて将来の時間における創傷の将来の外観の予測画像を表す画像データを生成する機械学習モデルに画像シーケンスの画像データを渡すことができ、機械学習モデルは履歴画像データを使用してトレーニングされており、履歴画像データは複数の履歴画像データセットを含み、履歴画像データセットの各履歴画像データセットは、対応する履歴創傷の履歴画像シーケンスの画像データを含み、将来の時間と画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、各サンプリング時間間隔より大きい（６１０）。次に、予測システムは、創傷の将来の外観の予測画像を表す画像データを出力することができる（６１５）。
【0085】
図７は、本開示の１つ以上の技術による、トレーニングシステムの例示的な動作を示す流れ図である。トレーニングシステムは、履歴画像データを受信することができ、履歴画像データは、複数の履歴画像データセットを含み、履歴画像データセットの各履歴画像データセットは、対応する創傷の履歴画像シーケンスの画像データを含み、履歴画像シーケンスの最後の画像の前の履歴画像シーケンスの各画像は、画像と次の画像との間のサンプリング時間間隔によって分離されている（７０５）。いくつかの態様では、サンプリング時間間隔は可変であり得る。すなわち、履歴シーケンス内の画像間のサンプリング時間間隔は、画像のすべてにわたって均一である必要はなく、いくつかの画像に対して、サンプリング間隔は、他の画像に対するサンプリング間隔と異なる場合がある。次に、トレーニングシステムは、機械学習モデルをトレーニングして、履歴画像シーケンスから将来の時間における創傷の将来の外観の予測画像を生成し得、将来の時間と履歴画像シーケンスの最後の画像のキャプチャ時間との間の予測時間間隔は、サンプリング時間間隔の各々よりも大きい（７１０）。次に、トレーニングシステムは、予測画像と創傷に関連付けられたターゲット画像との間の差に基づいて、機械学習モデルのレイヤ内の重みを調整し得る（７１５）。
【0086】
上記の議論は、創傷の治療前及び／又は治療の初期段階中に撮影された画像に基づいて、創傷の将来の画像を予測するという文脈で提示されている。しかしながら、本明細書で論じられる技術は、創傷及び創傷治療の他の特性の予測に適用されてもよい。例えば、機械学習モデルは、トレーニングされて入力画像データ、入力メタデータ、又はその２つの組合せに基づいて、創傷領域、創傷深さ、及び／又は治癒段階を予測する場合がある。
【0087】
更に、本明細書で説明する技術は、他の分野にも容易に適用することができる。例えば、本技術は、微生物コロニーの画像シーケンスに基づいて、微生物コロニーの予測将来画像を生成するために、微生物増殖の画像に適用されている場合がある。
【0088】
本開示の技術はまた、農業に適用されている場合がある。細菌コロニー増殖及び創傷治癒のように、植物の成長挙動は、緩慢な長い進行を有する可能性がある。本明細書に記載の技術を使用して、病害に対して最も耐性のある新たな栽培品種及び圃場領域を、圃場の画像シーケンスを使用して予測することができる。
【0089】
本開示で説明される技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現されている場合がある。例えば、説明する技術の様々な態様は、少なくとも１つのマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、及び／又は任意の他の同等の集積論理回路又はディスクリート論理回路、並びにそのような構成要素の任意の組合せを含む、少なくとも１つのプロセッサ内で実現されている場合がある。「プロセッサ」又は「処理回路」という用語は、通常、前述の論理回路のうちのいずれかを、単独で又は他の論理回路と組合せたもの、若しくは任意の他の同等の回路を指し得る。ハードウェアを含む制御ユニットはまた、本開示の技術のうちの少なくとも１つを実行し得る。
【0090】
そのようなハードウェア、ソフトウェア、及びファームウェアは、本開示で説明される様々な動作及び機能をサポートするために、同じデバイス内又は別個のデバイス内で実現されている場合がある。加えて、説明されるユニット、モジュール、又は構成要素はいずれも、離散的であるが相互運用可能な論理デバイスとして一緒に又は別個に実現されている場合がある。モジュール又はユニットとしての異なる特徴の描写は、異なる機能的態様を強調することを意図しており、そのようなモジュール又はユニットが別個のハードウェア又はソフトウェア構成要素によって実現されなければならないことを必ずしも意味するものではない。むしろ、少なくとも１つのモジュール及び／又はユニットに関連付けられた機能は、別個のハードウェア若しくはソフトウェア構成要素によって実行される場合があり、あるいは共通又は別個のハードウェア若しくはソフトウェア構成要素内に統合されている場合がある。
【0091】
本開示で説明される技術はまた、命令を含む、非一時的コンピュータ可読媒体又はコンピュータ可読記憶媒体などのコンピュータ可読媒体において具現化又は符号化される場合がある。コンピュータ可読媒体に埋め込まれた又は符号化された命令は、（例えば、命令が実行されるときに）プログラム可能プロセッサ又は他のプロセッサに方法を実行させる場合がある。コンピュータ可読記憶媒体は、ＲＡＭ、読取り専用メモリ（read only memory、ＲＯＭ）、プログラマブル読取り専用メモリ（programmable read only memory、ＰＲＯＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、又は他のコンピュータ可読記憶媒体を含み得る。「コンピュータ可読記憶媒体」という用語は、信号又は搬送波ではなく、物理的記憶媒体を指すが、「コンピュータ可読媒体」という用語は、物理的記憶媒体に加えて、信号などの一時的媒体を含み得る。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【国際調査報告】