知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-10
(54)【発明の名称】医用画像における状態特徴の自動注釈付け
(51)【国際特許分類】
G06T 7/00 20170101AFI20231227BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 612
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023538745
(86)(22)【出願日】2021-12-21
(85)【翻訳文提出日】2023-08-17
(86)【国際出願番号】 CA2021051853
(87)【国際公開番号】W WO2022133590
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】3,103,872
(32)【優先日】2020-12-23
(33)【優先権主張国・地域又は機関】CA
(81)【指定国・地域】
(71)【出願人】
【識別番号】523140500
【氏名又は名称】パルスメディカ・コーポレイション
【氏名又は名称原語表記】ＰＵＬＳＥＭＥＤＩＣＡ ＣＯＲＰ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】チェロイチ，クリストファー
(72)【発明者】
【氏名】カチンスキー，ニール
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096GA51
5L096KA04
(57)【要約】
医学的状態の特徴は、医学的状態を有するか否かとして画像を分類するように訓練済み分類モデルを使用して、医用画像に自動的に注釈を付けることができる。自動的に注釈付けされた特徴は、例えばレーザ、超音波、又は他の治療方法で医学的状態を治療するための治療計画を生成するために更に処理され得る。
【特許請求の範囲】
【請求項1】
医用画像に注釈を付ける方法であって、医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたＭＬ分類モデルから受信するステップと、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える予測影響を決定することによって、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて、前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含む方法。
【請求項2】
前記所定の信頼度閾値が少なくとも９５％である、請求項１に記載の方法。
【請求項3】
前記所定の信頼度閾値が少なくとも９９％である、請求項１に記載の方法。
【請求項4】
注釈マップを出力する前記ステップは、前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するステップと、
表示デバイスに表示するための前記ＧＵＩを出力するステップと、
を含む、請求項１～３のいずれかに記載の方法。
【請求項5】
前記ＧＵＩは、ユーザが前記医用画像に存在する１つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項４に記載の方法。
【請求項6】
前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される、請求項５に記載の方法。
【請求項7】
前記ＧＵＩは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項４～６のいずれかに記載の方法。
【請求項8】
前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項１～７のいずれかに記載の方法。
【請求項9】
前記出力された注釈マップを処理する前記ステップは、前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項８に記載の方法。
【請求項10】
治療マップを生成する前記ステップは、前記医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、
前記１つ以上の追加画像内の１つ以上の特性を特定するステップと、
前記１つ以上の追加画像内の前記特定された１つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された１つ以上の重要な特徴を決定するステップと、
を含む、請求項９に記載の方法。
【請求項11】
前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、前記モデルフィードバックに基づいて前記訓練されたＭＬ分類モデルを調整するステップと、
を更に含む、請求項９又は１０に記載の方法。
【請求項12】
遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項１～１１のいずれかに記載の方法。
【請求項13】
前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項１２に記載の方法。
【請求項14】
前記訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項１～１３のいずれかに記載の方法。
【請求項15】
分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項１４に記載の方法。
【請求項16】
前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える前記予測影響を決定する前記ステップは、閉塞、及び
顕著性、
のうちの１つ以上を使用する、請求項１～１５のいずれかに記載の方法。
【請求項17】
前記複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む、請求項１～１６のいずれかに記載の方法。
【請求項18】
前記複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む、請求項１～１６のいずれかに記載の方法。
【請求項19】
システムの１つ以上のプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるように前記システムを構成する命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたＭＬ分類モデルから受信するステップと、
複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える予測影響を決定することにより、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含む非一時的コンピュータ可読媒体。
【請求項20】
前記所定の信頼度閾値が少なくとも９５％である、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項21】
前記所定の信頼度閾値が少なくとも９９％である、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項22】
注釈マップを出力する前記ステップは、前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するステップと、
表示デバイスに表示するための前記ＧＵＩを出力するステップと、
を含む、請求項１９～２１のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項23】
前記ＧＵＩは、ユーザが前記医用画像に存在する１つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項24】
前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項25】
前記ＧＵＩは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項２２～２４のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項26】
前記命令の実行によって与えられる前記方法は、前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項１９～２５のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項27】
前記出力された注釈マップを処理する前記ステップは、前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項２６に記載の非一時的コンピュータ可読媒体。
【請求項28】
治療マップを生成する前記ステップは、前記医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、
前記１つ以上の追加画像内の１つ以上の特性を特定するステップと、
前記１つ以上の追加画像内の前記特定された１つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された１つ以上の重要な特徴を決定するステップと、
を含む、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項29】
前記命令の実行によって与えられる前記方法は、前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、
前記モデルフィードバックに基づいて前記訓練されたＭＬ分類モデルを調整するステップと、
を更に含む、請求項２７又は２８に記載の非一時的コンピュータ可読媒体。
【請求項30】
前記命令の実行によって与えられる前記方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、
前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項１９～２９のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項31】
前記命令の実行によって与えられる前記方法は、前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項３０に記載の非一時的コンピュータ可読媒体。
【請求項32】
前記命令の実行によって与えられる前記方法は、前記訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項１９～３１のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項33】
分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項３２に記載の非一時的コンピュータ可読媒体。
【請求項34】
前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える前記予測影響を決定する前記ステップは、閉塞、及び
顕著性、
のうちの１つ以上を使用する、請求項１９～３３のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項35】
前記複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む、請求項１９～３４のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項36】
前記複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む、請求項１９～３４のいずれかに記載の非一時的コンピュータ可読媒体。
【請求項37】
医用画像に注釈を付けるためのシステムにおいて、少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるように前記システムを構成する命令を記憶する少なくとも１つのメモリと、
を備え、前記方法は、
医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたＭＬ分類モデルから受信するステップと、
複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える予測影響を決定することにより、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含むシステム。
【請求項38】
前記所定の信頼度閾値が少なくとも９５％である、請求項３７に記載のシステム。
【請求項39】
前記所定の信頼度閾値が少なくとも９９％である、請求項３７に記載のシステム。
【請求項40】
注釈マップを出力する前記ステップは、前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するステップと、
表示デバイスに表示するための前記ＧＵＩを出力するステップと、
を含む、請求項３７～３９のいずれかに記載のシステム。
【請求項41】
前記ＧＵＩは、ユーザが前記医用画像に存在する１つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項４０に記載のシステム。
【請求項42】
前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される、請求項４１に記載のシステム。
【請求項43】
前記ＧＵＩは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項４０～４２のいずれかに記載のシステム。
【請求項44】
前記命令の実行によって与えられる前記方法は、前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項３７～４３のいずれかに記載のシステム。
【請求項45】
前記出力された注釈マップを処理する前記ステップは、前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項４４に記載のシステム。
【請求項46】
治療マップを生成する前記ステップは、前記医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、
前記１つ以上の追加画像内の１つ以上の特性を特定するステップと、
前記１つ以上の追加画像内の前記特定された１つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された１つ以上の重要な特徴を決定するステップと、
を含む、請求項４５に記載のシステム。
【請求項47】
前記命令の実行によって与えられる前記方法は、前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、
前記モデルフィードバックに基づいて前記訓練されたＭＬ分類モデルを調整するステップと、
を更に含む、請求項４５又は４６に記載のシステム。
【請求項48】
前記命令の実行によって与えられる前記方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、
前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項３７～４７のいずれかに記載のシステム。
【請求項49】
前記命令の実行によって与えられる前記方法は、前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項４８に記載のシステム。
【請求項50】
前記命令の実行によって与えられる前記方法は、前記訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項３７～４９のいずれかに記載のシステム。
【請求項51】
分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項５０に記載のシステム。
【請求項52】
前記それぞれの画素グループに対する変化が前記訓練されたＭＬ分類出力に与える前記予測影響を決定する前記ステップは、閉塞、及び
顕著性、
のうちの１つ以上を使用する、請求項３７～５１のいずれかに記載のシステム。
【請求項53】
前記複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む、請求項３７～５２のいずれかに記載のシステム。
【請求項54】
前記複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む、請求項３７～５２のいずれかに記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０２０年１２月２３日に出願された「医用画像における状態特徴の自動注釈付け（ＡＵＴＯＭＡＴＩＣ ＡＮＮＯＴＡＴＩＯＮ ＯＦ ＣＯＮＤＩＴＩＯＮ ＦＥＡＴＵＲＥＳ ＩＮ ＭＥＤＩＣＡＬ ＩＭＡＧＥＳ）」と題するカナダ特許出願第３，１０３，８７２号の優先権を主張し、この特許出願の内容全体が参照により本願に組み入れられる。
【技術分野】
【0002】
本開示は、医用画像の処理に関し、特に、医用画像に存在する状態の特徴の自動注釈付けに関する。
【背景技術】
【0003】
医用画像は、潜在的な疾患又は状態を特定するために使用されることが多い。画像は、専門家によって又は訓練された機械学習モデルによって処理され得る。例えば、画像セグメンテーションモデルは、画像を入力として取得し、疾患又は状態に関連する特徴など、モデルが特定するように訓練された特定の特徴の輪郭を描く線ベクトル又は画像マスクを出力する。そのような画像セグメンテーションモデルは、疾患特徴の比較的正確なセグメンテーション又は抽出を提供することができるが、モデルは、入力画像並びに対応する注釈付き特徴を有する比較的大きな訓練データセットを必要とする。訓練に必要な入力画像の注釈付き特徴は、多くの場合、手動で実行される。
【0004】
訓練データセットを作成するための画像内の特徴の手動注釈付けは、必要な多数の画像及び／又は多数の小さな特徴の注釈付けの困難さに起因して非実用的であり得る。注釈付き特徴がなければ、セグメンテーションモデルは、未知の画像内の特徴を抽出するように訓練することができない。
【0005】
セグメンテーションモデルは、画像内の特徴を抽出するように訓練されてもよいが、分類モデルは、未知の画像を１つ以上の区分に分類するように訓練されてもよい。図１は、そのような分類モデルを示す。図示のように、未訓練モデル１０２は、健康１０４ａ又は疾患１０４ｂのいずれかとしてラベル付けされた複数の画像を用いて訓練されてもよい。セグメンテーションモデルの訓練と同様に、画像は、健康な状態又は疾患状態を表す画像としてラベル付けされてもよい。しかしながら、画像が健康であるか又は特定の疾患もしくは状態が存在するとラベル付けされている場合には、訓練データセットを生成することは著しく容易であり得る。モデル１０２が十分に訓練された時点で、訓練済みモデル１０６を使用して未知の画像１０８を分類することができる。訓練済みモデル１０６は、未知の画像を健康１１０ａであるか、又は特定の疾患１１０ｂを表す画像として分類されてもよい。訓練済みモデル１０６は、１つ以上の疾患又は状態を分類するように訓練されてもよい。
【0006】
モデル及びセグメンテーションモデルを分類することは有用であり得るが、医用画像を処理する、特に、医用画像を処理して医用画像に自動的に注釈を付ける更なる、別の、及び／又は改善された技術を有することが望ましい。
【発明の概要】
【0007】
本開示によれば、医用画像に注釈を付ける方法であって、医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたＭＬ分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴（key featuer）を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップと、を含む方法が提供される。
【0008】
方法の更なる実施形態によれば、所定の信頼度閾値が少なくとも９５％である。
【0009】
方法の更なる実施形態によれば、所定の信頼度閾値が少なくとも９９％である。
【0010】
方法の更なる実施形態によれば、ＧＵＩは、ユーザが医用画像に存在する１つ以上の重要な特徴を選択して注釈マップから選択された重要な特徴を除去又は修正できるようにする。
【0011】
方法の更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される。
【0012】
方法の更なる実施形態によれば、ＧＵＩは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
【0013】
方法の更なる実施形態によれば、方法は、出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む。
【0014】
方法の更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を注釈マップに含めるステップを含む。
【0015】
方法の更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、１つ以上の追加画像内の１つ以上の特性を特定するステップと、１つ以上の追加画像内の特定された１つ以上の特性に基づいて治療に適した注釈マップ内で特定された１つ以上の重要な特徴を決定するステップとを含む。
【0016】
方法の更なる実施形態によれば、方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたＭＬ分類モデルを調整するステップとを更に含む。
【0017】
方法の更なる実施形態によれば、方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
【0018】
方法の更なる実施形態によれば、方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
【0019】
方法の更なる実施形態によれば、方法は、訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む。
【0020】
方法の更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
【0021】
方法の更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える予測影響を決定するステップは、閉塞、及び顕著性のうちの１つ以上を使用する。
【0022】
方法の更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む。
【0023】
方法の更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む。
【0024】
本開示によれば、システムの１つ以上のプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるようにシステムを構成する命令を記憶する非一時的コンピュータ可読媒体が更に提供され、方法は、医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたＭＬ分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップとを含む。
【0025】
非一時的コンピュータ可読媒体の更なる実施形態によれば、所定の信頼度閾値が少なくとも９５％である。
【0026】
非一時的コンピュータ可読媒体の更なる実施形態によれば、所定の信頼度閾値が少なくとも９９％である。
【0027】
非一時的コンピュータ可読媒体の更なる実施形態によれば、注釈マップを出力するステップは、注釈マップの表示を含むグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するステップと、表示デバイスに表示するためのＧＵＩを出力するステップとを含む。
【0028】
非一時的コンピュータ可読媒体の更なる実施形態によれば、ＧＵＩは、ユーザが医用画像に存在する１つ以上の重要な特徴を選択して注釈マップから選択された重要な特徴を除去又は修正できるようにする。
【0029】
非一時的コンピュータ可読媒体の更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される。
【0030】
非一時的コンピュータ可読媒体の更なる実施形態によれば、ＧＵＩは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
【0031】
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、出力された注釈マップを処理して、状態を治療するための治療計画を生成するステップを更に含む。
【0032】
非一時的コンピュータ可読媒体の更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を注釈マップに含めるステップを含む。
【0033】
非一時的コンピュータ可読媒体の更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、１つ以上の追加画像内の１つ以上の特性を特定するステップと、１つ以上の追加画像内の特定された１つ以上の特性に基づいて治療に適した注釈マップ内で特定された１つ以上の重要な特徴を決定するステップとを含む。
【0034】
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたＭＬ分類モデルを調整するステップとを更に含む。
【0035】
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
【0036】
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
【0037】
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む。
【0038】
非一時的コンピュータ可読媒体の更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
【0039】
非一時的コンピュータ可読媒体の更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える予測影響を決定するステップは、閉塞、及び顕著性のうちの１つ以上を使用する。
【0040】
非一時的コンピュータ可読媒体の更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む。
【0041】
非一時的コンピュータ可読媒体の更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む。
【0042】
本開示によれば、医用画像に注釈を付けるためのシステムが更に提供され、該システムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるようにシステムを構成する命令を記憶する少なくとも１つのメモリとを備え、方法は、医用画像を訓練された機械学習（ＭＬ）分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたＭＬ分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップとを含む。
【0043】
システムの更なる実施形態によれば、所定の信頼度閾値が少なくとも９５％である。
【0044】
システムの更なる実施形態によれば、所定の信頼度閾値が少なくとも９９％である。
【0045】
システムの更なる実施形態によれば、注釈マップを出力するステップは、注釈マップの表示を含むグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するステップと、表示デバイスに表示するためのＧＵＩを出力するステップとを含む。
【0046】
システムの更なる実施形態によれば、ＧＵＩは、ユーザが医用画像に存在する１つ以上の重要な特徴を選択して注釈マップから前記選択された重要な特徴を除去又は修正できるようにする。
【0047】
システムの更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたＭＬ分類モデルを調整するためのフィードバックとして使用される。
【0048】
システムの更なる実施形態によれば、ＧＵＩは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
【0049】
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、出力された注釈マップを処理して、状態を治療するための治療計画を生成するステップを更に含む。
【0050】
システムの更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの１つ以上に部分的に対応する１つ以上の治療位置を注釈マップに含めるステップを含む。
【0051】
システムの更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた１つ以上の追加画像を引き出すステップと、１つ以上の追加画像内の１つ以上の特性を特定するステップと、１つ以上の追加画像内の特定された１つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された１つ以上の重要な特徴を決定するステップとを含む。
【0052】
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたＭＬ分類モデルを調整するステップとを更に含む。
【0053】
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
【0054】
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
【0055】
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、訓練されたＭＬ分類モデルを提供するために分類モデルを訓練するステップを更に含む。
【0056】
システムの更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
【0057】
システムの更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたＭＬ分類出力に与える前記予測影響を決定するステップは、閉塞、及び顕著性のうちの１つ以上を使用する。
【0058】
システムの更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが単一の画素を含む。
【0059】
システムの更なる実施形態によれば、複数の画素グループのうちの少なくとも１つの画素グループが複数の隣り合う画素を含む。
【図面の簡単な説明】
【0060】
本開示の更なる特徴及び利点は、添付図面と組み合わせて解釈される、以下の詳細な説明から明らかになる。
【0061】
【図1】機械学習分類モデルの訓練及び使用を示す。
【図2】自動疾患特徴注釈付け機能を示す。
【図3】医用画像における疾患特徴に自動的に注釈を付ける方法を示す。
【図4】医用画像内の疾患特徴に自動的に注釈を付ける更なる方法を示す。
【図5】疾患特徴に自動的に注釈を付け、疾患の治療を計画し、治療計画を実行するためのシステムを示す。
【図6】医用画像に自動的に注釈を付ける方法を示す。
【図7】訓練済みモデルを更新する方法を示す。
【図8】訓練済みモデルを更新する更なる方法を示す。
【発明を実施するための形態】
【0062】
以下、医用画像内の特徴を自動的に抽出して注釈付けすることができる自動注釈付けシステムについて更に説明する。自動抽出は、特定の疾患を示す特徴を含むことができる特徴を画像から抽出できるようにする。以下で更に説明するように、特徴を抽出するために訓練されたセグメンテーションモデルを使用するのではなく、プロセスは、入力修正と併せて訓練済み分類モデルを使用して、画像を健康か疾患かに分類する入力画像内の位置を特定する。分類モデルが高い信頼度で画像を分類することができない場合、自動特徴注釈は許容できる程度にうまく機能しない場合がある。このように、プロセスは、まず画像を健康又は疾患として分類し、次いで、疾患予測信頼度が９５％などの閾値を上回る場合、入力修正を使用して特徴を自動的に抽出することができる。特定された特徴は、例えば、個々の特徴に自動的に注釈を付けるために更に処理することができ、これは様々な用途に使用され得る。例えば、注釈付き特徴は、疾患の治療を計画する際に使用されてもよい。「健康な画像」、「疾患Ａの画像」、「疾患Ｂの画像」などの適切なラベルと共に豊富な入力画像が利用可能な場合、これらのラベルを使用して分類ネットワークを訓練することが可能であり、分類ネットワークはその後、注釈／特徴抽出出力を与えるために使用することができる。
【0063】
自動特徴抽出を訓練する際の第１のステップは、ラベルのうちの１つ以上の分類モデルを訓練することである。モデルは任意の構造を有することができるが、非常に高い精度が必要とされるため、ｘｃｅｐｔｉｏｎ、ｒｅｓｎｅｘｔ、又はｍｎａｓｔｎｅｔなどの最良の性能の画像分類モデルに基づいてモデルを選択することができる。一例として、網膜分類を行う本開示に係るモデルは、画像ダウンスケーリングのために追加された更なる層を伴うｘｃｅｐｔｉｏｎであってもよい。網膜分類モデルは、「健康」及び「糖尿病性網膜症」の２つのクラスラベルを伴う３，０００個の画像から９９．９％の精度まで訓練された。利用可能な訓練データを増大させるために、例えば、回転、ストレッチ、ミラーリング、又は他の特性を調整して追加画像を生成することによって訓練画像を調整又は修正する訓練データ拡張を使用することができる。データ拡張は、利用可能な画像に対する分類モデルの過剰適合を回避又は低減するのに役立ち得る。
【0064】
分類モデルを訓練した後、訓練済みモデルを未知の画像に適用して、それらを健康又は糖尿病性網膜症を示すものとして分類することができる。糖尿病性網膜症の予測信頼度が予測閾値を上回る場合、未知の入力画像を入力修正と共に使用して、分類モデルの分類結果に影響を与える画像の部分を決定する。入力修正は、画像から特徴を抽出するときに、幾つかのアルゴリズムのうちの１つを使用して入力画像を修正することができる。例えば、閉塞は、各分類試行において入力画像内の幾つかの画素を隠す正方形マスクを用いて分類モデルを複数回使用して入力画像を評価することを含む。モデルが評価されるたびに、マスクが画像全体に変換され、関心のある出力クラスの値が記録される。次いで、マスク位置（ｘ、ｙ）に対応する出力クラス値の２Ｄマップをプロットすることができる。結果として得られる２Ｄマップは、関心のある特徴を明らかにする。
【0065】
閉塞は、他の方法と比較して非常に非効率的で不正確であり得る。例えば、顕著性は、分類モデルに関する入力画像の勾配を計算する別の技術である。勾配は、入力に対する変化に関する出力の変化を示す。閉塞プロセスが実際に入力を変化させ、モデルの出力を決定する場合、顕著性プロセスは、分類モデルの入力勾配又は画像勾配を決定することによって、入力の変化に基づいて出力の変化を数学的に決定する。入力勾配は、以下のように定義することができる。
【0066】
ここで、
・ｃｉは、特徴抽出ｉのための所望のクラスにおけるモデル出力である
・ａｘ，ｙは、位置（ｘ，ｙ）におけるモデル入力又は入力画像画素である。
・ｃｉは、特徴抽出ｉのための所望のクラスにおけるモデル出力である
・ａｘ，ｙは、位置（ｘ，ｙ）におけるモデル入力又は入力画像画素である。
【0067】
勾配は、数学的に計算され、分類に最も大きな影響を与える入力画像内の位置を特定するべく特徴抽出のために直接使用され得る。入力変更に使用され得る他の技術は、誘導逆伝播、積分勾配、ノイズトンネリング勾配などを含み得る。
【0068】
図２は、自動疾患特徴注釈付け機能を示す。図２には示されないが、自動疾患特徴注釈付け機能２０２は、機能を実装するようにコンピュータシステムを構成する１つ以上のメモリユニットに記憶された命令を実行する１つ以上のプロセッサを備える１つ以上のコンピュータシステムによって実装されてもよい。自動疾患特徴注釈付け機能２０２は、１つ以上の入力画像２０４を処理することができる。入力画像２０４は、眼や眼の一部の画像等の医用画像であるが、例えば、超音波画像、ＭＲＩ画像、Ｘ線画像、光学顕微鏡法、２光子顕微鏡法、共焦点顕微鏡法、光干渉断層法、光音響画像法、組織学的スライドなどを含む他の医用画像が使用されてもよい。画像２０４は、訓練済み分類モデル２０８が特定するように訓練された特定の疾患の有無を決定する疾患検出機能２０６によって処理されてもよい。訓練済み分類モデル２０８は、１つ以上の疾患又は状態を分類するように訓練されてもよい。更に、単一の訓練済み分類モデルのみが図２に示されているが、疾患検出機能２０６は、異なる疾患／状態を検出するように訓練された複数の異なる訓練済み分類モデルに入力画像２０４を渡すことが可能である。
【0069】
訓練済み分類モデル２０８は、入力画像を受け、モデルが特定するように訓練される１つ以上のラベルを示す分類出力を与える。分類モデルは、例えば、ｘｃｅｐｔｉｏｎ、ｒｅｓｎｅｘｔ、又はｍｎａｓｔｎｅｔを含む様々なネットワークアーキテクチャによって、又はそれに基づいて提供され得る。訓練済みモデルからの出力は、予測信頼度の表示を含む。予測信頼度が特定の疾患ラベルについて９５％以上などの第１の高い閾値を上回る場合、画像２０４は特徴抽出機能２１０によって処理されてもよい。特徴抽出機能は、閉塞、顕著性、誘導逆伝播、積分勾配、ノイズトンネリング勾配などの入力修正技術を使用して、分類に到達する際の入力画像内の画素の重要性を決定する。特徴抽出機能は、特定の画素値の変化が分類出力に与える影響を示す特徴抽出マップを生成する。特徴抽出マップを使用して、画像に存在する疾患特徴に自動的に注釈を付けることができる。図示のように、自動疾患特徴注釈付け機能２０２は、画像を、存在する特定の疾患又は状態２１２を有するものとして分類するとともに、円２１４によって概略的に示されるように抽出された特徴を強調表示することができる。予測信頼度が高い閾値を下回るが、疾患又は状態の低い閾値を上回る場合、自動疾患特徴注釈付け機能２０２は、画像内に存在する疾患を特定することができるが、疾患特徴を自動的に抽出するために十分に高い精度では特定することができない。そのような場合、自動疾患注釈付け機能２０２は、画像を疾患２１６を有するものとして分類するが、特徴を注釈付けしない。また、自動疾患注釈付け機能２０２は、訓練済み分類モデルからの出力が健康な画像であることを示す場合、画像を健康２１８として分類することもできる。
【0070】
自動特徴抽出によって強調表示された特徴は、注釈付き疾患特徴として直接的に使用されてもよい。あるいは、強調表示された特徴は、注釈付き疾患特徴を生成するために更に処理されてもよい。抽出された特徴は、実際には疾患の一部ではない画像に存在する特徴を強調表示することができる。例えば、眼の画像において、特徴抽出は、疾患／状態糖尿病性網膜症に関連する微小動脈瘤などの疾患特徴とともに、黄斑、視神経、血管などの眼の部分を強調表示することができる。抽出された特徴を処理して非疾患特徴を除去し、注釈付き疾患特徴を提供することができる。注釈付き疾患特徴が抽出された特徴と異なる場合、注釈付き疾患特徴、又は抽出された特徴と注釈付き疾患特徴との間の差は、訓練済み分類モデルの更なる訓練又は更新のためのフィードバックとして使用され得る。
【0071】
図３は、医用画像を自動的に分類して特徴を抽出する方法を示す。方法３００は、医用画像を受信することができるコンピュータシステムによって実行されてもよい。方法３００を実施するコンピュータシステムは、医用画像を取り込む撮像システムに直接的に接続されてもよく、又は撮像システムの一部であってもよく、又はそのような撮像システムとは別個であってもよい。コンピュータシステムの特定の場所又は組み込みにかかわらず、方法３００は、画像を訓練済み分類モデルに渡す（３０２）。分類モデルは、健康であるとして又はモデルが認識するように訓練された特定の疾患を示すものとして画像を分類するように訓練される。モデルは、１つ以上の疾患又は状態を認識するように訓練されてもよい。疾患分類の表示を提供することに加えて、モデルは、モデルの分類が正しいという信頼度の表示も提供する。出力が分類モデルから受信されると、画像が健康又は疾患として分類されたかどうかが決定される（３０４）。画像が健康と分類された場合（３０４で健康）、本方法は健康予測を出力する（３０６）。モデルは、画像を健康であるとして明示的に分類することができる。これに加えて又は代えて、何らかの予測信頼度閾値を下回る疾患分類は、健康であると考えられ得る。
【0072】
画像が疾患又は健康でないと分類された場合（３０４で疾患）、方法３００は、予測信頼度が特徴抽出閾値を上回っているかどうかを決定する（３０８）。特徴を適切に抽出するために、入力画像の分類は、例えば９５％以上であり得る特定の信頼度レベルを上回ることが必要である。特徴を抽出するために必要な分類予測の信頼度レベルは、抽出閾値と呼ぶことができる。予測信頼度が抽出閾値を下回る場合（３０８でＮｏ）、分類モデルからの疾患予測が出力される（３１０）。しかしながら、予測信頼度が抽出閾値を上回る場合（３０８でＹｅｓ）、方法は、画像から特徴を抽出することに進む（３１２）。特徴抽出は、特徴、又は画像の部分、分類の結果を特定するために分類モデルに依存し、したがって許容可能な特徴抽出結果を提供するために、モデルによって提供される分類は十分に正確でなければならず、すなわち予測に高い信頼度を有しなければならない。抽出された特徴は、単一の２Ｄマップとして、又は複数の２Ｄマップとして提供され得る。例えば、それぞれの２Ｄ特徴マップは、画像の赤、緑、青（ＲＧＢ）チャネル、又は入力画像で使用されるチャネルに応じて他のチャネルに対して生成され得る。更に、１つ以上の個々の２Ｄマップを２Ｄマップに組み合わせることができる。
【0073】
特徴が抽出されると、例えば抽出された特徴に更に注釈を付けるために、特徴を更に処理することができる（３１４）。抽出された特徴が、疾患分類をもたらす入力画像内の位置を提供する２Ｄマップ又はマスクとして提供され得る場合、抽出された特徴に注釈を付けることにより、個々のオブジェクトがそれぞれ特定の特徴又は特徴のグループを表すことができる。例えば、糖尿病性網膜症の場合、個々の注釈付き特徴は、微小動脈瘤の入力画像内の位置であり得る。
【0074】
図４は、医用画像における疾患特徴を自動的に抽出する方法を示す。方法４００は、画像が訓練済み分類モデルによって疾患を示すものとして分類されており、分類信頼度が、分類モデルを使用して特徴抽出を実行するための閾値を上回っていると仮定する。方法４００は、画像を受信し（４０２）、次いで、画像内の各画素の位置（４０４，４０８）について、全ての画素の位置が決定されるまで画素の位置の予測影響を決定する（４０６）。画素の位置のそれぞれは、個々の画素又は画素のグループであってもよい。予測に対する画素の位置の影響を決定することは、例えば、位置の画素値が例えば全て黒、白、グレー、又は他の色に変更される閉塞などの様々な方法で行うことができ、その後、調整された画像は、調整された画像を分類するために訓練済み分類モデルに提供され、その後、元の入力画像からのベースライン予測と比較される。例えば、顕著性を含む、分類モデルからの分類出力に対して異なる画素の位置が及ぼす影響を決定するための他の技術を使用することができ、顕著性は、入力の変化が出力に及ぼす影響、又は画素の位置における値の変化が分類に及ぼす影響を与えるモデルの入力／画像勾配を決定する。異なる画素の位置の影響は、個別に、一度に又は並行して決定されてもよく、又は、例えば分類モデルの勾配を決定することによって、異なる画素の位置が一度に計算されてもよい。
【0075】
全ての画素の位置の予測影響が決定された後、画素の位置の影響に基づいて特徴抽出マップが生成可能である（４１０）。特徴抽出マップは、異なる画素の位置が分類に与える影響を示す２Ｄマップ又は画像であってもよい。２Ｄ特徴マップは、例えば表示又は更なる処理（４１４）のために、他のプロセス又は機能に出力（４１２）されてもよい。個々の特徴を特定して注釈を付けるために、特徴マップは、更に処理されてもよい。例えば、特徴マップは、血管、視神経、微小動脈瘤、ドルーゼンなどの個々の特徴を強調表示することができる。各特徴に注釈を付けることができる。個々の特徴注釈は、特徴マップによって強調表示される入力画像の位置を処理することによって自動的に行われてもよい。個々の注釈付き特徴は、個々の特徴の特定子又は名称、画像内の位置、特徴の形状などの注釈付き特徴詳細などの注釈付き特徴情報を与えることができる。注釈付き特徴、又は抽出された特徴の２Ｄマップは、例えば、疾患状態の治療を計画する際を含む様々な目的に使用可能である。
【0076】
図５は、疾患特徴に自動的に注釈を付け、疾患の治療を計画し、治療計画を実行するためのシステムを示す。システム５００は、様々な機能を実装するサーバを備えるものとして示されている。単一のサーバとして示されているが、機能又は機能の一部は、複数のサーバ又はコンピューティングシステムによって実装されてもよい。サーバは、命令を実行するためのＣＰＵ５０２と、命令を格納するためのメモリ５０４と、不揮発性（ＮＶ）ストレージ素子５０６と、入力及び／又は出力デバイスをサーバに接続するための入力／出力（ＩＯ）インターフェースとを備える。メモリ５０４に記憶された命令及びデータは、ＣＰＵ５０２によって実行されるときに様々な機能５１０を与えるようにサーバを構成する。
【0077】
機能５１０は、自動疾患特徴注釈付け機能５１２を含む。注釈付け機能５１２は、眼の眼底画像として描写された医用画像５１４を受信することができるが、機能は他のタイプの医用画像に適用されてもよい。疾患検出機能５１６は、画像を受け取り、画像を健康又は疾患として分類するように訓練された１つ以上の訓練済み分類モデル５１８に画像を渡すことができる。また、訓練済みモデル５１８は、訓練済みモデル５１８の分類の予測信頼度の表示も与える。予測信頼度が、例えば９５％以上であり得る特徴抽出閾値を上回る場合、特徴抽出機能５２０は、特徴を抽出するために画像を更に処理することができる。前述したように、特徴抽出は、画像内の特徴を特定するために、訓練済み分類モデル及び入力修正を使用することができる。
【0078】
分類結果に影響を及ぼす画像内の位置を強調する２Ｄマップとして提供され得る抽出された特徴は、更に処理可能である。例えば、グラフィカル・ユーザ・インターフェース（ＧＵＩ）機能５２２は、抽出された特徴を処理して、抽出された特徴、又は抽出された特徴の表示を表示するＧＵＩを生成することができる。また、ＧＵＩ機能５２２によって提供されるＧＵＩは、追加の機能を提供することもでき、例えば、場合によっては手動で特徴を追加、除去、又は調整すること、並びに患者の詳細、元の画像、他の医用画像５２４などの他の情報を表示することを含む、特徴と相互作用する能力を与えることができる。
【0079】
また、抽出された特徴は、抽出された特徴の注釈付け機能５２６によって処理されてもよい。特徴抽出機能５２０によって強調表示された抽出された特徴は、画像を疾患として分類するために使用される訓練済みモデルの重大な特徴の表示を提供するが、抽出された特徴は、疾患特徴ではなく、眼などの撮像されている器官に共通の特徴を含むことができる。これらの共通特徴は、共通特徴を特定するように訓練された訓練済みモデルを使用して、例えば、共通特徴が存在する画像及び存在しない画像を使用して特定することができる。更に、抽出された特徴は、画像内の特徴の位置を強調する２Ｄ画像マップとして提供されるが、個々の特徴を提供するものではない。抽出された特徴の注釈付け機能５２６は、抽出された特徴から個々の特徴を特定し、対応する個々の注釈付き特徴を生成することができる。抽出された特徴の注釈付け機能５２６は、例えば、個々の特徴を分離するために、２Ｄ特徴マップ、場合によっては入力画像を処理することができる画像処理技術を含む様々な技術を使用して、抽出された特徴マップを処理して個々の特徴を特定することができる。個々の特徴が特定されると、画像内の位置、注釈付き特徴のサイズ及び／又は形状、特定子及び／又は名称、注釈付き特徴に関するノート又はコメントなどの注釈付き特徴に関する情報を含む、対応する個々の注釈付き特徴を生成することができる。抽出された特徴注釈付け機能は、個々の抽出された特徴のそれぞれに対応する注釈付き特徴を生成することができ、又は撮像された器官に共通ではない個々の特徴のみなどの抽出された特徴のサブセットに対応する注釈付き特徴を生成することができる。すなわち、血管、視神経などの一般的な特徴は、対応する注釈付き特徴に処理されなくてもよい。これに加えて又は代えて、抽出された特徴注釈付け機能は、注釈付き特徴を手動で追加／削除するための機能を含むことができる。
【0080】
抽出された特徴、又は抽出された特徴から生成された注釈付き特徴は、治療計画機能５２８によって処理されてもよい。治療計画機能は、機械学習技術を利用して、治療することができる抽出された特徴及び／又は注釈付き特徴の部分を特定することができる。治療計画機能は、治療を計画する際に、追加の医用画像５２４などの追加の情報を利用することができる。例えば、眼の状態を治療する際に、治療することができる特徴を特定するために眼底画像を処理することができ、追加画像は、実際の治療のために特徴のサブセットを選択するのを助けることができる網膜の厚さなどの追加の情報を特定することができる。
【0081】
フィードバック機能５３０は、例えばモデル再訓練機能５３２によって、又は治療計画又は抽出された特徴の注釈付けに使用されるものなどの他のモデルによって使用され得るフィードバックを生成することができる。フィードバックは、様々な方法で生成され得る。例えば、フィードバックは、特徴又は注釈付き特徴を手動で除去するなど、ユーザの手動対話から直接的に生成される。フィードバックは、疾患の状態を治療するための重大な特徴の表示を提供し得る治療計画を、抽出された特徴と比較することによって生成され得る。フィードバックを使用して、処理可能な特徴のみに基づいて画像を分類するために、分類モデルを訓練又は調整することができる。
【0082】
図示のように、システム５００は、オペレータがシステムと対話することを可能にするＧＵＩを表示するためのディスプレイ又はモニタ５３４を含むことができる。図５に示すＧＵＩは単なる例示であり、実際のＧＵＩは、広範囲のフォーマットで所望の情報を提示し得ることが理解されるであろう。図示のように、ＧＵＩは、他の医用画像が使用されてもよいが、眼の眼底画像として示される入力画像５３６を含む様々な情報を表示することができる。ＧＵＩは、個々の注釈付き特徴５３８の画像を含むことができる。ＧＵＩは、オペレータが個々の注釈付き特徴と対話することを可能にする制御部５４０を提供することができる。例えば、制御は、オペレータが個々の注釈付き特徴を選択し、その位置、サイズ、形状、名前、メモなどの情報５４２を調整することを可能にすることができる。更に、制御は、オペレータが注釈付き特徴を除去できるようにする又は場合によっては新たな注釈付き特徴を追加又は定義できるようにする機能を含むことができる。注釈付き特徴を変更するための機能は、オペレータが注釈付き特徴を手動で追加、削除、又は変更できるようにする機能を提供することができる。これに加えて又は代えて、注釈付き特徴を変更するための機能は、例えば、変更されるべき想定し得る注釈付き特徴の一般領域を定義するために幾つかのユーザ入力を必要とする及び／又は可能な変更を確認もしくは拒絶する変更を自動的又は半自動的に実行することができる。また、ＧＵＩは、状態を治療するための治療計画５４４を表示することもできる。図５には示されていないが、ＧＵＩは、治療計画を調整するための制御をオペレータに提供することができる。ＧＵＩは、場合によっては、特徴がどのように特定及び／又は注釈付けされるかを調整するために、オペレータによってフィードバック機能に加えられた変更のいずれかの表示を提供することができる。
【0083】
また、システム５００は、レーザ治療システムとして示されている治療システム５４６に結合されてもよいが、他の治療システムが使用されてもよい。治療システムは、例えば決定された位置をレーザで治療することによって治療計画を実行することができる。
【0084】
上記では、治療システム５４６に直接的に接続され得る単一のサーバによって提供される様々な機能を示した。機能は、１つ以上のネットワーク化されたシステムによって提供されてもよい。例えば、疾患検出機能５１６、訓練済みモデル５１８、及び特徴抽出機能５２０は、場合によっては有料で、異なる専門家がアクセスすることができる１つ以上のクラウドサーバに実装されてもよい。クラウドベースの機能は、他のコンピュータシステム又は治療システムのコントローラなどのコントローラと対話することができる。更にまた、特徴抽出の結果は、処理される特徴を特定するために使用されてもよく、又は出力は、例えば他のモデルを訓練するなどのために、他のシステムへの入力として提供されてもよい。
【0085】
図６は、医用画像における疾患特徴を自動的に抽出する方法を示す。方法６００は方法４００と同様であり、同様のステップは同様の参照番号を使用し、これについては再び詳細には説明しない。前述したように、特徴の注釈付け及び治療の計画において、機能は追加の医用画像を利用することができる。方法６００は、特徴を抽出するときに追加画像を利用する。追加画像又は情報は、各画素の位置（４０４，４０８）を処理するときに使用される。追加画像又は情報を使用して、画素の位置のモデルパラメータを調整し（６０６ａ）、調整されたパラメータを使用して決定された画素の位置の予測影響を調整する（６０６ｂ）。追加情報は、分類モデルを局所的に調整するために使用され得る。例えば、モデルは、幾つかの他の特徴があり、他の領域では感度が低い画素の位置でより感度が高くなるように調整され得る。追加情報は、追加の医用画像、患者情報、他の画素の位置からの情報などを含むことができる。
【0086】
図７は、訓練済みモデルを更新する方法を示す。方法７００は、注釈付き特徴のＧＵＩを生成して表示する（７０２）。ＧＵＩは、ユーザが注釈付き特徴と対話することを可能にすることができ、例えば、注釈付き特徴の１つ以上を選択し、選択された特徴を削除又は変更すること、又は画像内の位置を選択し、新しい注釈付き特徴を作成することを含む。注釈付き特徴を調整する対話にかかわらず、更新された注釈付き特徴のＧＵＩからのフィードバックは、疾患特徴に関するフィードバックとして受信される（７０４）。訓練済み分類モデル、及び／又は抽出された特徴から注釈付き特徴を自動的に生成するために使用されるモデルは、受信したフィードバックに基づいて更新又は再訓練されてもよい。
【0087】
図８は、訓練済みモデルを更新する更なる方法を示す。方法８００は、医用画像に存在する疾患を治療するための治療計画を作成するために、注釈付き特徴を処理する。治療計画は、レーザ又は超音波装置などのシステムで治療するための位置を指定することができる。治療計画は、疾患の関連する特徴の良好な指標を提供し得る。治療計画は、抽出された特徴マップ（８０４）及び訓練済み分類モデルと比較され、及び／又は抽出された特徴から注釈付き特徴を自動的に生成するために使用されるモデルは、治療計画と抽出された特徴マップとの間の差異に基づいて更新又は再訓練される。
【0088】
上記では、モデルを再訓練するためのフィードバックの使用について説明した。上記のようにＧＵＩからのフィードバック又は抽出された特徴と治療計画との間の違いを使用することに加えて、他の情報を使用して、疾患又はその治療の特定に重要ではない可能性がある抽出された特徴を特定することができる。例えば、眼疾患の検出又は治療において、抽出された特徴は、疾患特徴だけでなく、静脈又は他の構造などの眼の特徴も含み得る。これらの共通構造は、画像から特定されたそれらの特徴又は構造のみを特定するように訓練された他の機械学習モデルなどの他の技術を使用して特定することができる。次いで、これらの特定された構造は、抽出された疾患特徴から除去されてもよい。修正プロセスは、特定の結果に達するまで、異なる特徴又は特徴の変更を繰り返し特定しようと試みる反復プロセス又は試行錯誤プロセスであり得る。次いで、共通の特徴が除去された、修正済の抽出された特徴を使用して、モデルを疾患特徴に集中させるために分類モデルを再訓練することができる。更に、上記では、特定の疾患特徴を特定するために分類モデルを使用し、次いで分類モデルの訓練を改善するためにフィードバックを使用して、疾患特徴をより良好に特定することについて説明した。特定の分類モデルを使用して特定された疾患特徴はまた、別の分類モデルによって無視されるべき特徴を特定するために使用され得る。例えば、微小動脈瘤は、糖尿病性網膜症を同定及び／又は治療するために重要であり得るが、他の状態又は疾患については重要ではなく、無視されるべきである。
【0089】
当業者であれば分かるように、図１－４に示すシステム及び構成要素は、図面に示されていない構成要素を含み得る。説明を簡単かつ明確にするために、図中の要素は必ずしも縮尺通りではなく、概略的なものに過ぎず、要素構造を限定するものではない。当業者であれば分かるように、特許請求の範囲に定義される本発明の範囲から逸脱することなく、幾つかの変形及び修正を行うことができる
【0090】
特定の構成要素及びステップが記載されているが、個々に記載された構成要素並びにステップは、より少ない構成要素又はステップに一緒に組み合わせられてもよく、又はステップは、順次、非順次、又は同時に実行されてもよいことが企図される。更に、特定の順序で行われるものとして前述したが、本教示を考慮する当業者であれば分かるように、他のステップに対する特定のステップの特定の順序を変更できる。同様に、個々の構成要素又はステップは、複数の構成要素又はステップによって提供されてもよい。本教示を考慮する当業者であれば分かるように、本明細書に記載の構成要素及びプロセスは、例示的な例として本明細書に記載の特定の実施態様以外に、ソフトウェア、ファームウェア、及び／又はハードウェアの様々な組み合わせによって提供され得る。
【0091】
様々な実施形態の技法は、ソフトウェア、ハードウェア、及び／又はソフトウェアとハードウェアの組み合わせを使用して実施され得る。様々な実施形態は、装置、例えば、通信システム又はデータストレージシステムで使用され得るノードに関する。様々な実施形態はまた、記載された１つ以上の方法のステップのうちの１つ、複数、又は全てを実施するように機械、例えばプロセッサを制御するための機械可読命令を含む、非一時的機械、例えばコンピュータ、例えばＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなどを対象とする。
【0092】
幾つかの実施形態は、コンピュータ又は複数のコンピュータに、様々な機能、ステップ、動作及び／又は動作、例えば、前述のステップの１つ以上又は全てを実施させるためのコードを含むコンピュータ可読媒体を含むコンピュータプログラムプロダクトに関する。実施形態に応じて、コンピュータプログラムプロダクトは、実行されるべきステップごとに異なるコードを含むことができ、場合によっては含む。したがって、コンピュータプログラムプロダクトは、方法、例えば、通信デバイス、例えば、無線端末又はノードを動作させる方法の個々のステップごとのコードを含むことができ、場合によっては含む。コードは、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）又は他の種類のストレージ装置などのコンピュータ可読媒体に記憶された機械、例えばコンピュータの実行可能命令の形態であってもよい。コンピュータプログラムプロダクトを対象とすることに加えて、幾つかの実施形態は、前述した１つ以上の方法の様々な機能、ステップ、動作及び／又は動作のうちの１つ以上を実施するように構成されたプロセッサを対象とする。したがって、幾つかの実施形態は、本明細書に記載の方法のステップの一部又は全てを実施するように構成されたプロセッサ、例えばＣＰＵに関する。プロセッサは、例えば、本出願に記載された通信デバイス又は他のデバイスで使用するためのものであり得る。
【0093】
前述の様々な実施形態の方法及び装置に対する多数の更なる変形が、上記の説明を考慮すれば当業者には明らかとなる。そのような変形は、範囲内で考慮されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】