(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-25
(54)【発明の名称】ポリープの画像を識別するためのシステム及び方法
(51)【国際特許分類】
G16H 30/00 20180101AFI20230915BHJP
【ＦＩ】
G16H30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515284
(86)(22)【出願日】2021-09-03
(85)【翻訳文提出日】2023-03-14
(86)【国際出願番号】 IL2021051083
(87)【国際公開番号】W WO2022054046
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】63/075,795
(32)【優先日】2020-09-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506203914
【氏名又は名称】ギブン イメージング リミテッド
【氏名又は名称原語表記】ＧＩＶＥＮ ＩＭＡＧＩＮＧ ＬＴＤ．
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】ペレグ， ドリ
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA26
(57)【要約】
ポリープを含む画像を識別するためのシステム及び方法が開示される。画像を識別する例示的な方法は、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の画像にアクセスすることを含み、画像のうちの各画像は、ポリープを含むことが疑われ、ポリープを含む確率に関連付けられ、画像は、シード画像を含み、各シード画像は、画像のうちの１つ以上の画像に関連付けられる。各シード画像に関連付けられた画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される。本方法は、ポリープを含むシード画像を識別するためにシード画像にポリープ検出システムを適用することを含み、ポリープ検出システムは、シード画像に関連付けられた画像と、シード画像及び関連付けられた画像に関連付けられた確率とに基づいて、各シード画像に適用される。
【特許請求の範囲】
【請求項1】
ポリープを含む画像を識別する方法であって、ＣＥ処置中にカプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの１つ以上の画像に関連付けられ、各シード画像に関連付けられた前記１つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記１つ以上の画像と、前記シード画像及び前記１つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。
【請求項2】
所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記１つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、請求項１に記載の方法。
【請求項3】
前記処置は不適切であると判定されて除外され、少なくとも１つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、請求項２に記載の方法。
【請求項4】
前記ポリープ検出システムは、１つ以上のポジティブフィルタ、１つ以上のネガティブフィルタ、１つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも１つを備える、請求項１に記載の方法。
【請求項5】
前記１つ以上の古典的機械学習システム、前記１つ以上のポジティブフィルタ、又は前記１つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも１つを含む、請求項４に記載の方法。
【請求項6】
各シード画像に関連付けられた前記１つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、請求項１に記載の方法。
【請求項7】
前記消化管（ＧＩＴ）の前記アクセスされた複数の画像は、ＣＥ処置調査の画像である、請求項１に記載の方法。
【請求項8】
前記複数の画像から前記シード画像を選択することを更に含む、請求項１に記載の方法。
【請求項9】
ポリープを含むと識別された前記シード画像に基づいて、前記ＣＥ処置の担当医師に、前記ＣＥ処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、請求項１に記載の方法。
【請求項10】
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、請求項９に記載の方法。
【請求項11】
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項１０に記載の方法。
【請求項12】
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項１０に記載の方法。
【請求項13】
ポリープを含むと識別された前記シード画像を表示することを更に含む、請求項１に記載の方法。
【請求項14】
ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、請求項１に記載の方法。
【請求項15】
前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、請求項１に記載の方法。
【請求項16】
少なくとも前記シード画像をユーザに表示することと、前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、請求項１に記載の方法。
【請求項17】
前記ユーザによって選択された前記画像は、前記ＣＥ処置報告に含まれるように選択された画像である、請求項１６に記載の方法。
【請求項18】
前記少なくとも１つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、請求項１７に記載の方法。
【請求項19】
画像を識別するための方法であって、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供することと、
を含む、方法。
【請求項20】
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項１９に記載の方法。
【請求項21】
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項１９に記載の方法。
【請求項22】
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、請求項１９に記載の方法。
【請求項23】
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、請求項１９に記載の方法。
【請求項24】
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項２３に記載の方法。
【請求項25】
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、請求項２３に記載の方法。
【請求項26】
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、請求項２５に記載の方法。
【請求項27】
画像を識別するためのシステムであって、１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供させる、システム。
【請求項28】
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項２７に記載のシステム。
【請求項29】
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項２７に記載のシステム。
【請求項30】
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、請求項２７に記載のシステム。
【請求項31】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、請求項２７に記載のシステム。
【請求項32】
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項３１に記載の方法。
【請求項33】
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、請求項３１に記載のシステム。
【請求項34】
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、請求項３３に記載のシステム。
【請求項35】
画像を識別するための方法であって、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
【請求項36】
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、請求項３５に記載の方法。
【請求項37】
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、請求項３６に記載の方法。
【請求項38】
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、請求項３５に記載の方法。
【請求項39】
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、請求項３５に記載の方法。
【請求項40】
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、請求項３５に記載の方法。
【請求項41】
画像を識別するためのシステムであって、１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
【請求項42】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、請求項４１に記載のシステム。
【請求項43】
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、請求項４２に記載のシステム。
【請求項44】
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、請求項４１に記載のシステム。
【請求項45】
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、請求項４１に記載のシステム。
【請求項46】
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、請求項４１に記載のシステム。
【請求項47】
画像を識別するための方法であって、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供することと、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
【請求項48】
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、請求項４７に記載の方法。
【請求項49】
前記複数の画像の中から画像のユーザ選択を受信することと、ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、請求項４７に記載の方法。
【請求項50】
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の各画像にアクセスすることによって、少なくとも１つのポリープ画像を提供することと、別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも１つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、請求項４７に記載の方法。
【請求項51】
画像を識別するためのシステムであって、１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供させ、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
【請求項52】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、請求項５１に記載のシステム。
【請求項53】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定させ、
前記少なくとも１つの選択されていない画像を前記ユーザに提示させる、請求項５１に記載のシステム。
【請求項54】
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。
【請求項55】
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項５４に記載のコンピュータ実施方法。
【請求項56】
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項５４に記載のコンピュータ実施方法。
【請求項57】
大腸内視鏡検査を推奨するためのシステムであって、１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。
【請求項58】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項５７に記載のシステム。
【請求項59】
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項５７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２０年９月８日に出願された米国仮特許出願第６３／０７５，７９５号の利益及び優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、２０２０年９月８日に出願された米国仮特許出願第６３／０７５，７９５号の利益及び優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本開示は、消化管（ＧＩＴ）の生体内画像の画像分析に関し、より詳細には、ＧＩＴ内のポリープの画像を識別するためのシステム及び方法に関する。
本開示は、消化管（ＧＩＴ）の生体内画像の画像分析に関し、より詳細には、ＧＩＴ内のポリープの画像を識別するためのシステム及び方法に関する。
【背景技術】
【0003】
カプセル内視鏡検査（ＣＥ）は、ＧＩＴ全体を内視鏡検査的に検査することを可能にする。小腸又は結腸などのＧＩＴの特定の部分を検査することを目的としたカプセル内視鏡検査システム及び方法が存在する。ＣＥは、患者が病院に入院することを必要としない非侵襲的処置であり、患者は、カプセルが体内にある間に、たいていの日常活動を継続することができる。
【0004】
典型的なＣＥ処置では、患者は、医師によって処置を紹介される。次いで、患者は、医療施設（例えば診療所又は病院）に到着して、処置を行う。ほぼマルチビタミンのサイズであるカプセルは、医療施設において医療専門家（例えば、看護師又は医師）の監視下で患者によって嚥下され、患者には、ウェアラブルデバイス、例えば、センサベルト、並びに患者の肩の周りに配置されるパウチ及びストラップ内に配置されたレコーダが提供される。ウェアラブルデバイスは、典型的には、記憶デバイスを含む。患者は、案内及び／又は命令を与えられた後、日常活動へと解放されてもよい。
【0005】
カプセルは、ＧＩＴを通って自然に移動する際に画像を捕捉する。次いで、画像及び追加のデータ（例えば、メタデータ）が、患者によって装着されたレコーダに送信される。カプセルは、使い捨てであり、腸の運動で自然に進む。処置データ（例えば、捕捉された画像又はそれらの一部分及び追加のメタデータ）は、ウェアラブルデバイスの記憶デバイス上に記憶される。
【0006】
ウェアラブルデバイスは、典型的には、その上に記憶された処置データと共に、患者によって医療施設に戻される。次いで、処置データは、エンジンソフトウェアが記憶された、医療施設に典型的には位置するコンピューティングデバイスにダウンロードされる。次いで、受信された処置データは、エンジンによって、コンパイルされた調査（又は「検査」）へと処理される。典型的には、調査は、数千の画像（約６，０００個）を含む。典型的には、処理される画像の数は、数万個程度、平均で約９０，０００個である。
【0007】
リーダ（処置監督医師、専門医師又は担当医師であってもよい）は、リーダアプリケーションを介して、調査にアクセスしてもよい。次いで、リーダは、調査をレビューし、処置を評価し、リーダアプリケーションを介して自身の入力を提供する。リーダは数千の画像をレビューする必要があるため、調査の読み取り時間は、通常、平均で３０分～１時間を要することがあり、読み取り作業は面倒なことがある。次いで、コンパイルされた調査及びリーダの入力に基づいて、リーダアプリケーションによって報告が生成される。平均して、報告を生成するために１時間を要する。報告は、例えば、関心のある画像、例えば、リーダによって選択された病態を含むものとして識別された画像と、処置データ（すなわち、調査）並びに／又はリーダによって提供されるフォローアップ及び／若しくは治療のための推奨に基づく患者の医学的状態の評価又は診断とを含んでもよい。次いで、報告を担当医師に転送してもよい。担当医師は、報告に基づいて、必要なフォローアップ又は治療を決定することができる。
【発明の概要】
【課題を解決するための手段】
【0008】
更に、矛盾しない範囲内で、本明細書で詳述される態様のいずれか又は全ては、本明細書で詳述される他の態様のいずれか又は全てと共に用いることができる。本開示の態様は、高い信頼度でポリープの画像を識別することに関する。信頼度が高いため、本開示の態様は、識別された画像を人間による促進又は介入なしに自動的に使用すること、及び／又はそのような画像が人間によるレビュー中に見落とされた可能性がある場合に識別された画像を医療専門家に提示すること、及び／又は識別された画像を誤って指定した可能性がある他のツールの決定を無効にすることに関する。
【0009】
本開示の態様によれば、ポリープを含む画像を識別する本方法は、ＣＥ処置中にカプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、複数の画像の各画像は、ポリープを含む疑いがあり、ポリープを含む確率に関連付けられ、複数の画像はシード画像を含み、各シード画像は複数の画像のうちの１つ以上の画像に関連付けられ、各シード画像に関連付けられた１つ以上の画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、ポリープを含むシード画像を識別するために、シード画像に対してポリープ検出システムを適用することであって、ポリープ検出システムは、シード画像に関連付けられた１つ以上の画像と、シード画像及び１つ以上の関連付けられた画像に関連付けられた確率とに基づいて、シード画像の各シード画像に適用される、ことと、を含む。
【0010】
本方法の様々な実施形態において、本方法は、所定のサイズ以上のサイズのポリープを含む複数の画像の画像を識別することを含み、複数の画像の各画像は、各画像に含まれる疑わしいポリープの推定サイズに更に関連付けられ、ポリープ検出システムは、シード画像及びシード画像に関連付けられた１つ以上の画像に関連付けられた推定ポリープサイズに基づいて、シード画像の各シード画像に更に適用される。
【0011】
本方法の様々な実施形態において、処置は不適切であると判定されて除外され、少なくとも１つのシード画像は、所定のサイズ以上のサイズのポリープを含むか、又は所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、方法は、処置の除外を無効にすることを含む。
【0012】
本方法の様々な実施形態において、ポリープ検出システムは、１つ以上のポジティブフィルタ、１つ以上のネガティブフィルタ、１つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも１つを含む。
【0013】
本方法の様々な実施形態において、本方法では、１つ以上の古典的機械学習システム、１つ以上のポジティブフィルタ、又は１つ以上のネガティブフィルタへの入力は、ポリープを含有するシード画像確率、シード画像に関連付けられた画像の数、所定の閾値によるポリープを含有する確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも１つを含む。
【0014】
本方法の様々な実施形態において、各シード画像に関連付けられた１つ以上の画像は、隣接する画像内の各シード画像に含まれる疑わしいポリープを追跡するトラッカを適用することによって、又はシード画像を隣接する画像と比較する分類システムを使用することによって決定される。
【0015】
本方法の様々な実施形態において、本方法では、消化管（ＧＩＴ）のアクセスされた複数の画像は、ＣＥ処置調査の画像である。
【0016】
本方法の様々な実施形態において、本方法は、複数の画像からシード画像を選択することを含む。
【0017】
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像に基づいて、大腸内視鏡検査処置を受けるＣＥ処置を参照するようにＣＥ処置担当医師に指示を提供することを含む。
【0018】
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含む確率を提供するように構成された古典的機械学習システムを適用することと、画像に対応する古典的機械学習システムのソフトマージンにアクセスすることと、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を含む。
【0019】
本方法の様々な実施形態において、本方法は、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを含み、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
【0020】
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像の推定ポリープサイズにアクセスすることであって、推定ポリープサイズは、画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を含み、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
【0021】
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像を表示することを含む。
【0022】
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像に基づいて治療推奨を提供することを含む。
【0023】
本方法の様々な実施形態において、本方法は、シード画像を表示し、ポリープを含むと識別されたシード画像を示すことを含む。
【0024】
本方法の様々な実施形態において、本方法は、少なくともシード画像をユーザに表示することと、表示された画像の中から画像のユーザ選択を受信することと、ユーザによって選択されておらず、ポリープを含むと識別されたシード画像の中にある少なくとも１つの選択されていない画像を決定することと、少なくとも１つの選択されていない画像をユーザに提示することと、を含む。
【0025】
本方法の様々な実施形態において、ユーザによって選択された画像は、ＣＥ処置報告に含まれるように選択された画像である。
【0026】
本方法の様々な実施形態において、本方法では、少なくとも１つの選択されていない画像をユーザに提示することは、報告を生成する要求が受信されると実行される。
【0027】
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、少なくとも１つのフィルタを複数の画像に適用することであって、少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、少なくとも１つのフィルタによって識別された複数の画像のうちの少なくとも１つの画像、又は少なくとも１つのフィルタによって識別されなかった複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供することと、を含む。
【0028】
本方法の様々な実施形態において、ネガティブフィルタは、画像がＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0029】
本方法の様々な実施形態において、ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0030】
本方法の様々な実施形態において、ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される。
【0031】
本方法の様々な実施形態において、本方法は、複数の画像の各画像に対して、画像の画像のトラックにアクセスすることを更に含む。
【0032】
本方法の様々な実施形態において、ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0033】
本方法の様々な実施形態において、ポジティブフィルタは、画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される。
【0034】
本方法の様々な実施形態において、ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される。
【0035】
本開示の態様によれば、画像を識別するためのシステムは、１つ以上のプロセッサと、命令を記憶する少なくとも１つのメモリとを含む。１つ以上のプロセッサによって実行されると、命令は、システムに、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、少なくとも１つのフィルタを複数の画像に適用させ、少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、少なくとも１つのフィルタによって識別された複数の画像のうちの少なくとも１つの画像、又は少なくとも１つのフィルタによって識別されなかった複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供させる。
【0036】
本システムの様々な実施形態において、ネガティブフィルタは、画像がＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0037】
本システムの様々な実施形態において、ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0038】
本システムの様々な実施形態において、ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される。
【0039】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の画像のトラックにアクセスさせる。
【0040】
本システムの様々な実施形態において、ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
【0041】
本システムの様々な実施形態において、ポジティブフィルタは、画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される。
【0042】
本システムの様々な実施形態において、ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される。
【0043】
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、を含む。
【0044】
本方法の様々な実施形態において、本方法は、複数の画像の各画像に対して、画像の画像のトラックにアクセスすることを更に含む。
【0045】
本方法の様々な実施形態において、画像に対応する入力特徴は、画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する画像のトラック内の画像の数のうちの少なくとも１つを含む。
【0046】
本方法の様々な実施形態において、画像に対応する入力特徴は、画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む。
【0047】
本方法の様々な実施形態において、画像に対応する入力特徴は、画像が捕捉された結腸区分の区分番号を含む。
【0048】
本方法の様々な実施形態において、古典的機械学習分類器は、多項式サポートベクトルマシンである。
【0049】
本開示の態様によれば、画像を識別するためのシステムは、１つ以上のプロセッサと、命令を記憶する少なくとも１つのメモリとを含む。命令は、１つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示させる。
【0050】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の画像のトラックにアクセスさせる。
【0051】
本システムの様々な実施形態において、画像に対応する入力特徴は、画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する画像のトラック内の画像の数のうちの少なくとも１つを含む。
【0052】
本システムの様々な実施形態において、画像に対応する入力特徴は、画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む。
【0053】
本システムの様々な実施形態において、画像に対応する入力特徴は、画像が捕捉された結腸区分の区分番号を含む。
【0054】
本システムの様々な実施形態において、古典的機械学習分類器は、多項式サポートベクトルマシンである。
【0055】
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、少なくとも１つのフィルタを複数の画像に適用することであって、少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供することと、少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、フィルタリングされていない画像に対応する入力特徴に基づいて、フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、を含む。
【0056】
本方法の様々な実施形態において、本方法は、人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される、指示を有する少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む。
【0057】
本方法の様々な実施形態において、本方法は、複数の画像の中から画像のユーザ選択を受信することと、ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定することと、少なくとも１つの選択されていない画像をユーザに提示することと、を更に含む。
【0058】
本開示の態様によれば、画像を識別するためのシステムは、１つ以上のプロセッサと、命令を記憶する少なくとも１つのメモリとを含む。命令は、１つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、少なくとも１つのフィルタを複数の画像に適用させ、少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供させ、少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、フィルタリングされていない画像に対応する入力特徴に基づいて、フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示させる。
【0059】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、更に、システムに、人間の介入なしに、臨床医に提示するためのカプセル内視鏡報告を生成させ、カプセル内視鏡報告は、古典的機械学習システムによって提供される、ポリープを含有する指示を有する、少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像であって、信頼閾値を満たす、画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも１つを含む。
【0060】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、更に、システムに、複数の画像のうちの画像のユーザ選択を受信させ、ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定させ、少なくとも１つの選択されていない画像をユーザに提示させる。
【0061】
本開示の態様によれば、大腸内視鏡検査を推奨するためのコンピュータ実施方法は、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、画像に対応する古典的機械学習システムのソフトマージンにアクセスすることと、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を含む。
【0062】
本方法の様々な実施形態において、本方法は、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
【0063】
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像の推定ポリープサイズにアクセスすることであって、推定ポリープサイズは、画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
【0064】
本開示の態様によれば、大腸内視鏡検査を推奨するためのシステムは、１つ以上のプロセッサと、命令を記憶する少なくとも１つのメモリとを含む。命令は、１つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、画像に対応する古典的機械学習システムのソフトマージンにアクセスさせ、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる。
【0065】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
【0066】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の推定ポリープサイズにアクセスさせ、推定ポリープサイズは、画像に基づいて生成され、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
【図面の簡単な説明】
【0067】
本開示の上述及びその他の態様並びに特徴は、添付の図面と共に以降の詳細な説明を考慮することでより明白となる。添付の図面において、同様の参照符号は類似又は同一の要素を識別する。
【0068】
【図1】消化管（ＧＩＴ）を示す図である。
【図2】本開示の態様による、カプセル内視鏡検査（ＣＥ）処置を介して生体内で捕捉された医用画像を分析するための例示的システムのブロック図である。
【図3】本開示のシステムと共に使用され得る、例示的コンピューティングシステムのブロック図である。
【図4】結腸を示す図である。
【図5】本開示の態様による、例示的な深層学習ニューラルネットワークの図である。
【図6】本開示の態様による、高い信頼度で結腸ポリープを含む結腸画像を選択するための例示的な動作のブロック図である。
【図7】本開示の態様による、選択されたシード画像の図である。
【図8】本開示の態様による、ポリープを含む結腸画像を選択するための例示的な動作のブロック図である。
【図9】本開示の態様による、ポリープを含む結腸画像を選択するための別の例示的な動作のブロック図である。
【図10】本開示の態様による、シード画像の例示的な画像トラックの図である。
【図11】本開示の態様による、ポジティブフィルタによって処理された例示的な画像トラックの図である。
【図12】本開示の態様による、臨床医が結腸ポリープを含み得る結腸画像をレビュー及び／又は選択するための例示的なディスプレイ画面及びユーザインタフェースである。
【図13】本開示の態様による、ポリープを含む提案画像を臨床医に提示するための例示的なディスプレイ画面及びユーザインタフェースである。
【図14】本開示の態様による、ポリープを含む選択された結腸画像を提示する全自動プロセスのための例示的なディスプレイ画面である。
【図15】本開示の態様による、ソフトマージンに基づいて画像がポリープを含む確率を決定するためのグラフである。
【図16】本開示の態様による、画像が少なくとも６ｍｍのサイズのポリープを含む確率を決定するためのグラフである。
【図17】本開示の態様による、高い信頼度で結腸ポリープを含む結腸画像を選択するための別の例示的な動作のブロック図である。
【発明を実施するための形態】
【0069】
本開示は、カプセル内視鏡検査（ＣＥ）デバイスによって生体内で捕捉されたポリープの画像を高い信頼度で識別するためのシステム及び方法に関する。信頼度が高いため、本開示の態様は、識別された画像を人間による促進又は介入なしに自動的に使用すること、及び／又はそのような画像が人間によるレビュー中に見落とされた可能性がある場合に識別された画像を医療専門家に提示すること、及び／又は識別された画像を誤って指定した可能性がある他のツールの決定を無効にすることに関する。様々な態様では、対象画像についての決定は、画像「トラック」の情報など、対象画像に関連する画像の情報を使用し、これについては本明細書において後でより詳細に説明する。様々な態様では、対象画像についての決定は、全ての画像が等しく考慮されるわけではないような重みを使用する。本開示の態様は、比較的高い感度及び特定性を受け取るために、分類／検出における深層学習機械学習を伴い、本開示の態様は、結果を最適化し、感度及び／又は特定性を増加させるために、ヒューリスティック及び／又は「古典的」機械学習（後で定義される）を使用する。
【0070】
次の詳細な説明では、本開示の完全な理解を与えるために、特定の詳細が記載される。しかしながら、当業者であれば、本開示が、これらの特定の詳細を伴わなくても実施され得ることを理解するであろう。他の例では、よく知られた方法、処置、及び構成要素は、本開示を不明瞭にしないように詳細には説明されていない。あるシステムに関して記載されるいくつかの特徴又は要素は、他のシステムに関して記載される特徴又は要素と組み合わされてもよい。明確にするために、同じ又は同様の特徴若しくは要素の説明は、繰り返さない場合がある。
【0071】
本開示は、この点に関して限定されるものではないが、例えば、「処理する」、「計算する」、「算出する」、「決定する」、「確立する」、「分析する」、「確認する」などの用語を利用した説明は、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、又は他の電子コンピューティングデバイスの動作（単数又は複数）及び／又はプロセス（単数又は複数）を指す場合があり、これらの装置は、コンピュータのレジスタ及び／又はメモリ内の物理（例えば、電子）量として表されるデータを、コンピュータのレジスタ及び／又はメモリ内の物理量として同様に表される他のデータ、若しくは動作及び／又はプロセスを行う命令を保存し得る非一時的保存媒体内の他の情報に操作及び／又は変換する。本開示は、この点に関して限定されるものではないが、本明細書で使用するとき、「複数（ｐｌｕｒａｌｉｔｙ）」及び「複数（ａ ｐｌｕｒａｌｉｔｙ）」は、例えば、「複数（ｍｕｌｔｉｐｌｅ）」又は「２つ以上」を含み得る。「複数（ｐｌｕｒａｌｉｔｙ）」又は「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、２つ以上の構成要素、デバイス、要素、ユニット、パラメータなどを説明するために、本明細書全体を通して使用され得る。本明細書で使用するとき、用語セットは、１つ以上の品目を含み得る。別段の記載がない限り、本明細書に記載される方法は、特定の順番又は順序に限定されるものではない。加えて、記載される方法又はその要素のいくつかは、同時に、同じ時点において、又は共に起こるか、行うことができる。
【0072】
「位置」という用語及びその派生語は、画像に関して本明細書で言及されるように、画像を捕捉している間のＧＩＴ（例えば、結腸）に沿ったカプセルの推定位置、又はＧＩＴに沿って画像に散りばめられたＧＩＴの部分の推定位置を指すことがある。
【0073】
ＣＥ処置の種類は、とりわけ、関心部分であり、かつ、撮像されるＧＩＴの部分（例えば、結腸）に基づいて、又は特定の使用（例えば、クローン病などのＧｌ疾患の状態を確認するため、あるいは結腸癌のスクリーニングのために）に基づいて決定されてもよい。
【0074】
本明細書では、スクリーン（単数又は複数）、ビュー（単数又は複数）、及びディスプレイ（単数又は複数）という用語は、互換的に使用されてもよく、特定の文脈に従って理解されてもよい。
【0075】
「周囲の」又は「隣接する」という用語は、本明細書では画像（例えば、別の画像（単数又は複数）を取り囲む画像、若しくは他の画像（単数又は複数）に隣接する画像）に関して言及されるように、特に指示がない限り、空間的及び／又は時間的特性に関し得る。例えば、他の画像（単数又は複数）の画像を取り囲むか又はそれらに隣接する画像は、ＧＩＴに沿って他の画像（単数又は複数）の画像の付近に位置すると推定される画像、及び／若しくは特定の閾値内、例えば、１ｃｍ、又は２ｃｍ以内、若しくは１秒、５秒、あるいは１０秒以内の別の画像の捕捉時間の付近で捕捉された画像であってもよい。
【0076】
「ＧＩＴ」及び「ＧＩＴの一部分」という用語は、それらの文脈に従って、各々他方を指すか、又は他方を含んでもよい。したがって、「ＧＩＴの一部分」という用語はまた、ＧＩＴ全体を指してもよく、「ＧＩＴ」という用語はまた、ＧＩＴの一部分のみを指してもよい。
【0077】
「画像」及び「フレーム」という用語は、各々他方を指すか又は含むことができ、撮像デバイスによる単一の捕捉を指すために本開示では互換的に使用され得る。便宜上、「画像」という用語は、本開示ではより頻繁に使用され得るが、画像への言及はフレームにも適用されるものと理解されるであろう。
【0078】
「古典的機械学習」という用語は、機械学習の入力に対する特徴選択又は特徴エンジニアリングを伴う機械学習を指す。
【0079】
「ソフトマージン」という用語は、例と分類器の分離超平面／分類境界との間の距離に関連する、分類器（例えば、古典的機械学習アルゴリズム）の連続出力を指し得る。ソフトマージンを使用して、分類器がその決定においてどれくらい確かであるかを評価することができる。ソフトマージンの絶対値が高いほど、分類境界から遠く、その決定においてより確実である。「ハードマージン」という用語は、ソフトマージンに閾値（例えば、０）を適用し、各例がどのクラスに属するかを決定することから生じる分類決定を指すことがある。
【0080】
「臨床医」という用語は、消化器内科医、主治医、又は担当医師等の任意の医師を含む、任意の医療提供者又は医療専門家を指し得る。
【0081】
図１を参照すると、ＧＩＴ１００の図が示されている。ＧＩＴ１００は、ヒト及び他の動物内の器官系である。ＧＩＴ１００は、一般に、食物を取り込むための口１０２、唾液を生成するための唾液腺１０４、収縮によって補助されて食物が通過する食道１０６、食物の消化を補助するための酵素及び胃酸を分泌するための胃１０８、肝臓１１０、胆嚢１１２、膵臓１１４、栄養素を吸収するための小腸（ｓｍａｌｌ ｉｎｔｅｓｔｉｎｅ）／小腸１１６（「ＳＢ」）、並びに水及び排便の前に排泄物を糞便として貯蔵するための結腸４００（例えば、大腸）を含む。結腸４００は一般に、虫垂４０２、直腸４２８、及び肛門４３０を含む。口から取り込まれた食物は、ＧＩＴによって消化されて栄養素を取り込み、残りの老廃物は肛門４３０から糞便として排出される。
【0082】
ＧＩＴ１００の異なる部分（例えば、結腸４００、食道１０６、及び／又は胃１０８）の調査は、適切なユーザインタフェースを介して提示され得る。上記のように、「調査」という用語は、特定の患者及び特定の時間に対して実行される単一のＣＥ処置中に、ＣＥ撮像デバイス（例えば、２１２、図２）によって捕捉された画像から選択される画像の少なくともセットを指し、かつ含み、任意選択的に、画像以外の情報も含むことができる。実行される処置の種類は、ＧＩＴ１００のどの部分が関心部分であるかを決定することができる。実施される処置の種類の例としては、限定されないが、小腸処置、結腸処置、小腸及び結腸処置、小腸を特異的に呈する若しくは確認することを目的とする処置、結腸を特異的に呈する若しくは確認することを目的とする処置、結腸及び小腸を特異的に呈する若しくは確認することを目的とする処置、又はＧＩＴ全体：食道、胃、ＳＢ、及び結腸を呈する若しくは確認するための処置が挙げられる。
【0083】
図２は、ＣＥ処置を介して生体内で捕捉された医用画像を分析するためのシステムのブロック図を示す。システムは、概して、ＧＩＴの画像を取り込むように構成されたカプセルシステム２１０と、捕捉された画像を処理するように構成されたコンピューティングシステム３００（例えば、ローカルシステム及び／又はクラウドシステム）とを含む。
【0084】
カプセルシステム２１０は、ＣＥ撮像デバイス２１２がＧＩＴを通って移動するときにＧＩＴの画像を捕捉するように構成された嚥下式ＣＥ撮像デバイス２１２（例えば、カプセル）を含むことができる。画像は、ＣＥ撮像デバイス２１２に記憶されてもよく、及び／又は典型的にはアンテナを含む受信デバイス２１４に送信されてもよい。いくつかのカプセルシステム２１０では、受信デバイス２１４は、ＣＥ撮像デバイス２１２を飲み込んだ患者上に配置されてもよく、例えば、患者によって着用されるベルト又は患者に固定されるパッチの形態をとってもよい。
【0085】
カプセルシステム２１０は、コンピューティングシステム３００と通信可能に結合されてもよく、捕捉された画像をコンピューティングシステム３００に通信することができる。コンピューティングシステム３００は、他の技術の中でもとりわけ、画像処理技術、機械学習技術、及び／又は信号処理技術を使用して、受信された画像を処理し得る。コンピューティングシステム３００は、患者及び／又は患者の治療施設にとってローカルなローカルコンピューティングデバイス、クラウドサービスによって提供されるクラウドコンピューティングプラットフォーム、又はローカルコンピューティングデバイスとクラウドコンピューティングプラットフォームとの組み合わせを含むことができる。
【0086】
コンピューティングシステム３００がクラウドコンピューティングプラットフォームを含む場合、カプセルシステム２１０によって捕捉された画像は、クラウドコンピューティングプラットフォームにオンラインで送信され得る。様々な実施形態では、画像は、患者によって装着又は携行される受信デバイス２１４を介して伝送されることができる。様々な実施形態では、画像は、患者のスマートフォンを介して、又はインターネットに接続され、ＣＥ撮像デバイス２１２又は受信デバイス２１４と結合され得る任意の他のデバイスを介して伝送されることができる。
【0087】
図３は、本開示の画像分析システムと共に使用され得る例示的なコンピューティングシステム３００のブロック図を示す。コンピューティングシステム３００は、例えば、１つ以上の中央処理装置プロセッサ（単数又は複数）（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、１つ以上のグラフィック処理装置（単数又は複数）（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ若しくはＧＰＧＰＵ）、チップあるいは任意の好適なコンピューティング又は計算デバイス、オペレーティングシステム２１５、メモリ３２０、記憶装置３３０、入力デバイス３３５、及び出力デバイス３４０であり得るか、若しくはこれらを含み得る、プロセッサ又はコントローラ３０５を含んでもよい。ＣＥ撮像デバイス２１２（図２）が収集した医用画像を表示するために収集又は受信（例えば、患者が装着した受信機）若しくは表示あるいは選択するモジュール又は機器（例えば、ワークステーション）は、図３に示されるコンピューティングシステム３００であってもよく、若しくはそれを含んでもよく、あるいはそれによって実行されてもよい。コンピューティングシステム３００の通信構成要素３２２は、例えば、インターネット若しくは別のネットワークを介して、無線を介して、又はファイル転送プロトコル（ＦＴＰ）等の好適なネットワークプロトコルを介して、遠隔又は外部デバイスとの通信を可能にし得る。
【0088】
コンピューティングシステム３００は、コンピューティングシステム３００の動作の調整、スケジューリング、調停、監督、制御、又は管理、例えばプログラムの実行のスケジューリングを含むタスクを実行するように設計及び／又は構成された任意のコード区分であり得る、又は含み得るオペレーティングシステム３１５を含む。メモリ３２０は、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ダイナミックＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、シンクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤ－ＲＡＭ）、ダブルデータレート（ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ、ＤＤＲ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリ装置、長期メモリ装置、又は他の好適なメモリ装置若しくは記憶装置であってもよいし、あるいはそれらを含んでもよい。メモリ３２０は、複数のメモリ装置、場合によっては異なるメモリ装置であってもよいし、又はそれらを含んでもよい。メモリ３２０は、例えば、方法（例えば、実行可能コード３２５）を実行するための命令、及び／又はユーザ応答、割り込みなどのデータを保存してもよい。
【0089】
実行可能コード３２５は、任意の実行可能コード、例えば、アプリケーション、プログラム、プロセス、タスク、又はスクリプトであってもよい。実行可能コード３２５は、場合によってはオペレーティングシステム３１５の制御下で、コントローラ３０５によって実行されてもよい。例えば、実行可能コード３２５が実行されると、本明細書に記載されるような医用画像の表示のために表示又は選択させてもよい。いくつかのシステムでは、２つ以上の計算システム３００又はコンピューティングシステム３００の構成要素は、本明細書に記載される複数の機能に使用されてもよい。本明細書に記載される様々なモジュール及び機能のために、１つ以上のコンピューティングシステム３００又はコンピューティングシステム３００の構成要素を使用してもよい。コンピューティングシステム３００に含まれる構成要素と同様又は異なる構成要素を含むデバイスを使用してもよく、ネットワークに接続され、システムとして使用されてもよい。１つ以上のプロセッサ（単数又は複数）３０５は、例えば、ソフトウェア又はコードを実行することによって、本発明の実施形態を実行するように構成されてもよい。記憶装置３３０は、例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｋ、ＣＤ）ドライブ、書き込み可能なＣＤ（ＣＤ－Ｒｅｃｏｒｄａｂｌｅ、ＣＤ－Ｒ）ドライブ、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）デバイス、又は他の好適な取り外し可能及び／若しくは固定記憶装置であってもよいし、あるいはそれらを含んでもよい。命令、コード、医用画像、画像ストリームなどのデータは、記憶装置３３０に保存されてもよく、記憶装置３３０からメモリ３２０にロードされてもよく、コントローラ３０５によって処理されてもよい。いくつかの実施形態では、図３に示す構成要素のいくつかを省略してもよい。
【0090】
入力デバイス３３５は、例えば、マウス、キーボード、タッチスクリーン若しくはパッド、又は任意の好適な入力デバイスであってもよいし、あるいはそれらを含んでもよい。任意の好適な数の入力デバイスがコンピューティングシステム３００に動作可能に接続され得ることが認識されるであろう。出力デバイス３４０は、１つ以上のモニタ、スクリーン、表示装置、スピーカ、及び／又は任意の他の好適な出力デバイスを含んでもよい。ブロック３４０で示すように、任意の好適な数の出力デバイスがコンピューティングシステム３００に動作可能に接続され得ることが認識されるであろう。任意の適用可能な入力／出力（Ｉ／Ｏ）デバイスは、コンピューティングシステム３００、例えば、有線又は無線ネットワークインタフェースカード（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ、ＮＩＣ）、モデム、プリンタ、若しくはファクシミリ装置に接続されてもよく、ユニバーサルシリアルバス（ＵＳＢ）デバイス、あるいは外部ハードドライブは、入力デバイス３３５及び／又は出力デバイス３４０に含まれてもよい。
【0091】
図３に示される構成要素の一部又は全部を含む複数のコンピュータシステム３００が、説明されるシステム及び方法と共に使用され得る。例えば、ＣＥ撮像デバイス２１２、受信機、クラウドベースのシステム、及び／又は画像を表示するためのワークステーション若しくはポータブルコンピューティングデバイスは、図３のコンピュータシステムの構成要素の一部又は全てを含むことができる。図３のコンピューティングシステム３００のような構成要素を含むクラウドプラットフォーム（例えば、リモートサーバ）は、画像及びメタデータなどの処置データを受信し、調査を処理並びに生成してもよく、また、医者のレビューのために（例えば、ワークステーション又は携帯コンピュータ上で実行されるウェブブラウザ上に）表示してもよい。「オンプレミス」オプションでは、画像及び／又は調査を保存、処理、及び表示するために、医療施設のワークステーション又はローカルサーバを使用してもよい。
【0092】
本開示のいくつかの実施形態によれば、ユーザ、例えば、医師は、対象となり得る画像として、例えば、自動的に選択された（例えば、ＣＥ撮像デバイス２１２が捕捉した）調査、例えば画像の表示をレビューすることによって、症例の理解を構築してもよい。本開示のいくつかのシステムによれば、捕捉した画像からの比較的少数枚の画像が、ユーザのレビューのために、症例ごとに表示される。「比較的少数枚」とは、典型的には、症例ごとに数千枚もの画像（例えば、約６，０００枚の画像）を含む画像の映像ストリームを表示する現在の方法とは対照的に、多くても又は少なくとも平均でおよそ数百枚であることを意味する。いくつかのシステムでは、ユーザのレビューのために、数百枚までの画像のみが表示される。いくつかのシステムでは、ユーザのレビューのために表示される画像の枚数は、およそ１，０００枚までである。数千枚の画像の映像ストリームをブラウジング又はレビューすることとは対照的に、比較的少量の静止画像をブラウジングすることにより、ユーザのレビュープロセスが大幅に容易になり、症例ごとの読み取り時間が短縮され、より良好な診断がもたらされ得る。調査を表示するための例示的ユーザインタフェースの態様は、参照することによってその全体として本明細書に組み込まれる、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｄｉｓｐｌａｙｉｎｇ ａ Ｓｔｕｄｙ ｏｆ ａ Ｓｔｒｅａｍ ｏｆ Ｉｎ－Ｖｉｖｏ Ｉｍａｇｅｓ」と題された同時係属の国際特許出願公開第ＷＯ／２０２０／０７９６９６号に説明されている。コンピューティングシステム３００及びカプセルシステム（２１０、図２）の他の態様は、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃａｐｓｕｌｅ Ｅｎｄｏｓｃｏｐｙ Ｐｒｏｃｅｄｕｒｅ」と題された同時係属中の米国仮特許出願第６２／８６７，０５０号に記載されており、その全体が参照により本明細書に組み込まれる。
【0093】
図４を参照すると、結腸４００の図が示されている。結腸４００は水を吸収し、残りの老廃物は排便によって除去される前に糞便として貯蔵される。結腸４００は、例えば、５つの解剖学的区分：盲腸４０４、右又は上行結腸４１０、横行結腸４１６、左又は下行結腸４２２（例えば、左結腸－Ｓ字結腸４２４）、及び直腸４２８に分割され得る。
【0094】
回腸４０８は、小腸の最後の部分であり、盲腸４０４に通じており、回盲弁（ＩＣＶ）４０６と呼ばれる筋弁によって盲腸４０４から分離されている。盲腸４０４は、結腸４００の最初の部分である。盲腸４０４は、虫垂４０２を含む。結腸４００の次の部分は上行結腸４１０である。上行結腸４１０は、盲腸４０４によって小腸に接続されている。上行結腸４１０は、腹腔を通って横行結腸４１６に向かって上方に延びる。
【0095】
横行結腸４１６は、右結腸曲４１４（肝臓による結腸４００の曲がり）としても知られる肝湾曲部から、左結腸曲４１８（脾臓による結腸４００の曲がり）としても知られる脾湾曲部までの結腸４００の一部である。横行結腸４１６は胃から垂れ下がり、大網と呼ばれる腹膜の大きなひだによって胃に付着している。後側では、横行結腸４１６は、横行結腸間膜として知られる腸間膜によって後腹壁に接続される。
【0096】
下行結腸４２２は、左結腸曲４１８からｓ字結腸４２６の始まりまでの結腸４００の部分である。消化器系における下行結腸４２２の１つの機能は、直腸に排出される糞便を貯蔵することである。下行結腸４２２は、近位腸よりも消化管に沿って遠くにあるので、遠位腸とも呼ばれる。腸管内菌叢は、一般に、この領域において非常に密である。Ｓ字結腸４２６は、下行結腸４２２の後で直腸４２８の前の結腸４００の部分である。ｓｉｇｍｏｉｄという名称はＳ字型を意味する。Ｓ字結腸４２６の壁は筋肉であり、収縮して結腸４００内の圧力を増加させ、大便を直腸４２８内に移動させる。Ｓ字結腸４２６には、Ｓ字動脈のいくつかの枝（通常２～６本）から血液が供給される。
【0097】
直腸４２８は結腸４００の最後の部分である。直腸４２８は、形成された糞便を保持し、排便による排除を待つ。
【0098】
ＣＥ撮像デバイス２１２（図２）は、結腸４００の内部を撮像するために使用されてもよい。小腸から結腸４００への進入は、ＩＣＶ ４０６を通して起こる。通常、ＣＥ撮像デバイス２１２は、ＩＣＶ ４０６を介して結腸４００に入った後、盲腸４０４に入る。しかしながら、場合によっては、ＣＥ撮像デバイス２１２は、盲腸４０４を見失って上行結腸４１０に直進する。結腸４００は、ほとんど制限されないＣＥ撮像デバイス２１２の移動を可能にするのに十分な幅であってもよい。ＣＥ撮像デバイス２１２は、回転及びロールすることができる。ＣＥ撮像デバイス２１２は、長時間にわたって１つの場所に静止してもよく、又は結腸４００を通って非常に速く移動してもよい。
【0099】
一般に、ＧＩＴの解剖学的区分への分割は、例えば、異なる解剖学的区分間を通るＣＥ撮像デバイス２１２の特定に基づいて行われてもよい。このような特定は、例えば、機械学習技術に基づいて行われてもよい。画像が捕捉されたＧＩＴ部分によるＧＩＴ画像の分割は、同時係属中の米国仮特許出願第６３／０１８，８９０号で扱われており、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第６３／０１８，８７８号で扱われている。上記各出願の全内容は、参照により本明細書に組み込まれる。画像が捕捉されたＧＩＴ部分又は結腸部分によってＧＩＴ画像を分割するための他の技法は、当業者によって理解されるであろう。
【0100】
以下の説明は、カプセル内視鏡デバイスによって捕捉された結腸の画像に関する。そのような結腸画像は、ＧＩＴの画像のストリームの一部であってもよく、同時係属出願の技術を使用して、又は当業者が理解するであろう他の方法論を使用して、ＧＩＴ画像のストリームから取り出されてもよい。
【0101】
図５を参照すると、画像の分類スコアを提供するための深層学習ニューラルネットワーク５００のブロック図が示されている。画像５０２は結腸画像である。本開示では、「分類スコア」又は「スコア」という用語は、画像／フレームに適用可能なカテゴリ又はカテゴリのセットについて機械学習システム／モデルによって生成された値又は値のベクトルを説明するために使用され得る。「分類確率」又は「確率」という用語は、分類スコアの、カテゴリのセットの各カテゴリが画像／フレームに適用される確率を反映する値への変換を説明するために使用され得る。
【0102】
いくつかのシステムでは、深層学習ニューラルネットワーク５００は、畳み込みニューラルネットワーク（ＣＮＮ）及び／又は「長・短期記憶」（ＬＳＴＭ）を有するリカレントニューラルネットワークを含むことができ、これについては本明細書で後により詳細に説明する。機械学習において、ＣＮＮは、画像を分析するために最も一般的に使用される人工ニューラルネットワークのクラスである。ＣＮＮの畳み込みの態様は、行列処理演算（「カーネル」又は「フィルタ」と呼ばれる）を画像の局所部分に適用することに関する。カーネル／フィルタは、画像を分類するために使用することができる入力画像の特性を識別するために、ＣＮＮの教師あり訓練中に計算的に調整される。ＣＮＮは、典型的には、あまりに多くの情報を失うことなく次元を低減するために、畳み込み層、活性化関数層、及びプーリング（典型的には最大プーリング）層を含む。
【0103】
深層学習ニューラルネットワーク５００は、１つ以上のＣＮＮを使用して、ＣＥ撮像デバイス２１２（図２参照）によって撮影された１つ以上の結腸画像に対して、１つ以上の目印、結腸特性、結腸病態、又は結腸内容（例えば、気泡等）の存在に関する分類スコアを提供することができる。例えば、深層学習ニューラルネットワーク５００は、結腸ポリープ５１０の存在、回盲弁５１２の存在、痔静脈叢５１４の存在、又は他の目印、特徴、病態、若しくは内容５１６（例えば、結腸出血）の存在について、画像の分類スコアを生成することができる。深層学習ニューラルネットワーク５００は、コンピューティングシステム３００（図３）上で実行され得る。当業者は、深層学習ニューラルネットワーク５００及びそれをどのように実装するかを理解するであろう。限定はしないが、ＭｏｂｉｌｅＮｅｔ又はＩｎｃｅｐｔｉｏｎを含む様々な深層学習ニューラルネットワークを使用することができる。
【0104】
深層学習ニューラルネットワーク５００は、ラベル付けされた訓練画像に基づいて訓練され得る。例えば、画像は、とりわけ、結腸ポリープ、回盲弁、又は痔静脈叢の存在等の、目印、病態、特徴、又は内容の存在を示すラベル５０４を有し得る。ラベル５０４は、深層学習ニューラルネットワーク５００を訓練するためだけに使用され、推論のために訓練の外で、すなわち深層学習ニューラルネットワーク５００を動作させるときには使用されないことを示すために破線で示されている。訓練は、ノイズを追加すること、色を変更すること、訓練画像の部分を隠すこと、訓練画像のスケーリング、訓練画像を回転させること、訓練画像のミラーフリップ、及び／又は訓練画像を伸張することを含むように訓練画像を拡張することを含み得る。当業者は、深層学習ニューラルネットワーク５００の訓練及び訓練をどのように実施するかを理解するであろう。
【0105】
分類スコアを提供するための図５の例示的な実施形態は例示的なものであり、分類スコアを提供する他の方法も本開示の範囲内であると考えられる。例えば、２つ以上の深層学習ニューラルネットワーク（図示せず）は、結腸画像５０２の分類スコア５１０～５１６を提供するように動作することができる。例えば、１つの深層学習ニューラルネットワークは、ポリープ５１０の存在に関する分類スコアを提供するように構成されてもよく、別の深層学習ニューラルネットワークは、回盲弁５１２の存在に関する分類スコアを提供するように構成されてもよく、第３の深層学習ニューラルネットワークは、痔静脈叢５１４の存在に関する分類スコアを提供するように構成されてもよい。分類スコア５１０～５１６は、異なる構成の２つ以上の深層学習ニューラルネットワークによって提供され得る。
【0106】
別の例として、様々な実施形態では、教師なし学習又は別のタイプの学習が使用され得る。様々な実施形態では、分類スコアは、ニューラルネットワークの様々な構成によって、ニューラルネットワークではない機械学習システム（例えば、特徴選択を伴う古典的機械学習システム）によって、及び／又は当業者が認識するであろう分類技法によって提供されることができる。様々な実施形態では、機械学習システム又は分類システムは、分類スコアではなく、又はそれに加えて、分類確率を提供することができる。様々な実施形態では、分類スコアは、Ｐｌａｔｔスケーリング、ＳｏｆｔＭａｘ、又は当業者によって認識されるであろう他の技法等の技法を使用して、分類確率に変換されることができる。このような変形形態は、本開示の範囲内にあることが企図されている。
【0107】
図６を参照すると、ポリープを含む画像を識別するための例示的な動作の流れ図が示されている。図６の動作は、図２及び図３のコンピューティングシステムなどのコンピューティングシステムによって実行することができる。図６のいくつか又は全てのブロックは、ポリープ検出システムと称され得る。ブロック６１０において、動作は、図２のＣＥ撮像デバイス２１２などのカプセル内視鏡デバイスによって捕捉された様々な結腸画像にアクセスする。ブロック６２０において、初期画像選択プロセスが結腸画像に適用され、シード画像として様々な画像が選択される。選択プロセスは、図５の深層学習ニューラルネットワークによって提供されるスコア／確率等のポリープ存在スコア又は確率６２２にアクセスする。
【0108】
一般に、シード画像選択プロセス６２０は、最も高いポリープ存在スコアを有する画像を選択し、この選択は様々な方法で実行することができる。例示的な選択プロセスは、国際出願公開第ＷＯ２０１７１９９２５８号及び米国仮特許出願第６３／０１８，８７０号に記載されており、これらは参照によりその全体が本明細書に組み込まれ、ブロック６２０の初期選択プロセスに適用することができる。例えば、簡単な説明として、初期選択プロセスは反復プロセスとすることができる。各反復において、プロセスは、ポリープの存在について最も高いスコア／確率を有する画像を選択し、選択された画像は、本明細書では「シード画像」と呼ばれる。シード画像の周囲にある画像のスコア／確率は、同じポリープの画像が後続の反復において選択される可能性を低減するために減少される。このプロセスは、１つ以上の停止基準が満たされるまで繰り返される。例えば、反復画像選択プロセスは、残りの画像スコアがスコア／確率閾値を満たさないときに終了することができる。別の例として、反復画像選択プロセスは、例えば、６０個のシード画像又は１００個のシード画像など、特定の数のシード画像が選択されたときに終了することができる。図７は、ｘ軸が画像のインデックス／ＩＤ番号を表し、ｙ軸が画像のポリープ存在スコアを表すグラフにおける反復選択プロセスの結果を示す。反復プロセスによって選択された画像は、グラフの上部に円で示されている。初期画像選択プロセス６２０の結果は、高いポリープ存在スコア又は確率を有するシード画像のセットである。上述したように、説明された画像選択プロセスは例示的なものであり、他の画像選択方法及び技術が本開示の範囲内にあると考えられる。
【0109】
ブロック６２０の結果は、高いポリープ存在スコア又は確率を有するシード画像である。ブロック６３０～６５０の動作は以下で説明され、そのようなブロックは、当業者が理解するであろう感度と特定性との間のトレードオフに基づいて動作し得る。ブロック６２０の動作において、たとえ特定性を低下させる必要があっても、感度に重点を置くことができる。ブロック６３０～６５０の動作では、感度を下げる必要がある場合であっても、特定性に重点を置くことができる。
【0110】
引き続き図６を参照すると、ブロック６３０において、初期画像選択プロセスから得られたシード画像は、ネガティブフィルタ及び／又はポジティブフィルタによって処理される。本明細書で使用される場合、ポジティブフィルタは、ポリープを含むシード画像として１つ以上の基準を満たすシード画像をポジティブに指定する動作である。一方、ネガティブフィルタは、１つ以上の基準を満たすシード画像を、ポリープを含むものとして積極的に指定されるべきではないシード画像として識別する動作である。様々な実施形態において、ネガティブフィルタは、シード画像をポリープを含まないものとして指定しない。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。ブロック６３０は、１つ以上のポジティブフィルタ及び／又は１つ以上のネガティブフィルタを適用することができ、これについては、本明細書において後でより詳細に説明する。ここでは、様々なフィルタが、図５の深層学習ニューラルネットワークによって提供される分類スコア又は確率などのスコア又は確率６３２を使用し得ることに留意することで十分である。更に、様々なフィルタは、図１０及び図１１に関連して説明される画像トラック６３４を使用することができる。フィルタは、特に、ヒューリスティックを使用して、又は深層学習ニューラルネットワーク若しくは古典的機械学習システムなどの機械学習システムを使用して実装され得る。ブロック６３０の結果は、ポリープを含むシード画像としてポジティブフィルタによって指定されたシード画像、ネガティブフィルタによって識別されたシード画像、及びポジティブフィルタによって指定されずネガティブフィルタによっても識別されないシード画像を含むことができる。ポジティブフィルタによって指定されておらず、ネガティブフィルタによって識別されてもいないシード画像の最後のグループは、本明細書では「フィルタリングされていない」シード画像と呼ばれる。フィルタリングされていないシード画像は、ブロック６４０によって処理される。
【0111】
ブロック６４０において、ブロック６３０から得られたフィルタリングされていないシード画像は、フィルタリングされていないシード画像がポリープを含むか又はポリープを含まないかを示す分類スコア又は確率を提供するように動作する機械学習システムによって処理される。機械学習システムは、フィルタリングされていないシード画像に関連付けられた入力特徴６４２にアクセスし、これについては、本明細書において後でより詳細に説明する。様々な実施形態では、機械学習システムは、古典的機械学習システムであってもよく、教師あり学習、教師なし学習、又は別のタイプの学習によって訓練されることができる。様々な実施形態において、機械学習システムは、次数ｎを有するソフトマージン多項式サポートベクトルマシンであってもよく、次数は、２次、３次、又は別の次数であってもよい。上述したように、機械学習システムの出力は、フィルタリングされていないシード画像がポリープを含むか、又はポリープを含まないかを示す分類スコア又は確率である。当業者は、そのような機械学習システムをどのように実装し、入力特徴に基づいてそのような機械学習システムをどのように訓練するかを理解するであろう。
【0112】
ブロック６５０において、プロセスは、機械学習システムによって提供される分類スコア又は確率に基づいて、ポリープを含む高い信頼度を有する画像を識別する。様々な閾値を分類スコア又は確率に適用することができる。例えば、様々な実施形態では、ポリープを含有する９９％を上回る分類確率を有する画像が、ブロック６５０において選択されることができる。ブロック６５０の結果は、ポリープを含む画像としてポジティブフィルタによって指定されなかったが、機械学習分類スコア又は確率に基づいてポリープを含む高い信頼度を有した画像である。ブロック６５０によって選択されたそのような画像は、本明細書で後述する様々な方法で使用することができる。様々な実施形態では、ブロック６３０でポジティブフィルタによってポリープを含むものとして指定された画像は、本明細書で後述するように、様々な方法で使用することもできる。
【0113】
図６の動作は例示であり、変形形態は、本開示の範囲内にあることが企図されている。例えば、様々な実施形態において、プロセスは、ブロック６４０及び６５０を実行する必要はなく、代わりに、図８に示されるように、ブロック６３０で終了することができる。図８の実施形態では、ブロック６３０の結果は、ポリープを含むものとしてポジティブフィルタによって指定されたシード画像及び／又はフィルタリングされていないシード画像であり得る。図６の別の変形例として、様々な実施形態では、図９に示すように、ブロック６３０を実行しなくてもよい。図９の実施形態では、機械学習システムは、全てのシード画像６４０に適用され、シード画像６４２に関連付けられた入力特徴にアクセスする。そのような及び他の変形形態は、本開示の範囲内にあることが企図されている。
【0114】
【0115】
図６及び図８に示されるように、様々なフィルタがシード画像６３２の画像トラックにアクセスして使用する。本明細書で使用される場合、「トラック」は、シード画像内のポリープが連続画像トラッカによって追跡された連続画像の集合を指す。上述したように、「連続画像」という語句は、シーケンスで順序付けられたときに、シーケンス内で互いに隣接する画像を意味する。「連続画像トラッカ」は、連続画像／フレーム間の物体の小さな変化を識別するように設計され、互いに近いシード画像が同じポリープを含み得るかどうかを識別することができる物体追跡技法を指す。そのような追跡技術は、例えば、オプティカルフロー技術を含む。当業者は、オプティカルフロー技術をどのように実装するかを理解するであろう。連続画像中のオブジェクトを追跡するための他の技術は、本開示の範囲内であると考えられる。
【0116】
図１０は、シード画像に対するトラックを識別するためにシード画像に連続画像トラッカを適用する例を示す。シード画像１０１０から開始して、連続画像トラッカは、ポリープ１０１２を追跡するために隣接画像を処理する。図示の例では、ポリープ１０１２は、シード画像１０１０の前の５つのフレームにわたって追跡され、シード画像１０１０の後の３つのフレームにわたって追跡される。シード画像１０１０の後の第４のフレーム１０２０において、追跡技術の動作によって追跡が終了する。追跡技術のグラフィック表現１０３０は、ポリープの予想位置１０３２がポリープの実際の位置１０３４からずれていることを示す。したがって、ポリープ１０１２はそのフレーム１０２０に追跡されなかった。シード画像１０１０のトラックは、シード画像１０１０内のポリープ１０１２が連続画像トラッカによって追跡された、図１０の連続フレーム（フレーム１０２０なし）の集合である。トラックはシード画像１０１０を含む。したがって、図６及び図８では、各シード画像６３２についてトラックがアクセスされ、トラックは、様々なポジティブ及び／又はネガティブフィルタによって使用することができる。図１０の実施形態は例示的なものである。様々な実施形態では、「トラック」は、２０２０年９月２日に出願された同時係属中の米国仮特許出願第６３／０７３，５４４号に記載されている分類システムを使用して２つの画像を比較するための技術など、２つの画像を比較するための他の技術を使用して識別することができる。このような仮出願は、その全体が参照により本明細書に組み込まれる。
【0117】
上述したように、ポジティブフィルタは、ポリープを含むシード画像として１つ以上の基準を満たすシード画像をポジティブに指定する動作である。本開示の態様によれば、ポジティブフィルタは、閾値以上であるポリープ存在スコア又は確率６２２を有するシード画像が、ポリープを含むシード画像として指定されるという基準を有し得る。様々な実施形態では、ポリープ存在スコアは、０と１との間の値に正規化されてもよい。ポリープ存在確率は、当然０と１の間である。様々な実施形態において、閾値は、０．９９９９９９若しくは０．９９９９９９９、又はシード画像がポリープを含む高い確度を提供する別の値であってもよい。
【0118】
様々な実施形態において、ポジティブフィルタは、シード画像のトラックが、ポリープ存在スコア又は確率が閾値以上である少なくとも特定の数の連続画像を含むという更なる基準を有し得る。様々な実施形態において、シード画像及びトラック内の画像に対する閾値は、同じ値であってもよい。様々な実施形態において、シード画像及びトラック内の画像に対する閾値は、異なる値であってもよい。一例として、ポジティブフィルタは、シード画像が少なくとも０．９９９９９のポリープ存在スコア／確率を有し、シード画像に隣接する少なくとも５つの連続フレームも少なくとも０．９９９９のポリープ存在スコア／確率を有する場合に、シード画像をポリープを含むものとして指定することができる。図１１は、そのようなシード画像及びトラックの例を示し、シード画像はフレーム番号１７１５７１によって識別される。シード画像は、０．９９９９９のポリープ存在スコアを有し、シード画像に隣接する５つの連続フレームは、少なくとも０．９９９９のポリープ存在スコアを有する。したがって、図１１のシード画像は、ポリープを含むものとしてポジティブフィルタによって指定される。
【0119】
上述のポジティブフィルタは例示的なものである。画像をポリープを含むものとして積極的に指定するための他のポジティブフィルタは、本開示の範囲内であると考えられる。例えば、トラック情報は、ポジティブフィルタを形成するために他の方法で使用されてもよい。上述したように、トラックは画像の集まりを含み、そのような画像は、カプセル内視鏡デバイス（例えば、図２の２１２）によって経時的に捕捉される。時間的性質の情報は、長・短期記憶（ＬＳＴＭ）を用いて処理することができる。図５の深層学習ニューラルネットワーク５００などの深層学習ニューラルネットワークは、画像のトラックを入力として受信するように構成され得る。深層学習ニューラルネットワークは、深層学習ニューラルネットワークによって受信された画像トラックに基づいてシード画像のための分類スコア又は確率を与えるように訓練され得る。分類スコア又は確率は、例えば、シード画像がポリープを含む確率のスコアであり得る。
【0120】
上述したように、ネガティブフィルタは、１つ以上の基準を満たすシード画像を、ポリープを含むものとして積極的に指定されるべきではないシード画像として識別する動作である。様々な実施形態において、ネガティブフィルタは、シード画像をポリープを含まないものとして指定しない。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。
【0121】
図６及び図８に示すように、ネガティブフィルタは、図５の機械学習システムによって提供される分類スコア又は確率などの分類スコア又は確率６３２にアクセスすることができる。本開示の態様によれば、ネガティブフィルタは、回盲弁（ＩＣＶ）存在スコア又は確率にアクセスすることができ（例えば、５１２、図５）、例えば０．９９９９９を上回る、又は別の閾値を上回るＩＣＶ確率など、閾値を上回るＩＣＶスコア又は確率を有するシード画像を識別するように動作することができる。回盲弁は、小腸から結腸への移行部における解剖学上の目印であり、シード画像がシード画像であるために十分に高いポリープ存在スコア又は確率を有し得る一方で、所定の閾値を上回るＩＣＶ存在スコアも有し得るように、外観が大きな結腸ポリープに類似し得る。そのようなシード画像は、基準を満たすものとしてネガティブフィルタによって識別することができる。ネガティブフィルタは、シード画像をポリープを含まないものとして指定することができる。
【0122】
本開示の態様によれば、ネガティブフィルタは、痔静脈叢の存在スコア又は確率にアクセスすることができる（例えば、５１４、図５）。痔静脈叢は、大腸の末端で直腸を取り囲む解剖学上の目印であり、結腸ポリープと外観が類似していることがある。様々な実施形態では、ネガティブフィルタは、例えば、０．９９９９９を上回る、又は別の閾値を上回る痔静脈確率等、閾値を上回る痔腸静脈スコア又は確率を有するシード画像を識別するように動作することができる。シード画像は、シード画像であるのに十分に高いポリープ存在スコア又は確率を有し得る一方で、所定の閾値を上回る痔静脈叢存在スコアも有し得る。そのようなシード画像は、基準を満たすものとしてネガティブフィルタによって識別することができる。ネガティブフィルタは、シード画像をポリープを含まないものとして指定することができる。
【0123】
様々な実施形態では、痔静脈叢存在スコア又は確率にアクセスするのではなく、代わりに、ネガティブフィルタが、身体出口／消化管の出口へのシード画像の近接度を判定するように動作することができる。シード画像の身体出口への近接度は、様々な方法で決定することができる。例えば、ネガティブフィルタは、結腸画像（例えば、図６のブロック６１０においてアクセスされた結腸画像）にアクセスすることができ、シード画像が結腸画像の最終部分内にあるかどうか、例えば、シード画像が結腸画像の最終０．５％内にあるか、又は結腸画像の別の最終パーセンテージ内にあるかどうかによって、シード画像の身体出口への近接性を判定することができる。シード画像が結腸画像の最終部分内にある場合、ネガティブフィルタは、基準を満たすものとしてシード画像を識別することができる。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。様々な実施形態において、ネガティブフィルタは、基準を満たすものとしてシード画像を識別してもよいが、ポリープを含まないものとしてシード画像を指定しなくてもよい。
【0124】
本開示の態様によれば、ネガティブフィルタは、図１０に関連して説明した画像トラックなど、シード画像のための画像トラックにアクセスすることができる。ネガティブフィルタは、シード画像が、閾値を上回るポリープ存在スコア又は確率を有するトラック内の唯一の画像であるときに、シード画像を識別する基準を有することができる。例えば、画像トラックのシード画像が少なくとも０．９９８のポリープ存在確率を有し、画像トラック内の他の全ての画像が０．９９８未満のポリープ存在確率を有する場合、シード画像は基準を満たすものとして識別することができる。他の閾値を使用することもできる。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。様々な実施形態において、ネガティブフィルタは、基準を満たすものとしてシード画像を識別してもよいが、ポリープを含まないものとしてシード画像を指定しなくてもよい。
【0125】
本開示の態様によれば、ネガティブフィルタは、シード画像の推定ポリープサイズにアクセスすることができる。ネガティブフィルタは、推定ポリープサイズが３．５ｍｍ未満又は別の閾値未満であるときなど、シード画像の推定されたポリープサイズが閾値未満であるときにシード画像を識別する基準を有することができる。ネガティブフィルタによってアクセスされる推定ポリープサイズを生成するために、様々な技法を使用することができる。技術の例は、整理番号Ａ０００４９９７ＵＳ０１（２８５１－１７ ＰＲＯ）を有する同時係属中の米国特許出願に開示されており、その全体が参照により本明細書に組み込まれる。画像内のポリープのポリープサイズを推定するための他の技法は、当業者によって理解されるであろう。そのような及び他の変形形態は、本開示の範囲内にあることが企図されている。
【0126】
したがって、様々なポジティブフィルタ及びネガティブフィルタが上述された。そのようなフィルタは、図６及び図８のブロック６３０において適用され得る。図６の動作において、ポジティブフィルタによって指定されず、ネガティブフィルタによっても識別されないシード画像（すなわち、フィルタリングされていないシード画像）は、上述のように、ブロック６４０の機械学習システムによって処理することができる。図８の動作において、ブロック６３０は動作の終わりであり、ポジティブフィルタによって指定されるシード画像を提供することができ、いくつかの実施形態では、フィルタリングされていないシード画像もまた提供することができる。
【0127】
以下は、図６及び図９のブロック６４２においてアクセスされる、機械学習システムのための例示的な入力特徴を説明する。上述したように、機械学習システムは、入力特徴に基づいて動作して、フィルタリングされていないシード画像がポリープを含むか、又はポリープを含まないかを示す分類スコア又は確率を提供する。様々な実施形態において、機械学習システムは、次数ｎを有するソフトマージン多項式サポートベクトルマシンであってもよい。様々な実施形態では、機械学習システムは、当業者が認識するであろう、とりわけ、決定木、ナイーブベイズ、又はロジスティック回帰などの別の古典的機械学習モデルに基づき得る。以下で説明するように、いくつかの入力特徴は、図１０及び図１１に示すような画像トラックなど、シード画像の画像トラックに基づくことができる。
【0128】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、図５に示される検出器などのポリープ検出器によって提供されるシードポリープスコア／確率であり得る。
【0129】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、入力が画像であり、出力が画像がポリープを含む確率であるポリープ検出器（例えば、図５）のアンサンブルによって提供されるポリープスコア／確率に対する票決又は演算に基づいて決定されるシードポリープスコア／確率であり得る。例えば、シードポリープスコアは、ポリープ検出器のアンサンブルによって提供されるポリープスコア／確率の平均であってもよく、又はとりわけ中央値などの別の演算によって提供されてもよい。
【0130】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、トラック長と呼ばれ得る、シード画像のための画像トラック中の画像の数であり得る。
【0131】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、０．９９８より大きい、又は別の閾値より大きいポリープ存在確率など、閾値より大きいポリープ存在スコア又は確率を有するシード画像の画像トラック内の画像の数であり得る。
【0132】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、シード画像のインデックス／ＩＤ番号と結腸の始まりの画像のインデックス／ＩＤ番号との間の画像インデックス／ＩＤ番号の差であり得る。様々な実施形態では、結腸の始まりの画像は、ＩＣＶの画像であり得る。結腸の始まりの画像は、様々な方法で決定することができる。例えば、ＩＣＶ存在スコア又は確率（例えば、５１２、図５）を使用して、ＩＣＶの画像を決定することができる。別の例として、上述したように、画像が捕捉されたＧＩＴ部分によるＧＩＴ画像の分割は、同時係属中の米国仮特許出願第６３／０１８，８９０号で扱われており、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第６３／０１８，８７８号で扱われている。ＧＩＴ画像を部分に分割するためのそのような技術は、結腸の始まりの画像を識別するために使用することができる。結腸の始まりの画像を識別するための他の技法は、本開示の範囲内であると考えられる。
【0133】
本開示の態様によれば、機械学習システムへの入力特徴のうちの１つは、シード画像が捕捉された結腸区分に関する位置特定情報（数字として表される）であり得る。図４に関連して説明したように、結腸４００は、盲腸、右又は上行結腸、横行結腸、左又は下行結腸、及び直腸の５つの解剖学的区分を含む。これらの５つの区分には、それぞれ１から５の番号を付けることができる。シード画像が捕捉された結腸区分の区分番号は、機械学習システムへの入力特徴であり得る。上述したように、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第６３／０１８，８７８号において扱われている。画像が捕捉された結腸部分によって結腸画像を分割するためのそのような技術は、シード画像が捕捉された結腸区分の番号を識別するために使用することができる。シード画像が捕捉された結腸区分の番号を識別するための他の技法は、当業者によって理解され、本開示の範囲内であることが企図される。
【0134】
したがって、機械学習システムへの入力のための様々な入力特徴が説明された。当業者であれば、そのような入力特徴に基づいて機械学習システムを訓練及び実装する方法を理解するであろう。様々な実施形態では、説明される入力特徴の全てが使用される必要はなく、入力特徴の様々な組み合わせが使用されてもよい。様々な実施形態では、説明される入力特徴の全てが使用されてもよい。入力特徴の一部又は全部は、様々な方法で正規化され得る。記載された入力特徴は例示的なものであり、他の入力特徴も本開示の範囲内にあると考えられる。
【0135】
再び図６及び図８を参照すると、ブロック６４０の機械学習システムは、入力特徴を処理し、シード画像の各々がポリープを含むか又はポリープを含まないかを示す分類スコア又は確率を提供する。どのシード画像がポリープを含むシード画像として選択される十分に高い確率を有するかを判定するために、分類確率を直接使用することができる。分類スコアは、Ｐｌａｔｔスケーリング、ＳｏｆｔＭａｘ、又は当業者が認識する他の技法など、様々な方法で分類確率に変換することができる。ポリープを含むものとして指定されたシード画像は、図１２に関連して以下に説明するように、様々な方法で使用することができる。
【0136】
本開示の態様によれば、図６、図８、及び図９の動作は、様々な方法で拡張され得る。例えば、ポリープサイズに関連するローカル医療ガイドライン／診療／方針に準拠するために、ポリープサイズ推定に基づく追加の規則（例えば、調整されたポリープ検出器スコア閾値）が追加されてもよい。例えば、米国の医療行為は、特定のサイズ以上の少なくとも１つのポリープに基づくことが多いのに対し、欧州の医療行為は、任意のサイズの複数のポリープに基づくことが多い。他の国は異なる医療行為を有してもよく、追加の規則が特定の国の医療行為に合わせて調整されてもよい。
【0137】
したがって、上記の説明は、ポリープを含む画像を高い信頼度で識別するためのシステム及び方法を提供する。以下では、識別された画像の例示的な使用について説明する。
【0138】
ここで図１２を参照すると、ポリープの画像を臨床医に提示するための例示的なディスプレイ画面が示されている。ＧＵＩ（又は調査閲覧アプリケーション）を使用して、ユーザのレビューに関する調査を表示し、かつ調査報告（又はＣＥ処置報告）を生成することができる。図１２の画面は、調査に含まれる静止画像のセットを表示する。画像は、例えば、図６、図８、又は図９のブロック６２０で選択されたシード画像であってもよい。ユーザは、画像をレビューし、関心のある１つ以上の画像を選択することができ、例えば、１つ以上のポリープを表示することができる。調査画像は、結腸におけるそれらの位置に従って表示される。この位置は、以下の５つの解剖学的結腸区分、盲腸、上行、横行、下行のＳ字結腸、及び直腸のうちのいずれか１つであり得る。画面は、下行－Ｓ字結腸に位置すると識別された調査画像を示す。ユーザは、異なる区分に位置する画像の表示を切り替えることができる。図示されたディスプレイ画面は、調査報告に含まれる画像を選択するために、ユーザ、例えば臨床医によって使用されてもよい。いくつかの実施形態では、調査は、シード画像（すなわち調査シード画像）に関連付けられたトラックを含むこともできる。そのような場合、ユーザは、表示された画像（図示せず）に関連するトラックを表示することを（ユーザ入力を介して）要求することができる。関連するトラックをレビューすることにより、臨床医は、シード画像（又は任意選択的に任意の他のトラック画像）が関心のあるものであるかどうかを判定する際に臨床医を支援することができるシード画像に関する更なる情報を受信することができる。
【0139】
引き続き図１２を参照すると、臨床医は、画像内で観察されたポリープの周りに境界ボックスを追加することができる。ユーザによって追加される境界ボックス１２１０は、緑色又は別の色などの特定の色で表示することができる。本開示の態様によれば、本開示のシステム及び方法によって識別されたポリープを含む画像を臨床医に提示することができ、境界ボックス１２２０をそのような画像に自動的に追加してポリープの位置を表示することができる。本開示のシステム及び方法によって追加された境界ボックス１２２０は、赤色又は別の色など、ユーザによって追加された境界ボックスとは異なる色で表示することができる。このようにして、ユーザは、どの境界ボックスがユーザによって追加されたか、及びどの境界ボックスが自動的に追加されたかを容易に見ることができる。
【0140】
ここで図１３を参照すると、ポリープの画像を臨床医に提案するための例示的なディスプレイ画面が示されている。ディスプレイ画面は、ポリープを含むものとして臨床医によって選択され、臨床医が最終的なカプセル内視鏡検査処置報告に含めたい画像１３１０、１３１２を示す。臨床医が選択を確定する前に、本開示のシステム及び方法は、臨床医が選択し損なった又は選択しなかった可能性があるポリープ１３２０の提案画像を表示することができる。提案画像１３２０は、ポリープを含む画像としてポジティブフィルタによって指定された画像（例えば、ブロック６３０、図６及び図８）、又はポリープを含むための十分に高い分類スコア又は確率を有するものとしてブロック６５０（図６及び図９）で選択された画像であってもよい。様々な実施形態では、提案画像１３２０は、フィルタリングされていないシード画像も含むことができる。様々な実施形態において、提案されるポリープ１３２０の画像は、臨床医によって選択されたポリープのフレームを含まないＧＩＴ区分に限定されてもよく、又は臨床医が識別したより小さいサイズのポリープ（例えば、６ｍｍ未満）のみのＧＩＴ区分に限定されてもよい。様々な実施形態では、ＧＩＴ区分が臨床医によって選択されたポリープの画像（例えば、６ｍｍ）を含み、本開示のシステムがより小さいポリープの画像（例えば、５ｍｍ）を識別する場合、本開示のシステムは、より小さいポリープを臨床医に提案しないこともある。したがって、様々な実施形態では、追加の臨床的価値（例えば、医療行為ガイドラインに従って）を提供する画像を提案することができるが、追加の臨床的価値を提供しない画像は提案されないことがある。
【0141】
図１４を参照すると、人間の介入又は入力なしに本開示のシステム及び方法によって自動的に生成され得る例示的なディスプレイ画面が示されている。ユーザによって選択された画像１３１０、１３１２を含む図１３のディスプレイ画面とは対照的に、図１４のポリープの画像は、人間の入力なしに自動的に選択することができる。自動的に選択された画像は、ポリープを含む画像としてポジティブフィルタによって指定された画像（例えば、ブロック６３０、図６及び図８）、又はポリープを含むための十分に高い分類スコア又は確率を有するものとしてブロック６５０（図６及び図９）で選択された画像であってもよい。様々な実施形態では、ディスプレイ画面は、任意の臨床医の選択又は決定にかかわらず、全ての提案されたポリープのページを常に表示してもよく、そのようなディスプレイ画面は、臨床医が任意の画像をレビューする前又は後に、ユーザ又は臨床医に利用可能であってもよい。様々な実施形態では、図１４の自動選択は、フィルタリングされていないシード画像を選択しなくてもよい。様々な実施形態では、本開示のシステム及び方法は、図１４のディスプレイ画面をスキップしてもよく、臨床医によるいかなる入力又は介入も伴わずに、カプセル内視鏡検査処置報告を自動的に生成及び確定してもよい。
【0142】
図１２～図１４は、図６、図８、及び図９のプロセスによって選択された画像の可能な使用法を示す。図１２～図１４の実施形態は例示的なものであり、そのようなディスプレイ画面は本開示の範囲を限定しない。他の使用も企図される。様々な実施形態では、本開示のシステム及び方法は、参照することによってその全体として本明細書に組み込まれる、整理番号Ａ０００３７４６ＵＳ０１（２８５１－７ ＰＲＯ）を有する同時係属中の米国仮特許出願に説明されるツール等のＣＥ処置を除外するために、他のツールによる決定を無効にするために使用されることができる。このようなツールは、複数の画像内の所定の事象を捕捉する際のＣＥ処置の有効性の測定値を示す妥当性尺度を提供する。様々な実施形態では、処置の妥当性尺度は、特徴尺度に基づいて決定され、特徴尺度は、所定の事象を捕捉するか又は捕捉しないかのうちの少なくとも１つの確率を示す複数の尺度を含むことができる。複数の尺度は、（ｉ）運動スコア、区分ごとの洗浄レベル、又は通過時間のうちの少なくとも２つを乗算することに基づく区分妥当性確率、（ｉｉ）区分の全てにわたる平均洗浄スコア、患者の人口統計、ＣＥデバイスが到達したＧＩＴの最後の区分、又はＧＩＴの部分においてＣＥデバイスが費やした絶対時間のうちの少なくとも１つに基づく全体的妥当性尺度、及び／又は（ｉｉｉ）画像に関連付けられた解剖学的結腸区分、ＣＥデバイスの通過パターン、ＣＥデバイス通信エラー、複数の画像内の解剖学的目印、又は複数の画像内のＧＩＴ組織のカバレージのうちの少なくとも１つを含むことができる。そのような使用及び他の使用は、本開示の範囲内であると考えられる。
【0143】
本開示は、高い信頼度でポリープの画像を識別するためのシステム及び方法を提供するが、ポリープの全ての発生がフォローアップ処置を必要とし得るわけではない。特に、ポリープのサイズは、フォローアップ処置が必要であるかどうかを決定する際に重要である。ポリープが十分に大きい、例えば少なくとも６ｍｍのサイズである場合、臨床医は一般に、大腸内視鏡検査処置によってポリープを検査したいと考える。本開示の態様によれば、本開示のシステム及び方法は、大腸内視鏡検査を推奨するか否か、又は特定の月数又は年数のフォローアップ処置を推奨するか否かを決定することができる。そのような決定は、図３のコンピューティングシステムなどのコンピューティングシステムによって実行することができる。
【0144】
図１５及び図１６を参照すると、サイズが６ｍｍ以上のポリープが少なくとも１つ存在する確率に基づいて、決定を行うことができる。この決定は、図６、図８、及び図９のプロセスによって識別された画像を使用し、これらの画像は、ポリープを含むものとしてポジティブフィルタによって指定されたシード画像（ブロック６３０）、又はポリープを含む十分に高い分類スコア又は確率を有するシード画像（ブロック６４０、６５０）であり得る。このような画像がｎ個あると仮定すると、Ｐｉ（ＴＰ ＆サイズ≧６［ｍｍ］）は、画像ｉがポリープを含み、ポリープのサイズが少なくとも６ｍｍである確率を表す。この確率は、画像がポリープを含むかどうか、及びポリープが少なくとも６ｍｍのサイズであるかどうかという２つの要素を含む。これら２つの要素が独立していると仮定すると、確率は次のように表すことができる。
Ｐｉ（ＴＰ ＆サイズ≧６［ｍｍ］）＝Ｐｉ（ＴＰ）Ｐｉ（サイズ≧６［ｍｍ］）。
Ｐｉ（ＴＰ）は、画像ｉがポリープを含む確率を表す。Ｐｉ（サイズ≧６［ｍｍ］）は、画像ｉにおいて、ポリープの大きさが６ｍｍ以上である確率を表す。大腸内視鏡検査処置を推奨するかどうかを決定するために、１つの候補画像のみが、少なくとも６ｍｍのサイズであるポリープを含む十分に高い確率を有する必要がある。
Ｐｉ（ＴＰ ＆サイズ≧６［ｍｍ］）＝Ｐｉ（ＴＰ）Ｐｉ（サイズ≧６［ｍｍ］）。
Ｐｉ（ＴＰ）は、画像ｉがポリープを含む確率を表す。Ｐｉ（サイズ≧６［ｍｍ］）は、画像ｉにおいて、ポリープの大きさが６ｍｍ以上である確率を表す。大腸内視鏡検査処置を推奨するかどうかを決定するために、１つの候補画像のみが、少なくとも６ｍｍのサイズであるポリープを含む十分に高い確率を有する必要がある。
【0145】
図１５は、Ｐｉ（ＴＰ）の決定に用いることができるグラフを示す。ｘ軸は、図６、図８、及び図９のブロック６４０における機械学習システムなどの機械学習システムのためのソフトマージンを表す。当業者が理解するように、「ソフトマージン」という用語は、例と分類器の分離超平面／分類境界との間の距離に関連する、分類器（例えば、古典的機械学習アルゴリズム）の連続出力を指し得る。ソフトマージンは、機械学習システムが、画像をポリープを含むものとして正しく分類したことの確かさを示すことができる。ソフトマージンの絶対値が高いほど、分類境界から遠く、その決定においてより確実である。ラベル付けされた訓練セットに関連するソフトマージンにアクセスすることによって、図１５のグラフを経験的に導出することができる。
【0146】
一例として、図１５のｘ軸は、０．１の間隔又は別のサイズの間隔に分割され得る。各ソフトマージン間隔について、ポリープの存在に対応し、その間隔内にソフトマージンを有する訓練入力の数をカウントすることができ、ポリープの不在に対応し、その間隔内にソフトマージンを有する訓練入力の数をカウントすることができる。２つのカウントを使用して、ポリープを有し、その間隔内にソフトマージンを有する入力のパーセンテージを経験的に計算することができる。パーセンテージは、そのソフトマージンが間隔内に入る場合、入力がポリープを有する確率の代用として使用することができる。その結果の一例を図１５に示す。確率は経験的に決定されるので、かなり雑音が多い。回帰分析を実行して、曲線１５０２を経験的確率に当てはめて、ソフトマージンに基づいてＰｉ（ＴＰ）を決定するための平滑推定器１５０２を提供することができる。図１５に関して上述された実施形態は例示的なものであり、他の方法がＰｉ（ＴＰ）を決定するために企図される。
【0147】
図１６は、Ｐｉ（サイズ≧６［ｍｍ］）の決定に用いることができるグラフを示す。ｘ軸は、カプセル内視鏡検査（ＣＥ）画像について決定されたポリープサイズ推定値を表す。上記のように、ポリープサイズは、整理番号Ａ０００４９９７ＵＳ０１（２８５１－１７ ＰＲＯ）を有する同時係属中の米国特許出願に記載される様式で、又は当業者によって理解される他の技術によって推定され得る。実際のポリープサイズが既知である（例えば、少なくとも６ｍｍ又は６ｍｍ未満）各訓練ＣＥ画像を処理して、その推定ポリープサイズを判定することができる。ｘ軸は、０．１ｍｍの間隔又は別のサイズの間隔等の推定ポリープサイズの間隔に分割することができる。間隔に入る推定ポリープサイズを有する訓練入力をカウントすることができる。間隔におけるカウントは、間隔について、６ｍｍ以上の実際のポリープサイズを有する訓練入力のパーセンテージを計算するために使用されることができ、経験的パーセンテージは、入力がその間隔において６ｍｍ以上のポリープを有する確率の代用として使用されることができる。その結果の一例を図１６に示す。確率は経験的に決定されるので、かなり雑音が多い。回帰分析を実行して、曲線１６０２を経験的確率に当てはめて、推定ポリープサイズに基づいてＰｉ（サイズ≧６［ｍｍ］）を決定するための平滑推定器１６０２を提供することができる。図１６に関して上述した実施形態は例示的なものであり、他の方法がＰｉ（サイズ≧６［ｍｍ］）を決定するために企図される。
【0148】
上述したように、シード画像がポリープを有し、ポリープが少なくとも６ｍｍである確率は、Ｐｉ（ＴＰ）Ｐｉ（サイズ≧６［ｍｍ］）によって決定することができる。計算から生じる任意の確率が、０．９９９又は別の閾値等の閾値を上回る場合、計算は、６ｍｍ以上であるポリープの画像が存在すると判定することができ、大腸内視鏡検査が、これに基づいて推奨されることができる。
【0149】
ポリープサイズ境界として６ｍｍを使用するために説明される実施形態は、５ｍｍ若しくは７ｍｍ又は別のポリープサイズ境界等の別のポリープサイズ境界に適用されることができる。
【0150】
図１５及び図１６に関して上述した実施形態は例示的なものである。大腸内視鏡検査を推奨するかどうかを決定するための他の方法が企図される。このような変形形態及び他の変形形態は、本開示の範囲内にあることが企図されている。
【0151】
図１７を参照すると、図１５及び図１６のシステム及び方法を使用することができる例示的な動作が示されている。ブロック１７１０において、動作は、ＣＥ処置中にカプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることを含む。複数の画像の各画像は、ポリープを含む疑いがあり、ポリープを含む確率に関連付けられる。加えて、複数の画像はシード画像を含み、各シード画像は複数の画像のうちの１つ以上の画像に関連付けられ、各シード画像に関連付けられた１つ以上の画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される。ブロック１７２０において、動作は、ポリープを含むシード画像を識別するためにシード画像にポリープ検出システムを適用することを含む。ポリープ検出システムは、シード画像に関連付けられた１つ以上の画像と、シード画像及び１つ以上の関連付けられた画像に関連付けられた確率とに基づいて、シード画像の各シード画像に適用される。ブロック１７３０において、動作は、所定のサイズ以上のサイズのポリープを含む複数の画像の画像を識別することを含む。複数の画像の各画像は、各画像に含まれる疑わしいポリープの推定サイズに更に関連付けられ、ポリープ検出システムは、シード画像及びシード画像に関連付けられた１つ以上の画像に関連付けられた推定ポリープサイズに基づいて、シード画像の各シード画像に更に適用される。ブロック１７４０において、少なくとも１つのシード画像が、所定のサイズ以上のサイズのポリープを含むか、又は所定のサイズ以上のサイズの所定の数のポリープを含むと識別される場合に、処置は不適切であると判定されて除外される場合、動作は処置の除外を無効にすることを含む。
【0152】
ブロック１７４０に関して、上述したように、処置が不適切であることを決定するための技術は、整理番号Ａ０００３７４６ＵＳ０１（２８５１－７ ＰＲＯ）を有する同時係属中の米国仮特許出願に開示されている。そのようなツールは、上記で説明したように、複数の画像内の所定の事象を捕捉する際のＣＥ処置の有効性の測定値を示す妥当性尺度を提供し、処置の妥当性尺度は、所定の事象を捕捉するか又は捕捉しないかのうちの少なくとも１つの確率を示す複数の尺度を含むことができる、特徴尺度に基づいて決定することができる。
【0153】
引き続きブロック１７４０を参照すると、処置の除外を無効にするための動作は、とりわけ、ポリープ検出確率及び／又は任意選択でポリープサイズ又は画像の最小数の閾値などのヒューリスティックに基づくことができる。様々な実施形態では、無効にするための動作は、シード画像のセット（例えば、図１５及び図１６）に基づいて、例えば、少なくとも所定のサイズのポリープを含む画像の処置ごとの確率に基づくことができる。図１７の動作は例示であり、変形形態は、本開示の範囲内にあることが企図されている。
【0154】
したがって、上記の説明は、ポリープを含む画像を高い信頼度で識別するためのシステム及び方法を提供し、そのような識別された画像の様々な用途を提供した。上述の図及び実施形態は例示であり、本開示の範囲を限定するものではない。
【0155】
本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容するのと同程度に広い範囲であるとされるべきであり、本明細書が同様に読み取られるべきであると意図されているので、本開示はこれらの実施形態に限定されることを意図していない。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。本明細書に添付の請求項の範囲及び趣旨を逸脱しない他の修正は、当業者ならば想到するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2023-05-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
大腸内視鏡検査を推奨するためのシステムであって、前記システムは、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させ、
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、システム。
【請求項2】
更に、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項１に記載のシステム。
【請求項3】
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、前記方法は、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含み、
前記方法は、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、コンピュータ実施方法。
【請求項4】
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項３に記載のコンピュータ実施方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【0066】
本システムの様々な実施形態において、命令は、１つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の推定ポリープサイズにアクセスさせ、推定ポリープサイズは、画像に基づいて生成され、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
本発明は、例えば、以下の項目を提供する。
（項目１）
ポリープを含む画像を識別する方法であって、
ＣＥ処置中にカプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの１つ以上の画像に関連付けられ、各シード画像に関連付けられた前記１つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記１つ以上の画像と、前記シード画像及び前記１つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。
（項目２）
所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記１つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、項目１に記載の方法。
（項目３）
前記処置は不適切であると判定されて除外され、少なくとも１つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、項目２に記載の方法。
（項目４）
前記ポリープ検出システムは、１つ以上のポジティブフィルタ、１つ以上のネガティブフィルタ、１つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも１つを備える、項目１に記載の方法。
（項目５）
前記１つ以上の古典的機械学習システム、前記１つ以上のポジティブフィルタ、又は前記１つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも１つを含む、項目４に記載の方法。
（項目６）
各シード画像に関連付けられた前記１つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、項目１に記載の方法。
（項目７）
前記消化管（ＧＩＴ）の前記アクセスされた複数の画像は、ＣＥ処置調査の画像である、項目１に記載の方法。
（項目８）
前記複数の画像から前記シード画像を選択することを更に含む、項目１に記載の方法。
（項目９）
ポリープを含むと識別された前記シード画像に基づいて、前記ＣＥ処置の担当医師に、前記ＣＥ処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、項目１に記載の方法。
（項目１０）
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、項目９に記載の方法。
（項目１１）
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目１０に記載の方法。
（項目１２）
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目１０に記載の方法。
（項目１３）
ポリープを含むと識別された前記シード画像を表示することを更に含む、項目１に記載の方法。
（項目１４）
ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、項目１に記載の方法。
（項目１５）
前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、項目１に記載の方法。
（項目１６）
少なくとも前記シード画像をユーザに表示することと、
前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目１に記載の方法。
（項目１７）
前記ユーザによって選択された前記画像は、前記ＣＥ処置報告に含まれるように選択された画像である、項目１６に記載の方法。
（項目１８）
前記少なくとも１つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、項目１７に記載の方法。
（項目１９）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供することと、
を含む、方法。
（項目２０）
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目１９に記載の方法。
（項目２１）
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目１９に記載の方法。
（項目２２）
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目１９に記載の方法。
（項目２３）
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目１９に記載の方法。
（項目２４）
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２３に記載の方法。
（項目２５）
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目２３に記載の方法。
（項目２６）
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目２５に記載の方法。
（項目２７）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供させる、システム。
（項目２８）
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２７に記載のシステム。
（項目２９）
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２７に記載のシステム。
（項目３０）
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目２７に記載のシステム。
（項目３１）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目２７に記載のシステム。
（項目３２）
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目３１に記載の方法。
（項目３３）
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目３１に記載のシステム。
（項目３４）
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目３３に記載のシステム。
（項目３５）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
（項目３６）
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目３５に記載の方法。
（項目３７）
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、項目３６に記載の方法。
（項目３８）
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目３５に記載の方法。
（項目３９）
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目３５に記載の方法。
（項目４０）
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目３５に記載の方法。
（項目４１）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
（項目４２）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目４１に記載のシステム。
（項目４３）
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、項目４２に記載のシステム。
（項目４４）
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目４１に記載のシステム。
（項目４５）
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目４１に記載のシステム。
（項目４６）
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目４１に記載のシステム。
（項目４７）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供することと、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
（項目４８）
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、項目４７に記載の方法。
（項目４９）
前記複数の画像の中から画像のユーザ選択を受信することと、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目４７に記載の方法。
（項目５０）
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の各画像にアクセスすることによって、少なくとも１つのポリープ画像を提供することと、
別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも１つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、項目４７に記載の方法。
（項目５１）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供させ、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
（項目５２）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、項目５１に記載のシステム。
（項目５３）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定させ、
前記少なくとも１つの選択されていない画像を前記ユーザに提示させる、項目５１に記載のシステム。
（項目５４）
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。
（項目５５）
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目５４に記載のコンピュータ実施方法。
（項目５６）
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目５４に記載のコンピュータ実施方法。
（項目５７）
大腸内視鏡検査を推奨するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。
（項目５８）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目５７に記載のシステム。
（項目５９）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目５７に記載のシステム。
本発明は、例えば、以下の項目を提供する。
（項目１）
ポリープを含む画像を識別する方法であって、
ＣＥ処置中にカプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの１つ以上の画像に関連付けられ、各シード画像に関連付けられた前記１つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記１つ以上の画像と、前記シード画像及び前記１つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。
（項目２）
所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記１つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、項目１に記載の方法。
（項目３）
前記処置は不適切であると判定されて除外され、少なくとも１つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、項目２に記載の方法。
（項目４）
前記ポリープ検出システムは、１つ以上のポジティブフィルタ、１つ以上のネガティブフィルタ、１つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも１つを備える、項目１に記載の方法。
（項目５）
前記１つ以上の古典的機械学習システム、前記１つ以上のポジティブフィルタ、又は前記１つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも１つを含む、項目４に記載の方法。
（項目６）
各シード画像に関連付けられた前記１つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、項目１に記載の方法。
（項目７）
前記消化管（ＧＩＴ）の前記アクセスされた複数の画像は、ＣＥ処置調査の画像である、項目１に記載の方法。
（項目８）
前記複数の画像から前記シード画像を選択することを更に含む、項目１に記載の方法。
（項目９）
ポリープを含むと識別された前記シード画像に基づいて、前記ＣＥ処置の担当医師に、前記ＣＥ処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、項目１に記載の方法。
（項目１０）
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、項目９に記載の方法。
（項目１１）
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目１０に記載の方法。
（項目１２）
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目１０に記載の方法。
（項目１３）
ポリープを含むと識別された前記シード画像を表示することを更に含む、項目１に記載の方法。
（項目１４）
ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、項目１に記載の方法。
（項目１５）
前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、項目１に記載の方法。
（項目１６）
少なくとも前記シード画像をユーザに表示することと、
前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目１に記載の方法。
（項目１７）
前記ユーザによって選択された前記画像は、前記ＣＥ処置報告に含まれるように選択された画像である、項目１６に記載の方法。
（項目１８）
前記少なくとも１つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、項目１７に記載の方法。
（項目１９）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供することと、
を含む、方法。
（項目２０）
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目１９に記載の方法。
（項目２１）
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目１９に記載の方法。
（項目２２）
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目１９に記載の方法。
（項目２３）
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目１９に記載の方法。
（項目２４）
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２３に記載の方法。
（項目２５）
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目２３に記載の方法。
（項目２６）
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目２５に記載の方法。
（項目２７）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別された前記複数の画像のうちの少なくとも１つの画像、又は前記少なくとも１つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも１つの画像、のうちの少なくとも１つに基づいて情報を提供させる、システム。
（項目２８）
前記ネガティブフィルタは、前記画像が前記ＧＩＴの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２７に記載のシステム。
（項目２９）
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも１つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目２７に記載のシステム。
（項目３０）
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目２７に記載のシステム。
（項目３１）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目２７に記載のシステム。
（項目３２）
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を１つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目３１に記載の方法。
（項目３３）
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目３１に記載のシステム。
（項目３４）
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目３３に記載のシステム。
（項目３５）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
（項目３６）
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目３５に記載の方法。
（項目３７）
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、項目３６に記載の方法。
（項目３８）
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目３５に記載の方法。
（項目３９）
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目３５に記載の方法。
（項目４０）
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目３５に記載の方法。
（項目４１）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
（項目４２）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目４１に記載のシステム。
（項目４３）
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも１つを含む、項目４２に記載のシステム。
（項目４４）
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目４１に記載のシステム。
（項目４５）
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目４１に記載のシステム。
（項目４６）
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目４１に記載のシステム。
（項目４７）
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも１つのフィルタを前記複数の画像に適用することであって、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含む、ことと、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供することと、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示することと、
を含む、方法。
（項目４８）
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、項目４７に記載の方法。
（項目４９）
前記複数の画像の中から画像のユーザ選択を受信することと、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定することと、
前記少なくとも１つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目４７に記載の方法。
（項目５０）
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の各画像にアクセスすることによって、少なくとも１つのポリープ画像を提供することと、
別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも１つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、項目４７に記載の方法。
（項目５１）
画像を識別するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも１つのフィルタを前記複数の画像に適用させ、前記少なくとも１つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも１つを含み、
前記少なくとも１つのフィルタによって識別されなかった少なくとも１つの画像を前記複数の画像から選択することによって、少なくとも１つのフィルタリングされていない画像を提供させ、
前記少なくとも１つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの少なくとも１つの画像に基づいて、情報を提示させる、システム。
（項目５２）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像、又はポジティブフィルタによって識別される少なくとも１つの画像のうちの少なくとも一方を含む、項目５１に記載のシステム。
（項目５３）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも１つのフィルタリングされていない画像のうちの前記少なくとも１つの画像の中の、少なくとも１つの選択されていない画像を決定させ、
前記少なくとも１つの選択されていない画像を前記ユーザに提示させる、項目５１に記載のシステム。
（項目５４）
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。
（項目５５）
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目５４に記載のコンピュータ実施方法。
（項目５６）
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目５４に記載のコンピュータ実施方法。
（項目５７）
大腸内視鏡検査を推奨するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶する少なくとも１つのメモリと、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管（ＧＩＴ）の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。
（項目５８）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目５７に記載のシステム。
（項目５９）
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目５７に記載のシステム。
【国際調査報告】