▶ エフ． ホフマン−エルエー ロシュ アーゲーの特許一覧 ▶ ジェネンテック， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-04
(54)【発明の名称】内視鏡疾患の自動評価
(51)【国際特許分類】
G16H 50/20 20180101AFI20230328BHJP
G06Q 50/22 20180101ALI20230328BHJP
G16H 30/00 20180101ALI20230328BHJP
【ＦＩ】
G16H50/20
G06Q50/22
G16H30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022547168
(86)(22)【出願日】2021-01-29
(85)【翻訳文提出日】2022-09-27
(86)【国際出願番号】 EP2021052170
(87)【国際公開番号】W WO2021156152
(87)【国際公開日】2021-08-12
(31)【優先権主張番号】20155469.8
(32)【優先日】2020-02-04
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】514099673
【氏名又は名称】エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】アルカデュ， フィリッポ
(72)【発明者】
【氏名】グティエレス－ベッカー， ベンジャミン
(72)【発明者】
【氏名】タールハンマー， アンドレアス
(72)【発明者】
【氏名】プルノット， マルコ
(72)【発明者】
【氏名】オ， ヨン ソク
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA01
5L099AA03
5L099AA04
5L099AA26
(57)【要約】
本出願は、大腸内視鏡映像又はその一部を分析するため、かつ対象から取得された大腸内視鏡映像を分析することによって対象における潰瘍性大腸炎の重症度を評価するためのデバイス及び方法に関する。大腸内視鏡映像を分析することは、第１の深層ニューラルネットワーク分類器を使用して、対象の大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス（より重篤な内視鏡病変）及び第２の重症度クラス（より重篤でない内視鏡病変）に分類することを含み、前記第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、前記訓練画像データは、前記複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。大腸内視鏡映像を分析するためのツールを提供するためのデバイス及び方法についても説明される。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
大腸内視鏡映像又はその一部を分析する方法であって、前記方法は、第１の深層ニューラルネットワーク分類器を使用して、前記大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含み、前記第１の重症度クラスは、前記第２の重症度クラスよりも重篤な内視鏡病変に関連付けられ、前記第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、前記訓練画像データは、前記複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する、方法。
【請求項2】
前記方法は、第２の深層ニューラルネットワーク分類器を使用して、前記大腸内視鏡映像又はその一部からの画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することを更に含み、前記第１の品質クラスは、前記第２の品質クラスよりも良好な品質の画像に関連付けられ、前記第１の品質クラスの画像データは、前記第１の深層ニューラルネットワーク分類器に提供され、所望により、前記第２の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、前記訓練画像データは、前記複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ品質クラスラベルを有し、好ましくは、前記訓練画像データ内の連続フレームの各セットは、連続フレームのそれぞれのセットを含む映像の前記セグメントの目視検査によってクラスラベルが割り当てられている、請求項１に記載の方法。
【請求項3】
前記訓練画像データ内のフレームの各セットにおける前記フレームは、大腸の単一の解剖学的セクションに対応する、請求項１又は２に記載の方法。
【請求項4】
前記訓練画像データ内のフレームの各セットは、目視検査が、フレームの前記セットを含む訓練用大腸内視鏡映像の前記セグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合には、第１の重症度クラスラベルが割り当てられており、所望により、前記訓練画像データ内のフレームの各セットは、２つの独立した目視検査が、フレームの前記セットを含む訓練用大腸内視鏡映像の前記セグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合には、第１の重症度クラスラベルが割り当てられている、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記内視鏡重症度スコアは、メイヨークリニック内視鏡サブスコア（ＭＣＥＳ）であり、所望により、前記第１の範囲は、ＭＣＥＳ＞１又はＭＣＥＳ＞２である、請求項４に記載の方法。
【請求項6】
前記第１の深層ニューラルネットワーク分類器は、画像データを３つ以上の重症度クラスに分類し、前記訓練画像データ内のフレームの各セットは、目視検査が、フレームの前記セットを含む訓練用大腸内視鏡映像の前記セグメントを、前記３つ以上の重症度クラスの各々に対して所定の異なる範囲内の内視鏡重症度スコアと関連付けた場合には、前記３つ以上の重症度クラスラベルのうちの１つが割り当てられており、所望により、前記訓練画像データ内のフレームの各セットは、２つの独立した目視検査が、フレームの前記セットを含む訓練用大腸内視鏡映像の前記セグメントを同じ前記１つの重症度クラスラベルに関連付けられた範囲内の内視鏡重症度スコアと関連付けた場合には、前記３つ以上の重症度クラスラベルのうちの１つが割り当てられており、好ましくは、前記内視鏡重症度スコアは、前記ＭＣＥＳであり、前記第１の深層ニューラルネットワーク分類器は、画像データを４つの重症度クラスに分類し、各重症度クラスは、異なるＭＣＥＳに関連付けられる、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記大腸内視鏡映像又はその一部からの前記画像データは、複数の連続フレームを含み、前記大腸内視鏡映像又はその一部を分析することは、前記第１の深層ニューラルネットワーク分類器を使用して、かつ所望により、前記第２の深層ニューラルネットワーク分類器を使用して、前記大腸内視鏡映像又はその一部からの前記画像データ内の前記複数のフレームを個別に分類することを含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
個別のフレームを分類することは、前記複数のフレームの各々に対して、前記フレームが前記第１のクラスに属する確率及び／又は前記フレームが前記第２のクラスに属する確率を提供することを含む、請求項７に記載の方法。
【請求項9】
前記大腸内視鏡映像又はその一部を分析することは、前記複数のフレームに対する前記第１の深層ニューラルネットワーク分類器からの前記個別の分類に基づいて、前記大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることを更に含み、所望により、個別のフレームを分類することは、前記複数のフレームの各々に対して、前記フレームが前記第１の重症度クラスに属する確率を提供することを含み、前記複数のフレームの前記個別の分類に基づいて、前記大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、前記第１の重症度クラスに属する前記フレームの前記確率の平均が閾値を超える場合に前記第１の重症度クラスを割り当てること、又は前記第１の重症度クラスに割り当てられたフレームの割合が閾値を超える場合に前記第１の重症度クラスを割り当てることを含む、請求項７又は８のいずれかに記載の方法。
【請求項10】
前記第１、第２及び／又は第３の深層ニューラルネットワーク分類器（複数可）は、畳み込みニューラルネットワーク（複数可）（ＣＮＮ）であり、所望により、前記ＣＮＮは、無関係な画像データ上で事前訓練されており、かつ／又は前記ＣＮＮは、５０層のＣＮＮであり、かつ／又は前記ＣＮＮは、深層残差学習フレームワークを使用して事前訓練されたＣＮＮである、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記内視鏡病変は、潰瘍性大腸炎を示し、かつ／又は前記第１の重症度クラスは、前記第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられている、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
対象における潰瘍性大腸炎（ＵＣ）の重症度を評価する方法であって、前記方法は、請求項１から１１のいずれか一項に記載の方法を使用して、前記対象又はその一部からの大腸内視鏡映像を分析することを含む、方法。
【請求項13】
請求項１２に記載の方法であって、前記対象又はその一部からの大腸内視鏡映像を分析することが、（ｉ）ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して前記大腸内視鏡映像又はその一部を分析することと、
（ｉｉ）ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して前記大腸内視鏡映像又はその一部を分析することと、
（ｉｉｉ）工程（ｉｉ）で前記映像の少なくとも１つのセグメントが第１の重症度クラスに割り当てられている場合には第１の治療で、工程（ｉｉ）で前記映像のセグメントが第１の重症度クラスに割り当てられていないが、工程（ｉ）で前記映像のセグメントの少なくとも１つが第１の重症度クラスに割り当てられている場合には第２の治療で、ＵＣの治療のために前記対象を選択することと、を含み、
前記方法が、所望により、前記対象を治療することを更に含む、方法
。
【請求項14】
大腸内視鏡映像又はその一部を分析するためのツールを提供する方法であって、前記方法は、複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームが少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有し、前記第１の重症度クラスが前記第２の重症度クラスよりも重篤な内視鏡病変に関連付けられている、取得することと、
第１の深層ニューラルネットワークを訓練して、少なくとも第１の重症度クラス及び第２の重症度クラスに画像データを分類することであって、前記訓練は、前記訓練画像データ及び前記重症度クラスラベルを使用して弱教師付き方式で実施される、訓練して、分類することと、を含み、
前記方法が、所望により、第２の深層ニューラルネットワーク分類器を使用して、複数のフレームを含む訓練画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することを更に含み、前記第１の品質クラスは、前記第２の品質クラスよりも良好な品質の画像に関連付けられ、前記第１の深層ニューラルネットワークの訓練は、前記第２の深層ニューラルネットワーク分類器によって前記第１の品質クラスに分類された前記訓練画像データを使用して実施される、
方法。
【請求項15】
対象から取得された大腸内視鏡映像から前記対象における潰瘍性大腸炎の重症度を評価するためのシステムであって、少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させる命令を含む、少なくとも１つの非一時的コンピュータ可読媒体とを備え、
、前記第１の重症度クラスは、前記第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられ、前記第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、前記訓練画像データは、前記複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有し、前記命令は、所望により、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、請求項２～１４のいずれか一項に記載の動作を更に実施させる、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、大腸内視鏡映像を分析するためのコンピュータ実装方法、並びにその方法を実装するコンピューティングデバイスに関する。本発明の方法及びデバイスは、潰瘍性大腸炎などの炎症性腸疾患の臨床評価に応用される。従って、本発明はまた、患者における炎症性腸疾患、特に潰瘍性大腸炎の重症度を評価する方法に関する。
【背景技術】
【0002】
潰瘍性大腸炎（ＵＣ）などの炎症性腸疾患では、内視鏡病変の存在及び重症度の内視鏡評価が、臨床評価の一貫として確立されている。この評価は、高い変動性及び偏りの影響を受けやすい（レビューについては、Ｐａｎｅｓ ｅｔ ａｌ．，Ｊｏｕｒｎａｌ ｏｆ Ｃｒｏｈｎ’ｓ ａｎｄ Ｃｏｌｉｔｉｓ，２０１６，Ｓ５４２－Ｓ５４７を参照されたい）。これらの問題を軽減することができる方法として、患者と接触せず、特別に訓練された判読者が内視鏡検査データを独自に評価する中央内視鏡判読が注目されている。しかし、このプロセスは「伝統的な」臨床評価よりも更に人的資源集約的であり、その実際の実行可能性を制限するものである。
【0003】
大腸内視鏡映像の評価を自動化するために機械学習アプローチを使用することが提案されている。特に、Ｓｔｉｄｈａｍ ｅｔ ａｌ．（ＪＡＭＡ Ｎｅｔｗｏｒｋ Ｏｐｅｎ．２０１９ Ｍａｙ；２（５）：ｅ１９３９６３）は、深層学習モデルが、経験豊富な人間のレビュー者と同様に、ＵＣの内視鏡的重症度を分類できるかどうかを判定するための診断的な研究を報告している。この研究では、アルゴリズムを訓練する特定の目的のために専門家によって選択され、個別にスコア付けされた静止画像を用いて訓練された機械学習アルゴリズムが使用され、訓練用の高品質の「グランドトゥルース」データが提供されている。彼らはこのアプローチである程度の成功を示しているが、専門家の消化器内科医が手動で静止画像を慎重に選択する必要があること、及びこれに関連する潜在的な偏り（中央内視鏡判読が低減しようとする偏りと同様）があることから、その実用性は制限されている。
【0004】
従って、大腸内視鏡映像から内視鏡病変の重症度を自動的に評価する方法を改善することが依然として必要とされている。
【発明の概要】
【0005】
本発明者らは、深層ニューラルネットワーク分類器を使用して大腸内視鏡映像を分析するための、特に、かかる映像からの画像データに重症度クラスを関連付けるための、新しいデバイス及び方法を開発した。この方法及びデバイスは、未加工の大腸内視鏡映像データを使用して訓練された深層ニューラルネットワーク分類器を使用して未加工の大腸内視鏡映像又はその一部を分析することによって、臨床的に有意な重症度の評価を取得することができ、訓練データ内の映像全体又は映像のセグメントが同じクラスラベルに関連付けられるという発見に由来する。内視鏡評価を自動化するためのこれまでのアプローチでは、アルゴリズムを訓練する特定の目的のために専門家によって選択され個別にスコア付けされた静止画像を用いて訓練された機械学習アルゴリズムが使用され、訓練用の「グランドトゥルース」データが提供されてきた。対照的に、本発明者らは、例えば臨床試験の出力として一般的に利用可能な未加工の（すなわち、フレーム毎に選択されない）専門家の注釈付き大腸内視鏡映像データを用いて、訓練用の「グランドトゥルース」データが存在しない状態で弱教師付き方式で訓練された深層ニューラルネットワーク分類器を使用して、大腸内視鏡映像を異なる重症度クラスに正確に分類することが可能であることを見出した。
【0006】
炎症性腸疾患の臨床評価の一部として作成されたものなどの専門家の注釈付き大腸内視鏡映像は、中央内視鏡判読などのより厳密な形式であっても、専門家による、大腸の解剖学的セクションを代表する各映像又は映像のセグメントに対する全体的な重症度スコアの割り当てに依存する。従って、かかる映像内の全てのフレームが、専門家がスコアを割り当てる原因となった病変を実際に示すわけではなく、映像の重症度スコアは、映像を構成する個別のフレームの状態を正確に捕捉するとは期待されない。更に、品質及び情報コンテンツは、映像全体にわたって大きく変動し得る。結果として、このデータはノイズが多く、不正確である。驚くべきことに、本発明者らは、かかる未加工の（すなわち、フレーム毎に選択されない）専門家の注釈付き大腸内視鏡映像データを用いて、弱教師付き方式で訓練された深層ニューラルネットワーク分類器を使用して、大腸内視鏡映像を異なる重症度クラスに正確に分類することが可能であることを見出した。
【0007】
従って、本発明の第１の態様は、大腸内視鏡映像又はその一部を分析する方法を提供し、この方法は、第１の深層ニューラルネットワーク分類器を使用して、大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含み、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。有利には、内視鏡病変は潰瘍性大腸炎を示すことができる。好ましい実施形態において、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられている。
【0008】
本発明の文脈において、「弱教師付き方式」で分類器を訓練することは、訓練データが「グランドトゥルース」データではないデータを含むことを意味する。グランドトゥルース訓練データとは、各訓練データ（例えば、映像内の各フレーム）に、その訓練データが属するクラスを真に反映すると考えられる訓練クラスラベルが割り当てられている訓練データを指す。対照的に、本発明は、不確実な訓練クラスラベルを有するデータを含む訓練データを使用する。例えば、セグメント全体が、割り当てられたクラスラベルに関連付けられた基準を満たすので、訓練映像内のセグメントを形成する複数のフレームに同じクラスラベルを割り当てることができる。しかし、特定のセグメント内の全てのフレームが、セグメントがクラスラベルを割り当てられるようになった特徴を示すという確証はない。従って、セグメント内のありとあらゆるフレームが正しいクラスに割り当てられたか否かに関しては、若干の不確実性があり、結果として得られる訓練データは、弱教師付きの訓練プロセスしか可能にしない。別の例として、訓練映像内のフレームには、予め訓練された分類器又は他の機械学習アルゴリズムを使用するなどして、クラスラベルを自動的に割り当てることができる。かかる実施形態では、各フレームが正しいクラスに割り当てられたか否かについても若干の不確実性があるが、これは、分類器は、以前に見たことのないデータに対するクラスを１００％の精度で予測することができるとは期待されておらず、結果として得られる訓練データは、弱教師付きの訓練プロセスしか可能にしないためである。その最も単純な形態において、弱教師付きとは、単に、（未知の）不確実性レベルを有する訓練クラスラベルが割り当てられた訓練データを使用することを指す。実施形態では、訓練クラス割り当てにおける不確実性のレベルを定量化（例えば、推定又は仮定など）することができ、訓練において不確実性を考慮することができる。
【0009】
本発明の文脈において、連続フレームのセットは、一緒になって映像のセグメントを形成するフレームのセットを意味する。従って、用語「連続フレームのセット」及び「映像のセグメント」は、交換可能に使用される。実際には、映像のセグメントは、未加工の映像の対応するセグメントの全ての単一フレームを含まないことがある。実際、フレームは、映像からのデータ量を減らすために、コンテンツに依存しないベースで選択することができる。例えば、これは、例えば２４フレーム／秒の映像（すなわち、１２フレーム／秒）の１つおきのフレームを使用することによって実施することができる。しかしながら、本開示の文脈において、映像のセグメントを形成する全てのフレームは、各フレームを個別に分析することによってではなく、ラベルがセグメントに割り当てられたことによって、同じラベルを有することになる。好ましくは、ラベルに関連付けられた訓練映像のセグメントを形成する全ての連続フレームが使用される。全てのフレームが使用されない場合、データ削減（フレーム選択）は、好ましくは、手動キュレーションに基づかずに、（又は完全に自動化可能なスキームに基づいて）自動化される。データ削減のための完全に自動化可能なスキームには、１フレームおきの選択、ｎフレーム（ここで、ｎは、例えば、２、３、４などであり得る）における１フレームおきの選択、ｎフレームにおける２フレームおきの選択、毎秒ｎフレームのランダム選択などが含まれ得る。
【0010】
本発明の文脈において、用語「重症度」は、内視鏡病変の存在によって評価される炎症性腸疾患、特にＵＣの重症度を指す。内視鏡病変には、紅斑、血管パターンの減少又は欠如、摩損、びらん、出血、及び潰瘍のうちの１又は複数が含まれ得る。
【0011】
実施形態では、本方法は、第２の深層ニューラルネットワーク分類器を使用して、大腸内視鏡映像又はその一部からの画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することを更に含み、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられ、第１の品質クラスの画像データは、第１の深層ニューラルネットワーク分類器に提供される。
【0012】
本発明者らは、対象映像の訓練中及び評価中の両方で、画像データの品質ベースのフィルタリングのために別個の深層ニューラルネットワーク分類器を使用することにより、未加工の映像が訓練及び評価の両方に使用される状況において重症度ベースの分類の精度が著しく向上することを見出した。
【0013】
実施形態では、第２の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ品質クラスラベルを有する。
【0014】
実施形態では、第２の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、少なくとも部分的に弱教師付き方式で訓練されており、訓練画像データは、品質クラスラベルが自動的に割り当てられた複数の訓練用大腸内視鏡映像からの複数のフレームを含む。一部のかかる実施形態では、品質クラスラベルは、１又は複数の以前に訓練された機械学習アルゴリズム（例えば、本明細書に記載されるような深層ニューラルネットワーク分類器などの１又は複数の分類器）を使用して自動的にフレームに割り当てられている。
【0015】
発明者らは、驚くべきことに、弱い（不確実な）クラスラベルで品質について注釈付けされた画像データを使用して、品質ベースのフィルタリングを実施し、それによって重症度ベースの評価の精度を改善する深層ニューラルネットワーク分類器を訓練することが可能であることを見出した。弱いクラスラベルは、セグメント毎（すなわち、フレームのセット）ベースで画像データに注釈を付けることによって取得することができる。セグメント毎に品質クラスラベルを割り当てることによって映像に注釈を付けることは、比較的簡単なタスクであり、例えばクラウドソーシングによってスケーリングすることができる。しかし、セグメント内の全ての個別のフレームが、そのセグメントに対する品質クラスラベルの割り当てをもたらす特徴を有するわけではない。従って、セットに割り当てられたラベルは、セットを構成する個別のフレームの弱いラベル付けを表す。同様に、予め訓練された機械学習アルゴリズムを使用して映像に自動的に注釈を付けることは非常に簡単でコスト効率が良いが、全てのフレームに正しいクラスラベルが割り当てられていると期待できるわけではない。この不確実性を考慮して、各フレームに割り当てられたラベルは、弱いラベル付けを表す。それにもかかわらず、本発明者らは、かかる弱いラベルを使用して、品質ベースフィルタリングのための深層ニューラルネットワーク分類器を訓練することが、フィルタリングされたデータに基づいて正確な重症度ベース分類が可能であるようにデータをフィルタリングするのに十分であることを見出した。
【0016】
実施形態では、第２の深層ニューラルネットワークを訓練するために使用される複数の訓練用大腸内視鏡映像と、第１の深層ニューラルネットワークを訓練するために使用される複数の訓練用大腸内視鏡映像とは、部分的に重複していてもよい。例えば、実施形態では、第１の深層ニューラルネットワークを訓練するために使用される訓練画像データは、第２の深層ニューラルネットワークを訓練するために使用される訓練画像データのサブセットであってもよい。有利には、第１の深層ニューラルネットワークを訓練するために使用される訓練画像データは、第２の深層ニューラルネットワークによって第１のクラスに分類されたフレームを含み得る。
【0017】
実施形態では、訓練画像データ内の連続フレームの各セットには、連続フレームの各セットを含む映像のセグメントの目視検査によってクラスラベルが割り当てられている。
【0018】
実施形態では、訓練画像データ内の連続フレームの各セットは、連続フレームのセットから構成される訓練用大腸内視鏡映像セグメントの目視検査で大腸壁及び大腸血管を区別することができる場合には、第１の品質クラスラベルが割り当てられ、そうでない場合には、第２の品質クラスラベルが割り当てられている。
【0019】
本発明者らは、驚くべきことに、大腸内視鏡映像を（ｉ）大腸壁及び血管が見えるセクションと、（ｉｉ）それらが見えないセクションとに、セグメント化することによる画像データの品質の粗い評価が、品質ベースフィルタリングのための深層ニューラルネットワーク分類器の訓練に情報を与えるのに十分であることを見出した。有利には、かかる粗い評価は、比較的迅速に取得することができ、クラウドソーシングすることができる。
【0020】
有利には、訓練用大腸内視鏡映像セグメントが水、高反射領域、便及び／又はぼやけの存在又は非存在に基づく１又は複数の基準を更に満たす場合には、訓練画像データ内の連続フレーム（映像のセグメント）の各セットに第１の品質クラスラベルを割り当て、そうでない場合には第２の品質クラスラベルを割り当てることができる。実施形態では、１又は複数の基準は、水、便又は高反射領域が併せてフレーム上で見える領域の最大２０％、最大１５％、最大１０％又は最大５％、好ましくは最大１０％をカバーしているかどうかを含む。実施形態では、１又は複数の基準は、水、便又は高反射領域がそれぞれ、フレーム上で見える領域の最大２０％、最大１５％、最大１０％又は最大５％、好ましくは最大１０％をカバーしているかどうかを含む。実施形態では、１又は複数の基準は、映像のセグメントが人間の評価によってぼやけていると判定されたか否かを含む。
【0021】
良好な品質クラスに訓練データを割り当てるために、アーチファクトが存在しないというより厳しい基準を使用することは、重症度ベース分類器の訓練に使用される画像の品質を向上させるのに役立ち得る。当業者が理解するように、品質ベースのフィルタリングの厳密性を増大させる場合、フィルタリングされたデータの品質と、フィルタを通過して訓練に利用可能なデータの量との間にトレードオフが存在する。本発明者らは、上記の基準（壁及び血管が見えること、１又は複数のアーチファクトの許容レベル）の組み合わせを用いると、バランスが良く、正確な重症度に基づく評価の提供を可能にすることを見出した。
【0022】
実施形態では、訓練画像データ内のフレームの各セット内のフレームは、大腸の単一の解剖学的セクションに対応する。換言すれば、フレームの各セットは、それが単一の解剖学的セクションに限定されるように定義することができる。完全な大腸内視鏡映像は、複数のかかるセグメントを含むことができ、各セグメントにより、直腸、Ｓ状結腸、又は下行結腸などのセクションが探索される。
【0023】
解剖学的セクションによってセグメント化された訓練データを使用することは、訓練用のより詳細なデータを提供することができるので、特に有利であり得る。更に、大腸内視鏡映像に示される大腸の解剖学的セクションに関する情報は、例えば臨床試験からの注釈付き大腸内視鏡映像データの一部として一般に入手可能である。
【0024】
実施形態では、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合、訓練画像データ内のフレームの各セットには、第１の重症度クラスラベルが割り当てられている。所望により、２つの独立した目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合、訓練画像データ内のフレームの各セットには、第１の重症度クラスラベルが割り当てられ得る。
【0025】
実施形態では、訓練画像データ内のフレームの各セットは、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを閾値以上の内視鏡重症度スコアと関連付けた場合には、第１の重症度クラスラベルが割り当てられており、訓練画像データ内のフレームの各セットは、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを閾値以下の内視鏡重症度スコアと関連付けた場合には、第２の重症度クラスラベルが割り当てられている。かかる実施形態では、第１の深層ニューラルネットワーク分類器は、バイナリ分類器であり得る。
【0026】
内視鏡重症度スコアは、所定の尺度に従って内視鏡病変の重症度を定量化するために使用される任意のスコアであり得る。実施形態では、内視鏡スコアは、潰瘍性大腸炎などの特定の疾患に関連してもよく、内視鏡病変の重症度は、疾患の重症度の臨床評価に関連付けられる。有利には、内視鏡重症度スコアは、メイヨークリニック（Ｍａｙｏ Ｃｌｉｎｉｃ）内視鏡サブスコア（ＭＣＥＳ）であり得る。一部のかかる実施形態では、第１の範囲は、ＭＣＥＳ＞１又はＭＣＥＳ＞２であり得る。
【0027】
本発明者らは、記載されたような「未加工の」大腸内視鏡映像に基づく弱教師付きアプローチを使用して訓練された深層ニューラルネットワーク分類器が、メイヨー内視鏡サブスコアなどの標準的な内視鏡重症度スコア尺度で専門家が高く評価するクラス、及びかかる尺度のより低い範囲で専門家が評価するクラスに属するものとして、大腸内視鏡映像からの画像データを正確に分類することができることを見出した。
【0028】
バイナリ分類器は、より複雑な分類器（例えば、３つ以上のクラス）よりも比較的容易に訓練することができる。換言すれば、分類器などは、比較的少ない量又は品質の訓練データで高い精度を達成することが期待され得る。対照的に、同様の性能を達成するためにより複雑な分類器を訓練するには、典型的には、より多くのデータ及び／又はより良好な品質のデータが必要となる。本発明者らは、大腸内視鏡映像の臨床的に関連する特性を正確に予測する分類器が、「未加工の」注釈付き大腸内視鏡映像を使用して訓練データに関する要件を軽減しながら、２つのクラスを使用して訓練問題の複雑さを制限することによって取得されることを見出した。このように、本方法は、一般に利用可能かつ／又は取得しやすいデータを使用し、信頼性のある臨床的に関連する予測を生成するので、実用的な適用性が改善されている。
【0029】
メイヨークリニック内視鏡サブスコア（ＭＣＥＳ）は、内視鏡検査のみに基づいて潰瘍性大腸炎の病期を評価するための標準化された尺度である。それは、Ｒｕｔｇｅｅｒｔｓ Ｐ．ｅｔ ａｌ．（Ｎ Ｅｎｇｌ Ｊ Ｍｅｄ．２００５；３５３（２３）：２４６２－２４７６）に記載されている。ＭＣＥＳは４つのレベルを含んでおり、第１のレベルは正常粘膜／非活動性疾患に関連し、第２のレベルは軽度の活動性疾患（発赤、血管パターンの減少、軽度の摩損）に関連し、第３のレベルは中等度の活動性疾患（顕著な発赤、血管パターンの欠如、摩損、びらん）に関連し、第４のレベルは重篤な活動性疾患（自然出血、大きな潰瘍）に関連する。本開示に関連して、メイヨー内視鏡サブスコア尺度の第１のレベルはＭＣＥＳ（又はメイヨー）＝０と称され、メイヨー内視鏡サブスコア尺度の第２のレベルはＭＣＥＳ＝１と称され、メイヨー内視鏡サブスコア尺度の第３のレベルはＭＣＥＳ＝２と称され、メイヨー内視鏡サブスコア尺度の第４のレベルはＭＣＥＳ＝３と称される。
【0030】
臨床試験では概してメイヨースコア＜＝１が寛解と定義されているため、メイヨー＞１に属するものとして映像を分類するバイナリ分類器の使用は、特に有利であり得る。メイヨースコア＞２は重症疾患として定義されるため、メイヨー＞２に属するものとして映像を分類するバイナリ分類器の使用は、特に有利である。理想的には、分類器は、少なくとも重症疾患の徴候を示す映像を識別できる必要がある。
【0031】
当業者が理解するように、訓練データの量を増加させると、その性能が維持される一方で、分類器の複雑さが増加する可能性がある。特に、例えば、メイヨー内視鏡サブスコア尺度の４つのレベルに対応する４つのクラスを有する第１の深層ニューラルネットワーク分類器を訓練することができ、十分な量の訓練データが与えられた場合に良好な性能を有することができる。
【0032】
実施形態では、分類器は、通常の分類モデルを使用して訓練されている。順序分類モデルは、順序変数を予測するために分類器を訓練する場合に特に適切であり得る。ＭＣＥＳ尺度などの重症度尺度は、その尺度が任意であり、値の間の順序のみが意味を持つ（すなわち、０、１、２、３に設定された値は、１が０よりも重篤であり、２が１よりも重篤であり、３が２よりも重篤である以外に意味を持たない）ため、かかる変数を表すとみなすことができる。従って、順序分類モデルは、重症度の増加レベルを表すことを意図した２つ以上の重症度クラスが定義されている場合に、有利に使用することができる。
【0033】
本発明者らは、十分な量の訓練データ及び／又は通常の分類モデルが使用される場合には、「未加工の」注釈付き大腸内視鏡映像を使用する訓練データの品質に関する要件が軽減されていても、４つのレベルＭＣＥＳなどの大腸内視鏡映像の臨床的に関連する特性を確実に予測する分類器を取得することができることを見出した。このように、本方法は、一般に利用可能かつ／又は取得しやすいデータを使用し、信頼性のある臨床的に関連する予測を生成するので、実用的な適用性が改善されている。例えば、本発明者らは、約１００個の映像を訓練データとして使用する場合、訓練データ及び対象データの両方として「未加工の」大腸内視鏡映像を使用して、予測ＭＣＥＳ＞１と予測ＭＣＥＳ＜＝１又は予測ＭＣＥＳ＞２と予測ＭＣＥＳ＜＝２などの大腸内視鏡映像の臨床的に関連する特性を確実に予測するバイナリ分類器を取得することができることを見出した。本発明者らはまた、約１０００個の映像を訓練データとして使用する場合、訓練データ及び対象データの両方として「未加工の」大腸内視鏡映像を使用して、全４レベル尺度で予測されたＭＣＥＳなどの大腸内視鏡映像の臨床的に関連する特性を確実に予測するマルチクラス分類器を取得することができることを見出した。
【0034】
実施形態では、順序分類モデルは、第１の深層ニューラルネットワーク分類器の複数のインスタンスを訓練することによって実装されてもよく、第１の深層ニューラルネットワーク分類器の各インスタンスは、画像データが第１の重症度クラス又は第２の重症度クラスに属する確率を計算するバイナリ分類器である。かかる実施形態では、第１の深層ニューラルネットワーク分類器の複数のインスタンスの複数のインスタンスの合成出力に基づいて、３つ以上の重症度クラス（第１の重症度クラスは第２の重症度クラスよりも重篤な内視鏡病変又はより重篤な潰瘍性大腸炎に関連し、第２の重症度クラスは第３の重症度クラスよりも重篤な内視鏡病変又はより重篤な潰瘍性大腸炎に関連するなど）の各々に属する確率を取得することができる。例えば、画像データが４つのクラス（ＭＣＥＳの４つのレベルなどのクラス１～４、ここで１は最も低い重症度（ＭＣＥＳ＝０）、４は最も高い重症度（ＭＣＥＳ＝３））のうちの１つに属する確率を予測する分類器は、３つのバイナリ深層ニューラルネットワーク分類器、すなわち
（ｉ）画像データが最も低い重症度クラス以外の重症度クラスのいずれかに属する確率（すなわち、Ｐ（クラス＞１のデータ））及び所望により画像データが第１のクラスに属する確率（Ｐ（クラス１のデータ））を提供する分類器と、
（ｉｉ）画像データが第３の重症度クラス以上に属する確率（すなわち、Ｐ（クラス＞２のデータ））及び
所望により画像データが第２のクラス以下に属する確率（Ｐ（クラス１又はクラス２のデータ））を提供する分類器と、
（ｉｉｉ）画像データが第４の重症度クラスに属する確率（すなわち、Ｐ（クラス＞３のデータ）（Ｐ（クラス４のデータ）と同等））及び所望により画像データが第３のクラス以下に属する確率（すなわち、Ｐ（クラス＜４のデータ））を提供する分類器と、
の出力を組み合わせることによって取得することができる。
（ｉ）画像データが最も低い重症度クラス以外の重症度クラスのいずれかに属する確率（すなわち、Ｐ（クラス＞１のデータ））及び所望により画像データが第１のクラスに属する確率（Ｐ（クラス１のデータ））を提供する分類器と、
（ｉｉ）画像データが第３の重症度クラス以上に属する確率（すなわち、Ｐ（クラス＞２のデータ））及び
所望により画像データが第２のクラス以下に属する確率（Ｐ（クラス１又はクラス２のデータ））を提供する分類器と、
（ｉｉｉ）画像データが第４の重症度クラスに属する確率（すなわち、Ｐ（クラス＞３のデータ）（Ｐ（クラス４のデータ）と同等））及び所望により画像データが第３のクラス以下に属する確率（すなわち、Ｐ（クラス＜４のデータ））を提供する分類器と、
の出力を組み合わせることによって取得することができる。
【0035】
これらの合成出力に基づいて、画像データが第１（最低）の重症度クラスに属する確率をＰ（クラス１のデータ）又は１－Ｐ（クラス＞１のデータ）として算出することができる。同様に、画像データが第４（最高）の重症度クラスに属する確率をＰ（クラス４のデータ）又は１－Ｐ（クラス＜４のデータ）として算出することができる。画像データが第２の重症度クラスに属する確率をＰ（クラス＞１のデータ）－Ｐ（クラス＞２のデータ）又は１－Ｐ（クラス＞２のデータ）－Ｐ（クラス１のデータ）として算出することができる。同様に、画像データが第３の重症度クラスに属する確率をＰ（クラス＞２のデータ）－Ｐ（クラス＞３のデータ）又は１－Ｐ（クラス＞３のデータ）－Ｐ（クラス１又はクラス２のデータ）として算出することができる。
【0036】
かかる実施形態では、第１の深層ニューラルネットワーク分類器の複数のインスタンスの合成出力を使用して行われる予測の性能を最大化するために、第１の深層ニューラルネットワーク分類器の複数のインスタンスを同時に訓練することができる。
【0037】
実施形態では、ｋ＝１…Ｋのクラスを有する順序分類モデルは、出力層においてＫ－１バイナリ分類器を使用して単一のＣＮＮを訓練することによって実装することができ、各バイナリ分類は、画像データがクラスｋ＞１、ｋ＞２…ｋ＞Ｋ－１に属するか否かを予測し、モデル訓練の損失関数は、分類器の一貫性（すなわち、個別のバイナリ分類からの予測間の一致）を確保しながら、全てのバイナリ分類器にわたる損失を最小化するように適合される。実施形態では、第１の深層ニューラルネットワーク分類器は、Ｃａｏ ｅｔ ａｌ．（Ｒａｎｋ－ｃｏｎｓｉｓｔｅｎｔ Ｏｒｄｉｎａｌ Ｒｅｇｒｅｓｓｉｏｎ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０１９，ａｒＸｉｖ：１９０１．０７８８４ｖ４、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９０１．０７８８４．ｐｄｆで入手可能）に記載されているように訓練することができ、その内容は参照により本明細書に援用される。
【0038】
実施形態では、第１の深層ニューラルネットワーク分類器は、画像データを３つ以上の重症度クラスに分類し、訓練画像データ内のフレームの各セットは、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを、３つ以上の重症度クラスの各々に対して所定の異なる範囲内の内視鏡重症度スコアと関連付けた場合、３つ以上の重症度クラスラベルのうちの１つに割り当てられている。一部のかかる実施形態では、訓練画像データ内のフレームの各セットは、２つの独立した目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを、同じ該１つの重症度クラスラベルに関連付けられた範囲内の内視鏡重症度スコアと関連付けた場合、３つ以上の重症度クラスラベルのうちの１つに割り当てられている。
【0039】
一部の実施形態では、内視鏡重症度スコアは、メイヨークリニック内視鏡サブスコアであり、第１の深層ニューラルネットワーク分類器は、画像データを４つの重症度クラスに分類し、各重症度クラスは、異なるメイヨークリニック内視鏡サブスコアに関連付けられる。
【0040】
４段階のメイヨー内視鏡サブスコアは潰瘍性大腸炎の内視鏡評価に広く用いられている尺度である。従って、メイヨー内視鏡サブスコア尺度に対応するクラスに画像データを分類することができる分類器、又はメイヨー内視鏡サブスコア尺度に対応させ得るクラスに画像データを分類し得る分類器は、その出力が臨床医によって直接解釈可能であり得るため、特に有用であり得る。更に、かかる分類器は、訓練用のクラスラベルとしてメイヨースコアを直接使用することによって、メイヨースコアで注釈付けされた既存の大腸内視鏡データを使用することができる。
【0041】
実施形態では、大腸内視鏡映像又はその一部からの画像データは、複数の連続フレームを含む。
【0042】
本発明者らは、本発明の方法が、「未加工の」大腸内視鏡データ（すなわち、特に有益なフレームを選択するために処理されていないデータ）を使用する場合であっても、大腸内視鏡映像又はその一部を分析し、臨床的に関連する重症度評価を提供することができることを見出した。換言すれば、本発明の方法は、分類器（複数可）が「未加工の」大腸内視鏡映像を使用して訓練した／された場合であっても、臨床的に適切な重症度評価を提供することができ、「未加工の」大腸内視鏡映像に対して臨床的に適切な評価を提供することができる。当業者が理解するように、深層ニューラルネットワーク分類器は、典型的には、単一画像（すなわち、大腸内視鏡映像の単一フレーム）に対する出力を生成する。本発明者らは、「未加工の」大腸内視鏡映像を使用して、深層ニューラルネットワーク分類器を弱く訓練して、ともに未加工の大腸内視鏡映像又はその一部を形成する連続フレームのセットの複数フレームについて重症度クラスを予測することができることを見出した（連続フレームのセットのフレームの一部又は全部は、例えば、どのフレームが低品質であり、どのフレームが第１の分類器によって分類されるべきではないかを第２の分類器を使用して判定されるかどうかに応じて、第１の分類器を使用して評価されてもよい）。実際、本発明者らは、複数フレームに対する予測を、大腸内視鏡映像又はその一部に対する臨床的に適切な評価に組み合わせることができることを見出した。
【0043】
実施形態では、大腸内視鏡映像又はその一部を分析することは、第１の深層ニューラルネットワーク分類器を使用することと、所望により、第２の深層ニューラルネットワーク分類器を使用して、大腸内視鏡映像又はその一部からの画像データ内の複数フレームを個別に分類することと、を含む。
【0044】
実施形態では、個別のフレームを分類することは、複数のフレームの各々に対して、フレームが第１のクラスに属する確率及び／又はフレームが第２のクラスに属する確率を提供することを含む。
【0045】
実施形態では、フレームが第１の品質クラスに属する確率が閾値に達するか又はそれを超える場合、フレームは、第２の深層ニューラルネットワーク分類器によって第１の品質クラスに分類されるとみなされる。有利には、閾値は０．９～０．９９であり得る。実施形態では、閾値は約０．９５である。実施形態では、閾値は、訓練画像データ内のフレームセットが、平均２０～４０個、好ましくは約３０個の、第１の品質クラスに分類されたフレームを含むように動的に決定される。
【0046】
発明者らは、驚くべきことに、フレーム毎に画像データの品質フィルタリングのためにナイーブなカットオフを適用することが、重症度ベース分類がセット内の残りのフレームについて正確な結果を生成することを保証するのに十分であることを見出した。当業者が理解するように、品質ベースのフィルタリングの厳密性を増大させる場合、フィルタリングされたデータの品質と、フィルタを通過して訓練に利用可能なデータの量との間にトレードオフが存在する。本発明者らは、上記の値がこの点において良好なバランスを有することを見出した。
【0047】
実施形態では、大腸内視鏡映像又はその一部を分析することは、複数フレームに対する第１の深層ニューラルネットワーク分類器からの個別の分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることを更に含む。
【0048】
本発明者らは、個別のフレームからの分類結果に基づいて、大腸内視鏡映像に対する臨床的に関連する要約メトリックを取得することができることを見出した。特に、かかる要約メトリックは、例えば臨床試験から利用可能なものなどの大腸内視鏡映像のための専門的な内視鏡評価メトリックを正確に再現することができる。驚くべきことに、これは、複数のフレームに対する個別の分類における変動性、及び訓練画像データ内の個別のフレームに対して利用可能な弱いラベル付けにもかかわらず当てはまる。
【0049】
実施形態では、個別のフレームを分類することは、複数のフレームの各々に対して、フレームが第１の重症度クラスに属する確率を提供することを含み、複数のフレームに対する個別の分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、第１の重症度クラスに属するフレームの確率の平均（ａｖｅｒａｇｅ）（平均（ｍｅａｎ））が閾値を超える場合に、第１の重症度クラスを割り当てることを含む。
【0050】
同様に、個別のフレームを分類することは、複数のフレームの各々に対して、フレームが第２の重症度クラスに属する確率を提供することを含んでもよく、複数のフレームに対する個別の分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、第２の重症度クラスに属するフレームの確率の平均が閾値を超える場合に、第２の重症度クラスを割り当てることを含む。
【0051】
発明者らは、第１の重症度クラスに属するセット内のフレームの個別の確率を平均化することによって、専門家によってフレームを含む映像に割り当てられるクラスラベルの正確な予測が提供されることを見出した。専門家による内視鏡評価を実施する場合、大腸内視鏡映像又はその一部は概して、映像で特定された最も重篤なカテゴリ（最高重症度スコア）に割り当てられる。従って、映像の中の分類器によって特定された最も重篤なカテゴリは、専門家に基づく評価プロセスを最も厳密に再現した可能性があるものと期待され得る。
【0052】
しかしながら、本発明者らは、驚くべきことに、映像内のフレームにわたって予測を平均化すると、より正確な予測が得られることを見出した。かかる要約済みの予測因子は、外れ値に対して感度が低い可能性があり、弱教師付きを用いて訓練された深層ニューラルネットワークの文脈において、例えば、深層ニューラルネットワークが手動で収集された「グランドトゥルース」データを使用して訓練された場合よりも一般的であり得る。
【0053】
実施形態では、平均値の代わりに又は平均値に加えて、例えばトリム平均値、中央値などの中心化傾向の他の統計的測定値を含む他の要約測定値を使用することができる。
【0054】
一部のかかる実施形態において、閾値は、約０．５、約０．６、約０．７、約０．８又は約０．９など、０．５～０．９である。好ましくは、閾値は約０．５であり得る。実施形態では、複数フレームについての個別の分類に基づいて、大腸内視鏡映像又はその一部について要約済みの重症度クラスを割り当てることは、第１の重症度クラスに属するフレームの確率の平均が閾値を超える場合に第１の重症度クラスを割り当てることを含み、閾値は、所定の許容可能な偽陽性の割合、所定の許容可能な偽陰性の割合、所定の最小精度（真陽性及び真陰性の合計割合）、所定の最小正確度（真陽性及び偽陽性に対する真陽性の比率）、及び／又は所定の最小リコール（真陽性及び偽陰性に対する真陽性の比率）から選択される１又は複数の基準に基づいて動的に決定される。第１の（より高い）重症度クラスにデータを割り当てるための閾値を設定する場合、真陽性は、第１の重症度クラスに正しく割り当てられたデータを参照することができ、真陰性は、第２の（より低い）重症度クラスに正しく割り当てられたデータを参照することができ、偽陰性は、第２の（より低い）重症度クラスに誤って割り当てられたデータを参照することができ、偽陽性は、第１の（より高い）重症度クラスに誤って割り当てられたデータを参照することができる。
【0055】
発明者らは、驚くべきことに、０．５を超える特定の重症度クラスに属する確率に基づく単純な分類であっても、専門家ベースの評価プロセスを正確に再現することができることを見出した。
【0056】
実施形態では、複数フレームの分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、第１の重症度クラスに割り当てられたフレームの割合が閾値を超える場合に第１の重症度クラスを割り当てることを含む。実施形態では、複数フレームの分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、複数フレームにわたって最も表現される重症度クラスを割り当てること（すなわち、複数フレームにわたる重症度クラス割り当てのモード）を含む。
【0057】
実施形態では、複数フレームの分類に基づいて大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、フレームの割合が閾値を超える最も高い重症度クラスを割り当てることを含む。例えば、大腸内視鏡映像又はその一部に対する要約済みの重症度クラスは、第１の重症度クラスに割り当てられた複数のフレームの割合が第１の閾値を上回る場合、第１の（最も高い）重症度クラスとして定義され、第２の重症度クラスに割り当てられた複数のフレームの割合が第２の閾値を上回る（かつ第１のクラスに割り当てられたフレームの割合が第１の閾値を上回らない）場合、第２の重症度クラスとして定義され、所望により、第３の重症度クラスに割り当てられた複数のフレームの割合が第３の閾値を上回る（かつ第１及び第２のクラスに割り当てられたフレームの割合がそれぞれ第１及び第２の閾値を上回らない）場合、第３の重症度クラスなどとして定義されてもよい。閾値は、クラスに依存して異なり得る。例えば、第１の重症度クラスに対する閾値は、第２及び第３の重症度クラスに対する閾値よりも高くてもよい。
【0058】
実施形態では、複数フレームの分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、複数インスタンス学習を使用して訓練された第１の深層ニューラルネットワーク分類器を使用することを含む。一部のかかる実施形態では、複数フレームの分類に基づいて、大腸内視鏡映像又はその一部に要約済みの重症度クラスを割り当てることは、各フレームのクラスを予測するために第１の深層ニューラルネットワーク分類器を使用することと、個別の予測の加重平均を使用して予測を組み合わせることと、を含み、重みは、ニューラルネットワーク（注意ベースのプーリング）によって決定される。例えば、参照により本明細書に援用されるＩｌｓｅ ｅｔ ａｌ．（Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ，２０１８，ａｒＸｉｖ：１８０２．０４７１２ｖ４、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８０２．０４７１２．ｐｄｆで入手可能）に記載されている複数インスタンス学習アプローチを使用することができる。
【0059】
実施形態では、本方法は、大腸内視鏡映像又はその一部をセグメントに自動的に分離することを更に含み、各セグメントは、第１の深層ニューラルネットワーク分類器によって異なる重症度クラスに分類されるフレームを含まない。一部のかかる実施形態では、第１の深層ニューラルネットワーク分類器が、閾値を超える重症度クラスに属するフレームの確率を出力する場合、フレームは特定の重症度クラスに分類されるとみなされる。有利には、このアプローチは、疾患の徴候を示す大腸の部分を示す映像のセグメントを自動的に検出することを可能にし得る。
【0060】
当業者が理解するように、異なる重症度クラスに分類されたフレームを含まない映像のセグメントは、例えば、第２の深層ニューラルネットワーク分類器によって品質上の理由でフィルタリングされたため、又は特定の重症度クラスに自信を持って割り当てることができなかったために、いかなる重症度分類にも割り当てられなかった１又は複数のフレームを含み得る。
【0061】
実施形態では、本方法は、自動的に作成された各セグメントに要約済みの重症度クラスラベルを割り当てることを更に含み、要約済みの重症度クラスラベルは、各重症度クラスに割り当てられたセグメント内のフレームの割合、及び／又は各重症度クラスに属する各フレームの平均確率に基づく。実施形態では、第１の深層ニューラルネットワーク分類器によって重症度クラスラベルが割り当てられなかったフレームには、各重症度クラスに属する確率が等しく割り当てられる。
【0062】
大腸内視鏡映像を、同じクラスに割り当てられたフレームを含むセグメントに分離することにより、同様の重症度に関連する内視鏡病変を示す大腸のセクション（元の大腸内視鏡映像の連続セグメントに対応する）の識別が可能となり得る。各クラスに割り当てられたセグメント内のフレームの割合又は各クラスに属する各フレームの平均確率を使用することで、セグメントが、第２の深層ニューラルネットワーク分類器によってフィルタリングされたために、又は第１の深層ニューラルネットワーク分類器によって出力されたいずれかのクラスに属するフレームの確率が選択された信頼閾値を超えなかったために、第１の深層ニューラルネットワークによってクラスラベルが割り当てられなかったフレームを含む状況を処理することができる。
【0063】
実施形態では、第２の深層ニューラルネットワーク分類器によってフィルタリングされたフレームには、各重症度クラスに属する確率が等しく割り当てられる。実施形態では、第１の深層ニューラルネットワーク分類器によって出力された確率は、第１の深層ニューラルネットワーク分類器によって出力された任意のクラスに属するフレームの確率が選択された信頼閾値を超えなかったため、特定の重症度クラスに確実に割り当てることができなかったフレームに使用される。
【0064】
要約済みの重症度クラスが取得される実施形態では、本方法は、複数のフレームの各々に対して、要約済みの重症度クラス、及び／又は第１の深層ニューラルネットワーク分類器からの分類を出力することを更に含み得る。
【0065】
実施形態では、本方法は、解剖学的セクションを大腸内視鏡映像又はその一部の各フレームに割り当てることによって大腸内視鏡映像又はその一部をセグメントに自動的に分離することと、大腸内視鏡映像又はその一部を異なる解剖学的セクションに割り当てられたフレームを含まないセグメントに分離することと、を更に含む。実施形態では、第１の深層ニューラルネットワーク分類器からの任意の要約済みの重症度クラスラベルは、単一セグメントからのフレームを使用して取得される。
【0066】
実施形態では、解剖学的セクションを各フレームに割り当てることは、解剖学的セクションを示すグラフィカルラベルをフレームから抽出することを含む。実施形態では、フレームからグラフィカルラベルを抽出することは、少なくとも部分的にフレーム上のグラフィカルラベル内の情報に基づいて、画像データを複数の解剖学的クラスに分類する第３の深層ニューラルネットワーク分類器を使用することを含み、各解剖学的クラスは、解剖学的セクションに対応する。
【0067】
大腸内視鏡映像は、例えば、大腸内視鏡検査を実施する医師によって解剖学的セグメントで注釈が付けられてもよい。映像又はその一部において可視である解剖学的セグメントに関する情報は、例えば画像に埋め込まれたテキスト文字列などのグラフィカルラベルを介して映像の各フレームに含めることができる。かかるグラフィカルラベルは、対象又は訓練用大腸内視鏡映像を異なる解剖学的セクションに対応するセグメントに自動的に分離するために有利に使用することができる。これらは次に、個別の重症度予測と関連付けることができる。解剖学的セクションに基づくセグメント化を対象の大腸内視鏡映像に対して行うことができる場合、これは予測の精度及び／又はその臨床的関連性を高めることができる。解剖学的セクションに基づくセグメント化が訓練データの少なくとも一部に対して実施され得る場合、これは、第１の深層ニューラルネットワーク分類器が、より臨床的に関連する意味を有する可能性が高いデータを用いて訓練されることを可能にし得る。
【0068】
実施形態では、第１、第２及び／又は第３の深層ニューラルネットワーク分類器（複数可）は、畳み込みニューラルネットワーク（複数可）（ＣＮＮ）である。有利には、ＣＮＮは、無関係な画像データについて事前訓練されていてもよい。実施形態では、ＣＮＮは５０層のＣＮＮである。実施形態では、ＣＮＮは、深層残差学習フレームワークを使用して事前訓練されたＣＮＮである。
【0069】
畳み込みニューラルネットワークは、画像認識タスクにおいて特に良好に動作することが示されている。更に、ＩｍａｇｅＮｅｔデータベースなどの画像データの大規模なコレクションに対する画像認識タスクのために事前訓練されたＣＮＮが利用可能である。これらのＣＮＮは、例えば、画像中の低レベル特徴（例えば、畳み込み層など）を識別するように訓練された低レベル層を「凍結」（すなわち、再訓練しない）し、目下の分類問題に特に有用な高レベル特徴を識別するために高レベル層（例えば、分類層など）のみを再訓練することによって、新しいデータについて部分的に再訓練することができる。この部分的な再訓練は、ＣＮＮのパラメータのサブセットのみが訓練によって決定される必要があるので、限られた量のデータを使用して深層ＣＮＮを迅速に訓練することができることを意味する。
【0070】
深層残差学習は、画像認識のために開発された学習フレームワークであり、「劣化」（ネットワークの深さが増加するにつれて、精度が飽和し、急速に劣化するという観測）として知られる問題に対処するために開発されている。深層残差学習を使用したＣＮＮの訓練に関する更なる詳細は、本明細書に参考として援用されるｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１５１２．０３３８５．ｐｄｆに見出すことができる。
【0071】
実施形態では、ＣＮＮは、ＲｅｓＮｅｔｓとしても知られている深層残差学習を用いて訓練された事前訓練ネットワークである。実施形態では、ＣＮＮはＲｅｓＮｅｔ５０である。ＲｅｓＮｅｔ５０は、ＩｍａｇｅＮｅｔデータベースからの１００万個以上の画像で訓練されたＣＮＮであり、そのネイティブ形式（再訓練前）では、キーボード、鉛筆、多くの動物などを含む１０００個のオブジェクトカテゴリに画像を分類することができる。ＣＮＮは、別の画像分類タスクを実施するために再訓練することができる。
【0072】
実施形態では、訓練画像データは、少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の個別の大腸内視鏡映像を含む。個別の大腸内視鏡映像は、異なる対象から、かつ／又は異なる時点で取得される。
【0073】
実施形態では、訓練画像データは、大腸の１又は複数の解剖学的セクションの各々からの少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の個別の大腸内視鏡映像を含む。実施形態では、訓練画像データは、少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の、大腸の３つの解剖学的セクションの各々からの個別の大腸内視鏡映像を含み、これらのセクションは、直腸、Ｓ状結腸、下行結腸であることが好ましい。実施形態では、訓練画像データは、大腸の１又は複数の（例えば３つ）の解剖学的セクションの各々からの少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の個別の大腸内視鏡映像を含み、第１の深層ニューラルネットワーク分類器は、バイナリ分類器である。実施形態では、訓練画像データは、大腸の１又は複数（例えば３つ）の解剖学的セクションの各々からの少なくとも５００個、少なくとも６００個、少なくとも７００個、少なくとも８００個、少なくとも９００個又は約１０００個の個別の大腸内視鏡映像を含み、第１の深層ニューラルネットワーク分類器はマルチクラス分類器である。好ましくは、第１の深層ニューラルネットワーク分類器は、画像データが４つのクラス（ＭＣＥＳの４つのレベルなどのクラス１～４であり、１が最も低い重症度（ＭＣＥＳ＝０）、４が最も高い重症度－（ＭＣＥＳ＝３））のうちの１つに属する確率を予測するマルチクラス分類器である。
【0074】
実施形態では、訓練画像データは、複数の大腸内視鏡映像の各々からの平均３０フレームを含む。
【0075】
実施形態では、訓練画像データは、少なくとも５０００フレーム、少なくとも６０００フレーム、少なくとも７０００フレーム、少なくとも８０００フレーム、又は少なくとも９０００フレームを含む。
【0076】
実施形態では、第１の深層ニューラルネットワーク分類器は、フレームのセットが、少なくとも０．７の受信者動作特性下面積（ＡＵＣ）を有する第１の重症度クラス又は第２の重症度クラスに属するかどうかを予測することができる。一部のかかる実施形態では、第１の深層ニューラルネットワーク分類器は、１５０個未満の個別の大腸内視鏡映像で訓練された後に、フレームのセットが少なくとも０．７のＡＵＣを有する第１の重症度クラス又は第２の重症度クラスに属するかどうかを予測することができる。
【0077】
バイナリ分類器の性能は、受信者動作特性曲線下面積（ＡＵＣ）を定量化することによって測定することができる。当業者が認識するように、受信者動作特性曲線又はＲＯＣ曲線は、バイナリ分類器の診断能力を示す。これは、種々の閾値設定で真陽性率（ＴＰＲ）と偽陽性率（ＦＰＲ）をプロットすることにより取得される。例えば、ＲＯＣ曲線は、第１の重症度クラスに属すると予測される確率に適用される閾値の異なる値（例えば、０．０５のステップで０～１の全ての値）についてＦＰＲに対してＴＰＲをプロットすることによって取得することができる。実施形態では、マルチクラス分類器の性能は、コーエン（Ｃｏｈｅｎ）のκ係数及び／又は予測クラスと真のクラスとの間のパーセント一致を定量化することによって測定することができる。好ましくは、マルチクラス分類器の性能は、コーエンのκ係数を定量化することによって測定される。当業者が認識するように、コーエンのκは（ｐｏ－ｐｅ／１－ｐｅ）として算出することができ、ここでｐｏは予測クラスと真のクラスとの間で観察された相対的一致であり、ｐｅは（各クラスに含まれるデータ量に基づいて）予測クラスと真のクラスが偶然一致する確率である。
【0078】
実施形態では、性能は、例えば５分割又は１０分割の交差検証などの交差検証を実施し、交差検証の各スプリットについてＡＵＣ及び／又はコーエンのκを定量することによって測定することができる。実施形態では、交差検証のスプリットは、同じ個別の大腸内視鏡映像からの画像データがセットの１つにのみ現れるように定義される。一部のかかる実施形態では、交差検証のスプリットは、同じ患者からの画像データがセットの１つにのみ現れるように定義される。これらは、異なるスプリットにおける訓練画像データ間の可能な依存性が、交差検証の結果を人為的に改善することを防止することができる。
【0079】
実施形態では、第１の深層ニューラルネットワーク分類器は、フレームのセットが少なくとも０．７５のＡＵＣを有する第１の重症度クラス又は第２の重症度クラスのいずれに属するかを予測することができ、第１の重症度クラスはメイヨースコア＞１に対応し、第２の重症度クラスはメイヨースコア≦１に対応する。一部のかかる実施形態では、第１の深層ニューラルネットワーク分類器は、１５０個未満の個別の大腸内視鏡映像で訓練された後に、フレームのセットが少なくとも０．７５のＡＵＣを有する第１の重症度クラス又は第２の重症度クラスに属するかどうかを予測することができる。
【0080】
実施形態では、第１の深層ニューラルネットワーク分類器は、フレームのセットが少なくとも０．７５、好ましくは少なくとも０．８のＡＵＣを有する第１の重症度クラス又は第２の重症度クラスのいずれに属するかを予測することができ、第１の重症度クラスはメイヨースコア＞２に対応し、第２の重症度クラスはメイヨースコア≦２に対応する。一部のかかる実施形態では、第１の深層ニューラルネットワーク分類器は、１５０個未満の個別の大腸内視鏡映像で訓練された後に、フレームのセットが少なくとも０．７５のＡＵＣを有する第１の重症度クラス又は第２の重症度クラスに属するかどうかを予測することができる。
【0081】
第２の態様によれば、対象における潰瘍性大腸炎（ＵＣ）の重症度を評価する方法が提供され、この方法は、第１の態様の実施形態のいずれかに記載の方法を用いて、対象からの大腸内視鏡映像又はその一部を分析することを含む。
【0082】
当業者が理解するように、対象からの大腸内視鏡映像を分析する方法は、コンピュータ実装方法である。実際、深層ニューラルネットワーク分類器を使用する画像分析、及びかかる分類器を提供する方法は、精神活動の範囲を超えた複雑な数学的演算による大量のデータの分析を必要とする。
【0083】
第２の態様の実施形態では、本方法は、ＵＣについて対象を治療することを更に含む。一部の実施形態では、本方法は、第１の深層ニューラルネットワークが、対象からの大腸内視鏡映像からのフレームのセットを第１の重症度クラスに分類する場合に、ＵＣについて対象を治療することを更に含む。一部の実施形態では、本方法は、大腸内視鏡映像又はその一部からのフレームのセットについて要約済みの重症度クラスが第１の重症度クラスである場合に、ＵＣについて対象を治療することを更に含む。
【0084】
一部の実施形態では、第１の深層ニューラルネットワーク分類器は、ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データを分類し、本方法は、大腸内視鏡映像又はその一部からのフレームのセットについて要約済みの重症度クラスが第１の重症度クラスである場合に、ＵＣについて対象を治療することを更に含む。一部の実施形態では、第１の深層ニューラルネットワーク分類器は、ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データを分類し、本方法は、大腸内視鏡映像又はその一部からのフレームのセットについて要約済みの重症度クラスが第１の重症度クラスである場合に、ＵＣについて対象を治療することを更に含む。
【0085】
一部の実施形態では、対象又はその一部からの大腸内視鏡映像を分析することは、（ｉ）ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して大腸内視鏡映像又はその一部を分析することと、（ｉｉ）ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して大腸内視鏡映像又はその一部を分析することと、（ｉｉｉ）工程（ｉｉ）で映像の少なくとも１つのセグメントが第１の重症度クラスに割り当てられている場合には第１の治療で、工程（ｉｉ）で映像のセグメントが第１の重症度クラスに割り当てられていないが、工程（ｉ）で映像のセグメントの少なくとも１つが第１の重症度クラスに割り当てられている場合には第２の治療で、ＵＣについて対象を治療することと、を含む。
【0086】
一部の実施形態では、対象からの大腸内視鏡映像又はその一部を分析することは、（ｉ）第１の態様の方法を使用して、大腸内視鏡映像又はその一部からフレームの１又は複数のセットについて要約済みの重症度クラスを取得することであって、第１の深層ニューラルネットワーク分類器は、ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データを分類することと、（ｉｉ）第１の態様の方法を使用して、大腸内視鏡映像又はその一部からフレームの１又は複数のセットについて要約済みの重症度クラスを取得することであって、第１の深層ニューラルネットワーク分類器は、ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データを分類することと、（ｉｉｉ）工程（ｉｉ）で取得された要約済みの重症度クラスのうちの少なくとも１つが第１の重症度クラスである場合、第１の治療で、かつ工程（ｉｉ）で取得された要約済みの重症度クラスのうちのいずれも第１の重症度クラスではないが、工程（ｉｉ）で取得された要約済みの重症度クラスのうちの少なくとも１つが第１の重症度クラスである場合、第２の治療で、ＵＣについて対象を治療することと、を含む。
【0087】
第３の態様によれば、大腸内視鏡映像又はその一部を分析するためのツールを提供する方法が提供され、この方法は、
複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームは、少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有し、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変に関連付けられている、ことと、
第１の深層ニューラルネットワークを訓練して、
画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することであって、訓練は、訓練画像データ及び重症度クラスラベルを用いて弱教師付き方式で実施される、ことと、
を含む。好ましくは、内視鏡病変は潰瘍性大腸炎を示す。換言すれば、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連することが好ましい。
複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームは、少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有し、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変に関連付けられている、ことと、
第１の深層ニューラルネットワークを訓練して、
画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することであって、訓練は、訓練画像データ及び重症度クラスラベルを用いて弱教師付き方式で実施される、ことと、
を含む。好ましくは、内視鏡病変は潰瘍性大腸炎を示す。換言すれば、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連することが好ましい。
【0088】
本方法は、好ましくはコンピュータで実装される。上記で説明したように、少なくとも深層ニューラルネットワーク分類器を訓練する工程は、任意の実際のアプリケーションにおいてコンピュータによって実装される。従って、本方法の工程は、該工程を実施する命令を実行するプロセッサを含み得る。例えば、訓練画像データを取得することは、データソース（例えば、データベース、コンピュータメモリなど）から訓練画像データを取得する命令を実行するプロセッサを含み得る。同様に、第１の深層ニューラルネットワークを訓練することは、第１の深層ニューラルネットワークを訓練する命令を実行するプロセッサを含み得る。
【0089】
実施形態では、本方法は、第２の深層ニューラルネットワーク分類器を使用して、少なくとも第１の品質クラス及び第２の品質クラスの複数フレームを含む訓練画像データを分類することを更に含み、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられ、第１の深層ニューラルネットワークの訓練は、第２の深層ニューラルネットワーク分類器によって第１の品質クラスに分類された訓練画像データを使用して実施される。
【0090】
実施形態では、フレームが第１の品質クラスに属する確率が閾値に達するか又はそれを超える場合、フレームは、第２の深層ニューラルネットワーク分類器によって第１の品質クラスに分類されるとみなされる。有利には、閾値は０．９～０．９９、好ましくは約０．９５であり得る。
【0091】
実施形態では、本方法は、
複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、訓練画像データ内の連続フレームのセット内のフレームは、少なくとも第１の品質クラス及び第２の品質クラスから選択された同じ品質クラスラベルを有し、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられている、ことと、
第２の深層ニューラルネットワークを訓練して、訓練画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することであって、訓練は、訓練画像データ及び品質クラスラベルを用いて弱教師付き方式で実施される、ことと、
を更に含む。
複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、訓練画像データ内の連続フレームのセット内のフレームは、少なくとも第１の品質クラス及び第２の品質クラスから選択された同じ品質クラスラベルを有し、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられている、ことと、
第２の深層ニューラルネットワークを訓練して、訓練画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することであって、訓練は、訓練画像データ及び品質クラスラベルを用いて弱教師付き方式で実施される、ことと、
を更に含む。
【0092】
実施形態では、本方法は、
複数の訓練用大腸内視鏡映像から複数のフレームを含む訓練画像データを取得することであって、訓練画像データ内のフレームには、少なくとも第１の品質クラス及び第２の品質クラスから選択された品質クラスラベルが自動的に割り当てられており、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられており、所望により、品質クラスラベルは、１又は複数の以前に訓練された機械学習アルゴリズムを使用して自動的にフレームに割り当てられている、ことと、
第２の深層ニューラルネットワークを訓練して、訓練画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することであって、訓練は、訓練画像データ及び品質クラスラベルを使用して弱教師付き方式で実施される、ことと、
を更に含む。
複数の訓練用大腸内視鏡映像から複数のフレームを含む訓練画像データを取得することであって、訓練画像データ内のフレームには、少なくとも第１の品質クラス及び第２の品質クラスから選択された品質クラスラベルが自動的に割り当てられており、第１の品質クラスは、第２の品質クラスよりも良好な品質の画像に関連付けられており、所望により、品質クラスラベルは、１又は複数の以前に訓練された機械学習アルゴリズムを使用して自動的にフレームに割り当てられている、ことと、
第２の深層ニューラルネットワークを訓練して、訓練画像データを少なくとも第１の品質クラス及び第２の品質クラスに分類することであって、訓練は、訓練画像データ及び品質クラスラベルを使用して弱教師付き方式で実施される、ことと、
を更に含む。
【0093】
実施形態では、第１の深層ニューラルネットワークを訓練するために使用される訓練画像データは、第２の深層ニューラルネットワークを訓練するために使用される訓練画像データのサブセットである。
【0094】
実施形態では、フレームが第２の深層ニューラルネットワーク分類器によって第１のクラスに分類されるとみなされるか否かを判定するために使用される閾値は、訓練画像データ内のフレームのセットが、フィルタリング後に平均２０～４０個、好ましくは約３０個のフレームを含むように動的に決定される。
【0095】
実施形態では、複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、訓練画像データ内の連続フレームのセット内のフレームが同じ品質クラスラベルを有することは、
連続フレームのセットを含む映像セグメントが目視検査に関する１又は複数の品質基準を満たす場合は、連続フレームのセットを第１の品質クラスに割り当てることと、
そうでない場合は、連続フレームのセットを第２の品質クラスに割り当てることと、
によって、訓練画像データ内の連続フレームの各セットに品質クラスラベルを割り当てることを含む。
連続フレームのセットを含む映像セグメントが目視検査に関する１又は複数の品質基準を満たす場合は、連続フレームのセットを第１の品質クラスに割り当てることと、
そうでない場合は、連続フレームのセットを第２の品質クラスに割り当てることと、
によって、訓練画像データ内の連続フレームの各セットに品質クラスラベルを割り当てることを含む。
【0096】
実施形態では、１又は複数の品質基準は、連続フレームのセットから構成される訓練用大腸内視鏡映像セグメントの目視検査で大腸壁及び大腸血管を区別することができること、水の有無に基づく基準、高反射領域の有無に基づく基準、便の有無に基づく基準、及びぼやけに基づく基準の中から選択される。
【0097】
有利には、連続フレームのセットを含む訓練用大腸内視鏡映像セグメントが、連続フレームのセットから構成される映像セグメントの目視検査において少なくとも大腸壁及び大腸血管を区別することができるという基準を満たす場合には、連続フレームのセットを第１の品質クラスに割り当てることができる。実施形態では、連続フレームのセットを含む訓練用大腸内視鏡映像セグメントが、水、高反射領域、便及び／又はぼやけの有無に基づく基準の１又は複数を更に満たす場合には、連続フレームのセットを第１の品質クラスに割り当てることができる。実施形態では、連続フレームのセットを含む訓練用大腸内視鏡映像セグメントが、水、高反射領域、便及び／又はぼやけの有無に基づく基準の全てを更に満たす場合には、連続フレームのセットを第１の品質クラスに割り当てることができる。
【0098】
実施形態では、訓練画像データ内の連続フレームの各セットに品質クラスラベルを割り当てることは、複数の訓練用大腸内視鏡映像から、セグメントが１又は複数の品質基準を満たすか否かに基づいて複数のセグメントを識別することと、各セグメントからの連続フレームのセットに対応する品質クラスラベルを割り当てることと、を更に含む。
【0099】
実施形態では、本方法は、複数の訓練用大腸内視鏡映像の各フレームに解剖学的セクションラベルを割り当てることを更に含み、所望により、フレームから解剖学的セクションを示すグラフィカルラベルを抽出することを含む。所望により、フレームからグラフィカルラベルを抽出することは、少なくとも部分的にフレーム上のグラフィカルラベル内の情報に基づいて、第３の深層ニューラルネットワーク分類器を使用して、画像データを複数のクラスに分類することを含むことができ、各解剖学的クラスは、解剖学的セクションに対応する。実施形態では、本方法は、少なくとも部分的にフレーム上のグラフィカルラベル内の情報に基づいて、第３の深層ニューラルネットワーク分類器を訓練して、画像データを複数の解剖学的クラスに分類することを更に含み、各クラスは、解剖学的セクションに対応する。
【0100】
実施形態では、訓練画像データは、各映像のセグメントに内視鏡重症度スコアが割り当てられた複数の訓練用大腸内視鏡映像を含み、複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームは、少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有する、ことは、第１の範囲内で内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第１の重症度クラスを割り当てることと、第２の範囲内で内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第２の重症度クラスを割り当てることと、を含む。
【0101】
実施形態では、訓練画像データは、複数の訓練用大腸内視鏡映像を含み、各訓練用大腸内視鏡映像のセグメントは、少なくとも２つの独立して取得された内視鏡重症度スコアの値が割り当てられており、複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームは、少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有する、ことは、独立して取得された内視鏡重症度スコアの全ての値に対して第１の範囲内の内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第１の重症度クラスを割り当てることと、独立して取得された内視鏡重症度スコアの全ての値に対して第２の範囲内の内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第２の重症度クラスを割り当てることと、を含む。
【0102】
実施形態では、内視鏡重症度スコアの少なくとも２つの独立して取得された値が同じである場合、訓練画像データ内の一連の連続フレームがクラスに割り当てられる。実施形態では、同じ内視鏡重症度スコア又は同じ範囲内の内視鏡重症度スコアが割り当てられていないセグメントは、訓練画像データから除外される。
【0103】
実施形態では、複数の訓練用大腸内視鏡映像から連続フレームの複数のセットを含む訓練画像データを取得することであって、セット内のフレームは、少なくとも第１の重症度クラス及び第２の重症度クラスから選択された同じ重症度クラスラベルを有する、ことは、閾値を超える内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第１の重症度クラスを割り当てることと、閾値以下の内視鏡重症度スコアが割り当てられたセグメントの一部を形成する連続フレームの各セットに第２の重症度クラスを割り当てることと、を含む。
【0104】
実施形態では、内視鏡重症度スコアは、メイヨークリニック内視鏡サブスコアである。有利には、第１の範囲は、ＭＣＥＳ＞１又はＭＣＥＳ＞２であり得る。同様に、閾値はメイヨークリニック内視鏡サブスコア１又は２であり得る。
【0105】
実施形態では、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、各映像のセグメントには、内視鏡重症度スコアが割り当てられており、訓練画像データを取得することは、フレームのセットを含む訓練用大腸内視鏡映像のセグメントが、３つ以上の重症度クラスの各々に対して所定の異なる範囲内の内視鏡重症度スコアで割り当てられている場合、３つ以上の重症度クラスラベルのうちの１つを連続フレームの各セットに割り当てることを含み、第１の深層ニューラルネットワークを訓練することは、画像データを３つ以上の重症度クラスに分類するように第１の深層ニューラルネットワークを訓練することを含む。
【0106】
実施形態では、内視鏡重症度スコアは、メイヨー内視鏡サブスコアであり、第１の深層ニューラルネットワーク分類器は、画像データを４つの重症度クラスに分類するように訓練され、各重症度クラスは、異なるメイヨー内視鏡サブスコアに関連付けられる。
【0107】
実施形態では、第１、第２及び／又は第３の深層ニューラルネットワーク分類器（複数可）は、畳み込みニューラルネットワーク（複数可）（ＣＮＮ）である。一部のかかる実施形態では、第１、第２及び／又は第３の深層ニューラルネットワーク分類器を訓練することは、事前訓練されたＣＮＮを取得することと、訓練画像データを使用してＣＮＮを部分的に再訓練することと、を含む。
【0108】
実施形態では、ＣＮＮを部分的に再訓練することは、ＣＮＮの１又は複数の下位層のパラメータを固定することと、ＣＮＮの残りの（上位レベル）層のパラメータを決定することと、を含む。実施形態では、ＣＮＮを部分的に再訓練することは、ＣＮＮの最後の５～１０層、例えば８層のパラメータを決定することを含む。実施形態では、ＣＮＮを部分的に再訓練することは、ＣＮＮの層の最後の１０～２０％のパラメータを決定することを含む（例えば、５０層のＣＮＮに対しては、最後の５～１０層を再訓練してもよい）。
【0109】
実施形態では、ＣＮＮは、無関係な画像データを使用して事前訓練されている。実施形態では、ＣＮＮは５０層のＣＮＮである。実施形態では、ＣＮＮは、深層残差学習フレームワークを使用して事前訓練されたＣＮＮである。実施形態では、ＣＮＮはＲｅｓＮｅｔ５０である。
【0110】
実施形態では、訓練画像データを取得することは、少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の個別の大腸内視鏡映像を取得することを含む。
【0111】
実施形態では、訓練画像データを取得することは、少なくとも５０個、少なくとも６０個、少なくとも７０個、少なくとも８０個、少なくとも９０個、又は少なくとも１００個の個別訓練用大腸内視鏡映像を、大腸の１又は複数、好ましくは３つの（例えば、直腸、Ｓ状結腸、下行結腸）解剖学的セクションの各々から取得することを含む。
【0112】
実施形態では、訓練画像データを取得することは、複数の訓練用大腸内視鏡映像の各々から平均３０フレームを抽出することを含む。
【0113】
実施形態では、訓練画像データを取得することは、複数の訓練用大腸内視鏡映像から少なくとも５０００フレーム、少なくとも６０００フレーム、少なくとも７０００フレーム、少なくとも８０００フレーム、又は少なくとも９０００フレームを抽出することを含む。
【0114】
実施形態では、本方法は、第１の深層ニューラルネットワークの性能を評価することを更に含む。実施形態では、第１の深層ニューラルネットワークの性能を評価することは、検証画像データを使用して受信動作特性曲線下面積（ＡＵＣ）を定量化することを含む。実施形態では、第１の深層ニューラルネットワークの性能を評価することは、検証画像データを使用してコーエンのκを計算することを含む。実施形態では、検証画像データは、訓練画像データのサブセットを含む。
【0115】
実施形態では、第１の深層ニューラルネットワークの性能を評価することは、例えば５分割又は１０分割の交差検証などの訓練画像データを使用して交差検証を実施することと、交差検証の各スプリットについてＡＵＣ又はコーエンのκを定量化することと、を含む。一部のかかる実施形態では、交差検証を実施することは、訓練画像データを複数のスプリットに分離することを含み、同じ個別の大腸内視鏡映像からのフレームのセットは、複数のスプリットには現れない。
【0116】
本態様の方法は、第１の態様に関連して説明した特徴のいずれかを更に含み得る。特に、訓練データ、クラス又は分類器（複数可）の性質、及び分類器（複数可）によってなされる予測に関連する任意の特徴を含む、第１の態様における深層ニューラルネットワーク（複数可）の訓練に関連する任意の特徴は、本態様の文脈において明示的に想定される。
【0117】
第４の態様によれば、対象における潰瘍性大腸炎（ＵＣ）の重症度を評価する方法が提供され、この方法は、
第３の態様のいずれかの実施形態による大腸内視鏡映像又はその一部を分析するためのツールを提供することと、
大腸内視鏡映像又はその一部を分析するためのツールを使用して、対象からの大腸内視鏡映像又はその一部を分析することと、
を含む。
第３の態様のいずれかの実施形態による大腸内視鏡映像又はその一部を分析するためのツールを提供することと、
大腸内視鏡映像又はその一部を分析するためのツールを使用して、対象からの大腸内視鏡映像又はその一部を分析することと、
を含む。
【0118】
第５の態様によれば、対象における潰瘍性大腸炎（ＵＣ）の重症度を評価する方法が提供され、この方法は、
第３の態様のいずれかの実施形態に記載された方法を使用して第１の深層ニューラルネットワーク分類器及び所望により第２及び／又は第３の深層ニューラルネットワーク分類器を訓練することと、
第１の態様の方法を使用して対象からの大腸内視鏡映像又はその一部を分析することと、
を含む。
第３の態様のいずれかの実施形態に記載された方法を使用して第１の深層ニューラルネットワーク分類器及び所望により第２及び／又は第３の深層ニューラルネットワーク分類器を訓練することと、
第１の態様の方法を使用して対象からの大腸内視鏡映像又はその一部を分析することと、
を含む。
【0119】
第６の態様によれば、対象から取得された大腸内視鏡映像から対象における潰瘍性大腸炎の重症度を評価するためのシステムであって、システムは、
少なくとも１つのプロセッサと、
命令を含む少なくとも１つの非一時的コンピュータ可読媒体と、を備え、
命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
少なくとも１つのプロセッサと、
命令を含む少なくとも１つの非一時的コンピュータ可読媒体と、を備え、
命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
【0120】
実施形態では、命令は、少なくとも１つのプロセッサによって実行される場合、更に、第１の態様の実施形態のいずれかに関連して説明された動作をプロセッサに実施させる。
【0121】
第７の態様によれば、対象から取得された大腸内視鏡映像から対象における潰瘍性大腸炎の重症度を評価するための非一時的なコンピュータ可読媒体であって、命令を含み、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
【0122】
実施形態では、命令は、少なくとも１つのプロセッサによって実行される場合、更に、第１の態様の実施形態のいずれかに関連して説明された動作をプロセッサに実施させる。
【0123】
別の態様によれば、対象から取得された大腸内視鏡映像を分析するためのシステムが提供され、システムは、少なくとも１つのプロセッサと、命令を含む少なくとも１つの非一時的なコンピュータ可読媒体と、を備え、
命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、
第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、
第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、
訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、
セット内のフレームは、同じ重症度クラスラベルを有する。
命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、
第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、
第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、
訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、
セット内のフレームは、同じ重症度クラスラベルを有する。
【0124】
更に別の態様によれば、対象から取得された大腸内視鏡映像を分類するためのシステムが提供され、システムは、少なくとも１つのプロセッサと、命令を含む少なくとも１つの非一時的なコンピュータ可読媒体と、を備え、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
【0125】
更なる態様によれば、対象から取得された大腸内視鏡映像を分析するための非一時的なコンピュータ可読媒体であって、命令を含み、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
【0126】
更なる態様によれば、対象から取得された大腸内視鏡映像を分類するための非一時的なコンピュータ可読媒体であって、命令を含み、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、大腸内視鏡映像又はその一部からの画像データを少なくとも第１の重症度クラス及び第２の重症度クラスに分類することを含む動作を実施させ、第１の重症度クラスは、第２の重症度クラスよりも重篤な内視鏡病変（又は特により重篤な潰瘍性大腸炎）に関連付けられ、第１の深層ニューラルネットワークは、複数の訓練用大腸内視鏡映像からの訓練画像データを使用して、弱教師付き方式で少なくとも部分的に訓練されており、訓練画像データは、複数の訓練用大腸内視鏡映像からの連続フレームの複数のセットを含み、セット内のフレームは、同じ重症度クラスラベルを有する。
【0127】
更なる態様によれば、対象における潰瘍性大腸炎を治療する方法が提供され、この方法は、第１の態様の実施形態のいずれかの方法を用いて、対象からの大腸内視鏡映像又はその一部を分析することを含む。
【0128】
一部の実施形態では、本方法は、第１の深層ニューラルネットワークが、対象からの大腸内視鏡映像からのフレームのセットを第１の重症度クラスに分類する場合、かつ／又は大腸内視鏡映像又はその一部からのフレームのセットに対する要約済みの重症度クラスが第１の重症度クラスである場合に、対象をＵＣについて治療することを更に含む。
【0129】
実施形態では、本方法は、（ｉ）ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して大腸内視鏡映像又はその一部を分析することと、（ｉｉ）ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データを分類する第１の深層ニューラルネットワーク分類器を使用して大腸内視鏡映像又はその一部を分析することと、（ｉｉｉ）工程（ｉｉ）で映像の少なくとも１つのセグメントが第１の重症度クラスに割り当てられている場合には第１の治療で、工程（ｉｉ）で映像のセグメントが第１の重症度クラスに割り当てられていないが、工程（ｉ）で映像のセグメントの少なくとも１つが第１の重症度クラスに割り当てられている場合には第２の治療で、ＵＣについて対象を治療することと、を含む。
【図面の簡単な説明】
【0130】
【図1】本発明の実施形態が使用され得る例示的なコンピューティングシステムを示す。
【図2】大腸内視鏡映像を分析するためのツールを提供する方法、及び大腸内視鏡映像を分析する方法を示すフローチャートである。
【図3】大腸内視鏡映像を分析するためのツールを提供する方法、及び大腸内視鏡映像を分析する方法を概略的に示す。
【図4】対象における潰瘍性大腸炎の重症度を評価する方法を概略的に示す。
【発明を実施するための形態】
【0131】
本明細書に記載された図が本発明の実施形態を示す場合、これらは本発明の範囲を限定するものとして解釈されるべきではない。適宜、図示された実施形態の同じ構造的特徴に関連させるために、異なる図において同じ参照番号が使用される。
【0132】
本発明の特定の実施形態を、図面を参照して以下に説明する。
【0133】
図１は、本発明の実施形態が使用され得る例示的なコンピューティングシステムを示している。コンピューティングデバイス１は、１又は複数のプロセッサ１０１（例えば、サーバの形態であり得る）及び１又は複数のメモリ１０２を含む。コンピューティングデバイス１は、例えば公衆インターネットを介して、コンピューティングインフラストラクチャの他の要素と通信する手段を備えることができる。コンピューティングデバイス１はまた、概してディスプレイを含むユーザインターフェースを含み得る。図示の実施形態では、コンピューティングデバイス１は、１又は複数の外部データベース２０２と通信して、例えば、訓練画像データを取得し、分析すべき大腸内視鏡映像又はその一部を受信し、かつ／又は記憶のために大腸内視鏡映像の分析結果を出力することができる。特定の実装形態に応じて、データベース２０２は、実際にはデータベース１０２に含まれ得る。実施形態では、第１のコンピューティングデバイス１は、データベース２０２から受信した訓練データを使用して、以下に更に説明するように、大腸内視鏡映像を分析するためのツールを提供するように構成される。かかる実施形態では、メモリ１０１は、プロセッサ１０２によって実行されると、本明細書に記載されるような大腸内視鏡映像を分析するためのツールを提供する方法の工程をプロセッサに実行させる命令を記憶することができる。一部のかかる実施形態では、一旦取得されたツールは、第２のコンピューティングデバイス（図示せず）のプロセッサによって実行されると、プロセッサに、本明細書に記載されるような大腸内視鏡映像を分析する方法の工程を実行させる命令セットの形態で、第２のコンピューティングデバイスに提供されてもよい。第２のコンピューティングデバイスは、例えばディスプレイなどのユーザインターフェースを含むことができ、それを介して分析結果をユーザに出力することができる。実施形態では、第１のコンピューティングデバイス１は、大腸内視鏡映像又はその一部（例えば、データベース２０２から受信）を分析するように、かつ／又は対象からの大腸内視鏡映像又はその一部を分析することによって対象における潰瘍性大腸炎の重症度を自動的に評価するように構成される。かかる実施形態では、メモリ１０１は、プロセッサ１０２によって実行されると、本明細書に記載されているような大腸内視鏡映像を分析する方法の工程をプロセッサに実行させ、所望により潰瘍性大腸炎の重症度を評価させる命令を記憶することができる。
【0134】
図２及び図３は、大腸内視鏡映像を分析するためのツールを提供する方法、及び大腸内視鏡映像を分析する方法の一般的な実施形態を示している。以下に更に説明されるように、大腸内視鏡映像を分析するためのツールを提供する方法は、工程２１０／３１０（画像データを取得（訓練）することであって、工程２１２（未加工の大腸内視鏡映像を取得する）と、所望により工程２１４～２１８（解剖学的セクションラベル、品質クラスラベル及び／又は重症度クラスラベルで映像に注釈を付ける）と、を含む）と、工程２４０／３４０（重症度スコアリングネットワークを訓練することであって、工程２４２（各フレームについて重症度クラス予測を取得する）と、２４６（重症度クラス予測を重症度クラスラベルと比較する）と、所望により工程２４４（要約済みの重症度クラス予測を取得する）と、を含む）を含む。所望により、かかる方法は、工程２２０／３２０（品質制御ネットワークを訓練する）及び工程２３０／３３０（品質制御ネットワークを使用して低品質フレームをフィルタリングする）を更に含み得る。大腸内視鏡映像を分析する方法は、工程２１０／３１０（分析のための画像データを取得することであって、工程２１２（未加工の大腸内視鏡映像を取得する）と所望により工程２１８（解剖学的セクションラベルで映像に注釈を付ける）とを含む）と、所望により工程２３０／３３０（品質管理ネットワークを使用して低品質フレームをフィルタリングする）と、工程２５０／３５０（重症度スコアリングネットワークを使用して重症度クラス予測を取得することであって、工程２５２（各フレームについて重症度クラス予測を取得する）と所望により工程２５４（要約済みの重症度クラス予測を取得する）とを含む）と、を含み得る。換言すれば、訓練工程２２０／３２０（品質管理ネットワークを訓練する）及び２４０／３４０（重症度スコアリングネットワークを訓練する）、並びに訓練データにクラスラベル（訓練に使用される）に注釈を付ける関連工程２１４、２１６は、大腸内視鏡映像を分析するためのツールを提供する方法の一部として実施される。対照的に、大腸内視鏡映像を分析する方法は、本明細書に記載されるように予め訓練された１又は複数の分類器を使用しており、従って、必ずしも訓練工程及び訓練データの関連ラベル付けを必要としない。
【0135】
工程２１０／３１０において、訓練（この場合、画像データは「訓練画像データ」と称される）又は分析（この場合、画像データは対象からの大腸内視鏡映像３００又はその一部と称される）のために画像データが取得される。訓練画像データは、複数の訓練用大腸内視鏡映像３００を含む。各大腸内視鏡映像３００（訓練データ又は分析用データのいずれか）は、複数の連続フレーム３００１～３００ｎを含む。訓練画像データにおいて、複数の連続フレーム３００１～３００ｎは、同じ重症度クラスラベルＳ１、Ｓ２が割り当てられたセットを形成する。少なくとも２つの重症度クラスが使用され、第１の重症度クラスＳ１は、第２の重症度クラスＳ２よりも重篤な内視鏡病変及び／又はより重篤な潰瘍性大腸炎に関連付けられている。図３に示す実施形態では、合計２つの重症度クラスが使用され、訓練される分類器はバイナリ分類器である。しかし、他の実施形態では、３つ以上のクラスを使用することができ、対応するマルチクラス分類器を訓練することができる。訓練又は分析のために画像データを取得する工程２１０は、図２に示すような複数の工程を包含することができ、そのうちの一部は任意であり得る。最も単純な場合には、分析のための画像データを取得（２１０）することは、単に、分析される対象から未加工の大腸内視鏡映像３００を取得（２１２）することを含み得る。例えば、これは、データベース（例えば、データベース２０２）から、分析のためにデータを提出するユーザから、又は内視鏡に直接関連するコンピューティングデバイスから取得することができる。所望により、分析のための未加工の大腸内視鏡映像３００に注釈２１８を付けて、映像の複数のセグメントの各々において可視の解剖学的セクションを示すラベルＡ１、Ａ２を提供することができる。あるいは、解剖学的セクションラベルＡ１、Ａ２には、機械可読形式で未加工の大腸内視鏡映像３００が既に提供されていてもよい。実施形態では、映像のセグメントに解剖学的セクションラベルＡ１、Ａ２を手動で注釈付けすることができ、各フレーム３００１～３００ｎには、フレーム３００１～３００ｎを含むセグメントの解剖学的セクションラベルに対応する解剖学的セクションラベルを割り当てることができる。あるいは、解剖学的セクション情報は、未加工の大腸内視鏡映像３００から自動的に抽出されてもよい。かかる実施形態では、映像セグメントに解剖学的セクションラベル３００１～３００ｎで注釈２１４を付けることは、解剖学的セクションラベルＡ１、Ａ２を映像３００の各フレーム３００１～３００ｎに自動的に割り当てることを含む。例えば、未加工の大腸内視鏡映像３００には、各フレームに埋め込まれた、フレーム上に見える解剖学的セクションを示すグラフィカルラベルを提供することができる。これらは、例えば、収集時の医療専門家による映像のセグメントの手動注釈に基づいていてもよい。かかる実施形態では、解剖学的セクションラベルで映像の２１４セグメントに注釈を付けることは、画像データに埋め込まれたグラフィカルラベル内の情報に少なくとも部分的に基づいて、画像データ（すなわち、フレーム３００１～３００ｎのセット）を複数の解剖学的クラスに分類するように訓練された深層ニューラルネットワーク分類器（本明細書では第３の深層ニューラルネットワーク分類器とも称される）を使用して各フレームに解剖学的ラベルＡ１、Ａ２を割り当てることを含み得、各クラスは、解剖学的セクションに対応する。限定された多様性の図形ラベル（例えば、Ｓ状結腸、直腸及び下行結腸などの大腸のセクションに対応するテキストの一部の異なる文字列）は、深層ニューラルネットワークがそれらを区別するための比較的容易なパターンであり、従って、この分類に対する誤り率は非常に低い（例えば、誤分類されたフレームの０％に近く、更には０％）と期待される。実施形態では、分析のための未加工の大腸内視鏡映像３００は、単一の解剖学的セクションに関連してもよく、又は単一の解剖学的セクションに関連する部分に分割されてもよく、各部分は、本明細書に記載のように別々に分析することができる。かかる実施形態では、解剖学的セクションラベルを有する注釈は使用されなくてもよく、映像の各部分はそれ自体のセグメントを形成してもよい。
【0136】
同様に、訓練画像データを取得（２１０／３１０）することは、複数の未加工の大腸内視鏡映像３００を取得（２１２）することを含む。これらの映像は、例えば、１又は複数のデータベース（データベース２０２など）から取得することができる。訓練用の未加工の大腸内視鏡映像３００は、上述のように、解剖学的セクションを示す解剖学的ラベルＡ１、Ａ２を提供するために、所望により注釈２１８を付けることができる。訓練映像３００は、専門家によって提供され、映像のセグメントに割り当てられた重症度情報を伴う。訓練画像データ内の重症度情報は、以下に更に説明するように、直接的又は間接的に、重症度に基づく分類器（重症度スコアリングネットワーク、ＳＳＮと称される）を訓練するために使用される。実際には、映像３００のセグメントはフレーム３００１～３００ｎのセットであり、セット内の全てのフレームは同じ重症度情報を有する。図３に示す実施形態では、セグメントは解剖学的セクションに対応し、訓練映像３００の各セグメントは、同じ解剖学的ラベルＡ１、Ａ２及び同じ重症度情報を有するフレームを含む。特に、図３に示す実施形態では、第１のセグメントはフレーム３００１～３００４を含み、第２のセグメントはフレーム３００５～３００ｎを含む。重症度情報は、典型的には、内視鏡重症度スコアを含む。あるいは、重症度情報は、重症度スコアに変換可能な情報（例えば、予め確立されたルールを使用して重症度スコアに変換可能なフリーテキストなど）を含み得る。例えば、内視鏡重症度スコアは、メイヨークリニック内視鏡サブスコア（ＭＣＥＳ）であってもよい。ＭＣＥＳは、大腸内視鏡映像の目視評価により内視鏡病変を評価するための標準的な尺度である。ＭＣＥＳは、概して、例えば臨床試験において、内視鏡映像の臨床評価の一部として提供される。
【0137】
訓練用の未加工の大腸内視鏡映像３００は、所望により、訓練データの一部を形成する映像の各セグメントに対して、重症度クラスラベルＳ１、Ｓ２で注釈２１４を付けることができる。実施形態では、これは、重症度情報をクラスＳ１、Ｓ２に変換することを含む。例えば、これは、重症度情報が、訓練される分類器と直接互換性のないフォーマットである場合に有利であり得る。これは、例えば、重症度情報が個別のクラス又は尺度の形態でない場合、クラスの数が、分類器が区別するように訓練されるクラスの数と等しくない場合、及び／又は重症度情報が複数の専門家による評価を含む場合であり得る。逆に、重症度情報が、選択された分類器を訓練する際に使用するのに適したフォーマットに既にある場合には、この工程は必要ではない。
【0138】
実施形態では、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合（すなわち、重症度情報が第１の範囲内の重症度スコアを含む場合）には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルＳ１を割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。換言すれば、フレームのセットを含む訓練用大腸内視鏡映像のセグメントに関する重症度情報が第１の範囲内の内視鏡重症度スコアを含む場合（すなわち、重症度情報が第１の範囲内の重症度スコアを含む場合）には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルＳ１を割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。重症度情報が１人以上の専門家からの評価を含み、２つの独立した目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを第１の範囲内の内視鏡重症度スコアと関連付けた場合には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルを割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。換言すれば、フレームのセットを含む訓練用大腸内視鏡映像のセグメントに関する重症度情報が第１の範囲内の２つの独立した内視鏡重症度スコアを含む場合には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルを割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。実施形態では、２つの独立した目視検査が、フレームのセットを含む訓練用大腸内視鏡映像３００のセグメントを同じ内視鏡重症度スコアと関連付け、かつ内視鏡重症度スコアが第１の範囲内にある場合には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルＳ１を割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。換言すれば、フレームのセットを含む訓練用大腸内視鏡映像のセグメントに関する重症度情報が第１の範囲内の２つの独立した内視鏡重症度スコアを含み、かつ２つの独立した内視鏡重症度スコアが同じである場合には、訓練画像データ内のフレームのセット（例えば、図３のフレーム３００１～３００４）に、第１の重症度クラスラベルを割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。重症度クラスラベルで注釈される基準を満たさない訓練画像データ内のフレームのセットは、（例えば、重症度情報は、一致する２つの独立した重症度スコア、すなわち同一又は同じ範囲内の２つの独立した重症度スコアを含まないため）訓練データから除外されてもよい。同様のアプローチを、更なる重症度クラスラベル及び対応する重症度スコア範囲に対して実装することができる。例えば、重症度情報が第２の範囲内の内視鏡検査スコア（又は２つの独立した内視鏡検査スコア）を含む場合、第２の重症度クラスラベルＳ２を割り当てることができる。バイナリ分類器が訓練される特定の場合において、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを閾値を上回る（又は少なくとも同じ高さの）内視鏡重症度スコアと関連付けた場合（すなわち、重症度情報が閾値を上回る重症度スコアを含む場合）には、訓練画像データ内のフレーム３００１～３００ｎのセットに、第１の重症度クラスラベルＳ１を割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。同様に、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを閾値以下（又は、クラスＳ１が少なくとも閾値と同程度に高い内視鏡重症度スコアを有するデータを含む場合には、閾値以下）の内視鏡重症度スコアと関連付けた場合には、訓練画像データ内のフレームのセットに、第２の重症度クラスラベルＳ２を割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。この場合、上述したように、所望により複数のスコア間の一致基準を使用することもできる。例えば、内視鏡重症度スコアがＭＣＥＳである場合、有用な閾値は、ＭＣＥＳ＝１又はＭＣＥＳ＝２であってもよく、これは、第１の範囲ＭＣＥＳ＞１又はＭＣＥＳ＞２に相当する。画像データを３つ以上の重症度クラスに分類するように分類器を訓練する場合にも、同様のアプローチを実装することができる。特に、目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを、３つ以上の重症度クラスの各々に対して所定の異なる（すなわち、重複しない）範囲内の内視鏡重症度スコアと関連付けた場合には、訓練画像データ内のフレームのセットに、３つ以上の重症度クラスラベルのうちの１つを割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。かかる場合には、上述したように、所望により複数の独立したスコア間の一致基準を使用することもできる。
【0139】
実施形態では、重症度情報は離散クラス（例えば、ＭＣＥＳ尺度の４つのレベルの１つ）の形態であり、分類器は、画像データを重症度情報で使用される異なる離散クラスに対応するクラス（例えば、４つの重症度クラスなどであり、各重症度クラスは異なるＭＣＥＳに対応する）に分類するように訓練される。かかる実施形態では、重症度情報内の離散クラスを分類器を訓練するのに適したクラスに変換するための集約は必要とされないが、一部の実施形態では、訓練データの一部を形成する映像３００の各セグメントに対して重症度クラスラベルＳ１、Ｓ２で訓練用映像３００に注釈を付ける工程２１４を実施してもよい。例えば、重症度情報が例えば独立した専門家によって提供される複数のスコアを含む場合、単一のクラスラベルが重症度情報から導出されてもよい。一部のかかる実施形態では、２つの独立した目視検査が、フレームのセットを含む訓練用大腸内視鏡映像のセグメントを同じ第１（それぞれ第２、第３など）の内視鏡重症度スコアと関連付けた場合に、訓練画像データ内のフレームのセットに、第１（クラスの数に応じてそれぞれ第２、第３など）の重症度クラスラベルを割り当てることによって、重症度クラスラベルの注釈２１４を付けることができる。
【0140】
所望による工程２１６で、訓練用の未加工の大腸内視鏡映像３００に、訓練データの一部を形成する映像３００の各セグメントに対する品質クラスラベルＱ１、Ｑ２で注釈を付けることができる。これは、分類器、好ましくはここでは品質管理ネットワーク（ＱＣＮ）又は第２の深層ニューラルネットワーク分類器とも称される深層ニューラルネットワークが訓練（２２０）され、使用（２３０）され、重症度ベース分類器（ＳＳＮ）を訓練するために使用される訓練データから低品質フレームをフィルタリングする場合に有利である。訓練画像データに品質クラスラベルＱ１、Ｑ２で注釈を付ける（又は以前に注釈付けされたデータから品質クラスラベルを抽出する）ことにより、かかる分類器を訓練することができる。工程２１６は、１又は複数の基準に基づいて、品質クラスラベルＱ１、Ｑ２を訓練データ内の映像のセグメントに手動で割り当てることによって実施することができる。有利には、これらの基準は映像３００の目視検査に適用することができる。例えば、第１の（良好な品質）品質クラスラベルＱ１は、大腸壁及び大腸血管が目視検査で区別できる場合には訓練用大腸内視鏡映像３００のセグメントに割り当てられ、そうでない場合には第２の品質クラスラベルが割り当てられる。所望により、訓練用大腸内視鏡映像３００のセグメントは、水、高反射領域、便及び／又はぼやけの有無に基づく１又は複数の目視検査基準を更に満たす場合には第１の品質クラスラベルＱ１を割り当てられ、そうでない場合には第２の品質クラスラベルＱ２が割り当てられる。目視検査は、クラウドソーシングで実施されてもよく、かつ／又は専門家以外が実施してもよい。品質クラスラベルＱ１、Ｑ２の訓練用大腸内視鏡映像３００への割り当ては、映像ファイルの注釈付けを可能にする任意の手段を使用して実施することができる。更に、単一の品質注釈で十分な場合もある。当業者が理解するように、品質注釈がセグメント毎に実施される場合、セグメントは複数の連続フレームを含み、各かかるフレームは、その一部であるセグメントのラベルを継承する。複数の独立した品質注釈が実施される場合、それらの結果は、例えば、独立した品質注釈全体にわたってフレームに対して最も一般的な品質クラスラベルを割り当てること、独立した品質注釈全体にわたって最低品質クラスラベルを割り当てること、独立した品質注釈全体にわたって閾値を超えて表される最低品質クラスラベルを割り当てることなど、任意の適切なスキームを使用してフレーム毎に結合されてもよい。図３に示すように、通常、同じ品質クラスラベルＱ１、Ｑ２で注釈されたセグメントが、同じ重症度クラスラベルＳ１、Ｓ２又は解剖学的ラベルＡ１、Ａ２で注釈されたセグメントに対応する必要はない。対照的に、同じ解剖学的ラベルＡ１、Ａ２を有する訓練映像３００のセグメントは、同じ重症度クラスラベルＳ１、Ｓ２を有してもよいが、これは、重症度情報は、典型的には、臨床設定において解剖学的セクションベース（例えば、解剖学的セクション毎に１つの重症度スコア）で提供されるためである。他の実施形態では、訓練用の未加工の大腸内視鏡映像３００は、訓練データの一部を形成する映像３００の各セグメント又は個別の各フレームに対して、品質クラスラベルＱ１、Ｑ２で自動的に注釈を付けることができる。かかる実施形態では、予め訓練された分類器（例えば、深層ニューラルネットワーク分類器など）を使用して、注釈付け実施することができる。
【0141】
工程２１０の結果として、複数の大腸内視鏡映像からのフレーム３００１～３００ｎの複数のセットを含む訓練画像データが取得され、各フレーム３００１～３００ｎは、重症度クラスラベルＳ１、Ｓ２、かつ所望により品質クラスラベルＱ１、Ｑ２及び／又は解剖学的ラベルＡ１、Ａ２に関連付けられる。品質クラスラベルＱ１、Ｑ２が訓練データに存在する場合、所望による工程２２０、３２０及び２３０、３３０は、本明細書に記載されるツールを提供する方法において実装されてもよい。工程２２０では、フレームを対応する品質クラスに分類するために、深層ニューラルネットワーク分類器（品質管理ネットワーク、ＱＣＮと称される）を訓練２２０することができる。その後、ＱＣＮを使用（２３０）して、画像データを（本明細書に記載されるツールを提供する方法の文脈における訓練画像データか、又は分析のための大腸内視鏡映像からのデータかを）フィルタリングすることができる。品質クラスラベルＱ１、Ｑ２がセグメントレベル注釈に基づいてフレームに割り当てられ、かつ／又は既に訓練された分類器を使用してセグメント又は個別のフレームに自動的に割り当てられるので、訓練（２２０）は、弱教師付き方式で実施される。従って、これらのフレーム－品質クラス対は、各特定のフレームの品質クラス割り当てに関して比較的高いレベルの不確実性があるので、グランドトゥルース情報を表していない。実際に、セグメント内の全てのフレームが、そのフレームを含むセグメントへの品質ラベルの割り当てをもたらした特徴を表示するとは限らないと予測され、かつ／又は任意の以前に訓練された分類器は、以前に見えないデータを分類する際に１００％未満の精度を有することが期待される。訓練されると、ＱＣＮは、画像データをフィルタリングするために使用（２３０，３３０）することができ、その後、画像データは、以下に更に説明するように、重症度スコアリングネットワークによって分類される。特に、図３に示す実施形態では、ＱＣＮは、訓練又は分析映像３００の個別のフレーム３００１～３００ｎを入力として取り、第１のクラスＰ（Ｑ１）１～Ｐ（Ｑ１）ｎに属するフレームの確率及び／又は第２のクラスに属するフレームの確率を出力３３０Ａとして生成する。どのフレームがより低い品質クラスにあり、フィルタリングされるべきかを判定するために、これから、ティック及びクロスによって示されるような離散分類ラベル３３０Ｂが導出される。実際には、離散分類ラベル３３０Ｂは、どのフレームがより高い品質クラスにあるかを判定するために適用される基準を満たさないフレームを除外することによって、暗黙的にのみ導出され得る。例えば、フレーム（例えば、フレーム３００１）は、第１の品質クラスに属するフレームの確率Ｐ（Ｑ１）１が閾値に達するか又はそれを超える場合にはＱＣＮによって第１の品質クラスに分類され、そうでない場合には第２の品質クラスに分類されるとみなされてもよい。閾値は、事前に又は動的に（すなわち、ＱＣＮ及びデータの特定のインスタンスに依存して）選択することができる。例えば、閾値は、訓練画像データ内のフレームのセット（すなわち、同じ重症度クラス及び所望により同じ解剖学的セクションラベルが割り当てられた連続フレームのセット）が、第１の品質クラスに分類されたフレームを平均２０～４０個、好ましくは約３０個含むように動的に決定することができる。閾値は、０．９～０．９９、好ましくは０．９５が適切であることが見出された。
【0142】
工程２４０／３４０において、（所望により品質フィルタリングされた）訓練データを使用して、重症度ベースの深層ニューラルネットワーク（ＳＳＮ、本明細書では第１の深層ニューラルネットワーク分類器とも称される）を訓練し、以前に取得した重症度クラスラベルＳ１、Ｓ２を使用して、データを重症度クラスに分類する。訓練２４０／３４０は、セグメントレベル注釈に基づいてフレームに重症度クラスラベルＳ１、Ｓ２が割り当てられるので、弱教師付き方式で実施される。セグメント内の全てのフレームが、そのフレームを含むセグメントへの重症度クラスラベルの割り当てをもたらした特徴を表示するとは限らないため、これらのフレーム－重症度クラス対は、グランドトゥルース情報を表していないと期待される。訓練されたＳＳＮは、大腸内視鏡映像を分析するために使用（２５０／３５０）することができる。ＳＳＮは、入力として個別のフレーム３００１～３００ｎを取り、分析される各フレームの重症度クラス予測を出力として生成（２４２／２５２）する。特に、図３に示す実施形態では、ＳＳＮは、訓練又は分析映像３００の個別のフレーム３００１～３００ｎ（又は、品質ベースのフィルタリングが使用される場合は個別のフレーム３００１～３００３及び３００ｎ－１～３００ｎ）を入力として取り、出力３４０Ａ／３５０Ａとして、第１のクラスＰ（Ｓ１）１～Ｐ（Ｓ１）ｎに属するフレームの確率及び／又は第２のクラスに属するフレームの確率を生成する。訓練中のＳＳＮの性能を評価するために、離散分類ラベル３４０Ｂ／３５０Ｂがこれらの確率から導出され、フレーム毎に重症度クラス注釈と比較（２４６）されてもよい。離散分類ラベル３４０Ｂ／３５０Ｂは、ＳＳＮによって出力された１又は複数の確率に閾値を適用することによって取得することができる。例えば、フレーム（例えば、フレーム３００１）は、第１のクラスに属するフレームの確率（例えば、Ｐ（Ｓ１）１）が閾値を超える場合、第１のクラスに割り当てられてもよい。フレームは、そうでない場合には第２のクラスに割り当てられてもよく、あるいはフレームが第１のクラスにある確率がある範囲内、典型的には約０．５の範囲内である場合に未知の分類を有するとみなされてもよい。同様に、マルチレベル分類器の場合、これが閾値を超える限り、最も高い確率を有するクラスにフレームを割り当てることができる。あるいは、確率の実際の値にかかわらず、最も高い確率を有するクラスにフレームが割り当てられてもよい。
【0143】
所望による工程２４４及び／又は２５４を更に実装することができ、要約済みの重症度クラス予測３４０Ｃ／３５０Ｃが、映像のセグメントを構成する（及びＳＳＮで分析された）フレームの各々についての予測（３４０Ａ／３５０Ａ又は３４０Ｂ／３５０Ｂ）に基づいて、映像のセグメントについて取得される。図３に示す例では、同じセグメントに属するフレームは、解剖学的セクションラベルＡ１に基づいてグループ化される。訓練データに対する重症度情報が解剖学的セクション毎に割り当てられたことから、要約済みの重症度クラス予測３４０Ｃは、訓練２４０の間にＳＳＮの性能を評価するために、工程２４６において元の重症度情報と直接比較することができる。更に、大腸内視鏡映像を分析する目的で、解剖学的セグメント毎に要約済みの重症度クラス予測３５０Ｃを取得（２５４）することは、従来の臨床評価で使用される粒度を再現するので、有用であり得る。あるいは、大腸内視鏡映像を分析する目的で、要約済みの重症度クラス予測３４０Ｃ／３５０Ｃが取得される基礎となるセグメントは、好ましくはデータに関する事前情報なしで自動的に決定されてもよい。例えば、セグメントは、全てのフレームが同じ離散クラス割り当て３５０Ｂを有するか、又は離散クラス割り当て３５０Ｂを有さない（すなわち、未知であるか又はフレームが例えば品質上の理由で除外された）一連の連続フレームとして定義されてもよい。
【0144】
複数のフレームを含むセグメントについて要約済みの重症度クラス３４０Ｃ／３５０Ｃは、ＳＳＮによって出力された確率３４０Ａ／３５０Ａに直接基づいて、又はこれらの確率から導出された離散クラス割り当て３４０Ｂ／３５０Ｂに基づいて取得（２４４／２５４）することができる。実施形態では、セグメントに関する要約済みの重症度クラス３４０Ｃ／３５０Ｃは、ＳＳＮによって出力された第１の重症度クラスに属するフレームの確率３４０Ａ／３５０Ａの平均が閾値を上回る場合に、第１の重症度クラスをセグメントに割り当てることによって取得（２４４／２５４）することができる。図３に示す実施形態では、ＳＳＮによって出力された第１の重症度クラス（Ｐ（Ｓ１）１～Ｐ（Ｓ１）３）に属するフレーム３００１～３００３の確率３４０Ａ／３５０Ａの平均が閾値を超える場合、第１の重症度クラスをセグメントに割り当てることによって、フレーム３００１～３００３を含むセグメントの要約済みの重症度クラス３４０Ｃ／３５０Ｃを取得（２４４／２５４）することができる。閾値は固定であってもよい。代替的に、閾値は、偽陽性の所定の受容可能な割合、偽陰性の所定の受容可能な割合、所定の最小精度、所定の最小正確度、及び／又は所定の最小リコールから選択される１又は複数の基準に基づいて動的に決定されてもよい。閾値は、０．５～０．９が適切であることが見出されている。別の例として、セグメントに関する要約済みの重症度クラス３４０Ｃ／３５０Ｃは、第１の重症度クラスに割り当てられたフレームの割合が閾値を超える場合に、セグメントに第１の重症度クラスを割り当てることによって取得（２４４／２５４）することができる。図３に示す例では、閾値を０．５と仮定すると、フレーム３００１～３００３の６６％が第１の重症度クラスに割り当てられるので、フレーム３００１～３００３を含むセグメントについて要約済みの重症度クラス３４０Ｃ／３５０Ｃが第１の重症度クラスとして割り当てられる。対照的に、フレーム３００ｎ－１～３００ｎを含むセグメントの要約済みの重症度クラス３４０Ｃ／３５０Ｃは、フレーム３００ｎ－１～３００ｎの５０％が第１の重症度クラスに割り当てられるので、第２の重症度クラスとして割り当てられる。例えば、２つ以上のクラスが使用される場合には、他のスキームを使用してもよい。例えば、セグメントに対する要約済みの重症度クラス３４０Ｃ／３５０Ｃは、セグメントのフレームに対する離散クラス割り当て３４０Ｂ／３５０Ｃの中で表される最高重症度クラス（すなわち、最も重篤なクラス）を、それぞれの重症度クラスに対する閾値を超えてセグメントに割り当てることによって取得（２４４／２５４）することができる。閾値は、より高い重症度クラス（すなわち、離散重症度クラスラベル３４０Ｂ／３５０Ｂに割り当てられたセグメント内のフレームのより低い割合を必要とする）に対してより低くすることができる。実際、重症度の高いクラスほど識別が容易になると期待される（従って、重症度の高いクラスでの予測はより高い信頼性で行われる可能性がある）。
【0145】
本明細書に記載される深層ニューラルネットワーク分類器の全ては、好ましくは、畳み込みニューラルネットワーク（複数可）（ＣＮＮ）である。有利には、使用されるＣＮＮは、例えば、ＩｍａｇｅＮｅｔデータベース（ｈｔｔｐ：／／ｗｗｗ．ｉｍａｇｅ－ｎｅｔ．ｏｒｇ）からなどの、無関係な画像データ上で事前訓練されていてもよい。本発明者らは、５０層のＣＮＮが現在の使用に適切であることを見出したが、例えば追加の層を含む代替的な実装形態も想定される。深層残差学習フレームワーク（Ｈｅ ｅｔ ａｌ．，Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５，ａｒＸｉｖ：１５１２．０３３８５、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１５１２．０３３８５．ｐｄｆで入手可能であり、参照により本明細書に援用される）を使用して訓練されたＣＮＮは、特に適切であることが分かっている。
【0146】
工程２４６では、ＳＳＮの性能を評価するために、ＳＳＮからの予測が対応する重症度クラスラベル（訓練データ内の重症度情報から導出される）と比較される。実施形態では、ＳＳＮ（第１の深層ニューラルネットワーク）の性能を評価することは、検証画像データを使用して受信動作特性曲線下面積（ＡＵＣ）を定量化することを含む。実施形態では、ＳＳＮの性能を評価することは、検証画像データを使用してコーエンのκを計算することを含む。検証及び訓練画像データは、同じデータの一部を形成することができ、特に、上述したものと同じ特徴の全てを有する。この特定の例は、訓練画像データを使用して交差検証を行うことによるＳＳＮの評価、例えば５分割又は１０分割の交差検証である。実施形態では、第１の深層ニューラルネットワークの性能を評価することは、訓練画像データを使用して５分割又は１０分割の交差検証を行うことと、交差検証の各スプリットについてＡＵＣ又はコーエンのκを定量化することと、を含む。好ましくは、訓練画像データは、交差検証のために複数のスプリットに分離され、同じ個別の大腸内視鏡映像からのフレームのセットは、複数のスプリットには現れない。
【0147】
例えば要約済みの重症度クラス３５０Ｃ及び／又は各フレームに対する予測（１又は複数のクラスに属する確率３５０Ａ又は離散クラス割り当て３５０Ｂ）を含むＳＳＮの出力は、例えばディスプレイを使用してユーザに出力されてもよい。この情報は、特に、ＳＳＮの出力がＭＣＥＳなどの内視鏡重症度スコア又はスコアの範囲に対応する場合に、対象における潰瘍性大腸炎の重症度を評価するのに有用であり得る。
【0148】
対象における潰瘍性大腸炎の重症度を評価する方法を、図４を参照して説明する。例えば、ユーザインターフェースを介してユーザから、又はデータベース２０２から取得された、対象（又はその一部、例えば、単一の解剖学的セクションを示す部分、そのサイズを縮小するために元のデータの全てを含まない部分など）からの大腸内視鏡映像４００は、図２及び図３を参照して上述したように分析される。詳細には、大腸内視鏡映像４００からの画像データ（すなわち、大腸内視鏡映像４００の全てのフレーム）は、所望によりＱＣＮに提供され、各フレームを少なくとも第１の品質クラス及び第２の品質クラスに分類することによってフレームに品質ベースのフィルタを適用（４３０）し、第１の品質クラスのフレームのみが重症度評価に使用される。次いで、データ４３５を少なくとも第１の重症度クラス及び第２の重症度クラスに分類するＳＳＮを使用して、（所望によりフィルタリングされた）画像データ４３５（すなわち、品質ベースのフィルタリングが使用されるか否かに応じて、大腸内視鏡映像４００のフレームの全て又は一部）を潰瘍性大腸炎の重症度について評価（４５０Ａ／４５０Ｂ）し、第１の重症度クラスは、第２の重症度クラスよりも重篤な潰瘍性大腸炎に関連付けられる。図４に示す実施形態では、画像データ４３５の２つの別個の重症度評価４５０Ａ／４５０Ｂが実施され、第１のＳＳＮが評価４５０Ａで使用されて、ＭＣＥＳ＞１に対応する第１の重症度クラスとＭＣＥＳ≦１に対応する第２の重症度クラスとの間で画像データが分類される。第２のＳＳＮは、評価４５０Ｂにおいて使用され、ＭＣＥＳ＞２に対応する第１の重症度クラスとＭＣＥＳ≦２に対応する第２の重症度クラスとの間で画像データが分類される。例えば、異なるＳＳＮを有する２つ以上の別個の重症度評価を使用する構成、マルチクラスＳＳＮを使用する単一の重症度評価、１又は複数の異なる内視鏡スコアリングスキーム（ＭＣＥＳを含むが、これに限定されない）の値に対応するクラスにデータを分類するＳＳＮを使用する１又は複数の別個の重症度評価など、他の構成も可能であり、想定される。各ＳＳＮは、出力４５５Ａ／４５５Ｂとして、データ４３５の各フレーム又は各セグメント（データ内のフレームのセット）が第１の重症度クラスに属する確率、又はこれらの確率から導出された個別の重症度クラスに属する確率を生成する。これらの出力４５５Ａ／４５５Ｂは、工程４６０／４７０において、対象に対する適切な治療コースを決定するために使用される。特に、工程４６０で、第２の評価４５０Ｂからの出力４５５ＢがＭＣＥＳ＞２を示しているか否かが判定される。例えば、データ４３５の任意のセグメントについてのＳＳＮ２の予測から導かれた要約済みのクラス予測が第１の重症度クラスである場合、第２の評価４５０Ｂからの出力４５５Ｂは、ＭＣＥＳ＞２を示すとみなされ得る。その場合には、対象が第１の治療のために選択（４６５）される。そうでない場合、工程４７０において、第１の評価４５０Ａからの出力４５５ＡがＭＣＥＳ＞１を示すか否かが判定される。例えば、データ４３５の任意のセグメントに対するＳＳＮ１の予測から導出された要約済みのクラス予測が第１の重症度クラスである場合、第１の評価４５０Ａからの出力４５５Ａは、ＭＣＥＳ＞１を示すとみなされ得る。その場合、対象は、第２の治療のために選択（４７５）される。治療のための対象の選択は、治療を推奨すること、かつ／又は治療から利益を得る可能性がある対象を識別すること、及び／又は特定の治療を必要とする可能性がある対象を識別することを意味し得る。所望により、本方法は、選択された治療に従って対象を治療することを更に含み得る。
【0149】
他の実施形態では、例えば、図４に示す第２のＳＮＮ（ＳＳＮ２）を使用して、単一の重症度評価を実施することができる。かかる実施形態において、本方法は、この評価からの出力が第１の重症度クラスを示す場合、ＵＣのために対象を治療すること、又はＵＣのための治療のために対象を選択すること（すなわち、治療を推奨し、治療から利益を得る可能性及び／又は治療を必要とする可能性があるものとして対象を識別すること）を含み得る。これは、例えば、ＳＳＮが画像データ４００からのフレームのセットを第１の重症度クラスに分類する場合、又は画像データ４００からのフレームのいずれかのセットが第１の要約済みの重症度クラスを有する場合であり得る。
【0150】
当業者が理解するように、深層ニューラルネットワークを使用して画像データを（重症度又は品質に基づいて）分類することへの言及は、実際には、複数の深層ニューラルネットワークを使用し、複数の深層ニューラルネットワークの予測を組み合わせることを包含し得る。かかる複数の深層ニューラルネットワークの各々は、本明細書に記載された特性を有することができる。同様に、深層ニューラルネットワークを訓練することへの言及は、実際には、本明細書に記載されるような複数の深層ニューラルネットワークの訓練を包含することができ、その一部又は全部は、その後、場合に応じて、品質又は重症度に従って画像データを分類するために使用することができる。
【実施例】
【0151】
大腸内視鏡映像を分析するためのツールを提供する例示的な方法をここで説明する。ＨＩＣＫＯＲＹ臨床試験（ＮＣＴ０２１００６９６）及びＬＡＵＲＥＬ臨床試験（ＮＣＴ０２１６５２１５）では、中等度から重篤な活動性潰瘍性大腸炎（ＵＣ）患者の治療におけるエトロリズマブの有効性及び安全性を調査した第ＩＩＩ相二重盲検プラセボ対照多施設共同試験から、２０００個以上の大腸内視鏡映像が取得された。各映像は、臨床試験の一部として消化器専門医によって注釈が付けられ、２人の異なる判読者による（１）解剖学的セクション（直腸、Ｓ状結腸、下行結腸）と、（２）各解剖学的セクションのＭＣＥＳ評価とが示された。２人の判読者が各解剖学的セクションのＭＣＥＳに同意しなかった映像、及び判読者が例えば不適切な腸管前処置、不十分な映像品質などの品質問題を警告した映像を除外することにより、計１０４個の未加工の大腸内視鏡映像が選択された。
【0152】
１０４本の未加工の大腸内視鏡映像の各々について、品質に関する手作業による注釈を専門家以外の者が実施し、「良好な品質」又は「悪い品質」とみなされる映像のセグメントを定義するよう依頼した。これは以下の基準、すなわち（ｉ）カメラが適切な評価を可能にするために大腸壁から十分に離れていること、（ｉｉ）大腸壁及びその血管が目視検査で評価できること、及び（ｉｉｉ）視覚的アーチファクトが存在しないか、又はフレームの約１０％以上を占めないこと、に基づいて実施された。観察された視覚的アーチファクトには、水、高反射領域、便、ぼやけなどが含まれていた。これは実際には、専門家でない人が映像を見て、ＥＬＡＮ（ｈｔｔｐｓ：／／ｔｌａ．ｍｐｉ．ｎｌ／ｔｏｏｌｓ／ｔｌａ－ｔｏｏｌｓ／ｅｌａｎ／；Ｂｒｕｇｍａｎ，Ｈ．，Ｒｕｓｓｅｌ，Ａ．（２００４）．Ａｎｎｏｔａｔｉｎｇ Ｍｕｌｔｉｍｅｄｉａ／Ｍｕｌｔｉ－ｍｏｄａｌ ｒｅｓｏｕｒｃｅｓ ｗｉｔｈ ＥＬＡＮ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＬＲＥＣ ２００４，Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ）を使って見ている間に良好な品質／悪い品質のセグメントを強調することによって行われた。
【0153】
解剖学的セクション注釈は、これらの臨床試験において各未加工の映像の各フレーム上にグラフィカルラベルとして含めた。深層ニューラルネットワーク（解剖学的セクションネットワーク）を訓練し、グラフィカルラベルを構成するフレームの領域に焦点を合わせることにより、各映像の各フレームを３つの解剖学的セクションカテゴリ（直腸、Ｓ状結腸、下行結腸）の１つに分類した。これは、Ｋｅｒａｓ（ｈｔｔｐｓ：／／ｋｅｒａｓ．ｉｏ／）を使用して、５０層の畳み込みニューラルネットワークＲｅｓＮｅｔ５０を部分的に再訓練することによって実施された。特に、ＲｅＮｅｔ５０の最後の８つの層は、Ｋｅｒａｓで実装されているように、確率的勾配降下（ＳＧＤ）オプティマイザを使用して再訓練された。学習率は０．００１、運動量は０．９を用いた。訓練された解剖学的セクションネットワークは、各映像の各フレームに対して高い信頼度で解剖学的セクションを割り当てることができた。このプロセスの結果は、１０４個の映像の各々の各フレームに対して、解剖学的セクション（解剖学的セクションネットワークから）、品質クラス（非専門家セグメントレベル注釈から）、ＭＣＥＳ（専門家セグメントレベル注釈から）の３つの注釈が利用可能である。品質クラス及びＭＣＥＳは、少なくとも、セグメント全体に関連して提供されたために弱いラベルであり、セグメントを形成する複数のフレームが、ラベルの割り当てをもたらした視覚的特徴を全て示す可能性は低い。特に、ＭＣＥＳスコアリングのために、大腸の解剖学的セクションに、そのセクションで見られる最も重篤な病変に対応するスコアが割り当てられる。換言すれば、Ｓ状結腸を示す映像の全セグメントは、両判読者がこの解剖学的セクションのどこかに中等度の疾患活動性の徴候（顕著な紅斑、血管パターンの欠如、摩損、びらん）を確認した場合、ＭＣＥＳ＝３に割り当てられる。ただし、このセクションの一部のフレームでは、これらの記号が表示されない場合がある。ＭＣＥＳスコアリングを２つの異なるスキームに従ってバイナリ重症度分類に変換した。第１のスキームでは、判読者からのＭＣＥＳスコアが＞１のセグメントには重症度クラスラベル１を、それ以外のセグメントには重症度クラスラベル２を割り当てた。第２のスキームでは、判読者からのＭＣＥＳスコアが＞２のセグメントには重症度クラスラベル２を、それ以外のセグメントには重症度クラスラベル２を割り当てた。
【0154】
全１０４個の映像は２４フレーム／秒を含んでおり、全フレームは品質管理ネットワーク（ＱＣＮ）の訓練に使用された。深層ニューラルネットワーク（品質管理ネットワーク）を訓練して、１０４個の未加工の映像のフレームの各々を良好な品質カテゴリと悪い品質カテゴリに分類した。特に、品質管理ネットワークは、各フレームに対して、フレームが「良好な品質」クラスに属する確率を提供するように訓練された。これは、上述のようにＫｅｒａｓを使用して、５０層の畳み込みニューラルネットワークＲｅｓＮｅｔ５０を部分的に再訓練することによって実施された。特に、最後の８つの層は、ＳＧＤ、０．００１の学習率、０．９の運動量を使用して再訓練された。「良好な品質」クラスに属するフレームの予測確率（Ｐ（良好））が０．９７を超える場合、フレームは「良好な品質」として分類されるとみなした。この閾値により、未加工の大腸内視鏡映像１個につき約２０フレームが選択された。未加工の大腸内視鏡映像１個につき約３０フレーム（合計約９３６０フレーム）を選択をもたらす０．９５の閾値も検査され、同様の結果が得られた（図示せず）。訓練したＱＣＮのＡＵＣは０．９３±０．０５であった。
【0155】
（Ｐ（良好）＞０．９７の閾値に従って）「良好な品質」であると予測される合計約６２００フレームが選択された。これらのフレームの全ては、２つの深層ニューラルネットワーク（重症度スコアリングネットワーク、ＳＳＮ）を別々に訓練するために使用され、第１のＳＳＮには、上述の第１のバイナリスキーム（ＭＣＥＳ＞１、ＭＣＥＳ≦１）に従ってバイナリ重症度分類ラベルを使用し、第２のＳＳＮには、上述の第２のバイナリスキーム（ＭＣＥＳ＞２、ＭＣＥＳ≦２）に従ってバイナリ重症度分類ラベルを使用した。その結果、第１のＳＳＮは、各フレームに対して、フレームが第１の重症度クラスＭＣＥＳ＞１に属する確率Ｐ（ＭＣＥＳ＞１）を出力するように訓練された。同様に、第２のＳＳＮは、各フレームに対して、フレームが第１の重症度クラスＭＣＥＳ＞２に属する確率Ｐ（ＭＣＥＳ＞１）を出力するように訓練された。両方のＳＳＮは、上述のように使用して、５０層の畳み込みニューラルネットワークＲｅｓＮｅｔ５０を部分的に再訓練することによって訓練された。フレームは、それぞれＰ（ＭＣＥＳ＞１）＞０．５及びＰ（ＭＣＥＳ＞２）＞０．５の場合に、第１及び第２の重症度スコアリングネットワークによって第１の重症度クラスに割り当てられるとみなされた。同じ映像Ｙの同じ解剖学的セクションＡからの全フレームにわたるクラス１の平均確率を計算することによって、（解剖学的セクションネットワークからの解剖学的セクションラベルを使用して）各映像の各解剖学的セクションに対して要約分類が計算された。セグメントは、平均（ＰＡ，Ｙ（ＭＣＥＳ＞１））＞０．５及び平均（ＰＡ，Ｙ（ＭＣＥＳ＞２））＞０．５の場合に、第１及び第２の重症度スコアリングネットワークによって第１の重症度クラスラベルが割り当てられるとみなされた。
【0156】
２つのＳＳＮは、訓練に使用されたのと同じデータを使用して５分割の交差検証を実施することによって遡及的に評価された。特に、約６２００個の品質選択されたフレームは、同じ患者からの映像に由来するフレームがセットのうちの１つにのみ現れるという追加の規則を伴って、６０％、２０％、２０％のスキームに従って訓練、調整、及び検証のセットに分割された。ＲＯＣ曲線は、第１の重症度クラスのセグメントを分類するために適用される閾値を変化させ、予測されたクラス割り当て及び専門家由来のクラス割り当て（上記のバイナリスキームに従って専門家注釈から得られたバイナリ重症度分類ラベル）を比較し、対応する偽陽性率及び偽陰性率を算出することによって、５分割検証の各反復について算出された。対応する曲線下面積（ＡＵＣ）も各ＲＯＣ曲線について算出した。平均ＲＯＣ曲線及び対応する標準偏差、並びに平均ＲＯＣ曲線のＡＵＣを算出した。
【0157】
これらの分析の結果は、第１のＳＳＮ及び第２のＳＳＮについてそれぞれ図５Ａ及び図５Ｂに示されている。これらの図は、交差検証反復の各々について取得されたＲＯＣ曲線（偽陽性の関数としての真陽性）（細い曲線）、これらの平均（太い曲線）、及び±１標準偏差エンベロープ（灰色の領域）を示している。示されたＲＯＣ曲線は、０～１の上記閾値の各値に対するＴＰＲ及びＦＰＲ値に対応し、０．０５のステップを有する。第１のＳＳＮのＡＵＣ（平均±標準偏差）は０．７６±０．０８であった。第２のＳＳＮのＡＵＣ（平均±標準偏差）は０．８１±０．０６であった。このデータは、完全に自動化された大腸内視鏡映像分析アプローチが、未加工の内視鏡映像を唯一の入力として使用して、個別の大腸セクションのＭＣＥＳ値の正確な予測を提供できることを示している。これは、訓練が弱いラベル及び比較的少量の訓練データ（１０４個の未加工の映像）を使用して実施されているにもかかわらず可能である。更に、臨床試験ではＭＣＥＳ≦１は概して「寛解」に分類されるため、対象が寛解状態にあることを示す大腸内視鏡映像を識別する信頼できる自動アプローチが特に有用となり得る。
【0158】
上記のように、約１０００個の映像のより大きなデータセットを品質管理の対象とした。品質管理チェックに合格した全てのフレームとその元のＭＣＥＳ（０～３）注釈を使用して、更なるＳＳＮを訓練した。このように、ＳＳＮは、ＭＣＥＳ尺度の４つのレベルに対応する４つのクラスの１つに属する各フレームのそれぞれの確率を出力するように訓練された。一部の例では、Ｃａｏ ｅｔ ａｌ．（Ｒａｎｋ－ｃｏｎｓｉｓｔｅｎｔ Ｏｒｄｉｎａｌ Ｒｅｇｒｅｓｓｉｏｎ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０１９，ａｒＸｉｖ：１９０１．０７８８４ｖ４）に記載されているように、順序分類モデルが使用された。次に、セグメント内のフレームにわたる対応する平均確率を算出した。単一予測ＭＣＥＳスコアは、最も高い平均確率を有するＭＣＥＳスコアとして各セグメントに割り当てられた。このＳＳＮは、ＲＯＣ曲線及びＡＵＣを算出する代わりに、コーエンのκ係数を交差検証の各反復について算出したことを除いて、上記で説明したように交差検証によって評価した。
【0159】
用語「コンピュータシステム」は、システムを具現化するため、又は上述の実施形態による方法を実施するためのハードウェア、ソフトウェア、及びデータストレージデバイスを含む。例えば、コンピュータシステムは、中央処理装置（ＣＰＵ）、入力手段、出力手段及びデータストレージを含むことができ、これらは１又は複数の接続されたコンピューティングデバイスとして具現化することができる。好ましくは、コンピュータシステムはディスプレイを有するか、又は（例えばビジネスプロセスの設計において）視覚的出力ディスプレイを提供するディスプレイを有するコンピューティングデバイスを含む。データストレージは、ＲＡＭ、ディスクドライブ又は他のコンピュータ可読媒体を含み得る。コンピュータシステムは、ネットワークによって接続され、そのネットワークを介して互いに通信し得る複数のコンピューティングデバイスを含み得る。
【0160】
上記実施形態の方法は、コンピュータプログラムとして、又はコンピュータ上で実施される場合に上述の方法（複数可）を実施するように構成されるコンピュータプログラムを担持するコンピュータプログラム製品又はコンピュータ可読媒体として提供することができる。
【0161】
用語「コンピュータ可読媒体」は、コンピュータ又はコンピュータシステムによって直接読み取られアクセスされ得る任意の非一時的媒体又は複数の媒体を含むが、これらに限定されない。媒体は、フロッピーディスク、ハードディスク記憶媒体及び磁気テープなどの磁気記憶媒体、光ディスク又はＣＤ－ＲＯＭなどの光学記憶媒体、ＲＡＭ、ＲＯＭ及びフラッシュメモリを含むメモリなどの電気記憶媒体、並びに磁気／光学記憶媒体などの上記のハイブリッド及び組み合わせを含み得るが、これらに限定されない。
【0162】
文脈が特に指示しない限り、上記の特徴の説明及び定義は、本発明の特定の態様又は実施形態に限定されず、記載された全ての態様及び実施形態に等しく適用される。
【0163】
「及び／又は」は、本明細書中で使用される場合、２つの特定された特徴又は構成要素の各々の、他方を有する又は有さない特定の開示として解釈されるべきである。例えば、「Ａ及び／又はＢ」は、（ｉ）Ａ、（ｉｉ）Ｂ、及び（ｉｉｉ）Ａ及びＢの各々について、あたかもそれぞれが本明細書中に個別に記載されているかのように、具体的な開示として解釈されるべきである。
【0164】
本明細書及び添付の特許請求の範囲で使用されているように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が他に明確に指示しない限り、複数の指示対象を含むことに留意されたい。範囲は、本明細書において、「約」１つの特定の値、及び／又は「約」別の特定の値として表現され得る。かかる範囲が表現される場合、別の実施形態は、１つの特定の値から、かつ／又は他の特定の値までを含む。同様に、値が近似として表現される場合、先行詞「約」を使用することによって、特定の値が別の実施形態を形成することが理解される。数値に関する用語「約」は任意であり、例えば＋／－１０％を意味する。
【0165】
以下の請求項を含む本明細書全体を通して、文脈が他に要求しない限り、「含む（ｃｏｍｐｒｉｓｅ）」及び「含む（ｉｎｃｌｕｄｅ）」という語、並びに「含む（ｃｏｍｐｒｉｓｅｓ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」及び「含んでいる（ｉｎｃｌｕｄｉｎｇ）」などの変形例は、記載された整数若しくはステップ又は整数若しくは工程のグループを含むことを意味するが、他の整数若しくはステップ又は整数若しくは工程のグループを除外することは意味しないと理解される。
【0166】
本発明の他の態様及び実施形態は、文脈が別に指示しない限り、用語「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」又は「本質的に～からなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」に置き換えられた用語「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」を有する上記の態様及び実施形態を提供する。
【0167】
前述の説明、特許請求の範囲、又は添付の図面に開示された特徴は、その特定の形態で、又は開示された機能を実行するための手段、又は開示された結果を取得するための方法又はプロセスに関して、適宜、個別に、又はかかる特徴の任意の組み合わせで、本発明をその多様な形態で実現するために利用することができる。
【0168】
本発明は、上述の例示的な実施形態に関連して説明されてきたが、本開示を与えられた当業者には、多くのの修正及び変形が明らかであろう。従って、上述した本発明の例示的実施形態は、例示的なものであり、限定的なものではないとみなされる。本発明の精神及び範囲から逸脱することなく、記載された実施形態に対する種々の変更を行うことができる。
【0169】
疑義を避けるために、本明細書に提供されるいかなる理論的説明も、読者の理解を向上させる目的で提供される。本発明者らは、これらの理論的説明のいずれにも拘束されることを望まない。
【0170】
本明細書で使用されるセクションの見出しは、構成上の目的のみであり、記載された主題を限定するものとして解釈されるべきではない。
【0171】
本明細書で言及される全ての文書は、その全体が参照により本明細書に援用される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【国際調査報告】