知財求人 - 知財ポータルサイト「IP Force」
特表2022-535873結腸画像およびビデオを処理するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-10
(54)【発明の名称】結腸画像およびビデオを処理するためのシステムおよび方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20220803BHJP
【ＦＩ】
A61B1/045 623
A61B1/045 618
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021572304
(86)(22)【出願日】2020-05-06
(85)【翻訳文提出日】2022-02-03
(86)【国際出願番号】 IL2020050497
(87)【国際公開番号】W WO2020245815
(87)【国際公開日】2020-12-10
(31)【優先権主張番号】16/430,461
(32)【優先日】2019-06-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521529891
【氏名又は名称】マゼンティーク アイ リミテッド
【氏名又は名称原語表記】ＭＡＧＥＮＴＩＱ ＥＹＥ ＬＴＤ
【住所又は居所原語表記】６ Ｂｅｎ－Ｇｕｒｉｏｎ Ｂｌｖｄ．， ７ｔｈ Ｆｌｏｏｒ， Ｃｉｔｙ Ｃｅｎｔｅｒ Ｔｏｗｅｒ， Ｈａｉｆａ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】特許業務法人鷲田国際特許事務所
(72)【発明者】
【氏名】ズール ドロール
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA04
4C161CC06
4C161DD03
4C161HH52
4C161HH55
4C161WW13
(57)【要約】
患者の結腸の複数の内視鏡画像内の少なくとも１つのポリープを動的に追跡するためのグラフィカルユーザインターフェース（ＧＵＩ）を提示するための命令を生成する方法であって、少なくとも１つの以前の内視鏡画像に対するそれぞれの内視鏡画像内の少なくとも１つのポリープを描写する領域の位置を追跡することと、領域の位置がそれぞれの内視鏡画像の外部にある場合に、それぞれの内視鏡画像内からそれぞれの内視鏡画像の外側の領域の位置までのベクトルを計算することと、ベクトルの表示でそれぞれの内視鏡画像を増補することによって増補内視鏡画像を作成することと、ＧＵＩ内に増補内視鏡画像を表示するための命令を生成することと、を複数の内視鏡画像について反復することを含む、方法が提供される。
【選択図】 図２
【選択図】 図２
【特許請求の範囲】
【請求項1】
患者の結腸の複数の内視鏡画像内の少なくとも１つのポリープを動的に追跡するためのグラフィカルユーザインターフェース（ＧＵＩ）を提示する命令を生成する方法であって、少なくとも１つの以前の内視鏡画像に対するそれぞれの内視鏡画像内の少なくとも１つのポリープを描写する領域の位置を追跡することと、
前記領域の位置が前記それぞれの内視鏡画像の外部にある場合に、
前記それぞれの内視鏡画像内から前記それぞれの内視鏡画像の外側の前記領域の位置までのベクトルを計算することと、
前記ベクトルの表示で前記それぞれの内視鏡画像を増補することによって増補内視鏡画像を作成することと、
ＧＵＩ内に前記増補内視鏡画像を表示するための命令を生成することと、を前記複数の内視鏡画像について反復することを含む、方法。
【請求項2】
前記ベクトルの表示は、少なくとも１つの内視鏡画像の前記領域を描写する別の少なくとも１つの内視鏡画像を捕捉するための、内視鏡カメラの調整のための方向および／または配向を描写する、請求項１に記載の方法。
【請求項3】
少なくとも１つのポリープを描写する領域の位置がそれぞれの内視鏡画像に現れるとき、前記増補内視鏡画像はそれぞれの内視鏡画像を前記領域の位置で増補することによって生成され、前記ベクトルの表示は前記増補内視鏡画像から除外される、請求項１に記載の方法。
【請求項4】
患者の結腸内の少なくとも１つのポリープを描出する領域の位置を計算することと、前記少なくとも１つのポリープを描出する領域の位置を示す表示を使用して患者の結腸を表す概略図にマーキングすることにより、結腸マップを作成することと、
ＧＵＩ内に前記結腸マップを提示する命令を生成することであって、前記結腸マップは新たに検出されたポリープの位置で動的に更新される、命令を生成することと、をさらに含む、請求項１に記載の方法。
【請求項5】
複数の内視鏡画像の処理された連続的なサブセットを生成するためのそれぞれの内視鏡画像を含む、複数の内視鏡画像の連続的なサブセットの少なくとも１つの内視鏡画像を平行移動および／または回転させることであって、少なくとも１つのポリープを描写する領域は、前記複数の内視鏡画像の連続的なサブセットの画像のすべてにおいて同じ近似位置にある、平行移動および／または回転させることと、前記複数の内視鏡画像の前記処理された連続的なサブセットを検出ニューラルネットワークに供給することと、
前記検出ニューラルネットワークによって、前記それぞれの内視鏡画像に対する前記少なくとも１つのポリープを描写する現在の領域を出力することと、
前記それぞれの内視鏡画像を前記現在の領域で増補することによって、前記それぞれの内視鏡画像の増補された画像を作成することと、
ＧＵＩ内の前記増補された画像を提示するための命令を生成することと、をさらに含む、請求項１に記載の方法。
【請求項6】
前記検出ニューラルネットワークの出力が、前記それぞれの内視鏡画像より連続的に早い以前の内視鏡画像のために提供され、前記それぞれの内視鏡画像内の少なくとも１つのポリープを描写する前記領域の追跡された位置が、以前の内視鏡画像のために前記検出ニューラルネットワークによって出力された領域とは異なる位置にあるとき、前記追跡された位置に基づいて前記それぞれの内視鏡画像のための前記増補された画像を生成する、請求項５に記載の方法。
【請求項7】
患者の結腸内で複数の２Ｄ内視鏡画像を捕捉する内視鏡カメラの３Ｄ運動を動的に追跡するためのＧＵＩを提示する命令を生成する方法であって、それぞれの２Ｄ内視鏡画像を３Ｄ再構成ニューラルネットワークに供給することと、
前記３Ｄ再構成ニューラルネットワークによって、前記それぞれの２Ｄ内視鏡画像の３Ｄ再構成を出力することであって、前記２Ｄ内視鏡画像の画素には３Ｄ座標が割り当てられる、出力することと、
前記３Ｄ再構成にしたがって、内視鏡カメラの結腸内の現在の３Ｄ位置を計算することと、
ＧＵＩ内の結腸マップ上に内視鏡カメラの前記現在の３Ｄ位置を提示するための命令を生成することと、を複数の内視鏡画像のそれぞれの内視鏡画像について繰り返すことを含む、方法。
【請求項8】
内視鏡カメラの３Ｄ位置を追跡することと、結腸マップＧＵＩ内の内視鏡カメラの追跡された３Ｄ位置をプロットすることと、をさらに含む、請求項７に記載の方法。
【請求項9】
内視鏡カメラの前方追跡３Ｄ位置は、ＧＵＩに提示された結腸マップ上に、内視鏡カメラの前方方向が結腸内により深く入ることを示す印でマーキングされ、結腸マップ上に提示された内視鏡カメラの逆方向追跡３Ｄ位置は、結腸から除去されている内視鏡カメラの逆方向を示す別の印でマーキングされる、請求項７に記載の方法。
【請求項10】
前記それぞれの内視鏡画像を検出ニューラルネットワークに供給することと、前記検出ニューラルネットワークによって、少なくとも１つのポリープを描写する前記内視鏡画像の領域の表示を出力することと、
前記３Ｄ再構成にしたがって、前記内視鏡画像の領域内の前記少なくとも１つのポリープの推定３Ｄ位置を計算し、前記少なくとも１つのポリープの３Ｄ位置をＧＵＩ内の結腸マップ上に提示するための命令を生成することと、をさらに含む、請求項７に記載の方法。
【請求項11】
前記少なくとも１つのポリープの結腸からの外科的除去の表示を受信することと、結腸マップ上の前記少なくとも１つのポリープの３Ｄ位置を、少なくとも１つのポリープの除去の表示でマーキングすることと、をさらに含む、請求項１０に記載の方法。
【請求項12】
複数の内視鏡画像を捕捉する内視鏡カメラの３Ｄ位置を追跡することと、内視鏡カメラの現在の３Ｄ位置から、以前に取得された内視鏡画像を使用して以前に識別された少なくとも１つのポリープの３Ｄ位置までの推定距離を計算することと、
前記推定距離が閾値を下回る場合に、ＧＵＩ内に表示を提示するための命令を生成することと、をさらに含む、請求項１０に記載の方法。
【請求項13】
それぞれの３Ｄ再構成を分析して、前記それぞれの内視鏡画像内に描写された結腸の内面の一部を推定することと、結腸内視鏡検査処置中の内視鏡カメラのらせん走査動作中に、連続的な内視鏡画像内に描写された結腸の内面の累積部分を追跡することと、以前に捕捉された内視鏡画像内にまだ描出されていない前記内面の残りの部分の推定、および前記内面の領域の総カバレージの推定のうち少なくとも１つをＧＵＩ内に提示するための命令を生成することと、をさらに含み、前記分析すること、前記追跡すること、および前記生成することは、前記らせん走査動作中に反復される、請求項７に記載の方法。
【請求項14】
各部分は、らせん走査動作中にそれぞれの部分をカバーするための時間量に対応する間隔を有するタイムウィンドウに対応し、大部分がそれぞれの部分を描写する少なくとも１つの画像がタイムウィンドウ中に捕捉されるときに、適切なカバレージの表示が生成され、および／または、大部分がそれぞれの部分を描写する画像がタイムウィンドウ中に捕捉されないときに、不適切なカバレージの別の表示が生成される、請求項１３に記載の方法。
【請求項15】
らせん走査運動中カバーされなかった部分に対して、らせん走査運動中にカバーされた部分を集約することによって、描かれていない内面の量に対する画像に描かれた内面の総量の表示が計算される、請求項１４に記載の方法。
【請求項16】
前記３Ｄ再構成ニューラルネットワークは、グランドトゥルースを定義する３Ｄ再構成プロセスによって計算された２Ｄ内視鏡画像の画素について計算された３Ｄ座標値に対応する入力画像を定義する２Ｄ内視鏡画像のペアのトレーニングデータセットによってトレーニングされる、請求項７に記載の方法。
【請求項17】
結腸の少なくとも１つの解剖学的ランドマークの表示を受信することであって、前記少なくとも１つの解剖学的ランドマークは、結腸を複数の部分に分割する、受信することと、前記少なくとも１つの解剖学的ランドマークに対する内視鏡カメラの３Ｄ位置を追跡することと、
結腸の複数の部分の各々において内視鏡カメラによって費やされる時間量を計算することと、
ＧＵＩ内の結腸の複数の部分の各々に内視鏡カメラによって費やされた前記時間量を提示するための命令を生成することと、をさらに含む、請求項７に記載の方法。
【請求項18】
少なくとも１つの２次元（２Ｄ）画像に基づいてポリープの３次元体積を計算する方法であって、結腸の内腔内に配置された内視鏡カメラによって捕捉された結腸の内面の少なくとも１つの２Ｄ画像を受信することと、
少なくとも１つのポリープを描写する少なくとも１つの２Ｄ画像の領域の表示を受信することと、
前記少なくとも１つの２Ｄ画像を３Ｄ再構成ニューラルネットワークに供給することと、
前記３Ｄ再構成ニューラルネットワークによって、前記少なくとも１つの２Ｄ画像の３Ｄ再構成を出力することであって、２Ｄ画像の画素には３Ｄ座標が割り当てられる、出力することと、
前記少なくとも１つの２Ｄ画像の領域の画素の３Ｄ座標の分析にしたがって、前記少なくとも１つの２Ｄ画像の領域内の少なくとも１つのポリープの推定３Ｄ体積を計算することと、を含む、方法。
【請求項19】
少なくとも１つのポリープを描写する少なくとも１つの２Ｄ画像の領域の表示は、２Ｄ画像内のポリープをセグメント化するようにトレーニングされた検出ニューラルネットワークによって出力される、請求項１８に記載の方法。
【請求項20】
前記少なくとも１つの２Ｄ画像の前記３Ｄ再構成は、少なくとも１つのポリープを描写する領域の表示を出力するために、前記少なくとも１つの２Ｄ画像と組み合わせて検出ニューラルネットワークに供給される、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本出願は２０１９年６月４日に出願された米国仮特許出願第１６／４３０，４６１号の優先権の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれる。
本出願は２０１９年６月４日に出願された米国仮特許出願第１６／４３０，４６１号の優先権の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
本発明は、そのいくつかの実施形態では、結腸内視鏡検査に関し、より具体的には、結腸画像およびビデオを処理し、および／または結腸内視鏡検査処置中に自動的に検出された結腸ポリープを処理するためのシステムおよび方法に関するが、これに限定されるものではない。
【0003】
結腸ポリープの検出には、結腸内視鏡検査がゴールドスタンダードである。結腸内視鏡検査では、結腸内視鏡と呼ばれる長い柔軟性のあるチューブを結腸内で進める。結腸内視鏡の端部にあるビデオカメラは画像を捕捉し、画像は、ディスプレイ上で医師に提示される。医師は、ポリープの有無を調べるため、結腸の内面を調べる。特定されたポリープは、結腸内視鏡の器具を用いて切除する。癌性ポリープを早期に切除することで、結腸癌のリスクをなくしたり、減少させたりすることができる。
【発明の概要】
【課題を解決するための手段】
【0004】
第１の態様によれば、患者の結腸の複数の内視鏡画像内の少なくとも１つのポリープを動的に追跡するためのグラフィカルユーザインターフェース（ＧＵＩ）を提示する命令を生成する方法は、少なくとも１つの以前の内視鏡画像に対するそれぞれの内視鏡画像内の少なくとも１つのポリープを描写する領域の位置を追跡することと、領域の位置がそれぞれの内視鏡画像の外部にある場合に、それぞれの内視鏡画像内からそれぞれの内視鏡画像の外側の領域の位置までのベクトルを計算することと、ベクトルの表示でそれぞれの内視鏡画像を増補することによって増補内視鏡画像を作成することと、ＧＵＩ内に増補内視鏡画像を表示するための命令を生成することと、を複数の内視鏡画像について反復することを含む。
【0005】
第２の態様によれば、患者の結腸内で複数の２Ｄ内視鏡画像を捕捉する内視鏡カメラの３Ｄ運動を動的に追跡するためのＧＵＩを提示する命令を生成する方法は、複数の内視鏡画像のそれぞれの内視鏡画像について、それぞれの２Ｄ内視鏡画像を３Ｄ再構成ニューラルネットワークに供給することと、３Ｄ再構成ニューラルネットワークによって、それぞれの２Ｄ内視鏡画像の３Ｄ再構成を出力することであって、２Ｄ内視鏡画像の画素には３Ｄ座標が割り当てられる、出力することと、３Ｄ再構成にしたがって、内視鏡カメラの結腸内の現在の３Ｄ位置を計算することと、ＧＵＩ内の結腸マップ上に内視鏡カメラの現在の３Ｄ位置を提示するための命令を生成することと、を繰り返すことを含む。
【0006】
第３の態様によれば、少なくとも１つの２次元（２Ｄ）画像に基づいてポリープの３次元体積を計算する方法は、結腸の内腔内に配置された内視鏡カメラによって捕捉された結腸の内面の少なくとも１つの２Ｄ画像を受信することと、少なくとも１つのポリープを描写する少なくとも１つの２Ｄ画像の領域の表示を受信することと、少なくとも１つの２Ｄ画像を３Ｄ再構成ニューラルネットワークに供給することと、３Ｄ再構成ニューラルネットワークによって、少なくとも１つの２Ｄ画像の３Ｄ再構成を出力することであって、２Ｄ画像の画素には３Ｄ座標が割り当てられる、出力することと、少なくとも１つの２Ｄ画像の領域の画素の３Ｄ座標の分析にしたがって、少なくとも１つの２Ｄ画像の領域内の少なくとも１つのポリープの推定３Ｄ体積を計算することと、を含む。
【0007】
第１の態様のさらなる実施態様では、ベクトルの表示は、少なくとも１つの内視鏡画像の領域を描写する別の少なくとも１つの内視鏡画像を捕捉するための、内視鏡カメラの調整のための方向および／または配向を描写する。
【0008】
第１の態様のさらなる実施態様では、少なくとも１つのポリープを描写する領域の位置がそれぞれの内視鏡画像に現れるとき、増補内視鏡画像はそれぞれの内視鏡画像を領域の位置で増補することによって生成され、ベクトルの表示は増補内視鏡画像から除外される。
【0009】
第１の態様のさらなる実施態様では、患者の結腸内の少なくとも１つのポリープを描出する領域の位置を計算することと、少なくとも１つのポリープを描出する領域の位置を示す表示を使用して患者の結腸を表す概略図にマーキングすることにより、結腸マップを作成することと、ＧＵＩ内に結腸マップを提示する命令を生成することであって、結腸マップは新たに検出されたポリープの位置で動的に更新される、命令を生成することと、をさらに含む。
【0010】
第１の態様のさらなる実施態様では、複数の内視鏡画像の処理された連続的なサブセットを生成するためのそれぞれの内視鏡画像を含む、複数の内視鏡画像の連続的なサブセットの少なくとも１つの内視鏡画像を平行移動および／または回転させることであって、少なくとも１つのポリープを描写する領域は、複数の内視鏡画像の連続的なサブセットの画像のすべてにおいて同じ近似位置にある、平行移動および／または回転させることと、複数の内視鏡画像の処理された連続的なサブセットを検出ニューラルネットワークに供給することと、検出ニューラルネットワークによって、それぞれの内視鏡画像に対する少なくとも１つのポリープを描写する現在の領域を出力することと、それぞれの内視鏡画像を現在の領域で増補することによって、それぞれの内視鏡画像の増補された画像を作成することと、ＧＵＩ内の増補された画像を提示するための命令を生成することと、をさらに含む。
【0011】
第１の態様のさらなる実施態様では、ニューラルネットワークの出力が、それぞれの内視鏡画像より連続的に早い以前の内視鏡画像のために提供され、それぞれの内視鏡画像内の少なくとも１つのポリープを描写する領域の追跡された位置が、以前の内視鏡画像のためにニューラルネットワークによって出力された領域とは異なる位置にあるとき、追跡された位置に基づいてそれぞれの内視鏡画像のための増補された画像を生成する。
【0012】
第２の態様のさらなる実施形態では、内視鏡カメラの３Ｄ位置を追跡することと、結腸マップＧＵＩ内の内視鏡カメラの追跡された３Ｄ位置をプロットすることと、をさらに含む。
【0013】
第２の態様のさらなる実施態様では、内視鏡カメラの前方追跡３Ｄ位置は、ＧＵＩに提示された結腸マップ上に、内視鏡カメラの前方方向が結腸内により深く入ることを示す印でマーキングされ、結腸マップ上に提示された内視鏡カメラの逆方向追跡３Ｄ位置は、結腸から除去されている内視鏡カメラの逆方向を示す別の印でマーキングされる。
【0014】
第２の態様のさらなる実施態様では、それぞれの内視鏡画像を検出ニューラルネットワークに供給することと、検出ニューラルネットワークによって、少なくとも１つのポリープを描写する前記内視鏡画像の領域の表示を出力することと、３Ｄ再構成にしたがって、内視鏡画像の領域内の少なくとも１つのポリープの推定３Ｄ位置を計算し、少なくとも１つのポリープの３Ｄ位置をＧＵＩ内の結腸マップ上に提示するための命令を生成することと、をさらに含む。
【0015】
第２の態様のさらなる実施態様では、少なくとも１つのポリープの結腸からの外科的除去の表示を受信することと、結腸マップ上の少なくとも１つのポリープの３Ｄ位置を、少なくとも１つのポリープの除去の表示でマーキングすることと、をさらに含む。
【0016】
第２の態様のさらなる実施態様では、複数の内視鏡画像を捕捉する内視鏡カメラの３Ｄ位置を追跡することと、内視鏡カメラの現在の３Ｄ位置から、以前に取得された内視鏡画像を使用して以前に識別された少なくとも１つのポリープの３Ｄ位置までの推定距離を計算することと、推定距離が閾値を下回る場合に、ＧＵＩ内に表示を提示するための命令を生成することと、をさらに含む。
【0017】
第２の態様のさらなる実施態様では、それぞれの３Ｄ再構成を分析して、それぞれの内視鏡画像内に描写された結腸の内面の一部を推定することと、結腸内視鏡検査処置中の内視鏡カメラのらせん走査動作中に、連続的な内視鏡画像内に描写された結腸の内面の累積部分を追跡することと、以前に捕捉された内視鏡画像内にまだ描出されていない内面の残りの部分の推定、および内面の領域の総カバレージの推定のうち少なくとも１つをＧＵＩ内に提示するための命令を生成することと、をさらに含み、分析すること、追跡すること、および生成することは、らせん走査動作中に反復される。
【0018】
第２の態様のさらなる実施態様では、各部分は、らせん走査動作中にそれぞれの部分をカバーするための時間量に対応する間隔を有するタイムウィンドウに対応し、大部分がそれぞれの部分を描写する少なくとも１つの画像がタイムウィンドウ中に捕捉されるときに、適切なカバレージの表示が生成され、および／または、大部分がそれぞれの部分を描写する画像がタイムウィンドウ中に捕捉されないときに、不適切なカバレージの別の表示が生成される。
【0019】
第２の態様のさらなる実施態様では、らせん走査運動中カバーされなかった部分に対して、らせん走査運動中にカバーされた部分を集約することによって、描かれていない内面の量に対する画像に描かれた内面の総量の表示が計算される。
【0020】
第２の態様のさらなる実施態様では、３Ｄ再構成ニューラルネットワークは、グランドトゥルースを定義する３Ｄ再構成プロセスによって計算された２Ｄ内視鏡画像の画素について計算された３Ｄ座標値に対応する入力画像を定義する２Ｄ内視鏡画像のペアのトレーニングデータセットによってトレーニングされる。
【0021】
第２の態様のさらなる実施態様では、結腸の少なくとも１つの解剖学的ランドマークの表示を受信することであって、少なくとも１つの解剖学的ランドマークは、結腸を複数の部分に分割する、受信することと、少なくとも１つの解剖学的ランドマークに対する内視鏡カメラの３Ｄ位置を追跡することと、結腸の複数の部分の各々において内視鏡カメラによって費やされる時間量を計算することと、ＧＵＩ内の結腸の複数の部分の各々に内視鏡カメラによって費やされた時間量を提示するための命令を生成することと、をさらに含む。
【0022】
第３の態様のさらなる実施態様では、少なくとも１つのポリープを描写する少なくとも１つの２Ｄ画像の領域の表示は、２Ｄ画像内のポリープをセグメント化するようにトレーニングされた検出ニューラルネットワークによって出力される。
【0023】
第３の態様のさらなる実施態様では、少なくとも１つの２Ｄ画像の３Ｄ再構成は、少なくとも１つのポリープを描写する領域の表示を出力するために、少なくとも１つの２Ｄ画像と組み合わせて検出ニューラルネットワークに供給される。
【0024】
別段の定義がない限り、本明細書で使用されるすべての技術用語および／または科学用語は、本発明が適用される当技術分野の通常の当業者が一般的に理解するのと同じ意味を有する。本明細書に記載されたものと類似または同等の方法および材料が、本発明の実施形態の実施または試験において使用され得るが、例示的な方法および／または材料が以下に記載されている。矛盾する場合は、定義を含む特許明細書が支配する。さらに、材料、方法、および例示は例示的なものに過ぎず、必ずしも限定的であることを意図するものではない。
【図面の簡単な説明】
【0025】
本発明のいくつかの実施形態を、例示のためだけに、添付の図面を参照して本明細書に記載する。ここで、図面の詳細な特定の参照を伴って示される詳細は、例示のためのものであり、本発明の実施形態の例示的な議論のためのものであることが強調される。この点で、図面と一緒にされる説明は、本発明の実施形態がどのように実施され得るかを、当業者に明らかにする。
【0026】
【図1】本発明のいくつかの実施形態による、標的患者の結腸内の内視鏡上に配置されたカメラによって取得された画像を処理するための方法のフローチャートである。
【図2】本発明のいくつかの実施形態による、標的患者の結腸内の内視鏡上に配置されたカメラによって取得された画像を処理するためのシステムの構成要素のブロック図である。
【図3】本発明のいくつかの実施形態による、１つ以上の以前の内視鏡画像に対するそれぞれの内視鏡画像内の１つ以上のポリープを描写する領域の位置を追跡するためのプロセスのフローチャートである。
【図4】本発明のいくつかの実施形態による、２つの連続する画像間の特徴ベースのＫ－Ｄツリーマッチングの一例を示す概略図である。
【図6】本発明のいくつかの実施形態による、追跡されている検出されたポリープを示す境界ボックスのＲＯＩの概略図と、追跡された境界ボックスもはや画像内に描かれておらず、捕捉された画像内のポリープのＲＯＩを再描写するためにカメラを移動させる方向を示す矢印の提示が付加されている、連続的に後の概略図である。
【図7】本発明のいくつかの実施形態による、検出されたポリープと、本明細書で説明される変換行列を使用して計算された追跡されたポリープを描写する連続的に後のフレームとを描写する概略図である。
【図8】本発明のいくつかの実施形態による、患者の結腸内のカメラによって捕捉された２Ｄ画像の３Ｄ再構成のためのプロセスのフローチャートである。
【図9】本発明のいくつかの実施形態による、カメラの３Ｄ移動を追跡するための例示的な３Ｄ追跡プロセスを示すフローチャートである。
【図10】本発明のいくつかの実施形態による、結腸内視鏡カメラの３Ｄ移動を追跡するための３Ｄ剛体変換行列の一例である。
【図11】本発明のいくつかの実施形態による、単一の３Ｄ座標系における３Ｄ位置が計算される、組み合わされた２Ｄ画像内の各画素について、構築されている結腸のモザイク画像および／またはパノラマ画像の概略図である。
【図12】本発明のいくつかの実施形態による、そこに描写された結腸の内面のそれぞれのクォーター内に提示されたそれぞれの画像を描写する概略図である。
【図13】本発明のいくつかの実施形態による、フレームによって示されるクォーターを計算するための方法のフローチャートである。
【図14】本発明のいくつかの実施形態による、２Ｄ画像から計算された３Ｄ再構成表面からポリープの体積を計算するためのプロセスを示す概略図である。
【図15】本発明のいくつかの実施形態による、２Ｄ画像からポリープの体積を計算するための例示的なプロセスのフローチャートである。
【図16】本発明のいくつかの実施形態による、生成された命令にしたがってＧＵＩ内に提示されたポリープのＲＯＩを追跡するための一連の増補画像を示す概略図である。
【図17】本発明のいくつかの実施形態による、ＧＵＩ内に提示される、内視鏡の移動の軌跡、検出されたポリープの位置、除去されたポリープ、および解剖学的ランドマークを提示する結腸マップの概略図である。
【図18】本発明のいくつかの実施形態による、まだ画像に描写されていない結腸の内面の１つ以上の画像および／または象限に描写される、結腸の内面の象限を描写する概略図である。
【発明を実施するための形態】
【0027】
本発明は、そのいくつかの実施形態では、結腸内視鏡検査に関し、より具体的には、結腸画像およびビデオを処理し、および／または結腸内視鏡検査処置中に自動的に検出された結腸ポリープを処理するためのシステムおよび方法に関するが、これに限定されるものではない。
【0028】
本明細書で使用されるように、用語「画像」および「フレーム」は、時には交換可能である。結腸内視鏡のカメラによって捕捉された画像は、カメラによって捕捉されたビデオの個々のフレームであってもよい。
【0029】
本明細書で使用されるように、用語「内視鏡」および「結腸内視鏡」は、時には交換可能である。
【0030】
本発明のいくつかの実施形態の態様は、例えば結腸内視鏡検査処置中に、結腸の管腔内に位置する内視鏡のカメラによって捕捉された患者の結腸の２次元（２Ｄ）、任意選択でカラーの内視鏡画像で１つ以上のポリープを動的に追跡するためのグラフィカルユーザインターフェース（ＧＵＩ）を提示する命令を生成するための、システム、方法、装置、および／またはコード命令（すなわち、メモリ上に記憶され、１つ以上のハードウェアプロセッサによって実行可能）に関する。現在の内視鏡画像内の１つ以上のポリープ（例えば、関心領域（ＲＯＩ））を描写する領域の位置は、任意選択で、現在の画像と以前の画像との間の一致する視覚的特徴、例えば、スピードロバスト特徴（ＳＵＲＦ）プロセスに基づいて抽出された特徴に基づいて、１つ以上の以前の内視鏡画像に対して追跡される。現在の画像について、画像の境界の外部に位置するように、ポリープを描写するＲＯＩの位置が決定されると、ベクトルが計算される。ベクトルは、現在の画像内の位置から、現在の画像の外部に位置するＲＯＩの位置を指す。現在の画像内の位置は、例えば、ＲＯＩが画像内に配置されていた以前の画像におけるＲＯＩのスクリーン上の位置であってもよい。増補内視鏡画像は、例えば、ＧＵＩ要素としてのベクトルの表示を内視鏡画像に、および／またはオーバーレイとして導入することによって、ベクトルの表示で現在の内視鏡画像を増補することによって作成される。増補内視鏡画像をＧＵＩ内のディスプレイ上に提示するための命令が生成される。
【0031】
ベクトルの表示は、ポリープのＲＯＩを描写する別の内視鏡画像を捕捉するための内視鏡カメラの調整のための方向および／または向きを描写する。増補内視鏡画像は、ＧＵＩ内に表示するためのベクトルの表示で増補される。
【0032】
ベクトルの表示は、画像の外部のＲＯＩの位置を指す矢印であってもよい。カメラを矢印の方向に動かすと、画像内にポリープが復元される。
【0033】
このプロセスは、捕捉された画像に対して反復され、オペレータが画像内にポリープを維持するのを支援する。カメラが移動し、ポリープが現在の画像内にもはや現れなくなると、ベクトルの表示は、画像内にポリープを再捕捉するためにカメラをどのように操作するかに関してオペレータに指示する。
【0034】
本発明のいくつかの実施形態の態様は、患者の結腸内の内視鏡画像を捕捉する内視鏡カメラの３Ｄ移動を動的に追跡するための命令を生成する、システム、方法、装置、および／またはコード命令（すなわち、メモリ上に格納され、１つ以上のハードウェアプロセッサによって実行可能）に関する。捕捉された２Ｄ画像（例えば、各画像、または数枚毎の画像、例えば、３枚毎、４枚毎、または他の数の画像毎）は、３Ｄ再構成ニューラルネットワーク、任意選択で畳み込みニューラルネットワーク（ＣＮＮ）に供給される。３Ｄ再構成ニューラルネットワークは、それぞれの２Ｄ内視鏡画像の３Ｄ再構成を出力する。２Ｄ内視鏡画像の画素には、３Ｄ座標が割り当てられる。結腸内の内視鏡カメラ（すなわち、内視鏡）の現在の３Ｄ位置は、３Ｄ再構成にしたがって計算される。例えば、内視鏡の３Ｄ位置は、現在の画像の３Ｄ座標の値に基づいて決定される。ＧＵＩ内の結腸マップ上に内視鏡カメラの現在の３Ｄ位置を提示するための命令が生成される。結腸マップは患者の結腸の仮想マップを描く。
【0035】
内視鏡の３Ｄ位置は結腸マップ上の軌跡として追跡され、プロットされ、例えば、結腸内視鏡検査処置中に結腸内の内視鏡の経路を追跡することができる。
【0036】
内視鏡の順方向および逆方向は、例えば、矢印および／または色分けによってマーキングされてもよい。
【0037】
検出されたポリープの３Ｄ位置を結腸マップ上にマーキングすることができる。検出されたポリープの３Ｄ位置は、カメラの３Ｄ位置に対して追跡することができる。カメラとポリープとの間の距離が閾値未満である場合、ＧＵＩ内に表示を提示するための命令が生成されてもよい。表示は、例えば、ポリープが画像中に存在する場合のポリープのマーキング、ポリープが画像中に描写されていない場合のポリープの位置を指す矢印、および／または、任意選択で、ポリープを描写する画像を捕捉するためにカメラをどのように動かすかについての命令内の、カメラがポリープに近接しているというメッセージであってもよい。
【0038】
結腸から外科的に切除されたポリープは、結腸マップ上にマーキングされることがある。
【0039】
任意選択的に、画像内に描写された結腸の内面の部分が分析される。例えば、内面をクォーター（ｑｕａｒｔｅｒｓ）に仮想的に分割することに基づいている。結腸内視鏡が結腸の内壁を視覚的に走査するために使用されるとき、任意選択で、例えば、結腸内視鏡が結腸から引き出されているとき（または結腸内で前方に移動されているとき）、らせん運動で、部分の範囲が累積的に追跡される。らせん運動は、例えば、結腸内視鏡がゆっくりと引き出されている（または押し込まれている）ときに、カメラの時計回り（または反時計回り）の向きによって行われる。代替的に、結腸の内側部分を段階的に撮像し、例えば、結腸内視鏡を一定の距離だけ引き戻し（または前方に押し）、カメラの逆方向（または前方方向）移動を停止し、円パターン（または横断方向パターン）でカメラを向けることによって周囲を撮像し、ここで、引き戻し（または前方に押す）、停止、および撮像を結腸の長さにわたって反復する。任意選択的に、結腸内視鏡が結腸の内壁を視覚的に走査するために使用されるとき、各部分（例えば、クォーター）は、大部分が１つ以上の画像によって示される。描写された内面および／または残りの内面（例えば、クォーター）の推定値が生成され、ＧＵＩ内での提示のための命令が生成されてもよい。推定はリアルタイムで、例えば、クォーターごとに、および／またはそれぞれの部分（例えば、クォーター）のカバレージの集合に基づいて結腸全体（または大部分）についてのグローバル推定として、実行されてもよい。結腸の内側表面の以前にカバーされた、および／または残りのカバレージは、結腸の内側表面全体が画像で捕捉されたことを確実にするのに役立ち、ポリープが見逃される危険性を低減する。
【0040】
任意選択的に、結腸内視鏡の３Ｄ追跡に基づいて、結腸の１つ以上の定義された部分において結腸内視鏡によって費やされる時間量が計算される。時間の提示のための命令は、ＧＵＩ内での提示のために生成されてもよく、例えば、結腸の各部分で費やされた時間の量は、結腸マップの対応する部分上に提示される。
【0041】
本発明のいくつかの実施形態の態様は、ポリープの寸法（例えば、サイズ）を計算するための命令を生成する、システム、方法、装置、および／またはコード命令（すなわち、メモリ上に格納され、１つ以上のハードウェアプロセッサによって実行可能）に関する。寸法は、２Ｄ寸法、例えば、平坦なポリープの領域および／または半径、および／または３Ｄ寸法、例えば、隆起したポリープの体積および／または半径であってもよい。ポリープを描写する２Ｄ画像の領域の表示は、例えば、（例えば、ＧＵＩを使用して）オペレータによって手動で描写され、および／または、２Ｄ画像を供給され、２Ｄ画像内のポリープをセグメント化するようにトレーニングされた検出ニューラルネットワークによって出力される。２Ｄ画像は、２Ｄ画像の画素に対する３Ｄ座標を出力する３Ｄ再構成ニューラルネットワークに供給される。ポリープの寸法は、ポリープを描写する２Ｄ画像のＲＯＩの画素の３Ｄ座標の分析にしたがって計算される。
【0042】
任意選択的に、ポリープの寸法が閾値を超えたときに、ＧＵＩ内に警告を提示するための命令が生成される。閾値は、除去されるべきポリープの最小寸法を規定し得る。閾値未満の寸法を有するポリープは、適所に残されてもよい。
【0043】
本明細書で説明されるシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、特に、患者の結腸内のポリープを識別し、除去するための、患者を治療する医学的課題に関する。標準的な結腸内視鏡検査手技を用いると、間隔を置いた結腸内視鏡検査でこれらの見逃された病変が最終的に検出されることから明らかなように、２０％までの症例で腺腫が見逃される可能性があり、約０．６％でがんが見逃される可能性がある。腺腫検出率（ＡＤＲ）は様々であり、患者の危険因子、医師のパフォーマンス、および手段的な限定に依存する。患者の個々の解剖学的構造および腸管前処置の質は、質の高い結腸内視鏡検査の重要な決定因子である。医師による質の高い結腸内視鏡検査のパフォーマンスは、盲腸挿管の成功、延長された引き込み時間中の注意深い視診、および内視鏡経験全体などの要因に左右される。内視鏡医の疲労および不注意は、医師がポリープを見逃す危険因子である一方、セッションにおけるより早期の処置開始時間はより良好な転帰と相関する。注目すべきは、品質改善プログラムを実施した施設では腺腫検出率（ＡＤＲ）が増加したが、モニタリングの意識または単に観察されたことが腺腫検出率（ＡＤＲ）により良い影響を及ぼしたことである。
【0044】
本明細書に記載されるシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、結腸内視鏡検査処置中のポリープの検出および／または除去速度を改善する。改善は少なくとも部分的に、本明細書に記載されるＧＵＩによって促進され、これは、（ｉ）ポリープの画像を再捕捉するために結腸内視鏡カメラの操作方向を指す矢印によって現在捕捉された画像から消失した以前に識別されたポリープを、ポリープの画像を再捕捉する方向を指す矢印によって表示すること、（ｉｉ）識別されたポリープの２Ｄおよび／または３Ｄ位置を表示する結腸マップを提示および更新することを助け、すべての識別されたポリープが評価および／または除去されることを確実にすること、（ｉｉｉ）画像によって捕捉されておらず、よってポリープを識別するために分析されていない内面の部分を識別するために結腸の内面円周の部分を追跡して、画像化されておらず、ポリープが見逃されている結腸の部分がないことを確実にすること、（ｉｖ）どのポリープを除去するかおよび／または癌の診断を助けるデータを提供する助けとなるポリープの体積の計算、および／または（ｖ）結腸の各部分において結腸内視鏡によって費やされる時間量を計算する、ことをオペレータに指示することを助ける。ＧＵＩは、結腸内視鏡検査処置中に捕捉された画像に対してリアルタイムで提示され、適合され、医師のオペレータがポリープの検出および／または除去速度を改善するのを助ける際のリアルタイムフィードバックを行うことができる。
【0045】
本明細書に記載されるシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、ポリープの検出および／または除去速度を改善する装置の技術的課題に対処する。具体的には、本明細書で説明するシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、ポリープの識別および／または検出率を高めるのに役立つように、取り込まれた画像を分析するコード、および／またはオペレータによって使用されるＧＵＩによって、画像処理の技術および／またはＧＵＩの技術を改善する。例えば、標準的なアプローチと比較してである。例えば、より広い視野を達成し、画像解像度を改善する光学系、および、粘膜の襞の背後の視覚化を改善するためのバルーンキャップまたはリングなどの遠位結腸内視鏡アタッチメントである。このような光学的装置および取付け装置は受動的であり、識別されたポリープを追跡する際にオペレータの技能に依存する。対照的に、本明細書に記載のＧＵＩは、識別されたポリープを自動的に追跡する。
【0046】
本明細書で説明するシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、ポリープの体積を計算する技術的問題に対処する。標準的な実施に基づいて、ポリープのサイズは、例えば、Ｋｕｍｅ，Ｋｅｉｉｃｈｉｒｏ，ｅｔ ａｌ．“Ｅｎｄｏｓｃｏｐｉｃ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｐｏｌｙ ｓｉｚｅ ｕｓｉｎｇ ａ ｎｏｖｅｌ ｃａｌｉｂｒａｔｅｄ ｈｏｏｄ．”Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ ｒｅｓｅａｒｃｈ ａｎｄ ｐｒａｃｔｉｃｅ ２０１４（２０１４）を参照して記載されるように、ポリープが患者から除去された後にのみ測定される。ポリープのサイズ測定の重要性については、例えば、Ｓｕｍｍｅｒｓ，Ｒｏｎａｌｄ Ｍ．「Ｐｏｌｙｐ ｓｉｚｅ ｍｅａｓｕｒｅｍｅｎｔ ａｔ ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ：Ｗｈａｔ ｄｏ ｗｅ ｋｎｏｗ ａｎｄ ｗｈａｔ ｄｏ ｗｅ ｎｅｅｄ ｔｏ ｋｎｏｗ？」Ｒａｄｉｏｌｏｇｙ ２５５．３（２０１０）：７０７－７２０を参照して記載されている。対照的に、本明細書に記載されるシステム、方法、装置、および／またはコード命令のうちの少なくともいくつかは、ポリープが除去される前に、ポリープが結腸壁に取り付いている間に、インビボでポリープのサイズを計算する。ポリープが除去される前にポリープの体積を計算することはいくつかの利点を提供することができ、例えば、閾値体積を超えるポリープは除去のために標的化され、そして／または閾値体積未満のポリープは患者の体内に残される。除去前に計算されたポリープの体積は、例えば、ポリープ全体が除去されたかどうかを決定するために、および／または表面上のポリープの体積を癌の危険性として表面下のポリープの見えない部分と比較するために、および／またはポリープおよび／または癌の危険性を等級付けするのを助けるために、除去後の体積と比較されてもよい。
【0047】
本明細書で説明するシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、結腸内視鏡のカメラによってビデオ内に取り込まれる画像のレートよりも遅いニューラルネットワーク処理の技術的課題に対処する。抽出された特徴に基づいてポリープ（および／または関連するＲＯＩ）を追跡するための本明細書で説明されるプロセスは、画像のためのデータ、任意選択で検出されたポリープの表示および／またはその位置を出力するニューラルネットワークを使用してポリープを検出するためのプロセスにおける遅延を補償する。ニューラルネットワークに基づく検出プロセスは、特徴抽出および追跡プロセスよりも計算的に高価である（例えば、Ｉ７ＩｎｔｅｌプロセッサおよびＮｖｉｄｉａ ＧＴＫ １０８０ ＴＩ ＧＰＵを有する典型的なパーソナルコンピュータ（ＰＣ）では２５ミリ秒（ｍｓ）－４０ｍｓであるが、連続するフレーム間の典型的な時間差は２０ｍｓ－４０ｍｓの範囲内である）。したがって、遅延シナリオは、ｉで示されるフレーム数についてニューラルネットワークによって出力される検出結果が後続のフレーム（例えば、ｉ＋２で示される数、または後のフレーム）がすでに提示されている場合にのみ準備ができているという意味で作成され得る。そのような遅延シナリオは、最初のフレームがポリープを描写するが、後のフレームがポリープを描写しない（例えば、ポリープが画像内に捕捉されないようにカメラがシフトされた位置）ときに奇妙な状況をもたらし、ポリープを検出するニューラルネットワークにおける遅延は、ポリープがもはや描写されないときにのみ利用可能であり、提示された画像がポリープを提示しないときに検出されたポリープの表示が提供される状況を生成する。フレーム番号ｉ＋２が提示のために利用可能である場合、フレームの提示における遅延は臨床的および／または規制的観点から許容できないため、例えば、画像化されたポリープを除去しようとする試みにおいて損失をもたらし得るので、フレームは利用可能であるとすぐに（例えば、リアルタイムで、および／または直ちに）提示されなければならないことに留意されたい。ニューラルネットワークに基づく処理（例えば、Ｉ７Ｉｎｔｅｌプロセッサを有する典型的なＰＣでは１０ｍｓ未満）と比較して、迅速な処理をもたらす計算的に効率的な特徴に基づく追跡が、フレームｉで検出されたポリープを描写するＲＯＩをフレームｉ＋２内の位置に変換するために使用される。変換された位置は、フレーム番号ｉ＋２でディスプレイ上に提示される位置である。任意選択的に、２Ｄ変換において必ずしも考慮されない異なる３Ｄ位置の影響のために輪郭変換がより不正確になり得るので、ＲＯＩの境界ボックス（例えば、ＲＯＩの境界ボックスのみ）は、ｉ＋２フレームに変換される。なお、ｉ＋２フレームは一例であり、他の例として、例えば、ｉ＋１、ｉ＋３、ｉ＋４、ｉ＋５以上を用いてもよく、必ずしもこれに限定されない。
【0048】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その出願において、以下の説明に記載され、および／または図面および／または実施例に示される構成要素および／または方法の構成および配置の詳細に必ずしも限定されないことを理解されたい。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【0049】
本発明は、システム、方法、および／またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含んでもよい。
【0050】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＰＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード、または命令が記録されている溝内の隆起した構造物等の機械的に符号化された装置、および上記の任意の適切な組み合わせが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝播する電磁波、またはワイヤを通って伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
【0051】
本明細書に記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して、外部コンピュータまたは外部記憶装置に、それぞれの演算／処理装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含むことができる。各演算／処理装置内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの演算／処理装置内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。
【0052】
本発明の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔｏｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、スタンドアロンのソフトウェアパッケージとして実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ上で部分的に実行されてもよいし、リモートコンピュータまたはサーバ上で全体的に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに行われてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナライズするために、コンピュータ可読プログラム命令の状態情報を利用して、コンピュータ可読プログラム命令を実行してもよい。
【0053】
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることを理解されたい。
【0054】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為を実施するための手段を作成するように、機械を製造するための汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他の装置を特定の仕方で機能させるように指示することができるコンピュータ可読記憶媒体に記憶されていてもよく、記憶された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為の態様を実装する命令を含む製品を含む。
【0055】
また、コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置に一連の動作ステップを実行させて、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される命令が、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為を実装するような、コンピュータ実装された工程を生成するために、コンピュータ、他のプログラム可能な装置、または他の装置にロードされてもよい。
【0056】
図面のフローチャートおよびブロック図は、本発明の様々な実施形態にしたがったシステム、方法、およびコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、および動作を例示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してもよく、これは、指定された論理機能を実装するための１つ以上の実行可能な命令を備える。いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に記載されている順序から外れて発生してもよい。例えば、連続して示される２つのブロックは、実際には、実質的に同時実行されてもよく、あるいは、ブロックは、関与する機能に応じて、時には逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図示の各ブロック、ならびにブロック図および／またはフローチャート図示のブロックの組み合わせは、所定の機能または行為を実行するか、または特殊目的ハードウェアとコンピュータ命令の組み合わせを実行する特殊目的ハードウェアベースのシステムによって実装され得ることにも留意されたい。
【0057】
次に、図１を参照すると、図１は、本発明のいくつかの実施形態による、標的患者の結腸内の内視鏡上に位置するカメラによって取得された画像を処理し、ポリープを追跡し、カメラの動きを追跡し、ポリープの位置をマッピングし、結腸の内面のカバレージを計算し、結腸の異なる部分で費やされた時間量を追跡し、および／またはポリープの体積を計算するための方法のフローチャートである。図２も参照すると、図２は、本発明のいくつかの実施形態による、標的患者の結腸内の内視鏡上に位置するカメラによって取得された画像を処理し、ポリープを追跡し、カメラの動きを追跡し、ポリープの位置をマッピングし、結腸の内面のカバレージを計算し、結腸の異なる部分で費やされた時間量を追跡し、および／またはポリープの体積を計算するための、システム２００の構成要素のブロック図である。システム２００は、任意選択で、メモリ２０６に格納されたコード命令を実行するコンピューティング装置２０４のハードウェアプロセッサ２０２によって、図１を参照して説明した方法の動作を実施することができる。
【0058】
撮像プローブ２１２、例えば、結腸内視鏡上に配置されたカメラは、例えば、結腸内視鏡検査処置中に得られた、患者の結腸内の画像を捕捉する。結腸画像は任意選択で２Ｄ画像であり、任意選択でカラー画像である。結腸画像は、ストリーミングされたビデオ、および／または静止画像のシーケンスとして取得されてもよい。捕捉された画像はリアルタイムで処理され、および／または（例えば、手順が完了した後）オフラインで処理されてもよい。
【0059】
捕捉された画像は、画像リポジトリ２１４に記憶されてもよく、任意選択で、画像サーバ、例えば、画像アーカイビング通信システム（ＰＡＣＳ）サーバ、および／または電子健康記録（ＥＨＲ）サーバとして実装されてもよい。画像リポジトリは、ネットワーク２１０と通信していてもよい。
【0060】
コンピューティング装置２０４は、例えば、撮像プローブ２１２から直接リアルタイムで、および／または（例えば、リアルタイムで、またはオフラインで）画像リポジトリ２１４から、取り込まれた画像を受信する。リアルタイム画像は、本明細書に記載されるように、オペレータを誘導するために、結腸内視鏡検査処置の間に受信されてもよい。捕捉された画像は、１つ以上の撮像インターフェース２２０を介してコンピューティング装置２０４によって受信することができ、たとえば、ワイヤ接続（たとえば、撮像プローブ２１２からの出力が接続ワイヤを介して撮像インターフェースにプラグインされる）、ワイヤ接続（たとえば、アンテナ）、ローカルバス、データ記憶装置の接続のためのポート、ネットワークインターフェースカード、他の物理インターフェース実装、および／または仮想インターフェース（たとえば、ソフトウェアインターフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーションプログラミングインターフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ））である。
【0061】
コンピューティング装置２０４は、本明細書に記載されるように、取り込まれた画像を分析し、ユーザインターフェース（例えば、ディスプレイ）２２６上に提示されるグラフィカルユーザインターフェースを動的に調整するための命令を生成し、例えば、ＧＵＩの要素は、本明細書に記載されるように、取り込まれた画像上にオーバーレイとして注入され、ディスプレイ上に提示される。
【0062】
コンピューティング装置２０４は、例えば、専用装置、クライアント端末、サーバ、仮想サーバ、結腸内視鏡検査ワークステーション、消化器疫学ワークステーション、仮想マシン、コンピューティングクラウド、モバイル装置、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネコンピュータ、および時計コンピュータとして実現されてもよい。コンピューティング２０４は、消化器疫学および／または結腸内視鏡検査ワークステーション、および／またはオペレータが結腸内視鏡検査画像の処理から作成されたＧＵＩを見ることを可能にするための他の装置、たとえば、画像上で現在見られていないポリープに向かって矢印を向けるリアルタイム提示、および／またはポリープの２Ｄおよび／または３Ｄ位置を提示する結腸マップ、および／または本明細書で説明される他の特徴を含むことができる高度な視覚化ワークステーションを含むことができる。
【0063】
コンピューティング装置２０４は、図１を参照して表される1つ以上の動作を行い、および／または１つ以上のサーバ（例えば、ネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として動作することができ、１つ以上のクライアント端末２０８（例えば、結腸内視鏡検査画像を見るためにユーザによって使用されるクライアント端末、例えば、結腸内視鏡検査ワークステーションであって、結腸内視鏡２１２によって取り込まれた画像を提示するディスプレイを含む、結腸内視鏡検査ワークステーション、遠隔に位置する結腸内視鏡検査ワークステーション、ＰＡＣＳサーバ、遠隔ＥＨＲサーバ、研修医などによる処置の遠隔視聴のための遠隔に位置するディスプレイ）にサービス（例えば、図１を参照して説明した動作のうちの１つ以上）を提供するローカルに格納されたソフトウェアを含むことができる。サービスはネットワーク２１０を介して、例えば、クライアント端末２０８にサービス（ＳａａＳ）としてソフトウェアを提供し、クライアント端末２０８にウェブブラウザへのアドオンとしてローカルダウンロードのためのアプリケーションおよび／または結腸内視鏡検査アプリケーションを提供し、および／または、例えば、結腸内視鏡検査画像へのＧＵＩ要素の注入、および／またはＧＵＩ内の結腸内視鏡検査画像の提示のために、ウェブブラウザ、アプリケーションプログラミングインターフェース（ＡＰＩ）、および／またはソフトウェア開発キット（ＳＤＫ）などを介して、リモートアクセスセッションを使用してクライアント端末２０８に機能を提供する。
【0064】
システム２００の異なるアーキテクチャが実装されてもよい。次に例を示す。
＊コンピューティング装置２０４は、撮像プローブ２１２とディスプレイ２２６との間に接続され、例えば、結腸内視鏡検査ワークステーションの構成要素である。そのような実装は、結腸内視鏡検査処置中に結腸内視鏡によって捕捉された画像のリアルタイム処理、およびディスプレイ２２６上の本明細書で説明されるＧＵＩのリアルタイム提示、例えば、ＧＵＩ要素を注入すること、および／またはＧＵＩ内に画像を提示すること、例えば、現在見えていないポリープに方向矢印を提示すること、および／またはポリープの２Ｄおよび／または３Ｄ位置を示す結腸マップを提示すること、および／または本明細書で説明される他の特徴のために使用されてもよい。そのような実施形態では、コンピューティング装置２０４が各結腸内視鏡検査ワークステーション（例えば、撮像プローブ２１２および／またはディスプレイ２２６を含む）のためにインストールされ得る。
＊コンピューティング装置２０４は、中央サーバとして機能し、ネットワーク２１０を介してクライアント端末２０８（例えば、撮像プローブ２１２および／またはディスプレイ２２６を含む）などの複数の結腸内視鏡検査ワークステーションにサービスを提供する。そのような実施形態では、単一のコンピューティング装置２０４をインストールして、複数の結腸内視鏡検査ワークステーションにサービスを提供することができる。
＊コンピューティング装置２０４は、サーバ２１８（例えば、ＰＡＣＳサーバ、ＥＨＲサーバ）の様な既存の装置上にコードとしてインストールされ、例えば、異なるオペレータによって捕捉され、ＰＡＣＳおよび／またはＥＨＲサーバに記憶された結腸スコピービデオのオフライン解析のような、それぞれの装置のためのローカルオフライン処理を提供する。コンピューティング装置２０４は、ネットワーク２１０を介してサーバ２１８（例えば、ＰＡＣＳサーバ、ＥＨＲサーバ）と通信する外部装置上に設置して、複数の装置のためのローカルオフライン処理を提供することができる。
＊コンピューティング装置２０４は、撮像プローブ２１２とディスプレイ２２６との間に接続され、例えば、結腸内視鏡検査ワークステーションの構成要素である。そのような実装は、結腸内視鏡検査処置中に結腸内視鏡によって捕捉された画像のリアルタイム処理、およびディスプレイ２２６上の本明細書で説明されるＧＵＩのリアルタイム提示、例えば、ＧＵＩ要素を注入すること、および／またはＧＵＩ内に画像を提示すること、例えば、現在見えていないポリープに方向矢印を提示すること、および／またはポリープの２Ｄおよび／または３Ｄ位置を示す結腸マップを提示すること、および／または本明細書で説明される他の特徴のために使用されてもよい。そのような実施形態では、コンピューティング装置２０４が各結腸内視鏡検査ワークステーション（例えば、撮像プローブ２１２および／またはディスプレイ２２６を含む）のためにインストールされ得る。
＊コンピューティング装置２０４は、中央サーバとして機能し、ネットワーク２１０を介してクライアント端末２０８（例えば、撮像プローブ２１２および／またはディスプレイ２２６を含む）などの複数の結腸内視鏡検査ワークステーションにサービスを提供する。そのような実施形態では、単一のコンピューティング装置２０４をインストールして、複数の結腸内視鏡検査ワークステーションにサービスを提供することができる。
＊コンピューティング装置２０４は、サーバ２１８（例えば、ＰＡＣＳサーバ、ＥＨＲサーバ）の様な既存の装置上にコードとしてインストールされ、例えば、異なるオペレータによって捕捉され、ＰＡＣＳおよび／またはＥＨＲサーバに記憶された結腸スコピービデオのオフライン解析のような、それぞれの装置のためのローカルオフライン処理を提供する。コンピューティング装置２０４は、ネットワーク２１０を介してサーバ２１８（例えば、ＰＡＣＳサーバ、ＥＨＲサーバ）と通信する外部装置上に設置して、複数の装置のためのローカルオフライン処理を提供することができる。
【0065】
クライアント端末２０８は、例えば、撮像プローブ２１２およびディスプレイ２２６、デスクトップコンピュータ（例えば、結腸内視鏡検査画像を見るためのビューワアプリケーションを実行する）、モバイル装置（例えば、ラップトップ、スマートフォン、眼鏡、着用可能装置）、および結腸内視鏡検査画像を遠隔で見るための遠隔局サーバを含み得る結腸内視鏡検査ワークステーションとして実装されてもよい。
【0066】
ハードウェアプロセッサ２０２は、例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、および特定用途向け集積回路（ＡＳＩＣ）として実装することができる。プロセッサ２０２は、並列処理のために、クラスタとして、および／または１つ以上のマルチコア処理ユニットとして配置され得る、１つ以上のプロセッサ（同種または異種）を含んでもよい。
【0067】
メモリ２０６（本明細書では、プログラム記憶装置および／またはデータ記憶装置とも呼ぶ）がハードウェアプロセッサ２０２、例えば、ランダムアクセスメモリ、読出し専用メモリ、および／または記憶装置、例えば、不揮発性メモリ、磁気媒体、半導体メモリ装置、ハードドライブ、リムーバブル記憶装置、および光学媒体（例えば、ＤＶＤ、ＣＤ－ＲＯＭ）による実行のためのコード命令を記憶する。例えば、メモリ２０６は図１を参照して説明した方法の１つ以上の動作および／または特徴を実施するコード２０６Ａ、および／またはＧＵＩ内で提示するための命令を生成し、および／または命令に基づいて本明細書で説明したＧＵＩを提示するＧＵＩコード２０６Ｂ（例えば、結腸内視鏡画像へのＧＵＩ素子の注入、画像上のＧＵＩ素子のオーバーレイ、ＧＵＩ内の結腸内視鏡画像の提示、および／または本明細書で説明した結腸マップの提示および動的更新）を記憶することができる。
【0068】
コンピューティング装置２０４は、データ、例えば、受信された結腸内視鏡検査画像、結腸マップ、および／またはＧＵＩ内に提示された処理された結腸内視鏡検査画像を記憶するためのデータ記憶装置２２２を含むことができる。データ記憶装置２２２は、例えば、メモリ、ローカルハードドライブ、リムーバブル記憶装置、光ディスク、記憶装置、および／またはリモートサーバおよび／または（例えば、ネットワーク２１０を介してアクセスされる）コンピューティングクラウドとして実現されてもよい。
【0069】
コンピューティング装置２０４は、ネットワーク２１０に接続するための、データインターフェース２２４、任意選択でネットワークインターフェース、例えば、ネットワークインターフェースカード、無線ネットワークに接続するための無線インターフェース、ネットワーク接続のためのケーブルに接続するための物理インターフェース、ソフトウェアで実現される仮想インターフェース、ネットワーク接続のより高い層を提供するネットワーク通信ソフトウェア、および／または他の実装のうち1つ以上を含むことができる。コンピューティング装置２０４は、例えば、更新された撮像処理コード、更新されたＧＵＩコードをダウンロードするため、および／またはオフライン処理のための画像を取得するために、ネットワーク２１０を使用して、１つ以上のリモートサーバ２１８にアクセスすることができる。
【0070】
撮像インターフェース２２０およびデータインターフェース２２４は、単一インターフェース（例えば、ネットワークインターフェース、単一ソフトウェアインターフェース）として、および／またはソフトウェアインターフェース（例えば、ＡＰＩ、ネットワークポートとして）および／またはハードウェアインターフェース（例えば、２つのネットワークインターフェース）、および／またはその組み合わせ（例えば、単一ネットワークインターフェース、および、２つのソフトウェアインターフェース、共通物理インターフェース上の２つの仮想インターフェース、共通ネットワークポート上の仮想ネットワーク）のような２つの独立したインターフェースとして実装され得ることが、留意される。用語／コンポーネント撮像インターフェース２２０は、時には用語／データインターフェース２２４と交換されてもよい。
【0071】
コンピューティング装置２０４は、例えば、本明細書に記載される異なるアーキテクチャ実装にしたがって、直接リンク（例えば、ケーブル、ワイヤレス）および／または間接リンク（例えば、サーバなどの中間コンピューティング装置を介して、および／または記憶装置を介して）を介するような、ネットワーク２１０（または別の通信チャネル）を使用して、サーバ２１８、撮像プローブ２１２、画像リポジトリ２１４、および／またはクライアント端末２０８のうちの１つ以上と通信することができる。
【0072】
撮像プローブ２１２および／またはコンピューティング装置２０４および／またはクライアント端末２０８および／またはサーバ２１８は、ユーザが（例えば、除去のためにポリープをマーキングする）データを入力し、および／または結腸内視鏡検査画像、方向矢印、および／または結腸マップを含むＧＵＩを見るように設計された機構を含む、ユーザインターフェース２２６を含むか、またはそれと通信する。例示的なユーザインターフェース２２６は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、増補現実眼鏡、およびスピーカおよびマイクロフォンを使用する音声起動ソフトウェアのうちの１つ以上を含む。
【0073】
１００で、内視鏡は患者の結腸内に挿入および／または移動される。例えば、内視鏡を前方に（すなわち、直腸から盲腸へ）前進させ、（例えば、盲腸から直腸へ）後退させ、および／または内視鏡の少なくともカメラの向きを（例えば、上、下、左、右に）調節し、および／または内視鏡を適所に残す。
【0074】
内視鏡は、ＧＵＩに基づいて、例えば、オペレータによって手動で、および／またはユーザによって自動的に調整されてもよく、例えば、ユーザは、提示された矢印にしたがって内視鏡のカメラを調整して、画像から外に移動したポリープを再捕捉してもよいことに留意されたい。
【0075】
１０２において、画像は内視鏡のカメラによって捕捉される。画像は、任意選択でカラーの２Ｄ画像である。画像は結腸の内側を描写し、ポリープを描写してもしなくてもよい。
【0076】
画像は、ビデオストリームとして捕捉することができる。ビデオストリームの個々のフレームを分析することができる。
【0077】
画像は、本明細書に記載されるように、個々に、および／または連続した画像のセットとして分析されてもよい。シーケンス内の各画像は分析されてもよく、または、いくつかの中間画像は無視されてもよく、任意選択で所定の数、例えば、３つおきの画像が分析され、中間の２つの画像は無視される。
【0078】
任意選択で、画像に描写された１つ以上のポリープが治療される。ポリープは内視鏡を介して治療されてもよい。ポリープは、例えば病理検査室に送るために、その外科的除去によって治療してもよい。ポリープは、アブレーションによって治療してもよい。
【0079】
任意選択的に、治療されたポリープは、例えば、医師によって手動で（例えば、ＧＵＩを使用して選択を行うことによって、「ポリープ除去」アイコンを押すことによって）、および／または（例えば、外科的切除装置の動きを検出する）コードによって自動的にマーキングされる。本明細書に記載されるように、マーキングされた治療済みポリープは、ＧＵＩに提示される結腸マップ上で追跡および／または提示されてもよい。
【0080】
１０４において、画像は、ポリープが画像に描写されているかどうか（または描写されていないかどうか）の表示を出力する検出ニューラルネットワークに供給される。検出ニューラルネットワークは、例えば、境界ボックスおよび／または２Ｄフレーム内のポリープを描写する他の輪郭を生成することによって、画像内の検出されたポリープの位置を識別するセグメンテーションプロセスを含むことができる。
【0081】
ポリープの検出のための例示的なニューラルネットワークベースのプロセスは、本出願と同じ発明者による、国際特許出願公開（ＷＯ２０１７／０４２８１２）「Ａ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＣＴＩＯＮ ＯＦ ＳＵＳＰＩＣＩＯＵＳ ＴＩＳＳＵＥ ＲＥＧＩＯＮＳ ＩＮ ＡＮ ＥＮＤＯＳＣＯＰＩＣ ＰＲＯＣＥＤＵＲＥ」を参照して記載される自動ポリープ検出システム（ＡＰＤＳ）である。
【0082】
検出ニューラルネットワークによって実施される自動化されたポリープ検出プロセスは、例えば、同じコンピューティング装置、および／またはプロセッサ上で、および／または別のリアルタイム接続されたコンピューティング装置、および／または１０６－１１４を参照して説明された特徴を実行するコンピューティング装置に接続されたプラットフォーム上で、特徴１０６－１１４と並列に、および／または独立して実行されてもよい。
【0083】
ニューラルネットワークの出力が計算され、それぞれの内視鏡画像より連続的に以前の内視鏡画像に対して提供され、それぞれの内視鏡画像内のポリープを描写する領域の追跡された位置（すなわち、１０６を参照して説明されるような）が、以前の内視鏡画像に対してニューラルネットワークによって出力された領域とは異なる位置にある場合、ポリープの計算された追跡された位置に基づいて、それぞれの内視鏡画像に対して増補画像が生成される。このような状況は、画像のフレームレートが検出ニューラルネットワークの処理レートよりも速い場合に生じる。検出ニューラルネットワークは、１つ以上の連続する画像が捕捉された後、画像の処理を完了する。このような場合に、検出ニューラルネットワークの結果が使用される場合、古い画像について計算されたポリープ位置は、現在の画像についてのポリープ位置を必ずしも反映しない場合がある。
【0084】
任意選択的に、それぞれの内視鏡画像と、（１０６を参照して説明したように）追跡されたＲＯＩを描写するそれぞれの内視鏡画像（例えば、それぞれの内視鏡画像の前に取り込まれた）よりも前に連続して位置する１つ以上の画像とを含む内視鏡画像の連続するサブセットの１つ以上の内視鏡画像が、検出ニューラルネットワークに供給される。画像の連続するサブセットは、（１０６を参照して説明したように）追跡処理と並行して検出ニューラルネットワークに供給することができる。代替的に、画像のサブセットが１０６を参照して説明したように、追跡プロセスによって最初に処理される。追跡プロセスによって検出されたポリープ（例えば、ＲＯＩ）を描写する領域がすべての画像において、例えば、すべての画像についてディスプレイ上の同じ画素位置において、同じ近似位置にある、内視鏡画像のサブセットを生成するために、後処理された画像のうちの１つ以上が平行移動および／または回転されてもよい。処理された画像の連続するサブセットは、ポリープを描写する現在の領域を出力するために検出ニューラルネットワークに供給される。画像は、検出ニューラルネットワークによって検出された領域で増補されてもよい。
【0085】
代替的または追加的に、画像内のポリープを描写する領域の計算された追跡位置、および／または１０６を参照して説明した追跡プロセス（例えば、連続するフレーム間の２Ｄ変換行列）の出力は、検出ニューラルネットワークに供給される。追跡された位置および／または２Ｄ変換行列は、ポリープの追跡された位置が画像内にあるとき、またはポリープのタックされた位置が画像の外部に位置するときに、ニューラルネットワークに供給されてもよい。追跡された位置は、単独で、または１つ以上の画像（例えば、現在の画像および／または以前の画像）に加えて、ニューラルネットワークに供給されてもよい。追跡プロセスの出力（例えば、追跡された位置および／または２Ｄ変換行列）は、例えば、連続するフレームにおけるポリープの検出間の相関の精度を改善するために、ニューラルネットワークプロセスによって使用されてもよい。追跡プロセスの出力は、（例えば、追跡されたポリープが以前のフレームで検出されたときに）ニューラルネットワークベースのポリープ検出プロセスの信頼性を高めることができ、および／または偽陽性検出の場合を低減することができる。
【0086】
任意選択的に、１０６に基づいて計算されたポリープの追跡された位置（例えば、ポリープを描写するＲＯＩ）と検出ニューラルネットワークの出力との間の不一致の場合、ニューラルネットワークの位置が使用される。ニューラルネットワークによって出力された位置は、ポリープの位置の表示で増補された増補画像を生成するための命令を生成するために使用される。ニューラルネットワークによって出力されるポリープの位置は、１０６を参照して説明したように計算された追跡位置よりも信頼性が高いと考えることができるが、追跡によって計算される位置は計算上より効率的であり、および／またはニューラルネットワークによる処理よりも短い時間で実行することができる。
【0087】
任意選択的に、１０８を参照して説明した２Ｄ画像の３Ｄ再構成は、少なくとも１つのポリープを描写する領域の表示を出力するために、単独で、および／または２Ｄ画像と組み合わせて、検出ニューラルネットワークに供給される。
【0088】
図１に戻って参照すると、１０６において、１つ以上のポリープを描写する領域（例えば、ＲＯＩ）の位置が、１つ以上の以前の内視鏡画像に対して現在の内視鏡画像内で追跡される。
【0089】
カメラの動き（例えば、向き、前方、後方）は、画像間のＲＯＩの動きを追跡することによって間接的に追跡されるが、これはポリープが結腸内のそれらの位置に静止したままである間にカメラが動いているためであることに留意されたい。フレーム間のＲＯＩのいくらかの動きは、カメラが静止しているか動いているかに関係なく、結腸自体のぜん動および／または他の自然な動きに起因し得ることに留意されたい。
【0090】
任意選択的に、位置は２Ｄで追跡される。ポリープは、ポリープの輪郭を描くＲＯＩを追跡することによって追跡することができる。ＲＯＩおよび／またはポリープは、特徴１０４の検出ニューラルネットワークによって、１つ以上の以前の画像において検出されてもよい。
【0091】
ポリープの位置は、ポリープが現在の画像に描写されていない場合であっても追跡され、例えば、カメラは、ポリープがカメラによって捕捉された画像にもはや存在しないように配置される。
【0092】
任意選択的に、ベクトルは、現在の画像内の位置から、現在の画像の外部に位置するポリープおよび／またはＲＯＩの位置まで計算される。ベクトルは、例えば、ＲＯＩを描写した最後の（または以前の）画像上のＲＯＩの位置から、スクリーンの中央から、外部ＲＯＩの位置に最も近いスクリーンの象限の中央から、および／または外部ＲＯＩの位置に最も近い画像の別の領域から（例えば、外部ＲＯＩの位置に最も近い画像の境界における位置から所定の距離だけ離れて）計算されてもよい。
【0093】
ベクトルの表示は、画像の領域を描写する別の内視鏡画像を捕捉するための内視鏡カメラの調整のための方向および／または配向を描写することができる。
【0094】
任意選択的に、追跡アルゴリズムは特徴に基づく。特徴は、内視鏡画像の分析から抽出することができる。特徴は、Ｂａｙ、Ｈｅｒｂｅｒｔ、Ｔｉｎｎｅ Ｔｕｙｔｅｌａａｒｓ、およびＬｕｃ Ｖａｎ Ｇｏｏｌの「Ｓｕｒｆ：Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ」（Ｅｕｒｏｐｅａｎ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇ，２００６．）を参照して説明される、速度ロバスト特徴（ＳＵＲＦ）抽出アプローチに基づいて抽出されてもよい。抽出された特徴の追跡は、連続する画像間の２次元（２Ｄ）で実行されてもよい（分析された画像間の１つ以上の中間画像はスキップされてもよい、すなわち、無視されてもよいことに留意されたい）。特徴は、例えば、Ｓｉｌｐａ－Ａｎａｎ、Ｃｈａｎｏｐ、およびＲｉｃｈａｒｄ Ｈａｒｔｌｅｙの「Ｏｐｔｉｍｉｓｅｄ ＫＤ－ｔｒｅｅｓ ｆｏｒ ｆａｓｔ ｉｍａｇｅ ｄｅｓｃｒｉｐｔｏｒ ｍａｔｃｈｉｎｇ（２００８）：１－８」を参照して説明したＫ－ｄツリーアプローチに基づいてマッチングすることができる。ｋ－ｄツリーアプローチは、例えば、結腸内視鏡検査処置における主な動きが結腸における内視鏡カメラの動きであるという観察に基づいて選択されてもよい。特徴は、連続する画像間で、それらの記述子にしたがってマッチングされてもよい。最良のホモグラフィは、例えば、Ｖｉｎｃｅｎｔ、Ｅｔｉｅｎｎｅ、およびＲｏｂｅｒｔ Ｌａｇａｎｉｅｒｅの「Ｄｅｔｅｃｔｉｎｇ ｐｌａｎａｒ ｈｏｍｏｇｒａｐｈｉｅｓ ｉｎ ａｎ ｉｍａｇｅ ｐａｉｒ．ＩＳＰＡ ２００１． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ． Ｉｎ ｃｏｎｊｕｎｃｔｉｏｎ ｗｉｔｈ ２３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｔｅｒｆａｃｅｓ （ＩＥＥＥ Ｃａｔ． ＩＥＥＥ， ２００１）」を参照して説明されるランダムサンプルコンセンサス（ＲＡＮＳＡＣ）手法を使用して、Ａｇａｒｗａｌ，Ａｎｕｂｈａｖ，Ｃ．Ｖ、Ｊａｗａｈａｒ、およびＰ．Ｊ．Ｎａｒａｙａｎａｎの「Ａ ｓｕｒｖｅｙ ｏｆ ｐｌａｎａｒ ｈｏｍｏｇｒａｐｈｙ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ．Ｃｅｎｔｒｅ ｆｏｒ Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｔｅｃｈ．Ｒｅｐ．ＩＩＩＴ／ＴＲ／２００５／１２（２００５）を参照して説明される、フレームからフレームへカメラの動きの２Ｄアフィン変換行列（およびその最も近い２Ｄ幾何学的変換マトリクス）を計算することによって、推定される。
【0095】
特定の関心領域（ＲＯＩ）を追跡することができ、任意選択で、その中の１つ以上のポリープの位置を示す境界ボックスを追跡することができる。ＲＯＩが画像（例えば、ビデオ）フレームから移動する間に、ＲＯＩの位置が追跡される。ＲＯＩは、現在のフレームにおいてＲＯＩが戻る（すなわち、再び描写される）まで追跡されてもよい。ＲＯＩは、例えば、画像フレームに対して外部的に定義される追跡座標系に基づいて、画像フレーム境界を越えて連続的に追跡されてもよい。
【0096】
ポリープが（例えば、コードによって自動的に、および／またはオペレータによって手動で）検出されるときから、カメラの移動が停止される（例えば、オペレータが検出されたポリープに注意を集中させる）までの間の時間隔の間、ポリープは、フレームの外に移動し得る。ポリープ（またはポリープに関連するＲＯＩ）が現在、提示された画像の外部に位置する場所の表示を提示するために、命令が生成されてもよい。例えば、方向の矢印の提示で現在の画像を増補することによってである。矢印は、新しいフレームに再び描写されたポリープ（またはポリープのＲＯＩ）を戻すために、オペレータがカメラ（すなわち、内視鏡先端）を動かすべき場所を示す。
【0097】
任意選択的に、矢印（または他の表示）は、カメラが追跡されたポリープから遠すぎる（例えば、定義された閾値よりも大きい）まで提示されてもよい。所定の閾値は、例えば、フレームの対角線の長さ（画素単位）の３倍を超える、現在のフレームの中心からのポリープの新しい位置の距離として、または他の値として定義されてもよい。
【0098】
次に図３を参照すると、図３は、本発明のいくつかの実施形態による、１つ以上の以前の内視鏡画像に対するそれぞれの内視鏡画像内の１つ以上のポリープを描写する領域の位置を追跡するためのプロセスのフローチャートである。
【0099】
３０２で、新しい（すなわち、現在の）画像、任意選択で結腸内視鏡のカメラによって捕捉されたビデオの新しいフレームが受信される。画像は追跡されている１つ以上のポリープを描写してもよいし、描写しなくてもよい。
【0100】
３０４で、無関係なまたは誤解を招く部分が画像から除去され、例えば、カメラと共に移動する光源に依存するので、結腸の一部ではない周辺、光がカメラに戻らない結腸画像内の暗い領域である管腔（例えば、結腸の遠い中央部分を表す）、および／または連続するフレームにおける一貫性のない反射が除去される。
【0101】
３０６で、コントラスト制限適応ヒストグラム等化（ＣＬＡＨＥ）プロセス（例えば、Ｒｅｚａ、Ａｌｉ Ｍ．の「Ｒｅａｌｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｃｏｎｔｒａｓｔ ｌｉｍｉｔｅｄ ａｄａｐｔｉｖｅ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ （ＣＬＡＨＥ） ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ．Ｊｏｕｒｎａｌ ｏｆ ＶＬＳＩ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ ｆｏｒ ｓｉｇｎａｌ， ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ ３８．１ （２００４）：３５－４４を参照して説明される）、および／または他のプロセスは、画像を強化するために実装される。速度ロバストフィーチャ（ＳＵＲＦ）手法は、任意選択でＣＬＡＨＥの直後に（例えば、著しい遅延なしに）特徴を抽出するために実装される。
【0102】
３０８で、現在のフレームがシーケンスの最初のフレームおよび／またはポリープが検出される最初のフレームである場合、３０２は次のフレームを得るために反復される。現在のフレームが第１のフレームでない場合、３１０は、前の反復で処理された前のフレームを用いて現在のフレームを処理するように実施される。
【0103】
３１０で、幾何学的行列が２つの連続するフレーム（例えば、ｉで示されるフレーム数およびｉ＋ｎで示されるフレーム数、すなわち、一緒に処理される２つのフレーム間のｎフレームのジャンプ）の間のカメラ移動について、任意選択でホモグラフィに基づいて計算される。
【0104】
３１２で、変換が見つからない場合、シーケンス内の次の画像（例えば、フレーム）が前の（すなわち、現在の）フレームで（すなわち、フレームｉおよびｉ＋ｎが一致せず、フレームｉおよびｉ＋ｎ＋１を一致させようとする試みが行われるとき）（３０２を繰り返すことによって）処理され、そうでなければ、３１４が実行される。
【0105】
３１４で、以前の２つ以上のフレーム間の変換を見つけることができない場合（すなわち、最後のフレームにおける追跡されたオブジェクト（すなわち、ポリープ）の位置が計算されない、および／または計算できない場合）、３１８が実施され、そうでない場合、ポリープの位置が計算される場合、３１６が実施される。
【0106】
３１６で、追跡のために画像内で物体（すなわちポリープ）が識別されると、３１０で見つかった変換にしたがって、追跡されている領域が現在のフレームにフィードフォワードされる。３２２は、例えば、ボックスなどの視覚的マーキングによって、現在のフレーム内のオブジェクト（すなわち、ポリープ）を描写するための命令を生成するために実装される。
【0107】
代替的に、３１８において、変換が見つからなかった中間フレームの変換は、中間フレームの前後の２つのフレーム間で見つかった最後の変換にしたがって補間される。
【0108】
３２０において、追跡されている物体（すなわち、ポリープ）が存在する場合、追跡されている領域は、３１８において見出された補間変換にしたがって中間フレームにフィードフォワードされる。３２２は、これらのフレーム内のオブジェクト（すなわち、ポリープ）を描写するための命令を生成するために実装される。３１６は、オブジェクト（すなわち、ポリープ）を現在のフレーム上にも描写するために実装されてもよい。
【0109】
３２４で、オブジェクト（すなわち、ポリープ）がフレーム外にあるときに追跡するためにプロセスが繰り返される。処理する次のフレームはジャンプステップであってもよく、例えば、新しいフレームが処理されるまで、または各フレームが処理されるまで、２つまたは３つ以上のフレームが無視される。
【0110】
ここで図４を参照すると、図４は、本発明のいくつかの実施形態による、領域４０８Ａ－Ｂ内のポリープを追跡するための、対応する特徴（プラス記号として示される特徴、１つはラベル付けされた４０４、一致する特徴は線を使用してマーキングされ、１つは４０６として示される）によって一緒に一致した２つの連続する画像４０２Ａ－Ｂ間のＫ－Ｄツリー一致の例を示す概略図である。画像４０２Ａは、フレーム番号ｉとして示すことができる。画像４０２Ｂは、フレーム番号ｉ＋３として示すことができる。領域Ｅ０８Ａは、領域の元の境界ボックスを示し、領域Ｅ０８Ｂは、本明細書で説明するように、キーポイント間の一致のホモグラフィによって計算された変換行列にしたがった、Ｅ０８Ａの変換を示す。
【0111】
【0112】
ここで図６を参照すると、図６は、本発明のいくつかの実施形態による、追跡されている検出されたポリープを示す境界ボックスのＲＯＩ６０４を描写する概略図６０２と、追跡された境界ボックスもはや画像内に描かれていない連続的に後の概略図６０６（例えば、２フレーム後）とを示しており、概略図６０６は、捕捉された画像内のポリープのＲＯＩを再描写するためにカメラを移動させる方向を示す矢印６０８の提示で増補される。
【0113】
ここで図７を参照すると、図７は、本発明のいくつかの実施形態による、検出されたポリープ７０４を示す概略図７０２と、本明細書で説明する変換行列を使用して計算された追跡されたポリープ７０８を示す連続的に後のフレーム（すなわち、時間的に３フレーム後）７０６とを示している。
【0114】
図１に戻って参照する。１０８で、現在の２Ｄ画像について３Ｄ再構成が計算される。３Ｄ再構成は、２Ｄ画像の画素に対して３Ｄ座標値を定義してもよい。
【0115】
任意選択的に、３Ｄ再構成ニューラルネットワークは、２Ｄ画像の入力から３Ｄ画像を出力するようにトレーニングされる。トレーニングされた３Ｄ再構成ニューラルネットワークは、３Ｄ再構成プロセス（例えば、標準３Ｄ再構成プロセス）単独と比較して、２Ｄ画像からより正確な３Ｄ画像を生成する。３Ｄ再構成プロセスは、３Ｄ再構成ニューラルネットワークとは異なるプロセスである。３Ｄ再構成プロセスは、例えば、単一の２Ｄ画像のみを使用して３Ｄ再構成を計算する標準的な３Ｄ再構成プロセスに基づくことができる。３Ｄ再構成ニューラルネットワークは、結腸内視鏡カメラによって捕捉された２Ｄ画像のトレーニングデータセットと、３Ｄ再構成プロセスによって２Ｄ画像から作成された対応する３Ｄ画像とを使用してトレーニングされる。２Ｄ画像は入力として指定され、再構成された３Ｄ画像はグランドトゥルースとして指定される。
【0116】
任意選択的に、現在の２Ｄ画像の３Ｄ再構成を計算するプロセスは、３Ｄ再構成を出力する３Ｄニューラルネットワークに基づく。３Ｄ再構成ニューラルネットワークは、入力画像を定義する２Ｄ内視鏡画像の一対のトレーニングデータセットと、グラウンドトゥルースを定義する３Ｄ再構成プロセスによって計算された２Ｄ内視鏡画像の画素について計算された対応する３Ｄ座標値とを使用してトレーニングされ得る。大きなトレーニングデータセット（例えば、１００００－１０００００または１０００００－１００００００のオーダー）上でトレーニングされ得るニューラルネットワークは、３Ｄ再構成プロセス単独と比較して、増加した精度を提供し得る。
【0117】
ニューラルネットワークは、（入力として示される）内視鏡カメラによって捕捉された結腸の生体内画像と、（グラウンドトゥルースとして示される）３Ｄ再構成プロセスによって推定された対応する３Ｄ値との対を使用してトレーニングされてもよい。３Ｄ値は、画像の２Ｄ画素に対して計算される３Ｄ座標であってもよい。３Ｄ再構成プロセスは、大きなデータセット（例えば、少なくとも１００の異なる結腸内視鏡ビデオからの結腸の少なくとも１００，０００の画像、または他のより小さいもしくはより大きい値）を使用してトレーニングされてもよい。
【0118】
２Ｄ結腸画像の３Ｄ再構成のための例示的なプロセスが記載される。結腸の部分的内部表面領域の３Ｄ幾何学は、例えば、Ｚｈａｎｇ、Ｒｕｏらの「Ｓｈａｐｅ－ｆｒｏｍ－ｓｈａｄｉｎｇ：ａ ｓｕｒｖｅｙ」ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ ２１．８（１９９９）：６９０－７０６、および／または、Ｐｒａｓａｔｈ，ＶＢ Ｓｕｒｙａらの「Ｍｕｃｏｓａｌ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ ａｎｄ ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ｗｉｒｅｌｅｓｓ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ ｖｉｄｅｏｓ ｕｓｉｎｇ ａｃｔｉｖｅ ｃｏｎｔｏｕｒｓ」２０１２ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ ＩＥＥＥ，２０１２を参照して記載された「シェーピングからのシェーピング（ＳｆＳ）」プロセスを使用して、各フレームについて再構成されてもよい。カメラの動きパラメータは、例えば、Ｓｚｅｌｉｓｋｉ、Ｒｉｃｈａｒｄ、および、Ｓｉｎｇ Ｂｉｎｇ Ｋａｎｇによる「Ｒｅｃｏｖｅｒｉｎｇ ３Ｄ ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｓｉｎｇ ｎｏｎｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ」Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ５．１（１９９４）：１０－２８．を参照して説明したＳｈａｐｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）プロセスに基づいて計算することができる。任意選択で、ＳｆＳアルゴリズムによって再構成された部分表面を統合するために、１つ以上の特徴点の３Ｄ位置を計算することができる。ＳｆＳアルゴリズムは、移動するローカル光と光の減衰を処理する。人の臓器内の内視鏡検査中の現実の状況は、模倣されてもよい。他のＳｆＳベースのプロセスと比較した、本明細書で説明される３Ｄ再構成プロセスの１つの例示的な利点は、本明細書で説明される３Ｄ再構成プロセスが各フレームについて明確な再構成表面を計算することができることである。３Ｄ再構成プロセスは、ＳｆＳプロセスを他の領域に対して機能させるために、強度の閾値を使用して非ランバート（ｎｏｎ－Ｌａｍｂｅｒｔｉａｎ）（例えば、より多くの鏡面反射）領域を削除することができる。発明者によって実施されるＳｆＳプロセス（Ｐｒａｄｏｓ，Ｅ．、Ｆａｕｇｅｒａｓ、Ｏ．らによる「Ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ：ａ ｗｅｌｌ－ｐｏｓｅｄ ｐｒｏｂｌｅｍ？」ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，８７０－８７７（２００５）を参照して記載される）は、明確な表面を生成する。明確な表面は、１／ｒ２の光減衰を考慮することによって、および／または、スポット光源がカメラの投射の中心に取り付けられていると仮定することによって計算することができ、したがって、像の明るさは、
として示され、ここでθは表面法線と入射光との間の角を示し、αはアルベドを示し、ｒは光源と表面点との間の間隔を示す。本明細書で説明する３Ｄ再構成プロセスは、ＳｆＭプロセスによって取得された動き情報を使用して、異なるフレームから取得された部分表面を統合することができる。不均質領域は、特徴点として識別されてもよい。特徴は、例えば、Ｋａｕｆｍａｎ Ａ．，Ｗａｎｇ Ｊ．（２００８）３Ｄ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｅｎｄｏｓｃｏｐｉｃ Ｖｉｄｅｏｓ．Ｉｎ：Ｌｉｎｓｅｎ Ｌ．，Ｈａｇｅｎ Ｈ．，Ｈａｍａｎｎ Ｂ．（ｅｄｓ） Ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｌｉｆｅ Ｓｃｉｅｎｃｅｓ． Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇ）．を参照して記載されるように、各フレームについてカメラの外部パラメータを推定するためにＳｆＭプロセスによって使用されてもよい。計算された情報は、ＩＣＰ（反復最接点）アルゴリズム（例えば、Ｋａｕｆｍａｎ Ａ．，Ｗａｎｇ Ｊ．（２００８）Ｋａｕｆｍａｎ Ａ．，Ｗａｎｇ Ｊ．（２００８） ３Ｄ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｅｎｄｏｓｃｏｐｉｃ Ｖｉｄｅｏｓ． Ｉｎ： Ｌｉｎｓｅｎ Ｌ．，Ｈａｇｅｎ Ｈ．，Ｈａｍａｎｎ Ｂ．（ｅｄｓ） Ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｌｉｆｅ Ｓｃｉｅｎｃｅｓ．Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇを参照して記載されるように）と比較して、様々なフレームの部分的表面の統合のための強化された精度を提供する。
【数1】
【0119】
記載された３Ｄ再構成プロセスは、Ｋａｕｆｍａｎ Ａ．，Ｗａｎｇ Ｊ．（２００８）３Ｄ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｅｎｄｏｓｃｏｐｉｃ Ｖｉｄｅｏｓ．Ｉｎ：Ｌｉｎｓｅｎ Ｌ．，Ｈａｇｅｎ Ｈ．，Ｈａｍａｎｎ Ｂ．（ｅｄｓ） Ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｌｉｆｅ Ｓｃｉｅｎｃｅｓ．Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ． Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇにしたがって得られた、結腸内視鏡検査ビデオフレームに適用され、選択した特徴点の平均再投影誤差は０．０６６画素である。
【0120】
本明細書で説明される標準的な３Ｄプロセスは、各２Ｄフレームについて結腸の３Ｄ再構成の推定値を計算するために使用され得る。２Ｄフレームおよび対応する計算されたグラウンドトゥルース（すなわち、２Ｄフレームの３Ｄ再構成３Ｄ値）は、トレーニングデータセット（たとえば、データの７０％）を作成し、データセット（たとえば、データの３０％）をテストするために分割され得る。例えば、（例えば、Ｓｈａｎ， Ｈｏｎｇｍｉｎｇ， ｅｔ ａｌ． 「３－Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｎｅｔｗｏｒｋ ｆｏｒ ｌｏｗ－ｄｏｓｅ ＣＴ ｖｉａ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｆｒｏｍ ａ ２－Ｄ ｔｒａｉｎｅｄ ｎｅｔｗｏｒｋ」ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ ３７．６（２０１８）： １５２２－１５３４を参照して説明されているような）エンコーダデコーダアーキテクチャに似た実装に基づく畳み込みニューラルネットワーク（ＣＮＮ）は、各２Ｄフレームについてその３Ｄ再構成を予測するのに十分にロバストであるために、トレーニングおよび検証データセットによりトレーニングおよびテストされてもよい。
【0121】
例示的なアーキテクチャにおいて、３Ｄ再構成ＣＮＮのエンコーダおよびデコーダ部分は、２Ｄ畳み込み層から構築されてもよい。最後の層は入力画像の各画素について３Ｄ座標値を予測するために、３回乗算されることがある。３Ｄ再構成ＣＮＮは、結腸内視鏡ビデオ内の結腸表面の各２Ｄフレーム内の各画素の３Ｄ値を予測するためにリアルタイムで使用することができる。ＣＮＮは３Ｄ再構成プロセスによって出力されたデータに対してトレーニングされ、任意選択で、多数の処理された２Ｄ画像（例えば、１０００００程度、または以上または以下）を使用するが、３Ｄ再構成プロセス単独よりもロバストおよび／または正確であり得る。
【0122】
次に図８を参照すると、図８は、本発明のいくつかの実施形態による、患者の結腸内のカメラによって取り込まれた２Ｄ画像の３Ｄ再構成のためのプロセスのフローチャートである。３Ｄ再構成は、本明細書で説明するように、３Ｄ再構成ニューラルネットワークをトレーニングするためのトレーニングデータセットを作成するために、入力値として定義された２Ｄ画像に関連するグラウンドトゥルース値として定義することができる。
【0123】
８０２で、画像は、オプションとして、フレームのビデオストリームとして提供される。
【0124】
８０４で、ｎで示される現在のフレームが処理される。任意選択的に、非鏡面領域に対するＳｆＳプロセスは、フレームｎの３Ｄ再構成を計算するために使用される。
【0125】
８０６で、現在の画像の前後に取得された画像を含む複数の画像が処理される。フレームは、ｎ－２からｎ＋２として示されてもよく、または他の数が使用されてもよい。ＳｆＭプロセスを使用して、フレーム＃ｎ－２から＃ｎ＋２に基づいてフレーム＃ｎの一般的な３Ｄ再構成を計算し、固有カメラパラメータの推定に基づいて進行中の更新された特徴を計算することができる。
【0126】
８０８で、Ｉ０４およびＩ０６において計算された３Ｄ再構成は、フレームｎについて統合される。
【0127】
８１０で、３Ｄ再構成は、観察された結腸領域を示す２Ｄフレーム＃ｎ内の各画素に対して提供される。２Ｄフレーム＃ｎの各画素には、３Ｄ座標系における（ｘ，ｙ，ｚ）値が割り当てられる。３Ｄ座標系の原点は、フレームの中心点と相関させることができる。
【0128】
次に、３Ｄ再構成ＣＮＮの例示的なデータフローについて説明する。示された第１のフェーズで、連続する２Ｄフレーム（すなわち、少なくとも３の奇数、ｎで表される連続する入力フレームの数）が、３Ｄ ＣＮＮに供給され、３Ｄ畳み込みカーネルの層（ｎ×３×３）を通過する。第１の層は、２Ｄフレームの３つのカラーチャネルすべてを３回複製することによって処理するように設計されている。データの流れは、バッチ正規化およびリルー層と、フレーム次元の各々において出力のサイズを２だけ減少させる最大プーリング層とを通って続く。データは、追加の４つの層グループを通過するが、３Ｄ ＣＮＮのエンコーダ部分を表す２Ｄコンボリューションカーネルを使用する。データフローは、２Ｄ畳み込みを持つ追加の４つの層グループを通して続くが、最大プーリング層の代わりにアップサンプリング層を使用し、次いでＣＮＮのエンコーダ部分を表す、３回複製された第５の層を通る。出力は、入力２Ｄフレームと同じ解像度である。２Ｄ画素ごとに、２Ｄ画素の画素（ｘ，ｙ，ｚ）３Ｄ座標値である３つの値が出力される。
【0129】
任意選択的に、２Ｄフレームの画素の計算された３Ｄ値は、１０４を参照して説明されたポリープ検出プロセス（例えば、ＡＰＤＳ検出プロセス）に供給され得る。計算された３Ｄ値は、現在のフレームにおけるポリープを検出するため、および／または現在のフレームにおけるポリープの位置を決定するための（例えば、ニューラルネットワークへの）追加の入力を提供する。例えば、３Ｄ値は、ポリープであると疑われる結腸組織領域の周囲に対する平坦度および／または突出度を示す情報であってもよい。
【0130】
図１に戻って参照する。１１０で、ポリープおよび／または内視鏡の現在の３Ｄ位置が計算および／または追跡される。３Ｄ位置は、３Ｄ再構成ニューラルネットワークによって出力された３Ｄ再構成の出力に基づいて計算されてもよい。
【0131】
３Ｄ位置は、連続する２Ｄ内視鏡画像から、および／または連続する２Ｄ内視鏡画像の３Ｄ再構成から抽出された一致した特徴の３Ｄ座標に基づいて、連続する２Ｄ内視鏡画像間で計算される３Ｄ剛体変換行列（３Ｄ ｒｉｇｉｄ ｂｏｄｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）に基づいて計算されてもよい。換言すれば、３Ｄ変換マトリクスは、特徴に対応する画素の３Ｄ座標を使用して、マッチした特徴について計算され、例えば、２Ｄ画像間の対応する特徴に基づいて２Ｄ画像を追跡するために、２Ｄ座標ではなく特徴の３Ｄ座標を使用する、本明細書に記載されるプロセスに類似する。３Ｄ身体変換行列は、連続する２Ｄ内視鏡画像間の内視鏡カメラの移動を示す。内視鏡カメラの現在の３Ｄ位置は、それぞれの２Ｄ内視鏡画像を考慮して３Ｄ剛体変換行列にしたがって計算される。カメラの移動の軌跡は、連続する３Ｄ変換行列に基づいて計算されてもよい。カメラの移動の軌跡は、本明細書に記載されるように、結腸マップに提示されてもよい。
【0132】
任意選択的に、検出されたポリープおよび／または内視鏡の３Ｄ位置は、複数の連続する画像について計算された３Ｄ位置にしたがって反復的に追跡される。
【0133】
３Ｄ追跡プロセス受信は、１０６を参照して記載された２Ｄ追跡プロセスの出力、および／または１０８を参照して記載された３Ｄ再構成プロセスに基づいてもよい。特徴抽出部および／またはマッチング部は、結腸内視鏡検査ビデオの２Ｄ連続フレーム上の２Ｄ追跡を参照して説明したように実施することができる。しかしながら、ホモグラフィは、２Ｄ値に対してより、抽出された特徴（キーポイント）の３Ｄ値（ｘ，ｙ，ｚ）に対して計算されることに留意されたい。３Ｄ値は、本明細書で説明される３Ｄ再構成プロセスによって再構成され、最良適合３Ｄアフィン変換を見つける。計算された３Ｄアフィン変換に最も近い３Ｄ剛体変換は、例えば、Ｙｕａｎ、Ｊｉｅらの「Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｆｅａｔｕｒｅ Ｐｏｉｎｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｍａｔｃｈｉｎｇ ｉｎ ３Ｄ Ｏｂｊｅｃｔｓ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」ＰＡＴＴＥＲＮＳ ２０１１：ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｓ ｏｎ Ｐｅｒｖａｓｉｖｅ Ｐａｔｔｅｒｎｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，１９－２４を参照して記載されたプロセスを使用して計算される。３Ｄ剛体変換行列は、フレームからフレームへの結腸内のカメラの３Ｄ移動を記述する。
【0134】
【0135】
１１０２で、フレームｎと次の解析された連続フレームｎ＋ｉとの間の一致した特徴が、例えば、図５を参照して説明したプロセス実行５１０の出力として提供される。
【0136】
１１０４で、フレームｎとｎ＋ｉとの間の一致した特徴（キーポイント）の計算された３Ｄ座標値が、本明細書で説明されるように、任意選択で３Ｄ再構成プロセスから提供される（例えば、３Ｄ再構成ニューラルネットワークによって出力される）。
【0137】
１１０６で、３Ｄホログラフィーは、一致した特徴（１１０２）の３Ｄ座標値（１１０４）にしたがって計算される。
【0138】
１１０８で、最も近い３Ｄ剛体変換行列が見つけ出される。
【0139】
１１１０で、アフィン３Ｄ変換行列が計算される。
【0140】
１１１２で、フレームｎからフレームｎ＋ｉへのカメラの動きを描写する３Ｄ剛体変換行列が計算される。
【0141】
【0142】
図１に戻って参照する。３Ｄ追跡アルゴリズムは、（例えば、結腸内視鏡検査処置中の）カメラの移動の３Ｄ軌跡を構築することを可能にし、カメラの位置の３Ｄ追跡に基づいて計算される。３Ｄ軌跡は３Ｄ座標系にしたがって定義することができ、例えば、原点は追跡が開始されたとき（例えば、内視鏡が結腸にちょうど入ったとき、例えば、結腸内の最初のフレームの３Ｄ値が再構成された３Ｄ座標系内の点［０，０，０］）にカメラ位置と相関する。軌跡は、３Ｄ位置が計算された最後のフレームのカメラの３Ｄ位置に対する、各新しいフレーム（および／または複数の新しいフレーム、例えば、１－２５の新しいフレーム）のカメラの３Ｄ位置（例えば、その主点）を計算することによって構築することができる。新しい３Ｄ位置の計算は、（例えば、新たに計算された変換行列にカメラの以前に計算された３Ｄ位置を乗算する）２つのフレームの間の３Ｄ剛体変換行列から、（例えば、現在のフレームがディスプレイ上に提示されるまでの時間の間、大きな遅延なしに、すぐに）導出され得る。
【0143】
任意選択的に、カメラの３Ｄ移動は、解剖学的ランドマークの３Ｄ位置（複数可）および／または以前に検出されたポリープの３Ｄ位置（複数可）に対して追跡される。解剖学的ランドマークは予め定義され、および／またはオペレータによって設定されてもよく、例えば、肛門の位置、盲腸の位置、解剖学的異常、および／または結腸の部分（例えば、横断、上行）であってもよい。ポリープは、カメラの前進中に自動的におよび／または手動で検出され、カメラの後退中に取り除かれる。
【0144】
１１２で、画像に描かれた結腸の内面の部分が計算され、例えば、各部分は、結腸の内面の円周の３分の１、４分の１、８分の１（または他の分割）として定義される。各部分のカバレージは、例えば、現在の捕捉された画像がそれぞれの部分を描写する（例えば、大部分が描写する）かどうかに関わらず、リアルタイムで動的に計算されてもよい。例えば、結腸の内面の約９４％がカバーされている、および／または結腸の内面の約６％がカバーされていないなどの結果を提供する、個々の部分のカバレージの集合として、結腸全体（またはその一部）についてカバレージを計算することができる。
【0145】
任意選択的に、非描写の内面の量に対する画像に描写された内面の総量の提示は、らせん走査運動中にカバーされていない部分に対してらせん走査運動中にカバーされた部分を集約することによって計算される。
【0146】
内視鏡画像内に描写される結腸の内面の部分は、例えば、画像の３Ｄ再構成の分析に基づいて、および／または、例えば、画像内の管腔の位置の識別にしたがって、画像自体の分析に基づいて計算されてもよい。管腔は、例えば、暗さ（すなわち、光源をカメラに反射しない管腔）を示す閾値未満の強度値を有する画素の領域として識別されてもよい。
【0147】
任意選択的に、単一のモザイク画像を生成するために、複数の連続画像が集約される。結腸の内面の部分は、単一のモザイク画像および／または個々の画像について計算されてもよい。複数の連続画像は、例えば、カメラが時計回り、反時計回り、ｘパターン、または他の動きを使用して方向付けられるときに、カメラの異なる向きで撮影されてもよい。カメラは結腸の長手方向軸に沿った同じ位置に静止したままであってもよく、または、例えば、カメラが前方に押され、および／または引っ込められているときに、例えば、らせんパターンで配向されるのと同時に移動されてもよい。
【0148】
連続する内視鏡画像内に描写される結腸の内面の累積部分は、位置ごとに追跡されてもよい。結腸の内面の部分は、カメラを前方または後方に変位させることなく（例えば、変位がゼロであるか、または所定の閾値未満）、カメラの異なる向きについて、結腸内の位置ごとに計算されてもよい。カメラが動かされると、捕捉された画像に描写された結腸の内面の部分は、例えば、結腸内視鏡が結腸から引き抜かれるにつれて、新しい位置ごとに再計算されてもよい。例えば、Ｑ１、Ｑ２、Ｑ３、Ｑ４は現在のロケーションのためのセットであり、Ｑ１、Ｑ２、Ｑ３、Ｑ４の別のセットは、新しいロケーションのためのセットである。代替的に、連続する内視鏡画像内に描写される結腸の内面の累積部分がカメラのらせん運動中に追跡される。撮像画像に描かれた結腸の内面の部分はカメラが動かされるにつれてらせんパターンで再計算されてもよく、例えば、クォーターはらせん運動に対して個別に反復され、例えば、Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ１、Ｑ２、Ｑ３、Ｑ４である。
【0149】
任意選択的に、各部分はらせん走査動作中に内周全体をカバーするための時間量に対応する間隔を有するタイムウィンドウに対応し、すなわち、単一のらせん走査後に同じ円弧位置に戻り、すなわち約３６０度を完了し、または、同じクォーターを画定する円弧範囲に戻り、すなわちＱ１が完了した後にＱ２、Ｑ３、およびＱ４を完了し、Ｑ１に戻る。各部分のカバレージの表示は、タイムウィンドウに対する相関として更新されてもよい。例えば、すべての部分がカバレージの表示と連続的に関連付けられている場合（例えば、すべての部分が適切なカバレージのために赤または他の色に着色されている場合）、オペレータはすべての部分を適切にカバーしている。各部分はタイムウィンドウに対応する時間隔の間、適切なカバレージの表示に関連付けられてもよく、すなわち、その部分は、現在の円周らせん端部まで適切にカバーされ、新しい円周らせんに適切に描写される必要がある。オペレータは、結腸の画像が適切に捕捉される連続的ならせん走査中に、すべての部分がガイドラインとして適切にカバーされているという表示を使用することができる。部分のうちの１つの表示のうちの１つが、不適切なカバレージの表示に変化すると、オペレータは画像内のそれぞれの部分を取り込むことができる。
【0150】
タイムウィンドウは、例えば、臨床ガイドラインに基づいて、および／または医師の診療に基づいて、例えば、クォーター当たり約２．５秒、またはクォーター当たり約５秒、または１部分当たり他の値、または周方向らせん走査当たり約１０秒もしくは約２０秒、または他の値であり得る。タイムウィンドウは、オペレータによって実行されているらせん走査運動のリアルタイム測定に基づいて動的に計算され、調整されてもよい。例えば、オペレータがポリープに焦点を合わせるためにらせん走査を停止すると、タイムウィンドウは停止され、オペレータがらせん走査を再開すると再開される。オペレータが例えば、同じオペレータまたは生徒（例えば、研修医）に走査を行わせるなど、らせん走査速度を遅くすると、それに応じてタイムウィンドウが増加する。らせん走査運動の実時間速度は例えば、捕捉された画像の分析（例えば、フレーム捕捉率の観点から、マッチング抽出された特徴間の追跡距離）、および／または大腿骨内視鏡の動きを感知するセンサー（複数可）によって測定されてもよい。適切なカバレージの表示は、大部分がそれぞれの部分を描写する１つ以上の画像がタイムウィンドウ中に捕捉されるときに生成され、および／または、大部分がそれぞれの部分を描写する画像がタイムウィンドウ中に捕捉されないときに、不適切なカバレージの別の表示が生成される。
【0151】
適切なカバレージの表示は、例えば、それぞれの部分の少なくとも５０％、または６０％、または７０％、または８０％、または９０％、または他の中間値またはより大きな値がそれぞれの画像に描かれるときに生成されてもよい。それぞれの画像において必要とされる部分の量を決定するための閾値は、例えば、レンズと、画像に描写される結腸の内面の領域とに基づいて設定されてもよい。
【0152】
任意選択的に、追跡されたフレーム内の画素の３Ｄ値は、１つの３Ｄ座標系に統合される。結腸表面の３Ｄパノラマ（モザイク）画像は、例えば、Ｍｏｒｉｍｏｔｏ、Ｃａｒｌｏｓ、およびＲａｍａ Ｃｈｅｌｌａｐｐａらの「Ｆａｓｔ ３Ｄ ｓｔａｂｉｌｉｚａｔｉｏｎ ａｎｄ ｍｏｓａｉｃ ｃｏｎｓｔｒｕｃｔｉｏｎ」 ｃｖｐｒ． ＩＥＥＥ， １９９７、を参照して説明したプロセスに基づいて、単一の３Ｄ座標系に基づいて生成することができる。モザイク画像は、（例えば、内視鏡が結腸から引き出されているとき）連続的に構築されてもよい。
【0153】
モザイク画像に含まれる各フレームについて、管腔領域（例えば、結腸チューブの中心）は、例えば、閾値よりも低い強度値（例えば、強度範囲が０－２５５である場合には２０または他の値よりも低い）を有する画素として暗い画素を識別することによって検出され得、その場合、暗い画素は、フレームが捕捉されたときのカメラ位置から最も遠い、相関した３Ｄ位置（または、それらの近接環境内の画素に相関した３Ｄ位置）を有する。
【0154】
任意選択的に、現在のフレームによってカバーされる結腸の内面の周囲の位置が計算される。任意選択的に、結腸の内面は、例えば、４つのクォーターに分割される。現在のフレームによって示される結腸の内面のクォーターは、例えば、結腸の第１、第２、第３、または第４のクォーターを計算することができる。捕捉された画像は、場合によってはモザイク画像が４つのクォーターすべてを描写するまで、クォーターを増分的にカバーするためにモザイク画像に集約されてもよく、これは現在の位置における結腸の内面の全周が画像に描写されていることを示す。
【0155】
個々の画像および／またはモザイク画像に描写される結腸の内面のクォーター（複数可）は、例えば、検出された管腔領域に基づいて計算されてもよい。新しいフレーム（例えば、モザイク画像に提示され、および／または追加された個々のフレーム）ごとに、中心画素の３Ｄ位置、および／または管腔の検出された３Ｄ位置に対する中心画素の３Ｄ位置の方向が計算される。管腔の３Ｄ位置は、その近い環境における画素の３Ｄ位置から推定されてもよい。現在のフレームによってカバーされるクォーターを計算することができる。
【0156】
現在提示されているフレームおよび／またはモザイク画像によって描写される推定された結腸のクォーターは、ユーザに示されてもよい。４つのクォーターすべてがカバーされたときに、カメラが新しい位置に移動されてもよいことを示す表示が出力されてもよく、および／または、１つ以上のクォーターがカバーされず、カメラが移動されたときに、局所結腸領域の適切な撮像の欠如を示す別の表示が生成されてもよい。表示を使用して、結腸内視鏡検査処置を実施する医師は、現在の局所結腸領域の４つのクォーターが連続したフレームで十分にカバーされているかどうかを決定することができる。フレームで十分にカバーされたクォーターはユーザに示されてもよく（例えば、少なくとも５秒間）、その結果、ユーザは、４つの示されたクォーターの組み合わせを、結腸の走査中に結腸の内面が十分にカバーされているという徴候として、スクリーン上で一緒に見ることができる。カバーされたクォーターは、例えば、スクリーン上に現れるおよび／または点滅するその数によって示されてもよい。
【0157】
任意選択的に、内視鏡が前進および／または後退している間（例えば、盲腸から引き抜かれることなどによって、結腸から外に出る途中で、内視鏡が結腸から完全に除去されるまで）、カバーされたクォーターのシーケンスは、それぞれの３Ｄ位置で動的に集約および／またはタグ付けされる。内視鏡の計算された軌跡（例えば、内視鏡が前進および／または後退している）は、所定の長さ（例えば、約２－３ｃｍ）のウィンドウおよび／または所定のストライド長（例えば、約０．５－１ｃｍ）で走査されてもよい。連続する走査ウィンドウの数（Ｎｃｓで示され、例えば、３の値を有する）において、あるクォーターが全くカバーされない場合、それは、見逃されたクォーターとして登録される。前進中および／または引き抜かれている間に内視鏡カメラによってカバーされた結腸のパーセンテージは、数学的関係である、
を使用して計算することができ、ここで、Ｔｍｓは見逃したクォーターの総数を示し、Ｎｓｗは走査されたウィンドウの総数を示す。例えば、見逃したクォーターの総数（Ｔｍｓ）が８であり、走査されたウィンドウの総数（Ｎｓｗ）が１００であり、連続する走査されたウィンドウの数（Ｎｃｓ）が３である場合、数学的関係にしたがってカバーされた結腸のパーセンテージは７６％である。内視鏡カメラによってカバーされた結腸のパーセンテージの計算は、例えば、処置中に捕捉された画像の集合に基づいてリアルタイムで動的に、および／または処置中に捕捉された画像のセットを使用して処置が完了した後にオフラインで実行することができる。ここで、図１１を参照すると、図１１は、本発明のいくつかの実施形態にしたがって、単一３Ｄ座標系内の３Ｄ位置が計算される、結合された２Ｄ画像内の各画素について、構築されている結腸１３０２のモザイクおよび／またはパノラマ画像の概略図である。図示のように、各連続フレーム間に３フレームのステップを有する３つの２Ｄフレーム１３０４が、パノラマ画像１３０２を生成するために使用される。管腔領域１３０６は、結腸管の中心の暗い領域として示されている。パノラマ画像１３０２は、局所結腸局所領域の一部のみをカバーする。領域１３０８は、画像がモザイク画像から捕捉されているので、モザイク画像によってフィルされない（ｕｎｆｉｌｌｅｄ）状態のままである。
【数2】
【0158】
ここで、図１２を参照すると、図１２は、本発明の幾つかの実施形態にしたがって、ここで図示された結腸の内部表面の各クォーター内に表示される個々の画像１４０２を示す概略図である。部分１４０４Ａはクォーター１を示し、部分１４０４Ｂはクォーター２を示し、部分１４０４Ｃはクォーター３を示し、部分１４０４Ｄはクォーター４を示す。
【0159】
次に、図１３を参照すると、図１３は、本発明のいくつかの実施形態にしたがって、フレームによって示されるクォーターを計算するための方法のフローチャートである。なお、選択されたクォーターは、フレームが２つ以上のクォーターの間でオーバーラップする可能性があるため、フレームによってほとんどカバーされるクォーターを示す。
【0160】
１５０２で、現在のフレーム（＃ｎで示される）が提供される。
【0161】
１５０４で、フレーム＃ｎは、現在構築されている３Ｄモザイク画像に登録される。
【0162】
１５０６で、現在のフレーム内で管腔を検出することができる。管腔の３Ｄ位置を推定することができる。
【0163】
１５０８で、現在のモザイクの最後のフレームにおいて（例えば、ビデオの最後の１０秒において）管腔（例えば、結腸管の中心の暗い領域）がすでに検出されていない場合、Ｒ０２－Ｒ０８が繰り返される。
【0164】
１５１０で、管腔が検出されると、画像の中心画素の３Ｄ位置が計算される。中心画素が管腔領域内にあると判定された場合、３Ｄ位置は、近接環境内の画素にしたがって計算される。
【0165】
１５１２で、現在のフレームの中心画素の３Ｄ位置と最後に検出された内腔領域の推定３Ｄ位置との間の相対方向（例えば、３Ｄベクトル方向）が計算される。
【0166】
１５１４で、１５１２において方向が計算されたベクトルが結腸管の中心（すなわち、管腔の中心）から始まるという仮定に基づいて、現在のフレームの領域の大部分をカバーする結腸のクォーターが、ベクトルの方向にしたがって決定される。（２クォーター以上が等しくカバーされており、カバーされていないクォーターは表示されない場合、）選択されたクォーターは、現在のフレームによってほとんどカバーされているクォーターである。
【0167】
１５１６で、現在のフレームに示されたクォーターが提供される。本明細書に記載されるように、ＧＵＩにおいて決定されたクォーターの表示を提示するための命令が生成されてもよい。
【0168】
図１に戻って参照すると、１１４で、検出されたポリープの寸法が計算される。寸法は２Ｄおよび／または３Ｄ寸法、例えば、ポリープの体積、ポリープを表す球体の半径、ポリープの表面積（例えば、平坦なポリープ）、および／またはポリープを表す２Ｄ円の半径であってもよい。寸法は、３Ｄ球体および／または２Ｄ円の、ポリープを示す３Ｄ画像（本明細書に記載されるように２Ｄ画像から作成され、任意選択的に３Ｄ ＣＮＮによって作成される）の画素への最良適合を実行することによって計算されてもよい。寸法は、最良適合３Ｄ球体および／または２Ｄ円、例えば、最良適合３Ｄ球体の半径および／または最良適合２Ｄ円の半径から得られる。
【0169】
ポリープの寸法は、計算されたポリープを描写するＲＯＩ、および／または、１０８および／または１１０を参照して説明したように、３Ｄ再構成ニューラルネットワークによって出力された３Ｄ画像の画素の３Ｄ座標（すなわち、２Ｄ画像の３Ｄ再構成）に基づいて計算される。ポリープを描写するＲＯＩは（例えば、ＧＵＩを使用して）オペレータによって手動で設定されてもよく、および／または、（１つ以上の）２Ｄ画像を供給されたときに１０４を参照して説明した検出ネットワークによって自動的に出力されてもよい。
【0170】
本明細書に記載されるプロセスは、本明細書に記載されるように、（例えば、３Ｄ ＣＮＮによって出力される）２Ｄ画像内の画素に対して計算される３Ｄ座標値（ｘ、ｙ、ｚ）を使用して（任意選択的にのみ使用して）、ポリープの３Ｄ体積および／または２Ｄ表面積の寸法の計算を可能にする。対照的に、２Ｄ画像を使用して３Ｄおよび／または２Ｄ次元を計算する他のプロセスは、得ることが困難であり得るカメラの特性（例えば、ポリープに対するカメラの姿勢）を知ることを必要とする。
【0171】
ポリープのサイズは、ポリープスライスに最良適合する円の半径に基づいて計算することができる。
【0172】
ポリープの体積は、ポリープを描く輪郭および／または境界ボックスの内側の２Ｄ画素の計算された３Ｄ値をとり、画素の３Ｄ値の間を補間することによって作成された露出された３Ｄ表面の最良適合３Ｄ球体（またはポリープが平坦である場合は円）を見つけることによって、自動的に計算することができる。球体（または円）の半径は、ポリープサイズである。
【0173】
３Ｄ体積は、本明細書で説明されるように、ポリープと相関する球体の計算された半径から計算され得ることに留意されたい。
【0174】
ポリープ（複数可）の推定寸法（例えば、３Ｄ体積）は、例えば、以下のプロセスによって、計算されてもよい。少なくとも１つの２Ｄ画像の領域の画素の３Ｄ座標に対する最良適合３Ｄ表面を計算する。ポリープを描写する領域（すなわち、ＲＯＩ）の重心に相関する３Ｄ位置に近接した複数の法線ベクトルを計算する。法線ベクトルの相対方向にしたがって凹面である３Ｄ表面の側面を決定する。重心に相関する３Ｄ位置に相関する複数の法線ベクトルの、法線ベクトルを含む平面を計算する。３Ｄ位置における、最良適合３Ｄ表面に接する重心に相関するベクトルを計算する。第１の曲率を、最良適合３Ｄ表面と計算された平面の間に交差する輪郭の接放物線（ｔａｎｇｅｎｔ ｐａｒａｂｏｌａ）の半径として計算する。第２の曲率を、最良適合３Ｄ表面と、計算された平面に直交する直交平面との間で交差する輪郭の接放物線（ｔａｎｇｅｎｔ ｐａｒａｂｏｌａ）の半径として計算し、直交平面は、法線ベクトルを含む。そして、ポリープの３Ｄ体積の３Ｄ半径を、第１の曲率および第２の曲率の平均として計算する。
【0175】
ここで図１４を参照すると、図１４は、本発明のいくつかの実施形態による、２Ｄ画像から計算された３Ｄ再構成表面からポリープの体積を計算するプロセスを示す概略図が含まれている。概略１６０２は、ウェブアドレスサイト（ｄｏｔ）ｇｏｏｇｌｅ（ｄｏｔ）ｃｏｍ（ｓｌａｓｈ）ｓｉｔｅ（ｓｌａｓｈ）ｓｕｒｙａｉｉｔ（ｓｌａｓｈ）ｒｅｓｅａｒｃｈ（ｓｌａｓｈ）ｅｎｄｏｓｃｏｐｙ（ｓｌａｓｈ）ｓｆｓから得られる、検出されたポリープ１６０４を有する２Ｄ結腸内視鏡検査フレームを示す。概略１６０６は、フレーム１６０２の３Ｄ再構成表面を示す。ポリープ１６０８は、２Ｄ画像１６０２のポリープ１６０４の３Ｄ再構成である。画像１６１０は、本明細書に記載されるように、ポリープ領域内の画素の３Ｄ値から補間された表面の凹面側に最良適合（接線）３Ｄ球体１６１２を見つけることによってポリープの体積を計算するプロセスを示す。体積は、３Ｄ球体１６１２の半径（Ｒ）である。
【0176】
【0177】
１７０２で、検出されたポリープを有する＃ｎで示される２Ｄフレームが受信される。現在のフレームの前後の複数のフレームが受信される。
【0178】
１７０４で、本明細書で説明するように、フレーム＃ｎの３Ｄ再構成が計算される。
【0179】
１７０６で、（利用可能なものにしたがって）ポリープの境界輪郭および／または境界ボックス内の画素が識別され、それらの３Ｄ値の最良適合表面が計算される。
【0180】
１７０８で、ポリープの境界ボックスの重心に相関する３Ｄ点近傍の複数の法線ベクトルが計算される（描写輪郭があり、重心が描写輪郭から外れている場合、重心は描写輪郭内の最も近い画素で置き換えられる）。
【0181】
１７１０で、計算された法線ベクトルおよびそれらの相対方向にしたがって、表面の凹側が識別される。
【0182】
１７１２で、上の重心（またはその置換）に相関する法線ベクトルと、表面に接するこの３Ｄ点（重心に相関する）におけるベクトルとを含む無限平面が計算される。
【0183】
１７１４で、ポリープ表面と計算された平面との間の交点である輪郭の曲率（接線放物線の半径）が例えば、Ｈａｒ’ｅｌ，Ｚｖｉらの「Ｃｕｒｖａｔｕｒｅ ｏｆ ｃｕｒｖｅｓ ａｎｄ ｓｕｒｆａｃｅｓ－ａ ｐａｒａｂｏｌｉｃ ａｐｐｒｏａｃｈ」Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ， Ｔｅｃｈｎｉｏｎ－Ｉｓｒａｅｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（１９９５）を参照して説明されたアプローチに基づいて計算される。
【0184】
１７１６で、（曲率に対する追加の推定を得るために）前の平面に直交し、１７１２と１７１４からの法線ベクトルを含む平面について最後のステップが繰り返される。
【0185】
１７１８で、最後の２つの計算された曲率の平均が計算され、ポリープの３Ｄ半径を提供する。
【0186】
１７２０で、３Ｄ半径が所定の閾値（例えば、７ミリメートル、７センチメートル、または他の値）より大きい場合、１７２２で、ポリープサイズは、平坦であると示される。最良適合２Ｄ円が計算される。ポリープのサイズは、２Ｄ円のサイズにしたがって定義される。１７２６で、３Ｄ半径が所定の閾値未満である場合、ポリープのサイズは、３Ｄ半径にしたがって定義される。
【0187】
図１に戻って参照する。１１６で、ＧＵＩの提示を更新するための命令が生成される。画像は増補されてもよい。命令は、本明細書に記載するように、例えば、画像の上にオーバーレイを提示するため、および／または、ＧＵＩのある部分内に画像を提示し、ＧＵＩの別の部分、例えば、カバーされた象限および／または結腸マップ内に他のグラフィカル要素を提示するための、ＧＵＩ要素を画像に導入するためのものであってもよい。
【0188】
命令は、１０４－１１４を参照して説明された１つ以上の特徴の出力に基づいて生成される。
＊例えば、検出されたポリープを描写するＲＯＩ（例えば、境界ボックス）をマーキングすること、および／またはポリープおよび／または境界ボックスを色分けすること、および／またはポリープを指し示す矢印を参照して、１０４を参照して説明したように検出されたポリープの位置で画像を増補するための命令が生成される。
＊特徴１０６を参照して説明したように、現在の画像からＲＯＩに向かって指し示すベクトルの表示に基づいて命令が生成され、現在の画像の外部に位置するポリープが描かれる。命令は、ベクトルの表示でそれぞれの内視鏡画像を増補することによって増補内視鏡画像を生成するためのものである。
＊例えば、検出されたポリープを描写するＲＯＩ（例えば、境界ボックス）をマーキングすること、および／またはポリープおよび／または境界ボックスを色分けすること、および／またはポリープを指し示す矢印を参照して、１０４を参照して説明したように検出されたポリープの位置で画像を増補するための命令が生成される。
＊特徴１０６を参照して説明したように、現在の画像からＲＯＩに向かって指し示すベクトルの表示に基づいて命令が生成され、現在の画像の外部に位置するポリープが描かれる。命令は、ベクトルの表示でそれぞれの内視鏡画像を増補することによって増補内視鏡画像を生成するためのものである。
【0189】
ベクトルは、矢印として提示されてもよい。矢印は、画像内のポリープを再捕捉するためにカメラを動かすべき方向を指している。矢印および画像は、２Ｄで提示されてもよい。
【0190】
任意選択的に、（例えば、カメラを矢印の方向に移動させた後に）ポリープが画像内に再捕捉されると、ポリープを描写するＲＯＩで画像を増補するための命令が生成される。ＲＯＩは、特徴１０４を必ずしも実行することなく、すなわち追跡のみに基づいて、画像上に再マーキングされてもよい。
＊任意選択的に、１０６および／または１１０を参照して説明された特徴の出力に基づいて、結腸内に結腸マップを提示するための命令が生成される。ポリープの２Ｄおよび／または３Ｄ位置（例えば、ポリープを描写するＲＯＩ）は、例えば、検出ニューラルネットワークおよび／または３Ｄ再構成ニューラルネットワークによって出力され、および／または（例えば、「ポリープ」アイコンを押すことなどによって、ＧＵＩを使用して）オペレータによって手動でマーキングされる。ポリープの位置は、患者の結腸の概略図上に、例えば、Ｘおよび／または円のような表示でマーキングされ、任意選択で、結腸内視鏡の挿入および／または結腸内視鏡の除去中にポリープが識別されたかどうかにしたがって色分けされる。結腸マップは、新たに検出されたポリープで動的に更新される。
＊任意選択的に、処置（例えば、外科的除去、切除）の表示で結腸マップ上に提示されたポリープをマーキングするための命令が生成される。例えば、除去された結腸マップ内の楕円として提示されたポリープは、Ｘでマーキングされる。除去されていないマップ内の楕円は、Ｘでマーキングされない。ポリープは、例えば、ユーザによって手動で提供される（例えば、ＧＵＩ上の「ポリープ除去」アイコンを押す）、および／または（例えば、結腸内視鏡内の外科用ツールの移動の検出に基づいて）コードによって自動的に検出される、ポリープの除去の表示に基づいて、処置されたものとしてマーキングされる。
＊任意選択的に、例えば、軌跡および／または曲線および／または点線として、ＧＵＩ内に提示される結腸マップ上に内視鏡の追跡された３Ｄ位置をプロットするための命令が生成される。軌跡および／または曲線および／または点線は、内視鏡が結腸内で移動する（例えば、前進および／または後退する）につれて動的に更新される。任意選択的に、前方方向追跡３Ｄ位置は、結腸内により深く進入する内視鏡カメラの前方方向（例えば、直腸から盲腸へ）を示すマーキング、例えば、前方方向の矢印で、および／またはカラーコーディングを使用して、結腸マップ上にマーキングされる。結腸マップ上に提示された逆方向追跡３Ｄ位置は、結腸から除去されている内視鏡カメラの逆方向（例えば盲腸から直腸）を示す別のマーキング、例えば逆方向の矢印および／または異なる色でマーキングされる。
＊任意選択的に、１０６および／または１１０を参照して説明された特徴の出力に基づいて、結腸内に結腸マップを提示するための命令が生成される。ポリープの２Ｄおよび／または３Ｄ位置（例えば、ポリープを描写するＲＯＩ）は、例えば、検出ニューラルネットワークおよび／または３Ｄ再構成ニューラルネットワークによって出力され、および／または（例えば、「ポリープ」アイコンを押すことなどによって、ＧＵＩを使用して）オペレータによって手動でマーキングされる。ポリープの位置は、患者の結腸の概略図上に、例えば、Ｘおよび／または円のような表示でマーキングされ、任意選択で、結腸内視鏡の挿入および／または結腸内視鏡の除去中にポリープが識別されたかどうかにしたがって色分けされる。結腸マップは、新たに検出されたポリープで動的に更新される。
＊任意選択的に、処置（例えば、外科的除去、切除）の表示で結腸マップ上に提示されたポリープをマーキングするための命令が生成される。例えば、除去された結腸マップ内の楕円として提示されたポリープは、Ｘでマーキングされる。除去されていないマップ内の楕円は、Ｘでマーキングされない。ポリープは、例えば、ユーザによって手動で提供される（例えば、ＧＵＩ上の「ポリープ除去」アイコンを押す）、および／または（例えば、結腸内視鏡内の外科用ツールの移動の検出に基づいて）コードによって自動的に検出される、ポリープの除去の表示に基づいて、処置されたものとしてマーキングされる。
＊任意選択的に、例えば、軌跡および／または曲線および／または点線として、ＧＵＩ内に提示される結腸マップ上に内視鏡の追跡された３Ｄ位置をプロットするための命令が生成される。軌跡および／または曲線および／または点線は、内視鏡が結腸内で移動する（例えば、前進および／または後退する）につれて動的に更新される。任意選択的に、前方方向追跡３Ｄ位置は、結腸内により深く進入する内視鏡カメラの前方方向（例えば、直腸から盲腸へ）を示すマーキング、例えば、前方方向の矢印で、および／またはカラーコーディングを使用して、結腸マップ上にマーキングされる。結腸マップ上に提示された逆方向追跡３Ｄ位置は、結腸から除去されている内視鏡カメラの逆方向（例えば盲腸から直腸）を示す別のマーキング、例えば逆方向の矢印および／または異なる色でマーキングされる。
【0191】
＊任意選択的に、検出されたポリープの計算された寸法を提示するための命令が生成される。例えば、計算された寸法は画像上にマーキングされたＲＯＩに近接した単位、例えば、立方ミリメートルでの計算された体積の値を任意選択的に有する数値として提示される。別の例では、計算された寸法は、結腸マップ上のポリープの表示に近接した単位を有する数値として提示される。
＊任意選択的に、ポリープを除去するための提案を示す警告をＧＵＩ内に提示するための命令は、寸法が閾値を超えるときに生成される。例えば、ポリープの３Ｄ体積を画定する球体の半径が２ミリメートルを超える場合である。警告は、例えば、除去するための提案を示す固有の色（例えば、除去のための赤色および残すための緑色）を使用して、画像上のポリープを描写するポリープおよび／またはＲＯＩの境界の着色として、および／または結腸マップ上のポリープ表現の着色として、および／またはＧＵＩ内の音声メッセージ、および／またはポップアップテキストメッセージとして生成されてもよい。
＊任意選択的に、以前に捕捉された内視鏡画像内にまだ描かれていない内側表面領域の残りの部分の推定値を提示するための命令が生成される。代替的または追加的に、すでに描かれた内側表面積の部分の推定値を提示するための命令が生成される。例えば、４つの象限（または例えば、スライスとしての他の分割数）に分割された円形のＧＵＩ要素が提示される。画像に描かれた象限は、１つのマーキング、例えば緑色で示される。まだ描かれていない象限は異なるマーキング、例えば、赤色で示されている。オペレータはマーキングされたもの（例えば、色分けされた円）を見ることができ、カメラを未だ画像化されていない象限に向かう方向に向けることができる。ＧＵＩ要素が、すべての象限が撮像されたことを示すと、オペレータは結腸内視鏡を（例えば、前方または後方に）変位させることができる。
＊任意選択的に、ポリープを除去するための提案を示す警告をＧＵＩ内に提示するための命令は、寸法が閾値を超えるときに生成される。例えば、ポリープの３Ｄ体積を画定する球体の半径が２ミリメートルを超える場合である。警告は、例えば、除去するための提案を示す固有の色（例えば、除去のための赤色および残すための緑色）を使用して、画像上のポリープを描写するポリープおよび／またはＲＯＩの境界の着色として、および／または結腸マップ上のポリープ表現の着色として、および／またはＧＵＩ内の音声メッセージ、および／またはポップアップテキストメッセージとして生成されてもよい。
＊任意選択的に、以前に捕捉された内視鏡画像内にまだ描かれていない内側表面領域の残りの部分の推定値を提示するための命令が生成される。代替的または追加的に、すでに描かれた内側表面積の部分の推定値を提示するための命令が生成される。例えば、４つの象限（または例えば、スライスとしての他の分割数）に分割された円形のＧＵＩ要素が提示される。画像に描かれた象限は、１つのマーキング、例えば緑色で示される。まだ描かれていない象限は異なるマーキング、例えば、赤色で示されている。オペレータはマーキングされたもの（例えば、色分けされた円）を見ることができ、カメラを未だ画像化されていない象限に向かう方向に向けることができる。ＧＵＩ要素が、すべての象限が撮像されたことを示すと、オペレータは結腸内視鏡を（例えば、前方または後方に）変位させることができる。
【0192】
象限は、例えば、象限の表面の５０％超、７０％超、または８０％が１つ以上の画像に描かれた、大部分が撮像された領域を描くことができる。他の分割は、カメラのレンズの結像能力にしたがって選択することができ、例えば、より多くの分割数を狭角レンズに使用することができる。
＊任意選択的に、警告を提示するための命令は、カメラの現在位置が解剖学的ランドマークおよび／またはポリープに近いときに、事前定義されたシステム定義（例えば、セットアップメニューによって時々セットされてもよい）にしたがって生成される。例えば、カメラの位置がランドマークの位置に近いとき、距離が所定の閾値より前であるとき、警告を生成するように定義を設定することができる。カメラとランドマークおよび／またはポリープとの間の距離は、例えば、Ｌ２メートルおよび／または警報を与えるのに十分に小さい近傍（例えば、約３センチメートル）によって計算することができる。閾値距離値は、軌道を構築する際の集計された計算誤差、および／または、結腸自体が腹部で完全に安定していない、すなわち、軌道が構築されている座標系で安定していないという事実を考慮に入れてもよい。
＊任意選択的に、警告を提示するための命令は、カメラの現在位置が解剖学的ランドマークおよび／またはポリープに近いときに、事前定義されたシステム定義（例えば、セットアップメニューによって時々セットされてもよい）にしたがって生成される。例えば、カメラの位置がランドマークの位置に近いとき、距離が所定の閾値より前であるとき、警告を生成するように定義を設定することができる。カメラとランドマークおよび／またはポリープとの間の距離は、例えば、Ｌ２メートルおよび／または警報を与えるのに十分に小さい近傍（例えば、約３センチメートル）によって計算することができる。閾値距離値は、軌道を構築する際の集計された計算誤差、および／または、結腸自体が腹部で完全に安定していない、すなわち、軌道が構築されている座標系で安定していないという事実を考慮に入れてもよい。
【0193】
任意選択的に、内視鏡が結腸の各画定された部分で費やす時間量を計算し、提示することができる。各部分は、例えば、結腸を部分、例えば、上行結腸と横行結腸（例えば、横行結腸と上行結腸との間）に分割する解剖学的ランドマークの間の移行点にしたがって定義されてもよい。解剖学的ランドマークは、ユーザによって手動で（例えば、ユーザがＧＵＩを使用してランドマークをマーキングする）、および／またはコードによって自動的に（例えば、画像の分析に基づいて）検出されてもよく、解剖学的ランドマークに対する内視鏡カメラの３Ｄ位置が追跡される。結腸の各部分において内視鏡カメラによって費やされる時間量が計算される。ＧＵＩ内の結腸の各部分に内視鏡カメラによって費やされる時間量を提示するための命令が生成される。時間は、例えば、患者の結腸の部分に対応する結腸マップのそれぞれの部分上のマーキングとして提示されてもよい。
【0194】
１１８で、生成された命令が実行される。命令にしたがってＧＵＩが更新される。
【0195】
次に、図１６を参照すると、図１６は、本発明のいくつかの実施形態による、生成された命令にしたがってＧＵＩ内に提示されたポリープのＲＯＩを追跡するための、拡大画像のシーケンスを示す概略図である。このシーケンスは、本明細書で説明するように、ポリープの２Ｄ追跡と、ポリープが画像の外部に位置するときのポリープの方向の矢印の生成とを示す。画像１９０２は、自動的に検出されたポリープを描写するＲＯＩ１９０４で増補された第１の画像である。シーケンス１９０６の第２の画像において、ＲＯＩ１９０４は、カメラの再配向のために画像の左に向かって移動している。シーケンス１９０８の第３の画像において、ＲＯＩ１９０４は、画像のさらに左に移動している。シーケンス１９１０の第４の画像では、ＲＯＩは画像の外部に位置し、したがって、画像１９１０には示されていない。矢印１９１２は、外部に位置するＲＯＩの方向を指すように示されている。シーケンス１９１４の第５の画像において、ＲＯＩ１９０４は、オペレータが画像１９１０の矢印１９１２によって示される方向にカメラを再配向した後に再現されている。シーケンス１９１６の第６の画像において、ＲＯＩ１９０４は、オペレータによるカメラの移動のために、より右に移動している。
【0196】
ここで図１７を参照すると、図１７は、本発明のいくつかの実施形態による、ＧＵＩ内に提示される、内視鏡の移動軌跡、検出されたポリープの位置、除去されたポリープ、および解剖学的ランドマークを提示する結腸マップ２００２の概略図である。結腸マップ２００２は、例えば、画像の隅に提示されるオーバーラップとして、または画像を提示するための別の指定されたウィンドウを有するＧＵＩの指定されたウィンドウ内に提示されてもよい。軌跡２００４は、例えば色分けされた、結腸内への前方移動中の内視鏡の追跡された３Ｄ移動を示す。軌跡２００６は、例えば、異なる色で色分けされた、結腸からの逆移動中の内視鏡の追跡された３Ｄ移動を示す。楕円２００８は、結腸内視鏡の前方移動中に自動的に検出されるポリープを示し、例えば、前方軌道２００４に使用されるのと同じ色で着色される。楕円２０１０は結腸内視鏡の逆移動中に自動的に検出されるポリープを示し、例えば、逆軌道２００６に使用されるのと同じ色で着色される。円２０１２は、ユーザによって手動で見つけられたポリープ、および／またはユーザによって手動でマーキングされた自動的に検出されたポリープを示す。Ｘマーキング２０１４は、オペレータによって除去されたポリープを示す。矢印ヘッド２０１６は、内視鏡、任意選択でカメラの遠位端（例えば先端）の現在の３Ｄ位置を示す。ボックス２０１８は、（例えば、ＧＵＩを介して）ユーザによって手動で入力された手動で指定されたランドマーク、例えば、痔核を示す。円２０２０は、例えば、３Ｄ再構成画像の分析によって検出された、自動的に識別されたランドマークを示す。結腸マップ２００２は、ポリープが検出されるとき、および／またはポリープが除去されるときに、結腸内視鏡が移動されるときに動的に更新される。
【0197】
図１８を参照すると、図１８は、本発明のいくつかの実施形態による、１つ以上の画像２１０４Ａ－Ｃで描写される結腸の内面の象限および／または画像２１０６にまだ描写されていない結腸の内面の象限を示す概略２１０２である。概略図２１０２は、カメラが前方および／または後方に変位されるにつれて、カメラの新しい位置ごとに作成される。代替的または追加的に、概略図２１０２は、最近定義されたタイムウィンドウ（例えば、５秒、または１０秒、または他の値）について計算される。タイムウィンドウは、カメラの前方および／または後方への移動を排除するのに十分に短くてもよいが、結腸の内壁の周囲の完全な撮像を可能にするのに十分に長くてもよい。象限は、カメラの向きを変えることによって、新しい画像が同じ場所で取得されると更新される。象限２１０４Ａ－Ｃおよび２１０６は、色分けされてもよい。概略図２１０２は、オペレータがカメラを動かして結腸の内面の残りの部分を撮像するときに動的に更新される。
【0198】
１２０で、１００－１１８を参照して説明した１つ以上の特徴が反復される。反復は、例えば、ポリープを動的に追跡し、現在の画像の外部に位置するポリープを描写するＲＯＩを指し示す矢印を動的に生成し、ポリープの新しい２Ｄおよび／または３Ｄ位置で結腸マップを更新し、カメラの動きで結腸マップのカメラ軌跡を更新し、結腸の内面（例えば、四分円）のカバレージを描写するようにＧＵＩを更新し、および／または検出されたポリープの計算された２Ｄおよび／または３Ｄ寸法を更新するように、ＧＵＩを動的に更新することができる。
【0199】
更新されたＧＵＩは、例えば、ポリープの画像を捕捉するためにカメラを操作するために、どのポリープを除去すべきかを決定するために、結腸の内面の完全なカバレージを保証するためにカメラを操作するために、および／または結腸内のカメラおよび／または検出されたポリープの位置を追跡するために、オペレータによって使用されてもよい。
【0200】
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図したものではなく、開示された実施形態に限定されるものではない。多くの修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当技術分野の通常の当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出された技術に対する実用的な適用または技術的な改良を最もよく説明するため、または当技術分野の他の当業者が本明細書に開示された実施形態を理解できるようにするために選択されたものである。
【0201】
本出願から開始する特許の存続期間中に、多くの関連する解剖学的画像が開発されることが予想され、解剖学的画像という用語の範囲は、先験的にそのようなすべての新技術を含むことが意図されている。
【0202】
本明細書で使用されるように、用語「約」は±１０％を指す。
【0203】
用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの活用語は、「含んでいるが、それに限定されない」を意味する。この用語は、「からなる」および「本質的にからなる」という用語を包含する。
【0204】
「本質的に…からなる」という表現は、組成物または方法が追加の成分および／またはステップを含み得ることを意味するが、追加の成分および／またはステップが、特許請求の範囲に記載された組成物または方法の基本的かつ新規な特性を実質的に変更させない場合にのみ、その追加の成分および／またはステップを含むことを意味する。
【0205】
本明細書で使用されるように、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明確に指示しない限り、複数の参照を含む。例えば、用語「化合物」または「少なくとも１つの化合物」は、それらの混合物を含む複数の化合物を含むことができる。
【0206】
本明細書では、「例示的」という言葉は、「一例、事例、または例示として提供する」という意味で使用される。「例示的」として記載されたいかなる実施形態も、他の実施形態よりも好ましいまたは有利であると解釈される必要はなく、および／または他の実施形態からの特徴の組み込みを排除するものと解釈される必要はない。
【0207】
「任意選択で」という言葉は、本明細書では、「いくつかの実施形態では提供され、他の実施形態では提供されない」という意味で使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「任意選択の」特徴を含んでもよい。
【0208】
本出願を通して、本発明の様々な実施形態が範囲形式で示されてもよい。範囲形式での記述は、単に利便性と簡潔さのためのものであり、本発明の範囲に対する柔軟性のない制限として解釈されるべきではないことが理解されるべきである。したがって、範囲の記述は、その範囲内の個々の数値だけでなく、可能なすべての部分範囲を具体的に開示したものとみなされるべきである。例えば、１から６までのような範囲の記述は、１から３まで、１から４まで、１から５まで、２から４まで、２から６まで、３から６までなどのような部分範囲と、その範囲内の個々の数値、例えば、１、２、３、４、５、６などが具体的に開示されていると考えるべきである。これは範囲の広さに関係なく適用される。
【0209】
本明細書で数値範囲が示されている場合はいつでも、それは示された範囲内で引用された任意の数値（小数または整数）を含むことを意味している。本明細書では、第１の指示番号および第２の指示番号「に亘る／の間の範囲」、および第１の指示番号から第２の指示番号まで「に亘る／の範囲」という表現が互換的に使用されており、第１および第２の指示番号、ならびにその間のすべての小数および整数を含むことを意味している。
【0210】
明確さのために、別個の実施形態の文脈で説明されている本発明の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。逆に、簡潔さのために、単一の実施形態の文脈で説明されている本発明の様々な特徴は、別個に、または任意の適切なサブコンビネーションで、または本発明の他の説明された実施形態において適切なように提供されてもよい。様々な実施形態の文脈で説明された特定の特徴は、実施形態がそれらの要素なしでは動作しない場合を除き、それらの実施形態の本質的な特徴とはみなされない。
【0211】
本発明は、その特定の実施形態と関連して説明されてきたが、多くの代替例、修正例および変形例が、当業者には明らかであろう。したがって、本発明は、添付の特許請求の範囲の主旨および広い範囲に該当するすべてのそのような代替例、修正例および変形例を包含することが意図されている。
【0212】
本明細書に記載されたすべての刊行物、特許、および特許出願は、個々の刊行物、特許、または特許出願が参照により本明細書に組み込まれることを具体的かつ個別に示された場合と同様の範囲で、その全体が参照により本明細書に組み込まれる。さらに、本出願における参照の引用または特定は、そのような参照が本発明の先行技術として利用可能であることを自認するものと解釈されてはならない。節の見出しが使用されている範囲では、それらは必ずしも限定的であると解釈されるべきではない。また、本申請の優先権書類は、その全体が参照によりここに組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】