特許 7503592 内視鏡検査処置の視覚化のためのユーザインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-12

(45)【発行日】2024-06-20

(54)【発明の名称】内視鏡検査処置の視覚化のためのユーザインターフェース

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240613BHJP

【ＦＩ】

A61B1/045 622

【請求項の数】 18

【外国語出願】

(21)【出願番号】P 2022082605

(22)【出願日】2022-05-19

(65)【公開番号】P2022180323

(43)【公開日】2022-12-06

【審査請求日】2022-09-07

(31)【優先権主張番号】63/192,479

(32)【優先日】2021-05-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/499,748

(32)【優先日】2021-10-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ラック，エリック

(72)【発明者】

【氏名】リブリン，エフド

(72)【発明者】

【氏名】フリードマン，ダニエル

(72)【発明者】

【氏名】ゴールデンバーグ，ローマン

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２０１８－１３９８４７（ＪＰ，Ａ）

【文献】国際公開第２０２０／２４２９４９（ＷＯ，Ａ１）

【文献】特表２００５－５１２６９３（ＪＰ，Ａ）

【文献】特開平０２－２６８７２２（ＪＰ，Ａ）

【文献】特開昭６１－０８２３５２（ＪＰ，Ａ）

【文献】特開２０１３－２００５９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

機械によって実行されると、前記機械に、動作を実施させる命令を提供する少なくとも１つの機械アクセス可能記憶媒体であって、前記動作が、
画面に表示するための結腸内視鏡検査ユーザインターフェースを生成することと、
前記結腸内視鏡検査ユーザインターフェースのビデオ領域内に表示するために、結腸内視鏡から受信したライブビデオフィードを出力することと、
前記結腸内視鏡検査ユーザインターフェース内に表示するために、結腸の複数の長手方向セクションを描くナビゲーションマップを生成することと、
前記複数の長手方向セクションのうちの１つの長手方向セクションの検査ステータスを視覚的に示すために前記ナビゲーションマップ上の前記複数の長手方向セクションのうちの前記１つの長手方向セクションに注釈を付けることであって、前記検査ステータスが、前記複数の長手方向セクションのうちの前記１つの長手方向セクションが前記結腸内視鏡によって適切に検査されたと見なされるか、または不適切に検査されたと見なされるかを示す、注釈を付けることと、
前記複数の長手方向セクションの１つの長手方向セクションにおける前記結腸内視鏡のカメラの少なくとも偵察時間に基づいて、前記検査ステータスを決定することと、
を含む、少なくとも１つの機械アクセス可能記憶媒体。

【請求項2】

前記ライブビデオフィードおよび前記ナビゲーションマップの両方が、前記結腸内視鏡検査ユーザインターフェース内に同時に提示される、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項3】

前記結腸内視鏡検査処置の後退段階の間に前記注釈付けが更新される、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項4】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸内視鏡が前記結腸内を移動するときに、前記ナビゲーションマップに沿って位置マーカを移動することを含み、前記位置マーカが、前記結腸内の前記結腸内視鏡によって取得された前記ライブビデオフィードの視野のリアルタイム位置を示す、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項5】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸内視鏡が前記結腸から後退させられている間、前記位置マーカが前記複数の長手方向セクションのうちの対応する１つの長手方向セクションを通過するときに、前記複数の長手方向セクションの各々に、対応する検査ステータスの注釈を付ける、請求項４に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項6】

前記ナビゲーションマップを提示することが、
前記結腸内視鏡検査処置の挿入段階の終わりおいて、前記結腸内視鏡の遠位先端が前記結腸の盲腸に到達すると、前記ナビゲーションマップを最初に提示することか、または前記ナビゲーションマップを第１の色合いから第２の色合いに移行することのいずれかをさらに含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項7】

前記検査ステータスを決定することが、
前記複数の長手方向セクションのうちの前記１つの長手方向セクション内の前記結腸のすべての表面パッチがカメラによって観察されたかどうかの判定、
前記表面パッチの各々が前記カメラによって観察されたときの前記表面パッチの各々と前記カメラとの間の距離、または、
前記表面パッチの各々が前記カメラによって観察されたときの前記カメラと前記表面パッチの各々との間の視線入射角、
のうちの少なくとも１つに基づいている、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項8】

前記ナビゲーションマップが、前記結腸を表す解剖学的アトラスである、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項9】

前記ナビゲーションマップが、前記結腸内視鏡検査処置の挿入段階の間に構築された前記結腸の３Ｄモデルを含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項10】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸の前記複数の長手方向セクションのうちの前記１つの長手方向セクションの断面の角度付き部分が、前記結腸内視鏡によって、適切に検査されたと見なされるか、または不適切に検査されたと見なされるかを示す、断面カバレッジマップを提示することを含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項11】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸内視鏡検査処置の後退段階を完了するための推定後退時間を表示することと、
前記後退段階の間に前記推定後退時間を更新することと、
を含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項12】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸内視鏡が不適切に検査されたと見なされる前記複数の長手方向セクションのうちの前記１つの長手方向セクションを越えて後退させられたときに、前記結腸内視鏡の操作者を前記複数の長手方向セクションのうちの前記１つの長手方向セクションに戻すように誘導するガイダンス矢印を前記ライブビデオフィードにオーバーレイすることを含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項13】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記結腸内視鏡検査処置を含む多数の結腸内視鏡検査処置からカバレッジデータを収集し、前記多数の結腸内視鏡検査処置中に不適切に観察された可能性が最も高い結腸部分を示すことを含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項14】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械に、さらなる動作を実施させ、前記さらなる動作が、
前記ライブビデオフィードにおいて、検出されたポリープに注釈を付けることを含む、請求項１に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項15】

命令をさらに提供し、前記命令が、前記機械によって実行されると、前記機械にさらなる動作を実施させ、前記さらなる動作が、
前記検出されたポリープの画像分析に基づいて前記検出されたポリープを分類することと、
前記ライブビデオフィードに現在表示されている前記検出されたポリープに対する視覚的比較のために、前記結腸内視鏡検査ユーザインターフェース内に、前記分類することに基づくポリープの１つ以上の基準画像を提示することと、
を含む、請求項１４に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項16】

命令を提供する少なくとも１つの機械アクセス可能記憶媒体であって、前記命令は、機械によって実行されると、前記機械に結腸内視鏡検査ユーザインターフェースをディスプレイにレンダリングするための信号を出力させ、前記結腸内視鏡検査ユーザインターフェースが、内視鏡検査処置を視覚化するために適合されており、前記結腸内視鏡検査ユーザインターフェースが、
内視鏡から受信したライブビデオフィードが表示されるビデオ領域と、
解剖学的構造の長手方向セクションを描くナビゲーションマップと、
前記内視鏡検査処置の間に、前記長手方向セクションのうちの１つ以上が、適切に検査されたと見なされるか、または不適切に検査されたと見なされるかを示す、前記ナビゲーションマップに提示された１つ以上のカバレッジ注釈と、
前記解剖学的構造の所与の長手方向セクションの推定検査カバレッジを示す断面カバレッジマップであって、前記所与の長手方向セクションの推定検査カバレッジは、前記内視鏡のカメラが前記所与の長手方向セクション内を偵察して前記所与の長手方向セクションの異なる角度部分を検査するにつれて増加する、断面カバレッジマップと、を含む、少なくとも１つの機械アクセス可能記憶媒体。

【請求項17】

前記結腸内視鏡検査ユーザインターフェースが、
前記ナビゲーションマップ上に表示され、前記解剖学的構造内で前記内視鏡によって取得された前記ライブビデオフィードの視野のリアルタイム位置を示す位置マーカをさらに含み、前記内視鏡が前記解剖学的構造内を移動すると、前記位置マーカが前記ナビゲーションマップに沿って移動する、請求項１６に記載の少なくとも１つの機械アクセス可能記憶媒体。

【請求項18】

前記断面カバレッジマップが、前記解剖学的構造の前記所与の長手方向セクションのいずれの角度付き部分が、前記内視鏡によって適切に検査されたか、または不適切に検査されたかを示す、請求項１６に記載の少なくとも１つの機械アクセス可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年５月２４日に出願された米国出願第６３／１９２，４７９号の利益を主張し、その内容が参照として本明細書に組み込まれている。

【0002】

本開示は、概して、内視鏡検査に関し、特に、排他的ではないが、結腸内視鏡術を支援するためのユーザインターフェースに関する。

【背景技術】

【0003】

内視鏡医が結腸内視鏡術を行うとき、後退段階で最も重要なタスクの１つは、すべてのポリープを検出するために、結腸のすべての表面を視覚化したことを確実にすることである。癌性（腺腫）になる可能性のあるポリープの２０％～２４％が見落とされている。内視鏡医がポリープを見落とす原因となり得る２つの主な要因は、（１）ポリープが視野内に現れるが、恐らく、サイズが小さなものか、または平坦な形状によって内視鏡医が見落とすこと、および（２）内視鏡医が処置中に関連領域を完全にカバーしていないためにポリープが視野内に現れないこと、である。

【0004】

臨床医／内視鏡医がポリープを検出するのを支援する従来型製品は、現在、カバレッジ視覚化のための機能をサポートしていない。

【図面の簡単な説明】

【0005】

本発明の非限定的かつ非網羅的な実施形態は、以下の図面を参照して記載され、特に指定されない限り、同様の符号数字は、様々な図面全体を通して同様の部分を指す。必要に応じて、図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は、必ずしも縮尺通りではなく、記載されている原理を示すことに重点が置かれている。

【0006】

【図1A】本開示の実施形態による結腸内視鏡検査タワーシステムを示す。

【図1B】本開示の一実施形態による、結腸内視鏡検査処置中にライブビデオフィードおよび様々な視覚補助を含む結腸内視鏡検査ユーザインターフェースを生成することができる内視鏡ビデオアシスタントを示す。

【図2】本開示の一実施形態による、結腸内視鏡検査処置を視覚化するための結腸内視鏡検査ユーザインターフェースを示す。

【図3A-D】本開示の一実施形態による、結腸内視鏡検査処置を支援するためのカバレッジ注釈および位置マーカを備えた結腸のナビゲーションマップを示す。

【図4】本開示の実施形態による、結腸内視鏡の操作者を不十分に検査されたと見なされる結腸の長手方向セクションの１つに戻すように導くライブビデオフィードガイドにオーバーレイするガイダンス矢印を示す。

【図5】本開示の一実施形態による、多数の結腸内視鏡検査処置から収集されたカバレッジデータを示している。

【図6】本開示の実施形態による、結腸の所与の長手方向セクションの断面の角度付き部分が適切に検査されたと見なされるか、または不適切に検査されたと見なされるかを示す断面カバレッジマップを示す。

【図7】本開示の一実施形態に従って、ライブビデオストリームの視野内で検出されたポリープにどのように注釈が付けられ得るかを示している。

【図8A-C】本開示の実施形態による、検出されたポリープの光学的生検に基づいて、結腸内視鏡検査ユーザインターフェース上に提示され得るポリープの参照画像を示す。

【図9】本開示の任意の実施形態による、内視鏡検査ビデオアシスタントを実装するための実証的なコンピューティングデバイスを示す機能ブロック図である。

【発明を実施するための形態】

【0007】

内視鏡検査（特に結腸内視鏡検査）処置の視覚化を支援するためのユーザインターフェース（ＵＩ）のためのシステム、装置、および方法の実施形態が本明細書に記載されている。以下の説明では、多くの具体的な詳細は、実施形態の徹底的な理解を提供するために、記載されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、具体的な詳細のうちの１つ以上を用いることなく、または他の方法、構成要素、材料などを用いて実施することができることを認識するであろう。他の事例では、周知の構造、材料、または動作は、特定の態様を不明瞭にすることを回避するように、詳細には図示または記載されていない。

【0008】

本明細書全体を通して「１つの実施形態」または「一実施形態」というのは、実施形態に関連して説明された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体にわたる様々な箇所における「１つの実施形態では」または「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態において任意の好適な様式で組み合わされ得る。

【0009】

従来の内視鏡検査および結腸内視鏡検査用インターフェースは、他のユーザ支援を提供することなく、ライブビデオフィードのみを画面に表示する。本明細書で説明する結腸内視鏡検査ユーザインターフェース（ＵＩ）の実施形態は、内視鏡医が結腸のすべての表面パッチを完全に視覚化してポリープ検出および結腸内視鏡検査処置全体の信頼性を改善するのをサポートおよび支援するために追加の画面上の要素を導入する。特定の実施形態では、結腸内の結腸内視鏡カメラの相対位置、深さ、および角度を追跡するために機械学習（ＭＬ）モデルが使用され得る。これらの画像分析技術の例は、「Ｄｅｔｅｃｔｉｎｇ Ｄｅｆｉｃｉｅｎｔ Ｃｏｖｅｒａｇｅ ｉｎ Ｃｏｌｏｎｏｓｃｏｐｉｅｓ」、Ｆｒｅｅｄｍａｎ ｅｔ ａｌ．，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，Ｖｏｌ．３９，Ｎｏ．１１，２０２０年１１月に記載されている。ＭＬモデルは、ポリープ検出および／または光学的生検を提供するために、さらにトレーニングされ得る。特徴検出（ポリープ検出）および光学的生検に加えて、位置、深さ、および角度の追跡はすべて、結腸からのビデオ出力の画像分析に基づいて実行され得る。他の実施形態では、結腸内視鏡の遠位端の位置／深さ追跡情報を取得するために、追加の位置センサまたはリアルタイム走査技術が実装され得る。

【0010】

結腸内視鏡検査ＵＩにいくつかの有益な画面上の視覚補助を表示するために、結腸内視鏡からのライブビデオフィードの上記の画像分析から取得したデータが活用され得る。これらの視覚補助は、結腸内視鏡検査処置の改善された操作者コンテキストと視覚化を提供する。例えば、これらの補助は、結腸の長手方向断面を描くナビゲーションマップと、ライブビデオフィードをキャプチャするカメラの視野（ＦＯＶ）の位置を示す位置マーカと、結腸の様々な長手方向セクションの検査ステータスを示す注釈と、長手方向セクションの部分または表面パッチが適切に検査されたかどうかを示す断面カバレッジマップと、不適切に検査されたと見なされた長手方向セクションに戻るように内視鏡医を促すガイダンス矢印と、検出されたポリープを強調する注釈と、他の様々な貴重なフィードバックデータの表示（例えば、推定後退時間、ポリープ検出ステータス、ポリープ検出履歴、重要な通知など）と、を含み得る。「注釈を付ける」または「注釈」という用語は、本明細書では、テキストマークアップ（例えば、画面上のテキストプロンプトまたはダイアログ）およびグラフィック／画像マークアップ（例えば、画面上のボックス、矢印、陰影、着色、強調表示など）の両方を含むように広く定義されることを理解されたい。

【0011】

これらの視覚補助を結腸内視鏡からのライブビデオフィードとともに結腸内視鏡ＵＩにリアルタイムで同時に提供することで、内視鏡医に高レベルのコンテキストと方向性を提供する。視覚補助は、結腸のすべての表面パッチ（すなわち、結腸の内面）がレビューされているという信頼度を高め、または内視鏡医を見逃された表面パッチに戻すように誘導するための実行可能リアルタイムのフィードバックを提供する。最終的に、視覚補助は操作者経験を改善し、その結果、ポリープ検出を改善し、結腸内視鏡検査処置全体の信頼度を向上させる。

【0012】

図１Ａは、本開示の一実施形態による、結腸内視鏡検査タワーシステム１００を示している。システム１００は、本明細書で説明される改善された結腸内視鏡検査ＵＩの実施形態が使用され得る例示的なハードウェアシステムを示す。システム１００は、結腸の画像をキャプチャし、結腸内視鏡検査処置のライブビデオフィードを表示するためのディスプレイ１１０に結合された内視鏡または結腸内視鏡１０５を含む。一実施形態では、本明細書で説明される画像分析およびＵＩオーバーレイは、結腸内視鏡１０５とディスプレイ１１０との間に差し込む処理ボックスによって実行および生成され得る。図１Ｂは、本明細書で説明される結腸内視鏡検査ＵＩを生成することができる例示的な内視鏡検査ビデオアシスタント（ＥＶＡ）１１５を示す。ＥＶＡ１１５は、リアルタイム画像処理およびＵＩオーバーレイを実行するために、ＭＬモデルを含む必要な処理ハードウェアおよびソフトウェアを含み得る。例えば、ＥＶＡ１１５は、データストレージ、汎用プロセッサ、グラフィックプロセッサ、およびビデオ入出力（Ｉ／Ｏ）インターフェースを含むことができ、結腸内視鏡１０５からライブビデオフィードを受信し、様々な視覚補助およびデータをオーバーレイするＵＩ内にライブビデオフィードを出力する。いくつかの実施形態では、ＥＶＡ１１５は、画像処理の一部をオフロードするための、ならびに／または個々の患者を想起するための、および／もしくは、長手方向の、匿名化した研究のための、カバレッジデータを報告および保存するためのネットワーク接続をさらに含み得る。結腸内視鏡検査ＵＩは、ビデオ領域（例えば、図２のビデオ領域２０５）内に再フォーマット、解析、またはスケーリングされたライブビデオフィードを含むことができ、または、元のフォーマット、解像度、結腸内視鏡検査のライブビデオフィードの整合性を維持するとともに、遅延を低減するための既存の結腸内視鏡モニターフィードの上のＵＩオーバーレイであることができる。

【0013】

図２は、本開示の一実施形態による、結腸内視鏡検査処置を視覚化するための結腸内視鏡検査ＵＩ２００を示している。結腸内視鏡検査ＵＩ２００の図示された実施形態は、ライブビデオフィードを表示するためのビデオ領域２０５、位置マーカ２１５を備えたナビゲーションマップ２１０、断面カバレッジマップ２２０、および処置データ２２５用領域を含む。処置データ２２５の図示された実施形態は、スコープ情報２３０、処置タイマ２３５、後退タイマ２４０、ポリープ検出ステータス２４５、ポリープ検出履歴２５０、および通知２５５を含む。

【0014】

前述のように、ビデオ領域２０５は、結腸内視鏡検査ＵＩ２００内の領域を提供して、結腸内視鏡１０５のカメラによる結腸内視鏡検査処置中にキャプチャされた結腸の内部のライブビデオフィードを表示する。換言すれば、ビデオ領域２０５は、結腸内視鏡１０５のカメラによってキャプチャされたリアルタイムＦＯＶを表示するために使用され得る。ビデオ領域２０５は、円形のＦＯＶを有するものとして示されているが、他の実施形態では、ＦＯＶは、長方形、正方形、またはその他であってもよい。

【0015】

ナビゲーションマップ２１０は、結腸の長手方向断面を描いている。各長手方向断面は、直腸または肛門管から盲腸まで延びている結腸（または大腸）内への異なる深さを表している。ナビゲーションマップ２１０は、結腸を表す解剖学的アトラスもしくはカリカチュア、または、結腸の実際の３次元（３Ｄ）モデルとして実装され得る。３Ｄモデルの場合、結腸内視鏡１０５が肛門管に挿入されて盲腸に向かって移動するような結腸内視鏡検査処置の挿入段階中に結腸の３Ｄモデルが生成され得る。挿入中のライブビデオフィードが分析され、３Ｄモデルにマッピングされ得る。図示した実施形態では、ナビゲーションマップ２１０は、ライブビデオフィードのＦＯＶの位置を示すために、結腸内の結腸内視鏡１０５の遠位端を延長することによって、位置マーカ２１５の注釈が付けられている。一実施形態では、位置マーカ２１５は、挿入段階中に結腸が完全にマッピングされるか、または横断されるまで、ナビゲーションマップ２１０上に表示されない。挿入段階の後、位置マーカ２１５は、後退段階中の結腸内視鏡１０５の遠位端の位置およびライブビデオフィードのＦＯＶを追跡してリアルタイムで移動する。

【0016】

図３Ａ～Ｄは、本開示の実施形態による、ナビゲーションマップ２１０のさらなる詳細を示す。図３Ａに示されるように、ナビゲーションマップ２１０は、結腸内視鏡検査処置の挿入段階の間、最初は明るい色合いで、または灰色の色合いで提示され得る。さらに他の実施形態では、ナビゲーションマップ２１０は、挿入段階の終了まで、または後退段階の開始まで、初めは提示され得ない。挿入段階は、盲腸に到達し、結腸の端部として認識されると、完了したと見なすことができる。結腸の図は、挿入段階中に結腸が空間的にマッピングされている間、保留されるか、灰色で表示されるか、または、明るい色合いで提示され得る。空間マッピングは、挿入段階中のライブビデオフィードの画像分析を介した３Ｄビジュアルマッピングを使用して達成され得る。他の実施形態では、空間マッピングまたは結腸の完全な３Ｄモデルの生成を容易にするために、追加のセンサおよび／または追跡デバイスが（単独で、または画像分析と組み合わせて）使用され得る。例えば、結腸内視鏡１０５の遠位先端が結腸を通って進行するときに、それを追跡するために超音波画像化、磁気追跡などが使用され得る。

【0017】

図３Ｂにおいて、後退段階の開始時に、ナビゲーションマップ２１０が完全に提示され、位置マーカ２１５が表示される。位置マーカ２１５とともにナビゲーションマップ２１０は、後退段階中に横断するための残りの距離の視覚的推定と合わせて結腸内のライブビデオフィードのＦＯＶ位置の視覚的表現を内視鏡医に提示する。

【0018】

図３Ｃおよび図３Ｄを参照すると、結腸内視鏡１０５が結腸を通って後退させられるときに、ナビゲーションマップ２１０に注釈が付けられて、途中の各長手方向セクションの検査ステータスを示す。この注釈は、後退段階中にリアルタイムで更新され得る。完全に検査されたと見なされる長手方向セクション（つまり、これらの長手方向セクションのすべての表面パッチが適切に検査されている）には、そのように注釈が付けられる。例えば、適切に検査されたと見なされる長手方向セクションは緑色に着色され得る（図３Ｃ）。それに対応して、内視鏡医が、所与の長手方向セクション内のすべての表面パッチを完全に検査せずに、その長手方向セクションを通って後退させる場合、ナビゲーションマップ２１０上の対応する長手方向セクションは、不適切な検査を表すように注釈が付けられる。例えば、不適切に検査されたセクションは、長手方向セクション内で結腸の１つ以上の表面パッチが不適切に検査されたと見なされたことを示すために赤に着色され得る（図３Ｄ）。当然、他の色、色合い、またはラベルが、所与の長手方向セクションの適切な、または不適切な検査を示すために使用されてもよい。

【0019】

図４は、不十分に検査されたと見なされる結腸の長手方向セクションの１つに戻るように結腸内視鏡１０５の操作者（内視鏡医）を誘導するライブビデオフィード４００にオーバーレイするガイダンス矢印４０５を示す。図示されるように、ナビゲーションマップ４１０は、長手方向セクション４１３が不適切に検査されたと見なされることを示すために注釈が付けられている。結腸内視鏡１０５の遠位端が長手方向セクション４１３を越えて引っ込められているので（位置マーカ４１５を参照）、ガイダンス矢印４０５は、内視鏡医を長手方向セクション４１３に視覚的に誘導するために、ビデオ領域２０５内のライブビデオフィード４００にオーバーレイされ得る。ガイダンス矢印４０５は、内視鏡医が結腸のねじれ、曲がり、および折り畳まれた解剖学的構造を進行し、見落とされた表面パッチのより徹底的な検査のために長手方向セクション４１３に戻ることを補助することができる。

【0020】

適切に検査された長手方向セクションおよび／または表面パッチと不十分に検査された長手方向セクションおよび／または表面パッチの対比データは、多数の結腸内視鏡検査処置からカバレッジデータを収集するために、ＥＶＡ１１５によって匿名化され、サーバーまたはクラウドベースのサービスにアップロードされることができる。図５に示されるように、カバレッジマップ５０５は、どの結腸の表面パッチが他のものよりも見落とされる可能性が高く、通常、どこでポリープが見つかるか、などを現場の担当医に指示するために、多くの結腸内視鏡検査に基づいて生成され得る。このフィードバックデータは、さらなる洞察を提供し、結腸内視鏡検査手順の成功、信頼性、および信頼度を向上させるために、年齢、人種、性別などを含む匿名化された人口統計データとも相関し得る。

【0021】

図２に戻ると、結腸内視鏡検査ＵＩ２００の図示された実施形態は、断面カバレッジマップ２２０をさらに含む。断面カバレッジマップ２２０は、結腸の所与の長手方向セクションの断面の角度付き部分が適切に検査されたと見なされるかまたは不適切に検査されたと見なされるかを示す。例えば、断面カバレッジマップ２２０は、位置マーカ２１５によって示される現在の長手方向セクションの断面マップを表示することができる。図示した実施形態では、断面カバレッジマップ２２０は、現在の長手方向セクションの左上の象限にある結腸の表面パッチのみが適切に検査されており、現在の長手方向セクションの周囲表面パッチの残りの７６％はまだ検査されていないことを示している。挿入段階の間に、画像検査ソフトウェア（トレーニング済みニューラルネットワークなど）がマッピングされ、結腸に向けられる。後退段階の間、断面カバレッジマップ２２０は、挿入段階の間のカメラのＦＯＶの基準フレームに関する表面パッチ検査ステータスをマッピングすることができる。他の実施形態では、断面カバレッジマップ２２０は、現在の基準フレームまたは他の解剖学的基準フレーム（例えば、矢状面、冠状面、または正中面）に関する表面パッチ検査をマッピングする。

【0022】

図６を参照すると、内視鏡医が結腸の長手方向セクションを通して後退を開始すると、断面カバレッジマップ６２０Ａは、最初に０％の検査カバレッジを表示する。所与の長手方向セクションの表面パッチを偵察して検査している間、ＥＶＡ１１５は、検査を追跡し、推定検査カバレッジを反映するために断面カバレッジマップ６２０Ｂの強調表示を開始する。内視鏡医が所与の長手方向セクションの検査を継続すると、１００％の検査カバレッジを示す断面カバレッジマップ６２０Ｄによって表されるように、現在の長手方向セクションのすべての表面パッチが検査されたと見なされるまで、断面カバレッジマップ６２０Ｃの円のより多くが強調表示される。結腸内視鏡１０５が、次の長手方向セクションに後退させられると、検査ステータスは０％にリセットされ、この工程を繰り返す。結腸内視鏡１０５が、長手方向セクションが完全に検査される前に、長手方向セクションを越えて後退させられる場合、内視鏡医が再検査のために見逃された長手方向セクションに戻ると、断面カバレッジマップ６２０Ｅは、見逃された領域を（例えば、赤色で）強調表示し、内視鏡医を見逃された場所／表面パッチに迅速に誘導する。

【0023】

検査ステータスは、以下の要因の１つ以上の組み合わせまたは重み付けを使用して判定されるか、または推定されることができ、それらは、（ａ）所定の長手方向セクション内での結腸内視鏡１０５のカメラの偵察時間、（ｂ）所与の長手方向セクション内の結腸のすべての表面パッチがカメラによって観察される（例えば、閾値期間にわたってカメラのＦＯＶ内をスイープする）かどうかの判定、（ｃ）各表面パッチがカメラによって観察されたときの各表面パッチとカメラとの間の距離、（ｄ）各表面パッチがカメラによって観察されたときのカメラと各表面パッチの間の視線入射角、または（ｅ）追加の結腸の解剖学的構造がＦＯＶから隠されている可能性がある解剖学的なヒダまたは領域に含まれる可能性があるシーンがあるかどうかを判定するための結腸内視鏡ビデオのＭＬ分析、である。距離と視野角は、カメラのＦＯＶに技術的にスイープするが、遠すぎるか、角度が急勾配過ぎるときのいずれかで発生する表面パッチが、表面パッチがカメラのＦＯＶ内を通過した場合であっても、適切に観察されていないと見なされ得るように閾値選定され得る。視距離および視線入射角の閾値制限内で操作するとき、偵察時間は、実際の視距離および／または視線入射角に応じて調整されることができる。例えば、最大閾値を超えない視距離は、依然として、その距離が通常よりも長いと見なされる場合でも、偵察時間を２倍必要とし得るが、許容される最大距離を超過しない。検査ステータスを判定するときに考慮され得るさらに別の要因は、所与の表面パッチを観察している間の画像品質であり、これは、焦点、コントラスト、鮮明度、または他の画像品質特性を含み得る。この場合も、許容される閾値が強制され得、所与の表面パッチを観察するときに最適ではない条件に偵察乗数が適用される。いくつかの実施形態では、上記の要因のいずれか、またはすべてが、ＭＬモデルをトレーニングして、長手方向セクションを適切に、または不適切に検査されたと推定するか、またはそうでなく、「見なす」ときに、グラウンドトルースデータとして使用され得る。

【0024】

一実施形態では、断面カバレッジマップ２２０（または６２０Ａ～６２０Ｄ）は、所与の長手方向セクションについて観察された／観察されなかった角度付き部分を視覚的に示し得る。この方法で、内視鏡医は、所与の深さまたは長手方向の位置について、どの周囲表面パッチが依然として観察される必要があるか迅速に導かれる。さらに別の実施形態では、断面カバレッジマップ２２０は、観察された部分と観察されていない部分の角度方向を具体的に示すことがない、長手方向セクション内で観察された表面パッチの全体的なパーセンテージ推定値にすぎない。

【0025】

図２に戻ると、結腸内視鏡検査ＵＩ２００は、処置データ２２５を表示するための領域を含む。処置データ２２５の図示された実施形態は、スコープ情報２３０、処置タイマ２３５、後退タイマ２４０、ポリープ検出ステータス２４５、ポリープ検出履歴２５０、および通知２５５を含む。スコープ情報２３０は、カメラ解像度、ソフトウェア／ファームウェアバージョン、フレームレート、色空間などのような特定の結腸内視鏡１０５に関連するメタデータを含み得る。

【0026】

処置タイマ２３５は、挿入段階の開始からの全体的な処置時間を追跡する、挿入段階のみの処置時間を追跡する、または、後退段階の開始からの処置時間を追跡する１つ以上のタイマを含み得る。後退タイマ２４０は、結腸内視鏡検査処置の後退段階を完了するための推定後退時間を表示する。推定後退時間は、挿入段階の間に結腸を検査する際にトレーニングされたニューラルネットワークを使用して計算されることができ、後退段階が進むにつれて、さらに更新されることができる。その結果、推定後退時間は、挿入段階の完了後まで表示され得ず、後退段階が完了するまでの一種のカウントダウンタイマを表す。

【0027】

ポリープ検出ステータス２４５は、画像分析およびポリープ検出ソフトウェアが、ビデオ領域２０５に現在表示されている現在のＦＯＶまたはライブ画像フィードにおいてポリープを検出したかどうかの指示を表す。図７を参照すると、ポリープがライブビデオフィード７０５内で検出された場合、検出されたポリープは、表示された画像内でその場所を明確に特定する注釈７１０で強調表示または強調され得る。図７は、注釈７１０をボックス状輪郭として示しているが、注釈は、様々な異なる形状、色、色合い、ラベルなどを使用して実装されることができる。

【0028】

ポリープの検出履歴２５０は、検出されたポリープの総数のカウントを表す。さらに、ポリープ検出履歴２５０は、特定の検出されたポリープに関するさらなる情報を表示するための選択可能メニューを含み得る。例えば、ＭＬ分類器が適用され検出されたポリープの光学的生検を実行する場合、光学的生検の結果（図８Ａを参照）が、所与のポリープを選択することにより、ポリープ検出履歴２５０を介してアクセスされ得る。あるいは、ポリープがＦＯＶ内で特定されると、光学的生検結果および／または比較のための基準画像が自動的に現れることができる。この結果には、信頼区間の表示とともに良性、前癌性、癌性などの分類が含まれることができる。さらに他の実施形態では、この分類は、過形成性ポリープ（図８Ｂ）、腺腫性ポリープ（図８Ｃ）などの他の分類を含み得る。ポリープの分類に対応するポリープの基準画像（図８Ｂおよび図８Ｃ）は、選択時にリンクされ、かつ、表示され、内視鏡医が、所与のポリープのリアルタイム観察中にライブビデオフィード画像を基準画像に対して比較できるようになっている。あるいは、図８Ｂまたは図８Ｃは、ポリープの静的スクリーンキャプチャを表すかまたは含むことができ、結腸内視鏡を動かしたり制御したりしてライブ検査のために適切な静止画像を維持することについて心配することなく、内視鏡医がポリープをより容易に検査できるようにする。最後に、処置データ２２５は、ポリープの種類／分類を含む多種多様な通知も提示され得る通知２５５のためのセクションをさらに含み得る。

【0029】

本明細書に開示される実施形態は、ナビゲーションマップ２１０、断面カバレッジマップ２２０、および処置データ２２５からのコンテキスト／方向性データとともに、結腸内視鏡１０５からのライブビデオフィードを同時に提示する結腸内視鏡検査ＵＩ２００を提供する。これらの同時視覚補助は、内視鏡医により高レベルのコンテキストと方向性を提供し、それによって、結腸内視鏡検査処置の信頼性とすべてのポリープが検出された信頼性を向上させる。

【0030】

図９は、本開示の実施形態による、ＥＶＡ１１５を実装するのに適切な実証的コンピューティングデバイスの態様を示すブロック図である。当業者は、コンピューティングデバイス９００が、現在利用可能なコンピューティングデバイスを使用して、またはまだ開発されていないデバイスを使用して実装され得ることを認識するであろう。

【0031】

その最も基本的な構成では、コンピューティングデバイス９００は、通信バス９０６によって接続された少なくとも１つのプロセッサ９０２およびシステムメモリ９０４を含む。デバイスの正確な構成およびタイプに応じて、システムメモリ９０４は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ＥＥＰＲＯＭ、フラッシュメモリ、または同様のメモリ技術などの揮発性または不揮発性メモリであり得る。当業者は、システムメモリ９０４が、通常、プロセッサ９０２に即座にアクセス可能であり、および／またはプロセッサ９０２によって現在操作されているデータおよび／またはプログラムモジュールを格納することを認識するであろう。これに関して、プロセッサ９０２は、命令の実行をサポートすることによって、コンピューティングデバイス９００の計算センターとして機能することができる。

【0032】

図９にさらに示されているように、コンピューティングデバイス９００は、ネットワーク上で他のデバイスと通信するための１つ以上の構成要素を備えるネットワークインターフェース９１０を含み得る。本開示の実施形態は、共通ネットワークプロトコルを使用して通信を実行するためにネットワークインターフェース９１０を利用する基本的なサービスにアクセスすることができる。ネットワークインターフェース９１０はまた、例えば、ＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ、ＬＴＥ、ＷｉＭＡＸ、Ｂｌｕｅｔｏｏｔｈ、および／または同様のものなどの１つ以上の無線通信プロトコルを介して通信するように構成された無線ネットワークインターフェースを含み得る。

【0033】

図９に描かれた例示的な実施形態では、コンピューティングデバイス９００はまた、記憶媒体９０８も含む。しかしながら、サービスは、データをローカル記憶媒体に永続化する手段を含まないコンピューティングデバイスを使用してアクセスされることができる。したがって、記憶媒体９０８は省略されてもよい。いずれにせよ、記憶媒体９０８は、揮発性または不揮発性であり得、取り外し可能または取り外し不可能であり得、限定されるものではないが、ハードドライブ、ソリッドステートドライブ、ＣＤ－ＲＯＭ、ＤＶＤ、もしくは他のディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、および／または、同様のもの、など情報を記憶することができる任意の技術を使用して実装され得る。

【0034】

コンピューティングデバイス９００の図示された実施形態は、ビデオ入力／出力インターフェース９１１をさらに含む。ビデオＩ／Ｏインターフェース９１１は、結腸内視鏡１０５からのライブビデオフィードを受信するためのアナログビデオ入力（例えば、複合ビデオ、コンポーネントビデオ、ＶＧＧコネクタ、など）またはデジタルビデオ入力（例えば、ＨＤＭＩ、ＤＶＩ、ディスプレイポート、ＵＳＢ－Ａ、ＵＳＢ－Ｃ、など）および結腸内視鏡ＵＩ２００内のライブビデオフィードをディスプレイ１１０に出力するための同様のタイプのビデオ出力ポートを含み得る。一実施形態では、ビデオＩ／Ｏインターフェース９１１はまた、結腸内視鏡検査ＵＩ２００を生成およびレンダリングするために必要な計算ビデオ処理を実行することができるグラフィックス処理ユニットを表すことができる。

【0035】

本明細書で使用される場合、「コンピュータ可読媒体」という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納できる任意の方法または技術で実装される揮発性および不揮発性ならびにリムーバブルおよび非リムーバブル媒体を含む。これに関して、図９に描かれるシステムメモリ９０４および記憶媒体９０８は、コンピュータ可読媒体の単なる例である。

【0036】

プロセッサ９０２、システムメモリ９０４、通信バス９０６、記憶媒体９０８、およびネットワークインターフェース９１０を含むコンピューティングデバイスの適切な実装が知られており、市販されている。説明を容易にするため、および特許請求された主題を理解するために重要ではないために、図９は、多くのコンピューティングデバイスの典型的な構成要素の一部を示していない。これに関して、コンピューティングデバイス９００は、キーボード、キーパッド、マウス、マイクロフォン、タッチ入力デバイス、タッチスクリーン、タブレット、および／または、同様のものなどの入力デバイスを含むことができる。このような入力デバイスは、ＲＦ、赤外線、シリアル、パラレル、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ、または無線の、もしくは物理的な接続を使用する他の適切な接続プロトコルを含む有線または無線の接続によってコンピューティングデバイス９００に結合されることができる。これらのデバイスは当技術分野で周知であることから、本明細書では、さらに図示または説明されていない。

【0037】

上述のユーザインターフェースは、結腸内視鏡検査の観点から説明されており、結腸内視鏡検査処置の視覚化を支援するための結腸内視鏡検査ユーザインターフェースとして特に好適である。しかしながら、ユーザインターフェース２００は、概して、他の解剖学的構造に関連する内視鏡検査処置を視覚化するために使用され得る内視鏡ユーザインターフェースとして、より広範に／一般的に説明され得ることを理解されたい。例えば、ユーザインターフェースは、上部および下部胃腸管内の内視鏡検査処置を含む他の胃腸病学的処置の視覚化を支援するために適用できる。さらに他の例では、ユーザインターフェースは、食道、気管支管、他の管様の解剖学的構造などの非胃腸病学的構造の探索的な内視鏡検査処置を視覚化するために使用され得る。他の内視鏡検査処置を視覚化するためにユーザインターフェースを適合させるとき、ナビゲーションマップ２１０は、探索されている対応する解剖学的構造のマップを表すことになり、断面カバレッジマップ２２０は、対応する解剖学的構造の断面または周辺検査カバレッジを表すことになる。同様に、図５に示されるカバレッジマップ５０５は、様々な異なる解剖学的構造の検査カバレッジ、および光学生検画像を表すように適合されることができ、図８Ａ～図８Ｃに示される基準画像は、他の内視鏡検査処置に関する臨床ワークフローをサポートするために、様々なタイプの解剖学的構造、組織タイプ、腫瘍などに適合されることができる。

【0038】

上述したプロセスおよびユーザインターフェースは、コンピュータのソフトウェアおよびハードウェアの観点から説明されている。説明された技術は、機械によって実行されると、説明された動作を機械に実行させる、有形のまたは非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、ユーザインターフェースを実装するためのプロセスまたはロジックの一部は、特定用途向け集積回路（「ＡＳＩＣ」）など、またはその他のハードウェア内で具体化され得る。

【0039】

有形の機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、個人情報端末、製造ツール、１つ以上のプロセッサのセットを有する任意のデバイスなど）がアクセス可能な非一時的形態の情報を提供（すなわち、記憶）する任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。

【0040】

要約中に記載されているものを含む、本発明の例解された実施形態の上記の説明は、網羅的であること、または本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、およびその実施例は、例解目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。

【0041】

これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を本明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】