特開2023-171651生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023171651
(43)【公開日】2023-12-01
(54)【発明の名称】生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法
(51)【国際特許分類】
A61B 1/00 20060101AFI20231124BHJP
A61B 1/045 20060101ALI20231124BHJP
【ＦＩ】
A61B1/00 C
A61B1/045 621
A61B1/045 622
A61B1/045 618
A61B1/045 619
A61B1/045 614
A61B1/00 551
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023177437
(22)【出願日】2023-10-13
(62)【分割の表示】P 2021521094の分割
【原出願日】2019-10-19
(31)【優先権主張番号】62/747,786
(32)【優先日】2018-10-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/807,018
(32)【優先日】2019-02-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/849,508
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】506203914
【氏名又は名称】ギブン イメージング リミテッド
【氏名又は名称原語表記】ＧＩＶＥＮ ＩＭＡＧＩＮＧ ＬＴＤ．
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】アヴィシャグ スピリンガー
(72)【発明者】
【氏名】ドリ ペレグ
(72)【発明者】
【氏名】オリット エルカヤム
(72)【発明者】
【氏名】エバ ニブ
(72)【発明者】
【氏名】イッド アンバー
(72)【発明者】
【氏名】シェリー フォックス
(72)【発明者】
【氏名】ライアン ソールデン
(57)【要約】
【課題】生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法の提供。
【解決手段】システム及び方法は、嚥下式カプセルが生体内で収集した患者の消化管のいくつかの選択された画像を表示及び／又はこれらの画像の分析を提供してもよい。画像は、（例えば、精査用情報として）レビューする、かつ／又はユーザが更に分析するために表示されてもよい。画像ストリームを表し、第１の選択方法に従って自動的に選択された画像部分集合を表示してもよい。ユーザ入力時には、現在表示されている画像に対応する追加画像が表示されてもよく、この追加画像は、第２の選択方法に従って自動的に選択される。第２の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
【選択図】図２
【解決手段】システム及び方法は、嚥下式カプセルが生体内で収集した患者の消化管のいくつかの選択された画像を表示及び／又はこれらの画像の分析を提供してもよい。画像は、（例えば、精査用情報として）レビューする、かつ／又はユーザが更に分析するために表示されてもよい。画像ストリームを表し、第１の選択方法に従って自動的に選択された画像部分集合を表示してもよい。ユーザ入力時には、現在表示されている画像に対応する追加画像が表示されてもよく、この追加画像は、第２の選択方法に従って自動的に選択される。第２の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
【選択図】図２
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体内で捕捉された一連の画像又は画像ストリームから医用画像を表示及び／又は分析並びに／若しくは報告するための方法、システム、及びコンピュータプログラム製品に関する。特に、本開示は、カプセル内視鏡（Capsule Endoscopy、ＣＥ）処置を介して捕捉された生体内画像の精査用情報（study）を生成及び表示するための方法、システム、及びコンピュータプログラム製品に関する。
【背景技術】
【0002】
カプセルシステムには、消化管（gastrointestinal tract、「Ｇｌ」管又は「ＧＩＴ」）の画像を捕捉する嚥下式カプセルを含んでもよい。画像は、カプセル上に保存されてもよく、かつ／又は典型的にはアンテナを含む受信装置に送信されてもよい。受信装置は、画像を受信し、（例えば、受信装置内の記憶装置内に）保存してもよい。嚥下式カプセルには、１つ以上のカメラ又は撮像装置、電源（単数又は複数）、プロセッサ（単数又は複数）、及び送信機（単数又は複数）を含んでもよい。
【0003】
カプセル、受信装置、又は受信装置の取り外し可能な記憶装置は、サーバなどの計算装置と連結されてもよい。計算装置は、受信した画像を処理してもよく、典型的には、映像又は動画（例えば、一連の動画像）として画像を表示するためのインターフェースを提供してもよい。このような処理はまた、受信機又は記録機から転送された画像を受容した後に、医療従事者が動作させるワークステーション上で「局所的に」行われてもよい。いくつかの実施形態では、患者に位置された物理的な受信装置は、処理及び観察するために、画像をコンピュータに転送又はダウンロードしてもよい。画像を処理又は観察するために使用されるワークステーションは、ローカルコンピュータ、タブレット、又はワークステーションであってもよい。
【0004】
医者などの医療専門家は、この医療専門家が、典型的には（例えば、典型的には、前処理により全ての捕捉された画像よりも少ない画像を含む）動画又は画像ストリームとして画像を観察するように、画像が例えば、ワークステーション、端末、又はリモートで、例えば、ウェブブラウザを介して表示されたときに、画像をレビューしてもよい。
【0005】
医療専門家が画像を正確にレビューし、重要な画像又は特徴を妥当な時間で見極めることができるように、カプセルが収集した数千枚もの画像を提示することが望ましい。
【0006】
医者が見た処置結果又は処置精査用情報の典型的な先行技術のビューには、（例えば、単一のカメラが捕捉した各画像ストリームについて、一度に１枚の画像を順序通りに表示する）動画像又は映像として観察された数千枚もの画像が含まれる。数千枚もの画像を観察することは、貴重な時間を要し、退屈なタスクになることもある。また、数千枚もの画像を映像として観察することは、関心画像が欠落する可能性も高くなり得る。医療従事者が画像を観察するのに要する時間を短縮することが望ましい。また、ビュータスクをより効率的に、かつ、より有益にすることも所望である。
【発明の概要】
【課題を解決するための手段】
【0007】
本発明の実施形態には、カプセル装置、及び任意に受信装置を含み得る。カプセル装置は、消化管を横断しながら画像を捕捉し、典型的にはアンテナを含む受信装置に画像を送信する、嚥下式カプセルであってもよい。受信装置は、画像を受信し、例えば、受信装置内の記憶装置内に画像を保存してもよい。受信装置は、リアルタイムで（例えば、処置中に）画像を「クラウド」ベースのサーバ又は別のリモート装置に送信してもよい。受信装置は、例えば、ベルト若しくはパッチ、又は患者に装着させた任意の他の品目であってもよい。受信装置は、リアルタイムな表示、保存、処理、及び／又は分析を含む表示のために、受信した画像をリモート装置に転送してもよい。受信装置は、例えば、患者の携帯電話を介してリモート装置に画像を送信してもよい。ローカル又はリモート（例えば、「クラウド」）サーバ若しくは任意の他の好適な計算装置は、受信した画像及び他の処置関連データ（例えば、画像捕捉時間及び患者データ）を処理及び分析して、ＣＥ処置の精査用情報を生成してもよい。計算装置は、ユーザ（例えば、医療従事者）がレビューする精査用情報を表示するために、ローカルに又はリモートにインターフェースを提供してもよい。画像を保存、受信、処理、及び表示する他の方法を使用してもよい。
【0008】
本発明の実施形態には、観察者又はユーザが（例えば、精査用情報を）レビュー及び／又は更に分析するために、いくつかの選択された画像を表示並びに／若しくはこれらの画像の分析を提供するためのシステム、方法、及びコンピュータプログラム製品を含む。画像は、小腸及び／又は結腸などの消化管の部分を横断するカプセル内視鏡が生体内で捕捉した画像ストリームから選択される。開示される方法、システム、ツール、及び／又はコンピュータプログラム製品は、とりわけ、ＧＩＴの様々な病態、障害、異常、並びに疾患の診断、治療決定、モニタリング、及び／若しくはスクリーニングのために使用され得る。
例えば、本願は以下の項目を提供する。
（項目１）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するための方法であって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
表示装置上に、前記ユーザのレビューのために前記生体内画像ストリームの画像部分集合を表示することであって、前記画像部分集合が、捕捉された前記生体内画像ストリームを表し、前記画像部分集合が、第１の選択方法に従って前記生体内画像ストリームから自動的に選択される、表示することと、
ユーザ入力を受信したら、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する１枚以上の追加画像を表示することであって、前記１枚以上の追加画像が、第２の選択方法に従って前記生体内画像ストリームから自動的に選択され、前記第２の選択方法が、前記生体内画像ストリームの画像と前記現在表示されている画像との間の関係に基づいている、表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、１つ以上のハードウェアプロセッサを使用することを含む、方法。
（項目２）
前記画像部分集合が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目１に記載の方法。
（項目３）
前記画像部分集合を前記表示することが、
前記部分集合のうちの複数枚の画像を同時に表示することであって、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、表示することを含む、項目１に記載の方法。
（項目４）
前記部分集合のうちの同時に表示された前記複数枚の画像が、カルーセル又は行列のレイアウトで表示される、項目３に記載の方法。
（項目５）
前記部分集合のうちの前記同時に表示された複数枚の画像が、水平カルーセルのレイアウトで、かつ、画像が他の画像を覆わないように表示される、項目３に記載の方法。
（項目６）
前記部分集合のうちの同時に表示された前記複数枚の画像が、水平カルーセルのレイアウトで、かつ、中央画像が、他の同時に表示された画像のいずれのサイズよりも大きいサイズの画像になるように表示される、項目３に記載の方法。
（項目７）
前記第２の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のＧＩＴのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目１に記載の方法。
（項目８）
前記特徴が、消化（Ｇｌ）管内の関心特徴である、項目７に記載の方法。
（項目９）
前記第１の選択方法に従って前記画像部分集合を選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、前記第２の選択方法に従って前記生体内画像ストリームから前記１枚以上の対応する追加画像を選択することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目１０）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目１に記載の方法。
（項目１１）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目１に記載の方法。
（項目１２）
前記第２の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する１枚以上の異なる追加画像を生成する、項目１に記載の方法。
（項目１３）
前記１枚以上の追加画像が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目１に記載の方法。
（項目１４）
前記１枚以上の追加画像が、前記対応する現在表示されている画像と同じウィンドウ内に表示される、項目１に記載の方法。
（項目１５）
前記対象のＧＩＴの前記少なくとも関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のＧＩＴの少なくとも前記関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、使用することを更に含む、項目１に記載の方法。
（項目１６）
現在表示されており、焦点の合っている前記画像部分集合のうちの前記画像の前記指示が、強調表示される、項目１５に記載の方法。
（項目１７）
前記マップ内の画像指示のユーザの選択を受信することと、
前記選択された画像指示によって表される前記画像を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１５に記載の方法。
（項目１８）
前記画像部分集合が、前記精査用情報のデフォルトの表示において行列のレイアウトで表示される、項目１に記載の方法。
（項目１９）
前記画像部分集合から自動的に選択された、事前定義された枚数の画像をユーザ入力時に表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記事前定義された枚数の画像が、第３の選択方法に従って前記画像部分集合から選択される、使用することを更に含む、項目１に記載の方法。
（項目２０）
前記第３の選択方法に従って、最大関心のものであると推定された前記画像部分集合のうちの画像が選択される、項目１９に記載の方法。
（項目２１）
少なくとも前記第１の選択方法が、深層学習技術に基づいている、項目１に記載の方法。
（項目２２）
関心特徴のうちの少なくとも一部分を含む疑いのある、表示された画像内の位置の指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２３）
前記対象のＧＩＴの前記少なくとも関心部分が、区分に分割され、
前記画像部分集合のうちの画像が、前記区分に従って、前記対象のＧＩＴの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２４）
前記区分に従って前記画像集合を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目２３に記載の方法。
（項目２５）
捕捉された前記画像ストリームの画像の推定洗浄レベルの指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２６）
表示された画像内で特定された特徴のサイズを推定することと、
前記推定されたサイズの指示を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２７）
前記ＧＩＴの前記少なくとも関心部分に沿って、前記画像部分集合内で特定された特徴の範囲を推定することと、
前記推定された範囲への指示を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２８）
前記ＧＩＴの前記少なくとも関心部分の１つの解剖学的断片から別の解剖学的断片への遷移を表す、前記生体内画像ストリームから選択された複数枚の画像をユーザ入力時に表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２９）
前記精査用情報を表示することを含み、前記精査用情報が、前記画像部分集合、及び前記部分集合内の画像に対応する前記追加画像以外の、捕捉された前記生体内画像ストリームのどの画像も含まない、項目１に記載の方法。
（項目３０）
ユーザ入力に基づいて前記画像部分集合の前記表示をフィルタリングするために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目３１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目１に記載の方法。
（項目３２）
前記関心特徴が、病態、異物、異常、解剖学的特徴、及びこれらの組み合わせからなる群から選択される、項目３１に記載の方法。
（項目３３）
方法であって、
カプセル内視鏡処置を介して捕捉された対象のＧＩＴの少なくとも関心部分の生体内画像ストリームから自動的に選択された画像部分集合を受信することであって、前記画像部分集合のうちの前記画像が、第１の選択方法に基づいて選択される、受信することと、
表示装置上に、自動的に選択された前記画像部分集合を静止した様式で表示することと、
ユーザ入力を受信したら、現在表示されている、自動的に選択された前記画像部分集合のうちの画像に関する追加情報を表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む、方法。
（項目３４）
前記追加情報が、第２の選択方法に従って前記生体内画像ストリームから自動的に選択された１枚以上の追加画像を含む、項目３３に記載の方法。
（項目３５）
前記画像部分集合の前記表示が、前記部分集合のうちの複数枚の画像を同時に表示することを含み、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、項目３３に記載の方法。
（項目３６）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目３４に記載の方法。
（項目３７）
前記１枚以上の追加画像が、対応する、現在表示されている画像と同じウィンドウ内に表示される、項目３３に記載の方法。
（項目３８）
前記対象のＧＩＴの少なくとも前記関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のＧＩＴの前記少なくとも関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、項目３３に記載の方法。
（項目３９）
前記対象のＧＩＴの前記少なくとも関心部分が、区分に分割され、前記画像部分集合のうちの画像が、前記区分に従って、前記対象のＧＩＴの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目３３に記載の方法。
（項目４０）
捕捉された前記生体内画像ストリームの画像の前記洗浄レベルの指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目３３に記載の方法。
（項目４１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目３３に記載の方法。
（項目４２）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するための方法であって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
第１の選択方法に従って捕捉された前記生体内画像ストリームから画像部分集合を選択することであって、選択された前記画像部分集合が、捕捉された前記生体内画像ストリームを表す、選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、第２の選択方法に従って前記生体内画像ストリームから１枚以上の対応する追加画像を選択することと、
前記カプセル内視鏡処置の前記精査用情報を生成することであって、前記精査用情報が、選択された前記画像部分集合及び追加情報を含み、前記追加情報が、前記画像部分集合のうちの少なくとも一部分の各画像に対応する、選択された前記１枚以上の追加画像を含む、生成することと、を行うために、１つ以上のハードウェアプロセッサを使用することを含む、方法。
（項目４３）
ユーザのレビューのために、表示装置上に前記精査用情報を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目４２に記載の方法。
（項目４４）
前記精査用情報の前記表示が、
表示装置上に選択された前記画像部分集合を表示することと、
ユーザ入力時に、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する、前記１枚以上の追加画像を表示することと、を含む、項目４３に記載の方法。
（項目４５）
前記精査用情報の前記生成が、前記ＧＩＴの少なくとも前記関心部分の区分への分割、前記ＧＩＴの少なくとも前記関心部分に沿った前記画像ストリームの画像の位置、前記ＧＩＴの少なくとも前記関心部分に沿った前記画像部分集合のうちの画像の指示を含む、前記ＧＩＴの少なくとも前記関心部分を表すマップ、第３の選択方法に従って、前記画像部分集合から選択された複数枚の画像、画像内の関心特徴の指示、浄化レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、前記ＧＩＴの少なくとも前記関心部分の解剖学的断片間の遷移を表す、前記生体内画像ストリームの画像の選択、及びそれらの組み合わせからなる群から選択された、前記画像部分集合のうちの画像に対応する前記追加の１枚以上の画像に加えて、追加情報を生成することを含む、項目４２に記載の方法。
（項目４６）
前記第２の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のＧＩＴのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目４２に記載の方法。
（項目４７）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目４２に記載の方法。
（項目４８）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目４２に記載の方法。
（項目４９）
前記第２の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する１枚以上の異なる追加画像を生成する、項目４２に記載の方法。
（項目５０）
少なくとも前記第１の選択方法が、深層学習技術に基づいている、項目４２に記載の方法。
（項目５１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目４２に記載の方法。
（項目５２）
前記第１の選択方法及び前記第２の選択方法が、各々１つ以上の選択ルールを含む、項目４２に記載の方法。
（項目５３）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するためのシステムであって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
１つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目１～４１のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、
前記精査用情報を表示するように構成された表示装置と、を備える、システム。
（項目５４）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するためのシステムであって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
１つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目４２～５２のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、を備える、システム。
（項目５５）
前記カプセル内視鏡処置を行うように更に構成されており、前記システムが、カプセル装置を更に備え、前記カプセル装置が、前記カプセル装置が前記患者のＧＩＴの前記少なくとも記憶装置関心部分を横断する間に、前記生体内画像ストリームを捕捉するように構成された、少なくとも１つの撮像装置を含み、捕捉された前記生体内画像ストリームが、前記非一時的に提供され、前記非一時的記憶装置が、提供された前記生体内画像ストリームを受信して保存するように更に構成されている、項目５４に記載のシステム。
例えば、本願は以下の項目を提供する。
（項目１）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するための方法であって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
表示装置上に、前記ユーザのレビューのために前記生体内画像ストリームの画像部分集合を表示することであって、前記画像部分集合が、捕捉された前記生体内画像ストリームを表し、前記画像部分集合が、第１の選択方法に従って前記生体内画像ストリームから自動的に選択される、表示することと、
ユーザ入力を受信したら、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する１枚以上の追加画像を表示することであって、前記１枚以上の追加画像が、第２の選択方法に従って前記生体内画像ストリームから自動的に選択され、前記第２の選択方法が、前記生体内画像ストリームの画像と前記現在表示されている画像との間の関係に基づいている、表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、１つ以上のハードウェアプロセッサを使用することを含む、方法。
（項目２）
前記画像部分集合が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目１に記載の方法。
（項目３）
前記画像部分集合を前記表示することが、
前記部分集合のうちの複数枚の画像を同時に表示することであって、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、表示することを含む、項目１に記載の方法。
（項目４）
前記部分集合のうちの同時に表示された前記複数枚の画像が、カルーセル又は行列のレイアウトで表示される、項目３に記載の方法。
（項目５）
前記部分集合のうちの前記同時に表示された複数枚の画像が、水平カルーセルのレイアウトで、かつ、画像が他の画像を覆わないように表示される、項目３に記載の方法。
（項目６）
前記部分集合のうちの同時に表示された前記複数枚の画像が、水平カルーセルのレイアウトで、かつ、中央画像が、他の同時に表示された画像のいずれのサイズよりも大きいサイズの画像になるように表示される、項目３に記載の方法。
（項目７）
前記第２の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のＧＩＴのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目１に記載の方法。
（項目８）
前記特徴が、消化（Ｇｌ）管内の関心特徴である、項目７に記載の方法。
（項目９）
前記第１の選択方法に従って前記画像部分集合を選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、前記第２の選択方法に従って前記生体内画像ストリームから前記１枚以上の対応する追加画像を選択することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目１０）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目１に記載の方法。
（項目１１）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目１に記載の方法。
（項目１２）
前記第２の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する１枚以上の異なる追加画像を生成する、項目１に記載の方法。
（項目１３）
前記１枚以上の追加画像が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目１に記載の方法。
（項目１４）
前記１枚以上の追加画像が、前記対応する現在表示されている画像と同じウィンドウ内に表示される、項目１に記載の方法。
（項目１５）
前記対象のＧＩＴの前記少なくとも関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のＧＩＴの少なくとも前記関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、使用することを更に含む、項目１に記載の方法。
（項目１６）
現在表示されており、焦点の合っている前記画像部分集合のうちの前記画像の前記指示が、強調表示される、項目１５に記載の方法。
（項目１７）
前記マップ内の画像指示のユーザの選択を受信することと、
前記選択された画像指示によって表される前記画像を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１５に記載の方法。
（項目１８）
前記画像部分集合が、前記精査用情報のデフォルトの表示において行列のレイアウトで表示される、項目１に記載の方法。
（項目１９）
前記画像部分集合から自動的に選択された、事前定義された枚数の画像をユーザ入力時に表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記事前定義された枚数の画像が、第３の選択方法に従って前記画像部分集合から選択される、使用することを更に含む、項目１に記載の方法。
（項目２０）
前記第３の選択方法に従って、最大関心のものであると推定された前記画像部分集合のうちの画像が選択される、項目１９に記載の方法。
（項目２１）
少なくとも前記第１の選択方法が、深層学習技術に基づいている、項目１に記載の方法。
（項目２２）
関心特徴のうちの少なくとも一部分を含む疑いのある、表示された画像内の位置の指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２３）
前記対象のＧＩＴの前記少なくとも関心部分が、区分に分割され、
前記画像部分集合のうちの画像が、前記区分に従って、前記対象のＧＩＴの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２４）
前記区分に従って前記画像集合を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目２３に記載の方法。
（項目２５）
捕捉された前記画像ストリームの画像の推定洗浄レベルの指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２６）
表示された画像内で特定された特徴のサイズを推定することと、
前記推定されたサイズの指示を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２７）
前記ＧＩＴの前記少なくとも関心部分に沿って、前記画像部分集合内で特定された特徴の範囲を推定することと、
前記推定された範囲への指示を表示することと、を行うために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２８）
前記ＧＩＴの前記少なくとも関心部分の１つの解剖学的断片から別の解剖学的断片への遷移を表す、前記生体内画像ストリームから選択された複数枚の画像をユーザ入力時に表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目２９）
前記精査用情報を表示することを含み、前記精査用情報が、前記画像部分集合、及び前記部分集合内の画像に対応する前記追加画像以外の、捕捉された前記生体内画像ストリームのどの画像も含まない、項目１に記載の方法。
（項目３０）
ユーザ入力に基づいて前記画像部分集合の前記表示をフィルタリングするために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目１に記載の方法。
（項目３１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目１に記載の方法。
（項目３２）
前記関心特徴が、病態、異物、異常、解剖学的特徴、及びこれらの組み合わせからなる群から選択される、項目３１に記載の方法。
（項目３３）
方法であって、
カプセル内視鏡処置を介して捕捉された対象のＧＩＴの少なくとも関心部分の生体内画像ストリームから自動的に選択された画像部分集合を受信することであって、前記画像部分集合のうちの前記画像が、第１の選択方法に基づいて選択される、受信することと、
表示装置上に、自動的に選択された前記画像部分集合を静止した様式で表示することと、
ユーザ入力を受信したら、現在表示されている、自動的に選択された前記画像部分集合のうちの画像に関する追加情報を表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む、方法。
（項目３４）
前記追加情報が、第２の選択方法に従って前記生体内画像ストリームから自動的に選択された１枚以上の追加画像を含む、項目３３に記載の方法。
（項目３５）
前記画像部分集合の前記表示が、前記部分集合のうちの複数枚の画像を同時に表示することを含み、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、項目３３に記載の方法。
（項目３６）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目３４に記載の方法。
（項目３７）
前記１枚以上の追加画像が、対応する、現在表示されている画像と同じウィンドウ内に表示される、項目３３に記載の方法。
（項目３８）
前記対象のＧＩＴの少なくとも前記関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記１つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のＧＩＴの前記少なくとも関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、項目３３に記載の方法。
（項目３９）
前記対象のＧＩＴの前記少なくとも関心部分が、区分に分割され、前記画像部分集合のうちの画像が、前記区分に従って、前記対象のＧＩＴの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目３３に記載の方法。
（項目４０）
捕捉された前記生体内画像ストリームの画像の前記洗浄レベルの指示を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目３３に記載の方法。
（項目４１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目３３に記載の方法。
（項目４２）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するための方法であって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
第１の選択方法に従って捕捉された前記生体内画像ストリームから画像部分集合を選択することであって、選択された前記画像部分集合が、捕捉された前記生体内画像ストリームを表す、選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、第２の選択方法に従って前記生体内画像ストリームから１枚以上の対応する追加画像を選択することと、
前記カプセル内視鏡処置の前記精査用情報を生成することであって、前記精査用情報が、選択された前記画像部分集合及び追加情報を含み、前記追加情報が、前記画像部分集合のうちの少なくとも一部分の各画像に対応する、選択された前記１枚以上の追加画像を含む、生成することと、を行うために、１つ以上のハードウェアプロセッサを使用することを含む、方法。
（項目４３）
ユーザのレビューのために、表示装置上に前記精査用情報を表示するために、前記１つ以上のハードウェアプロセッサを使用することを更に含む、項目４２に記載の方法。
（項目４４）
前記精査用情報の前記表示が、
表示装置上に選択された前記画像部分集合を表示することと、
ユーザ入力時に、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する、前記１枚以上の追加画像を表示することと、を含む、項目４３に記載の方法。
（項目４５）
前記精査用情報の前記生成が、前記ＧＩＴの少なくとも前記関心部分の区分への分割、前記ＧＩＴの少なくとも前記関心部分に沿った前記画像ストリームの画像の位置、前記ＧＩＴの少なくとも前記関心部分に沿った前記画像部分集合のうちの画像の指示を含む、前記ＧＩＴの少なくとも前記関心部分を表すマップ、第３の選択方法に従って、前記画像部分集合から選択された複数枚の画像、画像内の関心特徴の指示、浄化レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、前記ＧＩＴの少なくとも前記関心部分の解剖学的断片間の遷移を表す、前記生体内画像ストリームの画像の選択、及びそれらの組み合わせからなる群から選択された、前記画像部分集合のうちの画像に対応する前記追加の１枚以上の画像に加えて、追加情報を生成することを含む、項目４２に記載の方法。
（項目４６）
前記第２の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のＧＩＴのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目４２に記載の方法。
（項目４７）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも１枚の画像を含む、項目４２に記載の方法。
（項目４８）
前記１枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目４２に記載の方法。
（項目４９）
前記第２の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する１枚以上の異なる追加画像を生成する、項目４２に記載の方法。
（項目５０）
少なくとも前記第１の選択方法が、深層学習技術に基づいている、項目４２に記載の方法。
（項目５１）
前記第１の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目４２に記載の方法。
（項目５２）
前記第１の選択方法及び前記第２の選択方法が、各々１つ以上の選択ルールを含む、項目４２に記載の方法。
（項目５３）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するためのシステムであって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
１つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目１～４１のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、
前記精査用情報を表示するように構成された表示装置と、を備える、システム。
（項目５４）
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するためのシステムであって、前記カプセル内視鏡処置が、対象のＧＩＴの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
１つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目４２～５２のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、を備える、システム。
（項目５５）
前記カプセル内視鏡処置を行うように更に構成されており、前記システムが、カプセル装置を更に備え、前記カプセル装置が、前記カプセル装置が前記患者のＧＩＴの前記少なくとも記憶装置関心部分を横断する間に、前記生体内画像ストリームを捕捉するように構成された、少なくとも１つの撮像装置を含み、捕捉された前記生体内画像ストリームが、前記非一時的に提供され、前記非一時的記憶装置が、提供された前記生体内画像ストリームを受信して保存するように更に構成されている、項目５４に記載のシステム。
【図面の簡単な説明】
【0009】
本発明の実施形態は、例として例示されており、添付図面の図に限定されず、同様の参照番号は、対応する類似の要素、又は同様の要素を指示する。
【図1】本発明の実施形態で使用され得る、例示的な計算装置の高レベルブロック図である。
【図2】いくつかの実施形態による、観察者又はユーザに最初に提示される、第１のスクリーン又はデフォルトのスクリーンを示す。
【図3】いくつかの実施形態による、例示的なスクリーンを示す。
【図4】いくつかの実施形態による、追加情報、例えば、精査用情報を表示した例示的なスクリーン又は表示を示す。
【図6A】本発明の一実施形態による、精査用情報ビューモードの概略図を示す。
【図8A】一実施形態によるデフォルトの精査用情報ビューを示す。
【図9A】本開示の一実施形態による、デフォルトのビューモードの例示的なスクリーンショットである。
【図10】本発明の一実施形態によるサンプル表示を示す。
【図11】本発明の実施形態による方法のフローチャートである。
【0010】
例示の簡略化及び明確化のために、図に示す要素は、必ずしも正確に図示されていないか、又は縮尺どおりに図示されていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張されているか、若しくはより強調されてもよく、又はいくつかの物理的構成要素が１つの機能ブロックあるいは要素に含まれてもよい。更に、適切であると考えられる場合、対応する要素又は類似の要素を指示するために、図の中で参照番号が繰り返されてもよい。
【発明を実施するための形態】
【0011】
画像は、（例えば、精査用情報として）レビューする、かつ／又はユーザが更に分析するために表示されてもよい。画像ストリームを表し、第１の選択方法に従って自動的に選択された画像部分集合を表示してもよい。ユーザ入力時には、現在表示されている画像に対応する追加画像が表示されてもよく、この追加画像は、第２の選択方法に従って自動的に選択される。第２の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
詳細な説明
詳細な説明
【0012】
次の詳細な説明では、本発明を十分に理解するために、多数の特定の詳細が記載される。しかしながら、当業者であれば、本発明が、これらの特定の詳細を伴わなくても実施され得ることを理解するであろう。他の例では、よく知られた方法、処置、及び構成要素は、本発明を不明瞭にしないように詳細には説明されていない。一実施形態に関して記載されるいくつかの特徴又は要素は、他の実施形態に関して記載される特徴又は要素と組み合わされてもよい。明確にするために、同じ又は同様の特徴若しくは要素の説明は、繰り返さない場合がある。
【0013】
本発明の実施形態は、この点に関して限定されるものではないが、例えば、「処理する」、「計算する」、「算出する」、「決定する」、「確立する」、「分析する」、「確認する」などの用語を利用した説明は、コンピュータ、計算プラットフォーム、計算システム、又は他の電子計算装置の動作（単数又は複数）及び／又はプロセス（単数又は複数）を指す場合があり、これらの装置は、コンピュータのレジスタ及び／又はメモリ内の物理（例えば、電子）量として表されるデータを、コンピュータのレジスタ及び／又はメモリ内の物理量として同様に表される他のデータ、若しくは動作及び／又はプロセスを行う命令を保存し得る非一時的保存媒体内の他の情報に操作及び／又は変換する。本発明の実施形態は、この点に関して限定されるものではないが、本明細書で使用するとき、「複数（plurality）」及び「複数（a plurality）」は、例えば、「複数（multiple）」又は「２つ以上」を含み得る。「複数ｐｌｕｒａｌｉｔｙ」又は「複数（aplurality）」という用語は、２つ以上の構成要素、装置、要素、ユニット、パラメータなどを説明するために、本明細書全体を通して使用され得る。本明細書で使用するとき、用語セットは、１つ以上の品目を含み得る。別段の記載がない限り、本明細書に記載される方法の実施形態は、特定の順番又は順序に限定されるものではない。加えて、記載される方法の実施形態又はその要素のいくつかは、同時に、同じ時点で、又は共に起こるか、行うことができる。
【0014】
「位置」という用語及びその派生語は、画像に関して本明細書で言及されるように、画像を捕捉している間のＧＩＴに沿ったカプセルの推定位置、又はＧＩＴに沿って画像に散りばめられたＧＩＴの部分の推定位置を指す場合がある。
【0015】
カプセル内視鏡処置の種類は、とりわけ、関心部分であり、かつ、撮像されるＧＩＴの部分（例えば、結腸若しくは小腸（「small bowel、ＳＢ」））に基づいて、又は特定の使用（例えば、クローン病などのＧｌ疾患の状態を確認するため、あるいは結腸癌のスクリーニングのために）に基づいて決定されてもよい。
【0016】
本明細書では、スクリーン／複数のスクリーン、ビュー／複数のビュー、及び表示／複数の表示という用語は、互換的に使用されてもよく、特定の文脈に従って理解されてもよい。
【0017】
「デフォルトのビュー」、「デフォルトの表示」、及び「デフォルトのスクリーン」という用語は、本明細書で言及されるように、それに応じて、「ビュー」、「表示」、並びに「スクリーン」を指す場合があり、これらの「ビュー」、「表示」、及び「スクリーン」は、本システム及び方法による処置の精査用情報のレビューの各開始時に第１に表示され、この第１のビュー、表示、又はスクリーンは、事前定義されており、ユーザ選択の結果ではない。
【0018】
「デフォルトのビュー」及び「デフォルトの表示」という用語は、本明細書では特定の情報のビュー又は表示に関して言及されるように、それに応じて、本システム及び方法による処置の精査用情報のレビューの各開始時に特定の情報の第１の「ビュー」及び「表示」を指す場合があり、特定の情報のこの第１のビュー又は表示は、事前定義されており、ユーザ選択の結果ではない。
【0019】
「デフォルトによって」又は「デフォルトとして」という用語は、本明細書では特定の情報の表示又はビューに関して言及されるように、表示をアップロード、開始、又はトリガするためのユーザ行動又は入力を必要としない特定のビュー、表示、又はスクリーンのフレーム内に表示される情報を指す場合がある。
【0020】
「周囲の」又は「隣接する」という用語は、本明細書では画像（例えば、別の画像／複数枚の画像を取り囲む画像、若しくは他の画像／複数枚の画像に隣接する画像）に関して言及されるように、特に指示がない限り、空間的及び／又は時間的特性に関し得る。例えば、他の画像／複数枚の画像を取り囲むか又はそれらに隣接する画像は、ＧＩＴに沿って他の画像／複数枚の画像の付近に位置すると推定される画像、及び／若しくは特定の閾値内、例えば、１ｃｍ、又は２ｃｍ以内、若しくは１秒、５秒、あるいは１０秒以内の別の画像の捕捉時間の付近で捕捉された画像であってもよい。
【0021】
「ＧＩＴ」及び「ＧＩＴの一部分」という用語は、それらの文脈に従って、各々他方を指すか、又は他方を含んでもよい。したがって、「ＧＩＴの一部分」という用語はまた、ＧＩＴ全体を指してもよく、「ＧＩＴ」という用語はまた、ＧＩＴの一部分のみを指してもよい。
【0022】
本発明の実施形態は、先行技術の用途が、典型的には、第１の又はデフォルトのビュー又は表示として、動画又は画像ストリーム、例えば、一連の時間の流れとして提示される一連の画像を提示する点で、先行技術のＣＥ処置の観察用途とは異なってもよい。本発明の実施形態では、例えば、嚥下式カプセルを介してＧＩＴから収集された画像集合は、処理され、次いで、例えば、記載されるシステム及び方法の実施形態に従ってカプセルが捕捉した後に、処置の精査用情報のレビューの各開始時に、画像がアップロードされるか、又は処理されると、例えば、デフォルトの又は第１のビューとして、静止画像の集合として、最初に提示されてもよい。デフォルトのビューで提示される各画像は、関心特徴（例えば、病態の特定の事例）のものであってもよく、デフォルトのビューには示されていない、その同じ特徴の他の画像（例えば、病態の同じ事例）に関連付けられてもよく、又はそれらに対応してもよい。関心特徴の事例を表すように表示された単一の静止画像を指示するか、又は選択する（例えば、入力装置を使用してクリックする）ことは、例えば、特徴の事例も示す動画像又はスクロール可能な一連の画像であってもよい、第２のレベルの情報又は追加情報のビューを提示してもよい。
【0023】
ＧＩＴ（例えば、ＳＢ）、大腸、又は結腸、食道、胃などの異なる部分の画像が提示されてもよく、ユーザインターフェースは、表示された異なる部分に従って変化してもよい。行われた処置の種類、例えば、ＳＢ処置、又は結腸処置、若しくはその両方の処置（例えば、ＳＢを具体的に示すか、あるいは確認することを目的とした処置、又は結腸を具体的に示すか、若しくは確認することを目的とした処置、あるいはその両方）は、ＧＩＴのどの部分が関心部分であるかを決定してもよい。典型的には、表示された大部分の画像は、関心部分である。各関心部分は、区分に分割されてもよい。各区分（例えば、その区分内に位置すると推定されるＧＩＴの部分を示す画像）は、例えば、異なるタブを介して、異なるビューで表示されてもよい。例えば、関心部分が結腸である（例えば、処置は、結腸処置である）場合、５つの解剖学的区分（盲腸、上行結腸、横行結腸、下行結腸、及び直腸）に区分化されてもよく、各区分は、タブを介してアクセス可能な別個のビューを有する。したがって、ユーザには、盲腸、上行結腸、横行結腸、下行結腸、及び直腸とラベル付けされたタブが提示され、盲腸をクリックすると、盲腸内に位置すると推定された、受信した画像ストリームの画像を最良に表すと推定される第１のレベルの集合を示してもよい。
【0024】
第２のレベルの画像は、第１のレベルの画像と同じスクリーン上に表示してもよいし（例えば、第１のレベルの画像は、その対応する第２のレベルの画像を表示するために、動画像又はスクロール可能な画像として表示されるように遷移されてもよく、他の第１のレベルの静止画像は、表示装置上に残っている）、又は異なるウィンドウ若しくはポップアップウィンドウに表示されてもよい。第２のレベルの画像は、画像捕捉時間に従って、対応する第１のレベルの画像に先行する、及び／又はそれに従うか、若しくは続いてもよい。第２のレベルの画像には、対応する第１のレベルの画像（シード画像）を含んでもよく、又は第２のレベルの画像の表示には、対応する第１のレベルの画像を含んでもよい。したがって、対応する第１のレベルの画像を含むか、又はそれを追加した第２のレベルの画像は、それらの捕捉時間に従って表示されてもよい。次いで、第２のレベルの画像は、第１のレベルの画像（例えば、「最良の」代表的な画像）をゼロと番号付けするように、第２のレベルの画像又は他の第２のレベルの画像を、画像ゼロから、画像内のそれらの距離によって番号付けするように、番号付けしてもよい。
【0025】
ユーザは、チェックボックスをクリックするか、又は他の方法で第１のレベルで表示された画像を選択して、その画像をレポート又は最終レポートに配設してもよい（典型的には、ユーザが画像をレビューした後に表示又は配信される）。ユーザは、第１のレベルの画像をフィルタリングして、「選択した」画像のみを表示させてもよい。（例えばポリープ用の）自動病態サイズ推定ツール及び病態サイズ推定ツールなど、様々なツール又は画像分析能が提示されてもよい。画像は、他の方法でユーザ入力に基づいてフィルタリング及び／又は選択的に表示されてもよい。
【0026】
異なる種類の画像表示又はビューは、行列ビュー又は格子ビュー、カルーセルビュー（例えば、リング状の画像を真横から見るように画像を表示し、１枚の「現在の」画像は前面に最大表示し、他の画像は「リング」の周りに縮小サイズで表示する）など、ユーザが選択してもよい。マップ又は「ヒートマップ」は、特定の画像をＧＩＴに沿って空間定位に関連付けてもよく、特定の特徴又は特徴の組み合わせは、例えば、色を使用して、ヒートマップに沿って指示する特徴の「広がり」又は長さを有する。マップは、ＧＩＴの一部分、又はＧＩＴの関心部分を表してもよい。マップは、画像が撮影されたＧＩＴの一部分を表してもよく、かつ／又は画像の推定位置に対応するマーカを含んでもよいという点で、第１のレベルの画像に対応してもよい。したがって、マップは、ＧＩＴ内の画像の位置又は推定位置に従って画像を表す局所化された画像指示又はマーカを含んでもよい。
【0027】
本明細書で使用するとき、位置、サイズ、又は浄化レベルなどのプロセッサから導出した記述は、プロセッサ及びアルゴリズム方法が利用可能な情報に基づいて、推定又は概算してもよい。
【0028】
ユーザは、画像に情報を追加してもよく、かつ／又は情報は、自動的に画像に追加され得る。例えば、ユーザは、選択可能な病態の種類を使用して画像にラベルを付けてもよい。プロセスでは、画像内の画像内で自動的に特定された病態の位置の周りにボックス又は境界を自動的に図示してもよい。
【0029】
いくつかの態様によれば、精査用情報の作成又は生成は、画像部分集合のうちの画像に対応する追加の１枚以上の画像に加えて、追加情報又は第２のレベルの情報を生成することを含んでもよい。例えば、追加情報には、ＧＩＴの少なくとも関心部分の区分への分割、ＧＩＴの少なくとも関心部分に沿った画像ストリームの画像の位置、ＧＩＴの少なくとも関心部分に沿った画像部分集合のうちの画像の指示を含む、ＧＩＴの少なくとも関心部分を表すマップ、第３の選択方法に従って、画像部分集合から選択された事前定義された枚数の画像、画像内の関心特徴の指示、画像、区分、及び／又は処置ごとに決定された洗浄レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、ＧＩＴの少なくとも関心部分の解剖学的断片間の遷移を表す生体内画像ストリームの画像の選択、及びそれらの組み合わせを含んでもよい。
【0030】
いくつかの態様では、システム又は方法は、ユーザのレビューのために、カプセル内視鏡処置中のカプセル（例えば、患者が嚥下した）が捕捉した画像を含む、カプセル内視鏡処置の精査用情報を表示してもよい。システムは、カプセル内視鏡処置を介して捕捉された患者又は対象のＧＩＴの少なくとも一部分のストリーム若しくは生体内画像集合から選択された画像部分集合（例えば、第１のレベルの画像）を受信してもよい。いくつかの態様によれば、システムは、患者又は対象のＧＩＴの少なくとも一部分のストリーム若しくは生体内画像集合を受信してもよい。次いで、システムは、第１の選択方法に従って、受信したストリーム又は生体内画像集合から画像部分集合を自動的に選ぶか、又は選択してもよく、画像部分集合は、受信したストリーム又は生体内画像集合を「表す」。「表す」とは、患者のＧＩＴの関心部分に関して、医療診断を行うという側面から、又は医療診断を行うことの有益性のため、及び治療決定を行うために表すことを意味する。例えば、システムは、受信した画像内の１つ以上の関心特徴（例えば、１つ以上の種類の病態）を特定してもよい。１つ以上の関心特徴は、特定の種類のカプセル内視鏡処置に基づいて事前決定されてもよい。関心特徴の特定に基づいて、画像部分集合は、とりわけ、特定された病態を表すように選択されてもよい。
【0031】
画像部分集合のうちの少なくとも一部分の各画像について、システムは、画像部分集合（例えば、第２のレベルの画像）のうちの画像に対応する、画像ストリーム又は生体内画像集合から１枚以上の画像を受信、選択、又は特定してもよい。１枚以上の対応する画像は、第２の選択方法に従って選択してもよい。いくつかの態様によれば、画像部分集合の各画像について、対応する１枚以上の画像が選択され、受信される。いくつかの態様によれば、選択された対応する１枚以上の画像は、画像部分集合のうちの対応する画像を含んでもよい。いくつかの態様によれば、対応する１枚以上の画像は、画像部分集合のうちの画像を含まなくてもよい。いくつかの態様によれば、システムは、第２の選択方法に従って、対応する１枚以上の画像を選択してもよい。
【0032】
第２の選択方法は、生体内画像ストリームの画像間のフィルタ又は関係に基づいてもよい。このような画像間のフィルタ又は関係は、同じ特徴（例えば、同じ特定の潰瘍）若しくは同じ種類の特徴（例えば、潰瘍を含むと特定された画像）から少なくとも一部分を含むと特定された画像、ＧＩＴに沿って時間的に近接して捕捉された画像、あるいはＧＩＴに沿って隣接して位置する画像、又はそれらの組み合わせであってもよい。いくつかの態様によれば、画像部分集合から選択された、事前定義された枚数の画像が受信され、表示されてもよい。事前定義された枚数の画像（例えば、５枚の画像、１０枚の画像、又は１０枚を超える任意の枚数の画像）は、ユーザ入力の受信時に表示されてもよい。事前定義された枚数の画像は、画像部分集合を要約するために第３の選択方法に従って選択されてもよい。いくつかの態様によれば、第３の選択方法では、最大関心のものであると決定又は推定された画像部分集合のうちの画像を選択してもよい。例えば、結腸処置では、受信した画像ストリーム又は画像集合のうち、ある程度の確実性でポリープを含むと特定された画像は、画像部分集合の第１の選択方法に従って選択されてもよい。
【0033】
画像部分集合のうちの５つの最大ポリープを含むと特定された５枚の画像、又は最高程度の確実性でポリープを含むと特定された５枚の画像は、第３の選択方法に従って選択されてもよい。本明細書に記載される各画像選択方法は、１つ以上のフィルタ又は選択ルール若しくは検出ルールを含んでもよく、各方法による選択は、１つ以上の段階で行われてもよい。選択ルール又は検出ルールは、アルゴリズム、例えば、具体的には機械学習アルゴリズム及び深層学習アルゴリズムを利用することによって適用されてもよい。例えば、受信した画像ストリームから画像部分集合を選択するとき、１つ以上の関心特徴の検出は、第１の段階で行われてもよい。異なるルール（例えば、アルゴリズム）は、異なる病態、又はＧＩＴの異なる解剖学的部分間の通路など、異なる種類の特徴の検出に使用されてもよい。典型的には、検出アルゴリズムの結果は、画像が、検出された特徴を含む確実性のレベルを指示する画像に割り当てられたスコアであってもよい。第２の選択方法が基づいている関係又はフィルタは、第１のレベルの異なる画像、又は画像部分集合のうちの画像について、対応する異なる追加画像を生成してもよい。少なくとも第１の選択方法は、深層学習技術、例えば、ニューラルネットワーク技術に基づいてもよい。第１の選択方法及び第２の選択方法は、１つ以上の選択ルールを各々含んでもよい。
【0034】
第２の段階の画像は、第１の段階の検出結果に基づいて画像ストリームから選択されてもよい。この選択には、例えば、異なる種類の病態、及び解剖学的部分間の通路など、異なる種類の特徴について異なる選択ルールを含んでもよい。第２の段階における選択ルールは、とりわけ、検出スコアについて決定された閾値に基づいてもよい。例えば、ＳＢ処置では、異なるルールは、第２の段階で画像部分集合の画像を選択するために決定され、画像内で特定された病態又は特徴の種類、Ｇｌ管に沿って特定された病態の広がりの種類（例えば、病巣分布、拡散分布、若しくは「絨毯状」分布）、及び特定された病態の重症度あるいは位置に基づいて決定されてもよい。また、ルールは、特定の特徴ごと、機能の種類ごと、及び／又は選択される画像集合全体ごとに表示される画像の最大枚数にも基づいてもよい。例えば、病巣の病態の場合、システムは、画像部分集合に現れるように、病態を表す１枚の画像（例えば、１つのルール）のみを選択してもよい。拡散病態の場合、システムは、画像部分集合内の病態を表すために、いくつかの画像（例えば、別のルール）を選択してもよい。
【0035】
別の例として、癌スクリーニングツールとして使用される結腸処置において、関心特徴には、１つの病態であるポリープのみを含み得る。その後、システムは、特定された各ポリープの画像部分集合に対して１枚の画像が選択されるルールを含んでもよい。特定されたポリープは、画像のポリープ検出スコアの閾値に従って決定されてもよい。あるいは、又はそれに加えて、第１の部分集合が最大枚数の画像（例えば、５０枚、１００枚、１６０枚、２００枚、又はおよそ数十枚のうちの最大枚数、およそ１００枚のうちの最大枚数、若しくはおよそ数百枚のうちの最大枚数）を含むこととなる別のルールが決定されてもよい。２つのルールが適用され、第１のルールに従って選択された画像の枚数が第２のルールに従って決定された最大枚数を超える場合、第３のルールが適用されてもよい。このような第３のルールでは、最高の検出スコアを有する、第１のルールに従って選択された画像のうち、第２のルールに従った最大枚数の画像が画像部分集合に対して選択されることを決定してもよい。検出スコアの高いポリープが特定された画像は、例えば、このような画像にはポリープを示す確率が高いため、より重要な画像であると考えられてもよい。
【0036】
いくつかの態様によれば、ポリープの潰瘍など、特徴を追跡することに基づくルールが含まれてもよい。このようなルールは、追加の段階で適用されてもよい。このようなルールにより、同じ特定の特徴（例えば、同じポリープ）を撮像する画像の特定を可能にし得る。このようなルールは、画像部分集合のうちの画像に示す、同じ特徴の少なくとも一部分を示す１枚以上の画像を決定するために、第２の選択方法で使用されてもよい。このような特徴追跡は、例えば、米国特許第９，４３０，７０６号に開示され、参照によりその全体が本明細書に組み込まれるような方法、又はオプティカルフロー技術に基づいて行われてもよい。
【0037】
システムは、例えば、本明細書に記載される方法を利用することによって、カプセル内視鏡処置の精査用情報を作成又は生成してもよい。この精査用情報には、少なくとも選択された画像部分集合（例えば、レベル１のビュー）及び任意に追加情報を含んでもよい。追加情報には、例えば、「レベル１」の画像部分集合のうちの少なくとも一部分の各画像に対応する、（例えば、システムによって）選択された１枚以上の追加画像を含んでもよい。追加情報には、ＧＩＴに沿って表示された画像の位置確認、表示された画像内の特定された特徴又は疑わしい特徴の位置及び／若しくは種類の指示、ＧＩＴに沿って特定された特徴あるいは疑わしい特徴の範囲又は特徴の種類（例えば、「絨毯状の」病態若しくは拡散性疾患の範囲）の指示、ＧＩＴの関心部分の区分化の指示、ＧＩＴの解剖学的部分の指示、並びにＧＩＴの異なる解剖学的部分間の解剖学的通路を表す画像の表示などの情報を更に含んでもよい。いくつかの態様によれば、追加情報の一部分又は追加情報の全ては、ユーザ入力時にのみ、例えば、行動を介した（例えば、制御部を起動するか、若しくは特定の表示エリアの上に移動することによる）ユーザ要求時にのみ表示されてもよい。いくつかの態様によれば、レベル１の画像及び／又はレベルの２の画像は、静止した様式で表示されてもよい。典型的には、レベル２の画像は、ユーザがレベル１の画像を選択して更にレビューするときにのみ表示されない。典型的には、第２のレベルの画像集合には、第１のレベルの画像として含まれないか、又は表示されない１枚以上の画像を含む。精査用情報画像は、第１のレベルの画像と同じビュー（例えば、同じウィンドウに表示されるとき）、又は異なるビュー（例えば、ポップアップウィンドウに表示されるとき）で表示されてもよい。
【0038】
精査用情報は、ユーザのレビューのために、１つ以上のビューで表示され得る。各精査用情報ビューは、画像部分集合の少なくとも表示を含んでもよい。異なる精査用情報ビューは、例えば、画像表示のレイアウト（例えば、行列又はカルーセル）、画像表示ブラウジング（例えば、静止した様式若しくは映像）を特徴としてもよく、これらにより、精査用情報の追加情報が表示され（全ての場合）、この様式で追加情報が表示される。例えば、いくつかの態様によれば、２つの精査用情報ビューが表示されてもよい。１つのビューには、画像部分集合（例えば、「第１のレベル」又は「レベル１」の画像）の追加情報（例えば、ＧＩＴ区分化及び区分の浄化レベル）と共に静止した様式の行列のレイアウトの表示を含むが、画像部分集合（例えば、「第２のレベル」又は「レベル２」の画像）のうちの画像に対応する１枚以上の画像の表示は含まない。第２のビューには、カルーセルのレイアウト内の画像部分集合の表示、及び第２のレベルの画像を含む、精査用情報に含まれる追加情報の全ての表示を含んでもよい。複数の精査用情報ビューの場合、１つのビューは、デフォルトの精査用情報ビューとして定義されてもよい。デフォルトの精査用情報ビューは、他の精査用情報ビューとは対照的に、表示のためにユーザによって選択されない。精査用情報ビューのために特定の処置が選択されると、デフォルトの精査用情報ビューが表示される。したがって、デフォルトの精査用情報ビューは、表示される第１の精査用情報ビューである。単一の精査用情報ビューの場合、単一の精査用情報ビューは、デフォルトの精査用情報ビューである。
【0039】
精査用情報ビューには、１つ以上のビューを含んでもよい。画像部分集合は、精査用情報ビューのメインビュー又はデフォルトのビューで表示される。精査用情報ビューのメインビュー又はデフォルトのビューには、ＧＩＴに沿って画像部分集合のうちの画像の位置を確認するマップ、画像部分集合のうちの各画像に対する洗浄レベルの指示、ＧＩＴの関心部分の区分化、画像部分集合のうちの画像の捕捉時間、及び／又はＧＩＴ関心部分の推定通過時間（例えば、カプセル装置がＧＩＴ関心部分を横断するのにかかった時間の推定）などの追加情報の表示を更に含んでもよい。他の追加情報は、表示された画像部分集合のうちの画像に対応する、追加の１枚以上の画像の表示など、ユーザ入力の受信時にのみ表示されてもよい。このような「任意の」情報表示（例えば、ユーザがこの追加情報が表示されているかどうかを決定するためのもの）は、メインビュー又は別個のビュー内にあってもよい。例えば、画像部分集合のうちの画像に対応する追加の１枚以上の画像は、メインビュー内、例えば、画像部分集合うちの対応する画像が表示される同じ画像ウィンドウ内、又は精査用情報ビューのメインビューの異なる専用エリア内に表示されてもよい。別の例では、画像部分集合のうちの画像に対応する追加の１枚以上の画像は、ポップアップウィンドウなどの別個のビューで表示されてもよい。
【0040】
精査用情報表示又はビューには、複数の特徴を含んでもよい。精査用情報表示特徴には、画像部分集合を表示する様式、同時に表示された画像の枚数を含む画像の表示（例えば、カルーセル又は行列）のレイアウト、画像間のブラウジングの様式（画像の全てが同時に表示されない場合）、及び追加情報の表示を含んでもよい。例えば、特徴には、どの追加情報が特定の表示装置又はビューに表示されてもよいか、どの追加情報が表示されないかを含んでもよい。追加情報の表示に関する特性には、どの情報が特定のビューにデフォルトで表示されるのか、どの情報がユーザ要求（例えば、画像の特徴に対する指示の表示）時にのみ特定のビューに表示されるのかを決定することを含んでもよい。精査用情報表示特性には、具体的には、第２のレベルの画像を、例えば、カルーセル様式で、又は映像クリップとして、第１のレベルの画像と同じウィンドウ内に、若しくはポップアップあるいは別のウィンドウ又はスクリーンに、数枚の画像を一度に１枚ずつ若しくは同時に表示するレイアウトを含んでもよい。いくつかの態様によれば、表示されている画像集合内の画像間のブラウジングは、静止した様式で（例えば、画像あるいは画像のページ間のブラウジングが、ユーザ入力によってのみ行われる場合）、又は自動的に（例えば、ユーザがブラウジング制御部を起動し、ブラウジングが、表示されている画像集合の画像若しくはページ間で自動的に行われるとき）、画像ごと（例えば、各ブラウジング行動が、現在表示されている１枚の画像のみを置換する）、又はページ若しくはスクリーンごと（例えば、複数枚の画像が同時に表示されている場合、各ブラウジング行動が、現在表示されている画像の全てを置換する）であってもよい。いくつかの態様によれば、画像の表示、例えば、選択された画像部分集合の表示は、ＧＩＴの関心部分の区分ごとであり、この部分の区分化に基づいている。例えば、精査用情報ビューでは、画像集合は、区分ごとに表示されてもよく、各区分は、タブをアクティブ化することによって表示される。いくつかの態様によれば、いくつかの表示又はビュー特性は、ユーザが事前定義してもよく、若しくはユーザ入力（例えば、ビュー内に同時に表示される画像の枚数）時に変更してもよい。いくつかの実施形態では、ユーザは、画像間、又は第１のレベルの画像集合の「ページ」間を移動するために、表示をブラウズするか、又は表示させてもよい（例えば、表示がｘ枚の画像を含む場合、次のページをブラウジングすると次のｘ枚の画像が存在する）。（映像表示とは対照的に）自動ブラウジングでは、次の画像又は次の「ページ」に自動的に移動してもよい。
【0041】
一実施形態では、第２のレベルの画像のビュー又は表示において、１枚の画像のみが一度に表示される（複数枚の第１のレベルの画像が同時に表示される第１のレベルの画像とは対照的に）。第２のレベルの画像は、例えば、自動再生モードを使用して、映像クリップとして表示されてもよい。
【0042】
精査用情報には、システムがユーザに提供する画像の全て及び情報、例えば、画像の捕捉時間、画像（第１のレベル及び第２のレベル）、並びにシステムが行う症例若しくは処置に関連するデータの分析結果などの追加データを含む、医者に提示された症例又は処置に関連する全てのデータを含んでもよい。また、精査用情報には、患者情報（例えば、詳細、背景、履歴）を含んでもよい。
【0043】
いくつかの態様によれば、システムの実施形態では、表示装置（例えば、モニタ）上に、ユーザのレビューのための画像部分集合を表示してもよく、典型的には、表示された画像には、群ごとに１枚以上の代表的な画像があり、したがって、異なる群の各々には、１枚以上の代表的な画像が「第１のレベル」の表示で表示されてもよい。第１のレベルの表示には、例えば、ユーザ入力又は選択なしに、これらの画像を「デフォルト」で表示してもよく、この第１のレベルの表示では、動画像又は動画ではなく、静止した様式で画像を表示してもよい。
【0044】
第１のレベルの画像又は「代表的な」画像のうち、この処置で使用されるカプセル装置の単一の撮像装置によって捕捉された画像は、同時に表示されてもよい。ビュー又は表示内に同時に表示されてもよい画像の枚数、又は画像の最大枚数、例えば、第１のレベルの画像の枚数若しくは最大枚数は、事前定義されてもよい。
【0045】
いくつかの態様によれば、精査用情報には、精査用情報のデフォルトのビューで表示された第１のレベルの情報を含む。したがって、第１のレベルの情報の表示は必須であり、この種類の情報を表示するかどうかをユーザが決定するものではない。いくつかの態様によれば、第１のレベルの情報は、カプセル装置又は受信装置から受信したストリーム又は画像集合を表す選択された画像部分集合のみからなる。また、精査用情報には、第２のレベルの情報も含んでもよい。第２のレベルの情報は、ユーザ入力時にのみ（例えば、ユーザの要求に応じて）表示されてもよく、したがって、その表示は、任意であってもよい。第２のレベルの情報は、第１のレベルの情報に追加的な情報を提供してもよい。第２のレベルの情報、又は少なくともその一部分は、画像部分集合のうちの画像に関連付けられるか、又はそれらに対応する。
【0046】
処置に関連する情報のこのような選択及び表示は、ユーザによるレビュープロセスをより効率的にし、レビュー時間を短縮し、より良好な診断をもたらし得る。本方法及びシステムによれば、ユーザは、自身のスキル及び好み、並びに／又は特定の患者、処置、及び／又は精査用情報から導出する必要性に適合する様式で、精査用情報をレビューしてもよい。このようにして、開示されるシステム及び方法は、処置精査用情報の個人向けのレビューを可能にし得る。例えば、熟練したユーザは、初心者のユーザよりも少ない情報で診断を行ってもよい。したがって、初心者又は熟練度の低いユーザは、熟練したユーザには必要のない追加情報を表示してレビューするために選んでもよい。別の例として、病気であると考えられる、及び／又は病気であることが既知である対象に行った処置の精査用情報のレビューには、健康であると考えられる、及び／又は健康であることが既知である対象に行った処置の精査用情報のレビューよりも多くの追加情報の表示を含んでもよい。
【0047】
更に、一般的ではないか、又はこれまでＣＥ処置の精査用情報の枠内でユーザに表示若しくは提供されていなかった追加情報は、記載されるシステム及び方法の実施形態に従って提供されてもよい。このような情報は、診断及び／又は治療決定を行う際にユーザを助けて支援し、より迅速かつより良好な診断及び治療をもたらし得る。追加情報には、とりわけ、深層学習技術など、最先端のコンピュータ支援による意思決定技術を採用することによって、生成又は達成された情報を含む。
【0048】
いくつかの態様によれば、ユーザは、第２のレベルの情報を表示するために、第１のレベルの表示内の１枚の画像を（例えば、グラフィカルユーザインターフェース（ＧＵＩ）にユーザ入力を提供することによって）選択してもよく、画像は、画像の群に対応しており、したがって、その群内にまだ表示されていない他の画像に対応してもよい。いくつかの態様によれば、群内の全ての画像は、同じ自動的に見い出された関心特徴を含むか、又は撮像してもよく、したがって、第１のレベルで表示された単一の画像以外の群内の画像（第１のレベルの画像に対応する画像）は、第１のレベルでその群に対して表示された画像内に示すものと同じ特徴を示してもよい。第１のレベルの画像に関するユーザ入力を受信したら、システムは、現在表示されている画像部分集合のうちの選択された第１のレベルの画像に対応する１枚以上の画像を表示してもよい。これにより、追加情報の第２のレベルの表示を生じさせてもよい。例えば、選択された画像の群は、静止した様式で表示されてもよく、次いで、ユーザは、群内の画像を順序通りに表示させる画像の群をスクロールすることができるか、又は画像の群を映像クリップとして表示するなど、別の表示方法を使用してもよい。ユーザは、画像の表示中に、表示されている画像に関して情報を追加するか、又は注釈を付けてもよい。ユーザが画像のレビューを終了した後、システムは、ユーザが選択した、表示された画像からの画像を含み、他の画像は含まないレポートを作成又は生成してもよい。いくつかの実施形態では、このレポートには、ユーザが観察した画像、及び場合によってはユーザ入力情報のみを含んでもよく、捕捉された生体内画像ストリームの他の画像は含まない。典型的には、選択された画像部分集合、及び部分集合内の画像に対応する画像のみが、ユーザのレビューについてレポート内に表示するために利用可能である。
【0049】
いくつかの態様によれば、中間精査用情報が表示され、開示されたシステム及び方法によって任意に生成されてもよい。中間精査用情報は、カプセル装置から、又はカプセル装置と通信する受信装置から受信した部分的なストリーム又は画像集合に基づいて生成されてもよい。画像の部分的なストリームには、処置の開始に関して特定の時点のみ（例えば、対象がカプセルを嚥下する）まで、又はＧＩＴの関心部分内の特定の位置にカプセルが到達するまで、及び処置の終了前に捕捉された画像のみを含んでもよい。画像の部分的なストリームが受信され、中間精査用情報の生成が行われ、中間精査用情報のレビューが、典型的には処置中の医療従事者によってなされる。いくつかの態様によれば、中間精査用情報は、カプセル装置がＧＩＴの関心部分の端部に到達する前に、生成されて表示される。ユーザのレビューのための中間精査用情報の生成及び表示は、開示されたシステムによって、及び必要な変更と共に開示された方法に従って、行われてもよい。中間精査用情報には、受信した画像の部分的なストリームから選択される画像部分集合を含んでもよい。中間精査用情報には、典型的には、完全精査用情報（例えば、精査用情報）と比較して、より少ない追加情報を含んでもよい。例えば、いくつかの実施形態では、中間精査用情報には、第２のレベルの画像を含まない。次いで、ユーザは、本明細書に開示されるシステム及び方法を使用することによって、中間精査用情報に基づいて中間レポートを生成してもよい。中間精査用情報を使用して、必要な医療診断及び治療を提供してもよく、これには、ＣＥ処置が完了した同日又は直後に行われる医療処置を受けるために患者を紹介することを含む。
【0050】
例えば、医療従事者が中間精査用情報のレビューをしている間に、除去すべきポリープが特定された場合、患者を同日の大腸内視鏡検査に紹介してもよい。同日の大腸内視鏡検査には利点があり得、この利点には、患者の別の結腸前処置を省くことを含む。いくつかの態様によれば、ユーザは、中間精査用情報が生成される画像の部分的なストリームを決定する、ＧＩＴの関心部分内の特定の時点又は特定の位置などのパラメータを決定してもよい。いくつかの態様によれば、ユーザは、中間精査用情報を受信する時間帯を選択してもよい。
【0051】
最後の画像が表示されてもよい。最後の画像は、カプセルが捕捉した最後の画像か、又はカプセルが捕捉した最後の位置に位置することが特定された画像であってもよい（カプセルが前後に進むことに留意されたい）。これは、例えば、カプセルがどこまで画像を捕捉したか、関心部分に到達したかどうかを医者に知らせるために表示されてもよい。最後の画像は、画像部分集合の一部であってもよく、又は追加情報の一部であってもよい。
【0052】
いくつかの実施形態によれば、生体内で捕捉した画像を受信してもよく、複数枚のこれらの画像は、表示用に自動的に（例えば、図１に示すプロセッサによって）選択されてもよい。いくつかの実施形態では、これらの選択された画像部分集合は、自動的にかつ／又はユーザによって特定されてもよく、画像の特定された部分集合（例えば、部分集合内の画像の１枚以上又は全て）からの画像のみを含む症例レポート又はレポートが生成されてもよい。
【0053】
表示用に選択された画像は、例えば、特定の病態、異常、又は普通とは異なるものを含む疑わしい画像、及び／又はＧＩＴの特定の部分若しくはＧＩＴの特定の解剖学的エリアを表すか、あるいは示すために選択された画像であってもよい。
【0054】
開示されたシステム、方法、及びコンピュータプログラム製品は、選択された画像及び／又は生体内で捕捉された画像ストリーム全体及び／又はその一部分を受信するか、若しくはそれらにアクセスし得る１つ以上のソフトウェアアプリケーションを介して実現又は実行されてもよい。このようなアプリケーションにより、例えば、選択した画像をユーザに表示し、ユーザと対話し（例えば、ＧＵＩを介して）、ユーザが表示した画像の分析を容易にし、表示された画像の自動分析を提供し、かつ／又はレポートを生成してもよい。本開示のいくつかの実施形態によれば、このようなアプリケーションは、表示される画像の選択を行ってもよい。本開示によるシステム及びコンピュータプログラム製品には、（画像、画像ストリームなどのデータも保存してもよい）１つ以上の非一時的コンピュータ可読保存媒体を含んでもよい。本開示によるシステムには、１つ以上のハードウェアプロセッサ、１つ以上の表示装置、１つ以上のＩ／Ｏ装置、及び／又は１つ以上の通信技術を利用する１つ以上の通信装置を含んでもよい。１つ以上のソフトウェアアプリケーションには、１つ以上の非一時的コンピュータ可読保存媒体に保存され、１つ以上のハードウェアプロセッサによって実行可能なプログラムコードを含んでもよい。画像及び／又は任意の更なるデータは、１つ以上の表示装置を介してユーザに表示されてもよく、ユーザは、１つ以上のＩ／Ｏ装置を介して１つ以上のアプリケーションと対話してもよい。画像ストリーム、画像の一部分、又は画像ストリームの選択された部分集合は、１つ以上の通信装置によって（例えば、インターネットを介して）受信又はリモートアクセスされてもよい。
【0055】
図１は、本発明の実施形態で使用され得る、例示的な計算装置の高レベルブロック図を示す。計算装置１００は、例えば、１つ以上の中央処理装置プロセッサ（単数又は複数）（central processing unit、ＣＰＵ）、１つ以上のグラフィック処理装置（単数又は複数）（Graphics Processing Unit、ＧＰＵ若しくはＧＰＧＰＵ）、チップあるいは任意の好適な計算装置又はコンピュータ装置、オペレーティングシステム１１５、メモリ１２０、記憶装置１３０、入力装置１３５、及び出力装置１４０であるか、若しくはこれらを含み得る、コントローラあるいはプロセッサ１０５を含んでもよい。嚥下式内視鏡カプセルが収集した医用画像を表示するために収集又は受信（例えば、患者が装着した受信機）若しくは表示あるいは選択するモジュール又は機器は、図１に含まれるような計算装置であってもよく、若しくはそれを含んでもよく、あるいはそれによって実行されてもよい。通信要素１２２は、例えば、インターネット又は別のネットワークを介して、無線などを介して、リモート装置若しくは外部装置との通信を可能にし得る。
【0056】
オペレーティングシステム１１５は、計算装置１００の動作を調整、スケジューリング、仲裁、監督、制御、又は他の方法で管理するタスク、例えば、プログラムの実行をスケジューリングするタスクを行うように設計及び／又は構成された任意のコード区分であってもよいし、又はそれを含んでもよい。メモリ１２０は、例えば、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、読み出し専用メモリ（readonly memory、ＲＯＭ）、ダイナミックＲＡＭ（Dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（Synchronous DRAM、ＳＤ ＲＡＭ）、ダブルデータレート（doubledata rate、ＤＤＲ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリ装置、長期メモリ装置、又は他の好適なメモリ装置若しくは記憶装置であってもよいし、あるいはそれらを含んでもよい。メモリ１２０は、複数のメモリ装置、場合によっては異なるメモリ装置であってもよいし、又はそれらを含んでもよい。メモリ１２０は、例えば、方法（例えば、コード１２５）を実行するための命令、及び／又はユーザ応答、割り込みなどのデータを保存してもよい。
【0057】
実行可能なコード１２５は、任意の実行な可能コード、例えば、アプリケーション、プログラム、プロセス、タスク、又はスクリプトであってもよい。実行可能なコード１２５は、場合によってはオペレーティングシステム１１５．の制御下で、コントローラ１０５によって実行されてもよい。例えば、実行可能なコード１２５が実行されたとき、実行可能なコード１２５は、本明細書に記載されるような医用画像の表示のために表示又は選択させてもよい。いくつかの実施形態では、２つ以上の計算装置１００又は装置１００の構成要素は、本明細書に記載される複数の機能に使用されてもよい。本明細書に記載される様々なモジュール及び機能のために、１つ以上の計算装置１００又は計算装置１００の構成要素を使用してもよい。計算装置１００に含まれる構成要素と同様又は異なる構成要素を含む装置を使用してもよく、ネットワークに接続され、システムとして使用されてもよい。１つ以上のプロセッサ（単数又は複数）１０５は、例えば、ソフトウェア又はコードを実行することによって、本発明の実施形態を実行するように構成されてもよい。記憶装置１３０は、例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、コンパクトディスク（Compact Disk、ＣＤ）ドライブ、書き込み可能なＣＤ（CD-Recordable、ＣＤ－Ｒ）ドライブ、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）装置、又は他の好適な取り外し可能及び／若しくは固定記憶装置であってもよいし、あるいはそれらを含んでもよい。命令、コード、医用画像、画像ストリームなどのデータは、記憶装置１３０に保存されてもよく、記憶装置１３０からメモリ１２０にロードされてもよく、コントローラ１０５によって処理されてもよい。いくつかの実施形態では、図１に示す構成要素のいくつかを省略してもよい。
【0058】
入力装置１３５は、例えば、マウス、キーボード、タッチスクリーン若しくはパッド、又は任意の好適な入力装置であってもよいし、あるいはそれらを含んでもよい。ブロック１３５で示すように、任意の好適な数の入力装置が計算装置１００に動作可能に接続され得ることが認識されるであろう。出力装置１４０は、１つ以上のモニタ、スクリーン、表示装置、スピーカ、及び／又は任意の他の好適な出力装置を含んでもよい。ブロック１４０で示すように、任意の好適な数の出力装置が計算装置１００に動作可能に接続され得ることが認識されるであろう。任意の適用可能な入力／出力（Ｉ／Ｏ）装置は、計算装置１００、例えば、有線又は無線ネットワークインターフェースカード（network interface card、ＮＩＣ）、モデム、プリンタ、若しくはファクシミリ装置に接続されてもよく、ユニバーサルシリアルバス（ＵＳＢ）装置、あるいは外部ハードドライブは、入力装置１３５及び／又は出力装置１４０に含まれてもよい。
【0059】
本発明の実施形態では、コンピュータ若しくはプロセッサ非一時的可読媒体などの１つ以上の物品（単数又は複数）（例えば、メモリ１２０あるいは記憶装置１３０）、又は例えば、命令、例えば、プロセッサ又はコントローラによって実行されたときに、本明細書に開示される方法を実行するコンピュータ実行可能命令を符号化するか、含むか、又は保存するメモリ、ディスクドライブ、若しくはＵＳＢフラッシュメモリなどのコンピュータあるいはプロセッサ非一時的保存媒体を含んでもよい。
【0060】
図１のようなプロセッサなどを含む複数のコンピュータシステムを使用してもよく、例えば、カプセル、受信機、クラウドベースのシステム、及び／又は画像を表示するためのワークステーション若しくは携帯計算装置は、図１の構成要素を含んでもよい。図１のような構成要素を含むクラウドプラットフォーム（例えば、リモートサーバ）は、画像及びメタデータなどの処置データを受信し、精査用情報を処理並びに生成してもよく、また、医者のレビューのために（例えば、ワークステーション又は携帯コンピュータ上で実行されるウェブブラウザ上に）表示してもよい。「オンプレミス」オプションでは、画像を保存、処理、及び表示するために、医療施設のワークステーション又はローカルサーバを使用してもよい。
【0061】
本開示のいくつかの実施形態によれば、ユーザ、例えば、医師は、対象となり得る画像として、例えば、自動的に選択された（例えば、嚥下式カプセルが捕捉した）静止画像の表示をレビューすることによって、症例の理解を構築してもよい。症例は、例えば、患者の消化管（ＧＩＴ）又はその一部分（例えば、小腸及び／又は結腸）を通るカプセル内視鏡の通過中に捕捉した画像であってもよい。静止画像は、１つ以上のスクリーン内に表示されてもよく、様々なレイアウト（例えば、行列内、横列内、縦列内、及び／又はＧＩＴ若しくはその部分の例示内あるいはその上に）配置されてもよい。いくつかの実施形態によれば、静止画像の表示は、デフォルトの精査用情報表示又は精査用情報モード若しくはビューであってもよい。いくつかの実施形態によれば、画像は、静止した様式でのみ（画像ストリーム又は映像とは対照的に）表示される。ユーザは、例えば、１枚以上の画像間（例えば、画像の群間）をスクロールすることによって、静止画像（例えば、静止した様式で表示された画像）間をブラウズしてもよい。いくつかの実施形態では、静止画像は、ＧＩＴの細長い構造をシミュレートするために水平に表示されてもよい。このような表示により、医師のレビュータスクを容易にし得る。同時に表示される静止画像の枚数は、ユーザが事前決定又は事前選択してもよい。いくつかの実施形態では、同時に表示される画像の枚数は、ユーザが変更してもよい。いくつかの実施形態では、同時に表示される画像の枚数は、３～７枚の画像であってもよい。
【0062】
本開示のいくつかの実施形態によれば、捕捉した画像からの比較的少数枚の画像が、ユーザのレビューのために、症例ごとに表示される。「比較的少数枚」とは、典型的には、症例ごとに数千枚もの画像（例えば、約６，０００枚の画像）を含む画像の映像ストリームを表示する現在の方法とは対照的に、多くても又は少なくとも平均でおよそ数百枚であることを意味する。いくつかの実施形態では、ユーザのレビューのために、数百枚までの画像のみが表示される。いくつかの実施形態では、ユーザのレビューのために表示される画像の枚数は、およそ１，０００枚まで（すなわち、症例ごとに２，０００枚未満）である。
【0063】
静止画像（例えば、静止した様式で表示された画像）をブラウジングすることにより、ユーザは、画像の映像ストリーム（例えば、動画）を視聴又はレビューすることとは対照的に、画像の各画像及び／又は各群（又は配列）の表示の時間及び様式をより制御することが可能になる。数千枚の画像の映像ストリームをブラウジング又はレビューすることとは対照的に、比較的少量の静止画像をブラウジングすることにより、ユーザのレビュープロセスが大幅に容易になり、症例ごとの読み取り時間が短縮され、より良好な診断がもたらされ得る。
【0064】
症例又は精査用情報ごとに、比較的少数枚の画像のみを選択して表示及びレビューすることは、とりわけ、症例ごとに高感度性（例えば、関心画像を特定する確率が高い）並びに高特異性（例えば、対象とならない画像を特定する確率が高い）が得られる選択方法又は意思決定方法を利用することによって可能になり得る。いくつかの実施形態によれば、画像選択は、深層学習方法などの最先端の方法を利用することによって行われてもよい。
【0065】
本開示によるいくつかの実施形態では、（例えば、選択された画像を除いて）カプセル内視鏡処置に関する追加情報が表示されてもよい。追加情報は、デフォルトとして（例えば、デフォルトのスクリーン内に）表示されてもよく、又はユーザの要求に応じて、若しくはユーザあるいは入力後に表示されてもよい。
【0066】
いくつかの実施形態では、追加情報は、現在表示されている画像又は現在表示されている画像の群を指してもよい。例えば、ユーザは、現在表示されている静止画像又は複数枚の静止画像を指示して、指示された画像／複数枚の画像に関する追加情報を受信してもよい。追加情報には、例えば、指示された画像／複数枚の画像の周囲又はそれらに隣接する１枚以上の画像、指示された画像／複数枚の画像内の関心エリアの指示、及び／若しくは病態／複数の病態の種類並びに／あるいはサイズ、及び／又は指示された画像に含まれる疑いがあるか、若しくは（例えば、ある程度の確実性をもって）特定される、任意の他の関心構造あるいは特徴のうちの１つ以上を含んでもよい。
【0067】
いくつかの実施形態では、症例（例えば、患者又は処置によりカプセルが１回通過する間に患者から撮影された画像集合）の表示には、ユーザ入力及び設定に応じて、別個に若しくは一緒に表示され得る２つのレベルあるいはカテゴリの情報を含んでもよく、これらには、選択された静止画像がユーザのレビューのためにデフォルトで表示されるデフォルトの表示（例えば、精査用情報のデフォルトのビューのメインビュー）を含む”第１のレベル（例えば、「レベル１」）の情報、及び追加情報の表示を含み、ユーザ要求に応じて、又はユーザの行動後に表示されてもよい第２の任意のレベル（例えば、「レベル２」）の情報を含む。
【0068】
デフォルトの又は第１の若しくはメインスクリーンあるいは表示（例えば、デフォルトの精査用情報ビューの）には、関心画像として自動的に選択されていてもよい、症例の「第１のレベル」の画像、例えば、（ある程度の確実性を有する）病態を示す画像を含んでもよい。いくつかの実施形態では、複数枚の画像が特定の病態（例えば、潰瘍）を捕捉するものとして特定された場合、これらの画像のうちの１枚のみが、デフォルトの又はメインスクリーン（例えば、第１のレベル画像）に提示されるように選択されてもよい。他の特徴又は構造は、病態（例えば、特定の解剖学的構造又は異物、異常、これらの組み合わせなど）とは別個の関心構造として特定されてもよい。ユーザは、第１のレベルから画像を選択してそれを有効化し、第１のレベルの選択された画像に関連して第２のレベルの画像を視聴してもよい。例えば、ユーザが、第１のレベルの表示から潰瘍の画像を選択する（例えば、クリックするか、又はその上に移動するか、若しくは他の方法で指示する）場合、第２のレベルでは、例えば、ユーザは、（選択された画像の前にある及び／あるいはそれの後にあってもよい）、この潰瘍の他の画像間をスクロールしてもよい。
【0069】
いくつかの実施形態では、（例えば、制御部を介して）表示するための選択、又は第１のレベルの焦点の合っている画像（例えば、ユーザが選択した画像）に対する第２のレベル又はカテゴリの情報の表示は、別個のウィンドウ又はスクリーン（例えば、ポップアップウィンドウ）を介して行われてもよい。典型的には、このような別個のウィンドウ又はスクリーンは、ユーザの要求又は行動時に、例えば、追加のレベル又はカテゴリの表示に関するユーザ入力の受信時に現れる。いくつかの実施形態では、第１のレベルの焦点の合っている画像は、別個のビュー、例えば、別個のウィンドウ又はスクリーンで、その関連する第２のレベルの画像と共に表示される。別個のウィンドウ又はスクリーンは、焦点の合っている画像及びその関連する第２のレベルの情報を表示するために、より多くのスクリーンエリアを提供してもよい。
【0070】
いくつかの実施形態では、第２のレベルの情報及び／又は第２のレベルの情報を表示するための制御部は、同じ初期スクリーン若しくはデフォルトのスクリーンに提示されてもよく、例えば、ＧＵＩ品目は、第２のレベルの表示を要求するか、あるいはそれが表示された後にその第２のレベルの表示を制御するためのユーザ入力を可能にし、第２のレベルの表示は、第１のレベルの表示と一緒に、例えば、同じスクリーン又は表示エリア、若しくは専用のスクリーンあるいは表示エリアに現れてもよい。このような実施形態では、第２のレベルの情報を提示するために、別個のウィンドウ又はスクリーンが必要とされないか、又は表示されない。第１のレベル又はデフォルトの情報を有する同じスクリーン若しくはウィンドウ内に、第２のレベルの情報を提供することによって、ユーザが状況に応じて留まることを可能にし、したがって、レビュープロセスを容易にし、より良好にし得る。
【0071】
いくつかの実施形態では、第２のレベルの情報は、追加画像を含んでもよい。追加画像はまた、受信した一連の画像又は捕捉した画像集合から選択されてもよい。いくつかの実施形態では、第２のレベルの情報には、第１のレベルで表示され、ユーザが指示した１枚以上の静止画像の周囲の複数枚の画像を含んでもよい。周囲の画像は、指示された画像（単数又は複数）の捕捉時間に関する捕捉時間に従って、かつ／又は指示された画像（単数又は複数）の位置に関する、撮像されたＧＩＴ部分に沿ったそれらの位置に従って選択されてもよい。いくつかの実施形態では、第１のレベルの指示された画像（単数又は複数）に最も隣接する、事前決定された枚数の画像は、第２のレベルで表示されてもよい。いくつかの実施形態では、第２のレベルの表示には、指示された第１のレベルの画像（単数又は複数）、及び指示された第１のレベルの画像（単数又は複数）を取り囲むか、若しくは捕捉時間頃に捕捉した画像の表示を含んでもよい。いくつかの実施形態では、第２のレベルの表示は、例えば、第１のレベルの２枚の画像が撮像されたＧＩＴ部分内に隣接して位置すると推定される場合に、第１のレベルの２枚以上の画像に対して組み合わされてもよい。いくつかの実施形態では、追加の画像及び指示された画像は、静止画像として及び／又は動画像として（例えば、映像クリップ、動画シーケンス、若しくは動画として）、第２のレベルで表示されてもよい。
【0072】
本開示によるいくつかの実施形態では、静止画像は、例えば、Ｇｌ管内の画像の捕捉部位の位置を提供する位置情報と共に、局所的に表示されてもよい。いくつかの実施形態では、表示用に選択された画像の全ては、局所的に表示されてもよい。いくつかの実施形態では、画像の位置確認は、ユーザの要求に応じてのみ（例えば、第２の情報レベルの一部として）提供されてもよい。典型的には、ユーザ要求、又はユーザ選択、若しくはモードのユーザ変更、あるいは他の入力は、（例えば、図１に示すように、入力装置を介して）計算装置への入力として受信される。いくつかの実施形態では、ユーザが関心画像として選択された画像、例えば、結腸処置におけるポリープを図示するように医師が特定した画像のみが、局所的に表示される。所見又は病態の位置確認により、例えば、治療決定又は提供された治療に影響を及ぼし得る重要な情報が提供され得る。したがって、例えば、特定されたポリープの位置により、ポリープを除去するためにＳ字結腸鏡処置又は大腸内視鏡検査を行うべきかどうかを判断してもよく、それを行っている間に医師を誘導してもよい。
【0073】
撮像されたＧＩＴ部分は、区分に分割されてもよい。例えば、小腸は、例えば、米国特許公開第２０１９／０２４４３５１号に開示され、参照によりその全体が本明細書に組み込まれる方法、又は他の既知の方法に従って、長さが等しい３つの区分に分割されてもよい。結腸は、例えば、盲腸、上行結腸又は右結腸、横行結腸、下行結腸若しくは左結腸あるいは左結腸－Ｓ字結腸、及び直腸の５つの解剖学的区分、又は、例えば、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔｅｃｈｎｉｏｎ．ａｃ．ｉｌ／～ｃｓ２３４３１３／ｐｒｏｊｅｃｔｓ ｓｉｔｅｓ／Ｓ１８／１２／ｓｉｔｅ／に開示され、参照によりその全体が本明細書に組み込まれる方法に基づいて脾弯曲部によって分離された２つの解剖学的区分に分割されてもよい。画像（例えば、第１のレベルの画像、第２のレベルの画像、又はその両方）の表示には、各画像が位置する区分の指示を含んでもよい。いくつかの実施形態では、区分内の各画像の位置が指示されてもよい。いくつかの実施形態では、特定された関心エリア（例えば、画像内の特定された関心特徴）又はその位置（例えば、画像内の位置）は、画像内に指示されてもよい。例えば、特定されたエリアを等高線で区切るか、又は画像内の特定されたエリアの位置を矢印で指示してもよい。撮像されたＧＩＴ部分に沿った画像の位置は、位置推定の既知の方法によって決定されてもよい。例えば、撮像されたＧＩＴ部分に沿った画像の位置は、対象のＧＩＴを通るカプセル装置の進行状況のコンピュータによる評価に基づいて決定されてもよい。このようなコンピュータによる評価は、例えば、Ｋｒｕｐｎｉｋらによる、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｍｏｔｉｏｎ ｐａｔｔｅｒｎ ｏｆ ｉｎ ｖｉｖｏ ｉｍａｇｉｎｇ ｄｅｖｉｃｅ」と題された米国特許第８，７９２，６９１号に開示され、本出願の共通の譲受人に譲渡された方法及びシステム、又は他の既知の方法に基づいてもよい。
【0074】
一般に、ＧＩＴの解剖学的区分への分割は、例えば、異なる解剖学的区分間のカプセル内視鏡の通路の特定に基づいて行われてもよい。このような特定は、例えば、機械学習技術に基づいて行われてもよい。
【0075】
いくつかの実施形態では、撮像されたＧＩＴ部分の少なくとも全体又はその断片を表すマップが表示されてもよい。マップは、選択された画像（例えば、第１のレベルの画像及び／又は第２のレベルの画像の）指示を含んでもよい。したがって、マップは、疑わしいエリア又は対象となり得るエリア、その範囲（例えば、ＧＩＴの長さに沿ってそれらが発生した）及び／若しくはそれらの分布に関して、撮像されたＧＩＴ部分又はその断片の概要をユーザに提供してもよい。範囲は、システムによって自動的に推定又は生成されてもよく、視覚的に（例えば、マップ上の長さの指示）又は数値的に（例えば、割合などによる範囲の寸法）をユーザに提示されてもよい。マップは、選択された画像間をナビゲートするためにユーザが使用してもよい。いくつかの実施形態では、マップは、バーの形態であってもよいし、又はＧＩＴの形態と同様の形態であってもよい。いくつかの実施形態では、選択された画像の指示は、ＧＩＴに沿った位置に従って選択された画像を表示するバーなど、ＧＩＴの全て又は一部分の抽象化された表現である、ヒートマップの形態であってもよい。「ヒート」は、バーに沿って特定の画像を示す線に割り当てられた色など、マップ上の情報を伝達するために使用される色を指してもよい。異なる色は、例えば、第１又は第２のレベルの画像などの異なる種類の画像を表してもよい。このようなヒートマップ又はバーには、Ｇｌ部分の区分化を指示する線（例えば、異なる色で着色されている）などを含んでもよい。マップの着色断片は、それらの断片に関する特定の情報を提供し得る。システム又はＧＵＩは、マップ内の画像指示又は位置のユーザの選択を受信し、それに応じて、ユーザが選択した画像若しくは位置指示によって表される画像、あるいはマップに指示された画像に関する追加情報を表示してもよい。
【0076】
マップ内の選択された画像の指示は、撮像されたＧＩＴ部分に沿ったそれらの推定位置に従ってもよい。いくつかの実施形態では、撮像されたＧＩＴ部分の区分は、マップ内に指示されてもよい。いくつかの実施形態では、現在表示されている区分（すなわち、現在表示されている画像が位置する区分）は、マップ内に（例えば、区分を着色又は強調表示することによって）指示されてもよい。選択された画像は、それらの時系列順に基づいてマップ内に指示されてもよい。いくつかの実施形態では、焦点の合っている画像は、マップ内に指示されてもよい。ユーザは、表示される画像、又はマップからの焦点上にある画像を選択してもよい。
【0077】
いくつかの実施形態では、マップには、マップが表すＧＩＴ部分に沿って特定された、関心特徴又は構造の種類の指示を含んでもよい。指示は、例えば、特徴の種類を表すアイコン（例えば、出血、潰瘍、又はポリープ）であってもよい。
【0078】
いくつかの実施形態では、マップ及び／又は図形表現は、選択された画像の上方、及び／又はスクリーンの上部に表示されてもよい。このような上部表示は、マップを介して選択された画像をナビゲートすることを容易にし得る（例えば、ユーザは、マップを見るために視線を動かす、例えば、視線を下げる必要はない）。
【0079】
本発明の実施形態によって提供又は表示され得る洗浄レベル又は清淨レベルでは、内容物、糞便、及び食品残留物に対する腸の清浄レベルを説明してもよく、典型的には、カプセル内視鏡処置などの検査処置の前の「準備」後に、この準備処置は、このような視覚的障害物をＧｌ管から洗浄することを意図する。結腸洗浄レベルの既知の標準には、４つのレベルを含む（他の数のレベル又は標準が使用されてもよい）。小腸の洗浄を評価するためのいくつかの方法も存在し、一実施形態では、結腸の洗浄標準を使用して、小腸の洗浄レベルを説明してもよい。
【0080】
いくつかの実施形態では、追加情報には、ＧＩＴの撮像された部分の洗浄レベルの指示を提供する、画像の洗浄レベルの指示又は図形表現を含んでもよい。洗浄レベルは、撮像された画像のシーケンスの各画像について、又は選択された画像の各画像についてのみ、及び／若しくは撮像されたＧＩＴ部分の各区分について、並びに／あるいは撮像されたＧＩＴ部分全体について、（例えば、図１のようなシステムによって自動的に）推定又は決定されてもよい。一般に、撮像されたＧＩＴ部分には、内容物（例えば、撮像を不明瞭にする可能性のある、ＧＩＴ内に自然に生じる物質）及び／又はＧＩＴの組織を不明瞭にする可能性のある気泡などの物質が含まれることがある。次いで、このような障害要素を検出するために、画像を分析してもよい。スコアは、画像内で検出された洗浄レベルを指示する各画像に割り当てられてもよい。いくつかの実施形態では、洗浄レベルは、グラフ又はバー、例えば、色バーの形態で提示されてもよい。いくつかの実施形態では、洗浄レベルの図形表現は、マップの下方、又はマップの上方、及びそれに対応する様式で表示されてもよい。いくつかの実施形態では、低洗浄レベル、中洗浄レベル、及び高洗浄レベルなどのいくつかのカテゴリを決定し、これらのカテゴリに従って画像の洗浄レベルを決定してもよい。
【0081】
いくつかの実施形態では、スコアは、自動的に（例えば、図１に示すシステムによって）決定され、ＧＩＴ（例えば、結腸）の撮像された断片の粘膜到達範囲を反映し得る、各画像又は選択された各画像及び／若しくは区分並びに／あるいは処置に割り当てられてもよい。この物質に対する処置は、特定の時間の事例で特定の患者が一度嚥下した特定のカプセルが捕捉した画像集合であってもよい。例えば、このようなスコアは、ＧＩＴ断片の組織（粘膜）のどれだけ（例えば、割合で）を画像が捕捉したかを反映してもよい。このようなスコアは、例えば、推定又は決定された洗浄レベル、内容物、気泡、カプセル通過時間、カプセル速度、及び／又はカプセル力学に基づいてもよい。スコアは、処置の妥当性に関して医師又は観察者に情報を提供してもよい。このスコアは、洗浄レベルに加えて、又はその代わりに提供されてもよく、洗浄レベルの表示に関して上述したものと同様の様式で表示されてもよい。スコアは、選択した画像のレビュー前に、画像のレビュー中、及び／又は後に、デフォルトで若しくは要求時にユーザに提供されてもよい。
【0082】
いくつかの実施形態では、追加情報には、撮像されたＧＩＴ部分の解剖学的区分又は解剖学的断片間の通路を含むと特定された、捕捉した一連の画像内の一連の画像を含んでもよい。このような通路は、例えば、胃から小腸への通路、小腸から結腸への通路、又は結腸から患者の身体の外側への通路であってもよい。いくつかの実施形態では、追加情報には、このような一連の画像（例えば、画像の概要）の表現のみを含んでもよい。いくつかの実施形態では、画像のこの通路シーケンスの表現には、色バーを含んでもよい。このような通路表現により、ユーザが、撮像されたＧＩＴ部分の異なる解剖学的断片間の通路をより綿密にレビューすることが可能になり得る。いくつかの実施形態では、画像の通路シーケンス又はその表現は、ユーザの要求時に、又はユーザの行動後に、例えば、このような通路の指示の上に移動して、例えば、撮像されたＧＩＴ部分を表すマップ内に表示されてもよい。いくつかの実施形態では、このような解剖学的通路は、第１のレベルの画像又は選択された画像部分集合内で特定及び表現される、関心特徴であってもよい。例えば、単一の画像は、画像部分集合内の通路（例えば、第１のレベルの画像）を表すように選択されてもよく、画像部分集合のうちの選択された画像に関連付けられた１枚以上の画像（例えば、第２のレベルの画像）は、通路を表すように選択された追加画像であってもよい。
【0083】
いくつかの実施形態では、画像内で自動的に特定され、かつ／又はユーザによって、ポリープなどの画像内に指示された特徴、病態、若しくは任意の他の所見の自動サイズ推定が提供されてもよい。自動サイズ推定は、追加情報、例えば、第２のレベルの情報として、及び／又はユーザの要求時に、デフォルトではなく提供されてもよい。いくつかの実施形態では、関心エリアの指示及びそのサイズ推定は、デフォルトで提供されてもよい。いくつかの実施形態によれば、自動サイズ推定は、例えば、ユーザ入力に基づいてサイズ推定を提供する、既知のサイズ推定方法に基づいてもよい。ユーザ入力は、画像内に示すように測定される特徴のうちの少なくとも１つの寸法、例えば、ユーザが指示する２枚以上の画像画素によって表される長さ又は直径を指示してもよい。このような方法は、米国特許第９，４１２，０５４号及び同第９，９１１，２０３号に見出され、参照によりその全体が本明細書に組み込まれるものであってもよく、他の既知の方法を使用してもよい。完全な自動サイズ推定を行うためには、次に、ユーザ入力の自動推定を行ってもよい。例えば、画像内の特定された関心特徴を区分化し、区分化した特徴の２つの縁部点又は２つの周辺点を選択することによって、互いに最も遠く離れている。いくつかの実施形態では、ユーザは、自動的に選択された２点を修正又は置換し、ユーザが提供した入力に基づいてサイズ推定を受信してもよい。
【0084】
いくつかの実施形態では、カプセル内視鏡処置中に、自動中間レポートが生成されてもよい。このような自動中間レポートは、例えば、特定の時間までに捕捉された画像に基づいて、かつ／又はＧＩＴの撮像された部分のある特定された解剖学的領域の画像に基づいて、並びに／若しくは特定の所見の画像、例えば、大量出血あるいは除去される必要があるポリープなどの意味のある所見の画像に基づいてもよい。中間レポートは、例えば、患者がカプセル内視鏡装置を嚥下してから、又は、カプセル内視鏡装置が解剖学的目印に到達したことが特定されてから（例えば、小腸の開始点又は結腸の開始点）、事前決定された期間が経過した後に生成されてもよい。別の例として、中間レポートは、カプセル内視鏡装置が特定の解剖学的目印に到達したと特定された時点、又は出血又はポリープなどの特定の病態若しくは事象が特定された時点で生成されてもよい。次いで、中間レポートは、割り当てられた医師に提供されてもよい。
【0085】
自動中間レポートには、受信した画像ストリーム集合及び／又は特定の所見を表すように選択された画像を含んでもよい。いくつかの実施形態では、自動中間レポートにはまた、本明細書に開示される追加情報を含んでもよい。いくつかの実施形態では、自動中間レポートには、特定の所見への指示及び診断に対する提案、並びに／又は治療に対する提案若しくは推奨あるいは治療行動方針を含んでもよい。
【0086】
いくつかの実施形態では、異なる実施形態に従って医療従事者がレビューするための自動中間レポート又は中間精査用情報の生成により、特定された病態若しくは医療行為（手術あるいは低侵襲処置など）を必要とする可能性のある任意の他の所見をリアルタイムで指示することは、このような処置の実行を、遅滞なく、例えば、カプセル内視鏡処置が終了するとすぐに、又はその直後に可能にし得る。場合によっては、例えば、大量出血の場合には、即時の医療行為が必要とされ得る。しかしながら、必要な医療処置の緊急性が低いとき（例えば、除去する必要があるポリープが特定された場合）であっても、中間レポートでは、例えば、同日に大腸内視鏡検査を実行することによって、必要な医療処置のためにカプセル内視鏡処置について患者が行った絶食及び／又は腸管前処置を利用することを可能にし得る。同日の大腸内視鏡検査は、例えば、２度の前処置を受ける必要がないため患者にとってはより便利であり、負担が少ない可能性がある。
【0087】
リアルタイム及び有効な処置中の自動中間レポート又は中間精査用情報は、例えば、分散計算、非集中計算、及び／又はクラウド計算などの技術を利用することによって容易にされてもよい。いくつかの実施形態では、自動中間レポート又は精査用情報には、本開示に記載されるように、推定若しくは決定された洗浄レベル、あるいはこの段階までの処置の妥当性に関するスコアを含んでもよい。このような情報は、次の医療処置（例えば、同日の結腸内視鏡処置）を行うと決定された場合に、前処置及び／又は食事制限に関して患者に提供される命令を提供及び／又は命令を変更するために医師が使用してもよい。
【0088】
実施形態は、必要な変更を加えて、静止画像及び／又は動画像（例えば、映像）の表示に適用してもよい。いくつかの実施形態では、本明細書に開示されるシステム及び方法による精査用情報に含まれる追加情報には、診断の提案及び／又は治療の提案並びに推奨若しくは治療行動方針を含んでもよい。このような提案は、本明細書に開示されるシステム及び方法によって、及びそれらに従って行われる処理並びに分析に基づいてもよく、関連する標準治療に基づいてもよい。
【0089】
一実施形態では、ユーザのレビューのために表示される関心画像の選択は、２段階で行われる。第１の段階では、捕捉された一連の画像からの複数枚の関心画像は、例えば、行列のレイアウト、格子のレイアウト、又は他のレイアウトで、ユーザに自動的に（例えば、図１に示す計算装置によって）選択されて表示される。選択された画像は、例えば、ＧＩＴ内の画像の捕捉部位の位置を提供する位置情報と共に、局所的も表示されてもよい。第２の段階では、ユーザは、自動的に選択された画像から画像を（例えば、ユーザ入力を提供することによって）選択して、選択された画像（例えば、焦点の合っている画像）に関する追加情報の表示を受信してもよい。追加情報には、自動的に選択された追加画像を含んでもよい。次いで、ユーザの画像の選択を使用して、症例全体のマップ又はレポートを生成するか、若しくはそれらに追加してもよい。
【0090】
図２は、第１のスクリーン、例えば、精査用情報のデフォルトの表示のデフォルトのスクリーンとして、最初に観察者又はユーザに提示される、例えば、デフォルトのスクリーンを示す。観察者は、撮像されたＧＩＴ部分の様々な領域又は区分間をナビゲートしてもよく、図２の例では、小腸の３つの三分位数である。各三分位数は、この例示的なスクリーン上の３つのタブ２１０のうちの１つとして表されてもよい。例えば、ユーザが図２に表示されたＧＵＩ内のそれぞれのタブ２１０をクリックすることによって区分又は小腸の三分位数を選択するとき、自動的に選択されたその三分位数に関連する画像２０６は、例えば、スクリーンの中央エリアに行列のレイアウト２２０でユーザに表示される。この例では、各三分位数は、小腸を通るカプセルの通過時間の１／３を表す。いくつかの実施形態では、各三分位数は、小腸の長さの１／３の推定値を表し得る。いくつかの実施形態では、三分位数は、小腸に沿った目印の検出に基づいて解析されてもよい。ボタン２０２は、レポートスクリーンと第１のビューとの間をトグルで切り替えるために、ユーザによってクリックされるか、又は他の方法で指示されてもよい。小腸又は他のＧＩＴ断片への推定進入時間及び退出時間２０４が表示されてもよい。
【0091】
いくつかの実施形態では、ユーザは、レベル１の表示とレベル２の表示との間で切り替えてもよい。例えば、レベル１で示す画像をクリックすることによって、レベル２の表示に切り替えてもよい。例えば、ユーザがＧＵＩ上に表示されたときに画像をクリックすることによって、特定の画像を選択するとき、その画像のより大きいバージョンが、スクリーンの「追加情報」（例えば、第２のレベルの）エリア２３０内に表示される。追加情報表示の各画像は、例えば、その第１のレベルの画像によって示される同じ特徴又は病態を示すことによって、デフォルトのビュー内の１枚の第１のレベルの画像に対応してもよい。ユーザは、時系列的に選択された画像の前後に捕捉された追加の静止画像、又は選択された画像の周囲の画像（例えば、前後の数枚の画像、若しくは前後数秒に捕捉された画像）を含むショートクリップ（例えば、動画像シーケンス、あるいは動画）など、「追加情報」又は第２のレベルのエリア内の画像２０６のうちの選択された画像に関する追加情報を見ることができる。図２では、第２のレベルの画像は、第１のレベルの画像の表示と同じビューで表示される。ユーザはまた、例えば、メイン表示エリア内の選択された画像上に位置され得る専用のチェックボックス２０８をチェックすることによって、選択された画像を関心画像として特定するか、又は他の方法で、症例レポートに含めるように印を付けることもできる。このスクリーンでは、ユーザは、選択した画像に印（例えば、ユーザがＧＵＩに情報を入力することを介して）又はコメントを追加するための選択など、追加機能を利用することができ得る。
【0092】
図２の例などこのようなスクリーン又は表示には、ヒートマップ若しくは他の情報提示２４０を含んでもよく、これは、例えば、各区分あるいは三分位数の図形表現、グラフ形状で情報を表示することを含んでもよい。ユーザが関心画像を選択するとき、その区分内の選択された画像の位置に対応する位置で、それぞれの区分の図形表現又はマップ上に指示（縦線２４２など）を追加してもよい。２４２などの指示、及び他の図に示す同様の指示は、局所的な画像指示、又はＧＩＴ内の画像の位置又は推定位置に従って画像を表すマーカであってもよい。ユーザが行うこの第２の段階の選択は、上述のように、レポート用のユーザの画像の選択とは別個であってもよいし、又はそれらと統合されてもよい。したがって、いくつかの実施形態では、ユーザが画像を選択してマップに追加した後、次に、ユーザは、そのレポートに含まれる画像の別の選択を行ってもよい。他の実施形態では、ユーザが選択してマップに追加する画像もまた、レポートに含まれる画像であってもよい。
【0093】
図２の例示的な表示では、区分又は三分位数に対して自動的に選択された画像の枚数が、中央表示領域内に収まる画像の枚数よりも多い場合、ユーザは、上下のスクロールを利用することができ得る。図２の例では、「追加情報」エリア内に表示するためにユーザが選んだ画像は、強調表示されてもよく（例えば、青色のフレームによって）、ヒートマップエリア上のそれぞれの印も同時に強調表示されてもよい。
【0094】
図３は、例示的なスクリーンショットを示す。いくつかの実施形態では、ユーザの画像の選択に基づいて生成されたマップ又は症例マップ３１０は、例えば、図３の例に示すような別個のスクリーン内に表示されてもよい。図３の例では、症例マップ３１０は、症例の対象（例えば、カプセルによってＧＩＴが撮像された人物）のＧＩＴをグラフ形状で例示する、様々な印、時間刻印、及び他の記号３１２を有する細長いバーである。マップには、症例全体、又は撮像されたＧＩＴ部分全体（図３では、ＧＩＴ全体の一部分のみである）を含む、実質的に症例全体の例示的な表現を含んでもよい。図３の例では、広がった小腸全体の図形表現が表示されているが、症例全体の他の例示的な図形表現が可能である。いくつかの実施形態では、例示的な図形表現には、関連する区分の解剖学的特徴に似ているか、又はそれを暗示する要素３１４を含んでもよい。例えば、図３の表現には、消化管に沿った前後の器官の指示（例えば、小腸表現のそれぞれの反対端に表示された胃及び結腸の画像）を含む。
【0095】
あるいは、このスクリーンは、区分をより概略的に表すマップを表示してもよい。
【0096】
別個の印を使用して、小腸の３つの三分位数などの別個の区分を図示してもよい。図３の例では、これらの印は、小腸の図形表現の開始点及び終了点にあり、かつ、この表現に沿って等間隔にある縦破線３１６である。
【0097】
ユーザが選択した画像は、マップ上の印によって表されてもよい。ここで、例えば、これらの印は縦実線３１２であり、ユーザは、例えば、これらの印をクリックすることによって、又はこれらの印の上に移動することによって、それぞれの画像にアクセスしてもよい。
【0098】
また、図３のマップスクリーン又は表示には、推定又は判定された洗浄レベル、例えば、それぞれの区分の自動的に測定された清淨レベルのスコアの図形表現若しくは指示、及び／あるいはその区分内のカプセル通過中の画像品質の指示を含んでもよい。洗浄レベルの同様の指示は、本明細書の他の図に示されている。洗浄スコアは、例えば、内容物で覆われた、又はそうでなければそれぞれの器官の組織壁を示さない画像フレームの部分若しくは割合の自動推定に基づいて計算されてもよい。このスクリーンショットでは、洗浄レベルは、グラフを含むバー３２０として表されている。洗浄レベルバーには、任意の所与の時点での洗浄レベルがその閾値より高いか、又は低いかを評価する際にユーザを支援する閾値レベルを表し得る水平破線３２２を更に含む。閾値は、例えば、適切な値の平均値又は限界値であってもよい。
【0099】
【0100】
一実施形態では、一連の捕捉された画像からの画像を自動的に選択してもよい。自動的に選択された画像の指示を含むマップは、ユーザに最初に表示されるか、又はデフォルト（例えば、事前追加されたマップ）で表示される。マップには、撮像された器官の自動的に特定された領域又は区分の印を含む。次いで、ユーザは、自身が探索したいと思うマップの領域のより詳細な提示情報にアクセスすることができる。
【0101】
一実施形態では、ユーザには、症例全体、例えば、ＧＩＴの関心部分全体（例えば、ＳＢ全体又は結腸全体）の図形表現（例えば、マップ）が提示される。例えば、ユーザには、例えば、小腸内へのカプセル内視鏡の進入、小腸からのカプセル内視鏡の退出の自動特定、及びそれらの間の通過時間の測定に基づいて、３つの三分位数に分割された、小腸全体の広がりの図形表現を提示されてもよい。いくつかの実施形態では、ＧＩＴ部分の分割は、カプセル内視鏡装置が横断した長さの推定に基づいてもよい。このような図形表現に対する印（例えば、縦実線の形態で）は、自動的に選択された画像、例えば、レベル１の画像、又は対象となり得るか、若しくは関心のものである可能性が高い、選択された画像部分集合のうちの画像を指示してもよい。拡散所見（例えば、関心画像、又は近接した複数枚の関心画像の群分けを含んでもよい器官の領域）は、マップ上で特定されてもよい。このような実施形態では、拡散所見は、関心画像の印よりも薄い色調を有し、画像群の開始点のそれぞれの位置からその終了点のそれぞれの位置まで延在するバーとして表示されてもよい。
【0102】
図４は、追加情報が表示された例示的なスクリーン又は表示を示す。同じスクリーンでは、ユーザは、例えば、マップ５０２上のそれぞれの印５１０をクリックするか、又はその上に移動することによって入力を提供することで、選択された画像を見てもよい。ユーザが、例えば、マップの表示エリア内に表示されるそれぞれの印５１０又はサムネイル５１２をクリックすることによって画像を選択するとき、同じ画像のより大きいバージョン５３０は、「追加情報」エリア５４０内（例えば、本明細書では、スクリーンの左下隅内）に表示されてもよい。次いで、ユーザは、器官のそれぞれの区分からの追加画像、又は選択された画像の前後に捕捉された画像（例えば、選択された画像の周囲の画像）を含むショートクリップを見てもよい。ユーザは、表示された画像へのメモ又は印の追加、若しくはレポートに含めるための画像の選択など、他の機能を利用することができ得る。器官の区分への分割の印（例えば、三分位数分割印）５０４は、その断片の図形表現上のそれぞれの位置に表示されてもよい。
【0103】
図５は、拡大動作後の図５の例示的なスクリーンを示す。いくつかの実施形態では、ユーザは、コマンドの「拡大」を入力して、システム、例えば、ワークステーションに、マップ５０２全体の領域又は断片を拡大させて、そのそれぞれの断片から選択された画像の群を見てもよい。それぞれの断片の（例えば、対応する）選択された画像は、例えば、それぞれの領域の図形表現上のサムネイル５２２の時間５２０によって順番が付けられた一連の格子、リストなどとして表示されてもよい。ユーザはまた、例えば、スクリーンの右上隅内の図５の例に示すように、マップ５４０の縮小表現を使用して、マップの断片又は部分領域間を（例えば、ＧＵＩへの入力を提供することによって）ナビゲートしてもよい。
【0104】
いくつかの実施形態では、ユーザは、例えば、ユーザがそれぞれの画像が関心画像ではないと判断した場合に、選択された画像の印を除去するプロセスを実行させるために、例えば、ＧＵＩを介して入力を提供することによって、マップを編集してもよい。
【0105】
レビューを完了した後、ユーザは、レポート生成スクリーンを表示するためにプロセスを進めてもよく、ユーザは、レポート用に選択された画像、例えば、ユーザが選択した画像を、関心画像としてレビューしてもよい。
【0106】
一実施形態では、デフォルトのビューモードでは、自動的に選択された画像は、スクリーンの一方の側、例えば、スクリーンの右側の垂直列に、静止した様式及び列のレイアウトで表示されてもよい。ユーザは、画像表示エリア、例えばスクリーンの左側に表示される画像を選択してもよい。選択された各画像は、例えば、関心エリアを特定の色に着色することによって、画像内の特定された関心エリアの指示と共に表示されてもよい。表示は、関心エリアの特定を指すチェックボックスを含んでもよい。次いで、ユーザは、関心エリアを特定し、それに応じて適切なチェックボックスをチェックしてもよい（例えば、出血、潰瘍、又はその他）。ＧＩＴの関心部分全体又はその断片のマップ若しくはヒートマップもまた、例えば、画像表示エリアの下方に表示されてもよい。マップは、選択された画像の指示を含んでもよく、ユーザがこれらの画像間をナビゲートするために使用されてもよい。
【0107】
例示的な一実施形態では、画像のレビューは、２つのレベルの情報に基づいて行われてもよい。第１のレベルの情報は、デフォルトのビューモードで提示されてもよく、第２のレベルの情報は、ユーザの要求（例えば、図１に示すようなシステムによって実行されたプロセスに受信されたＧＵＩへのユーザ入力時に、又はユーザの行動後に表示されてもよい。デフォルトのビューモードには、ＧＩＴ（例えば、小腸）内で捕捉された一連の画像又はその一部分から（例えば、図１に示すようなシステムによって）自動的に選択された画像の表示を含んでもよい。ＧＩＴの撮像された部分は、複数の区分に分割される（例えば、ＳＢが３つの区分／三分位数に分割され、又は結腸が５つの解剖学的部分若しくは区分に分割される）。選択された画像は、静止した様式で、それらが位置する区分に従って表示される。ユーザは、静止画像をブラウズしてもよい。また、デフォルトのビューモードには、区分、及び区分内の推定位置に従って選択された画像を指示する、撮像されたＧＩＴ部分全体のマップの表示を含んでもよい。いくつかの実施形態では、マップのデフォルトの表示には、表示された画像が位置する区分／複数の区分のみを含んでもよい。いくつかの実施形態では、ユーザは、撮像されたＧＩＴ部分の断片を表すマップの断片への拡大（例えば、表示された画像のサイズの拡大）を引き起こすプロセスに入力してもよい。
【0108】
第２のレベルの情報には、選択された画像の周囲の追加画像の表示を含んでもよく、第１のレベルの画像から別個に（例えば、ポップアップウィンドウ又はスクリーン内に）表示されてもよい。また、デフォルトのビュー又は表示（例えば、第１のレベルの情報）には、第２のレベルの情報で表示された、撮像されたＧＩＴ部分の断片の指示も含んでもよい。デフォルトのビューは、ＧＩＴ部分内で捕捉された一連の画像の洗浄レベルの指示を更に含んでもよい。第２のレベルの情報で表示された周囲の画像は、静止した様式で、かつ／又は映像クリップ、短い動画、若しくは動画像として表示されてもよい。
【0109】
【0110】
【0111】
図６Ａ及び図６Ｂに示す一実施形態によれば、デフォルトのビュー７００には、数枚の画像（例えば、４枚の画像）のみを含む静止画像７１２集合の同時表示を含んでもよく、これにより、ユーザは、表示された画像を慎重かつ明確にレビューすることができる。画像集合は、例えば、ＧＩＴのレイアウトをシミュレートした行７１０のレイアウトで表示してもよいし、又は別のレイアウトで表示してもよい。画像は、実質的にビューの中央に表示されてもよい。ユーザは、表示された画像集合ト内の画像間のピント（例えば、１次又は最大表示）を移動させるか、又は例えば、ユーザ入力を介して、画像集合間をスクロールしてもよい。各区分内の選択された画像（例えば、各三分位数）は、このような画像集合に分割され、これらの時系列順に従って（例えば、これらの捕捉時間に従って）表示されてもよい。現在表示されている画像集合が属する三分位数は、ビュー内に指示されてもよい。
【0112】
デフォルトのビューには、例えば、図６Ａ及び図６Ｂに示す例として、スクリーンの底部に位置するマップ７４０を含んでもよい。マップ７４０は、バー又は行の形態若しくは線形式であってもよく、情報の種類を表す副行（例えば、３行）を含んでもよく、一実施例では、図６Ｂにおいて７４１、７４２、及び７４３で指示されている３種類の情報を含んでもよい。例示的なマップは、小腸全体のマップである。マップは、縦破線７４７によって３つの三分位数７４５などの断片に分割されてもよい。マップはまた、結腸の一部分を含んでもよい。焦点の合っている画像は、図６Ａ及び図６Ｂに示すように、色が異なった縦線７６０及び／又はカーソル７６２によって、（例えば、青線７６０及びカーソル７６２によって）マップ内に指示されてもよい。焦点の合っている画像内のフレームはまた、色が異なっていてもよい（例えば、図６Ａ及び図６Ｂに示すように、青色で）。ユーザはまた、フレームが第２のレベルの情報で既にレビューされたかどうかの指示を受信してもよい。したがって、例えば、第２のレベルで既にレビューされた画像のフレームはまた、その色を、例えば、黒色から灰色に変更してもよい。
【0113】
図６Ｂの第１の副行７４１には、本明細書では小腸を含む、撮像されたＧＩＴ部分に沿って位置する、選択された画像を指示するヒートマップを含む。選択された画像は、特定の色（例えば、灰色）の縦線７７０として指示され、小腸に沿ったそれらの推定位置に従ってバーに沿って位置する。ユーザは、画像のサムネイルの表示を受信するための画像（例えば、縮小画像）をその捕捉時間の指示と共に表す線に、入力（例えば、マウスで移動する）を提供してもよい。バーの部分は、例えば、図６Ａ及び図６Ｂに示すように、解剖学的関心エリアを指示するために異なる色で着色されてもよい。（例えば、小腸の近位エリア及び遠位エリアの推定を指示する水色エリアとして提供される）。ヒートマップの終了時に、ＧＩＴ、本明細書では結腸の次の解剖学的部分のうちの少なくとも１枚の画像は、とりわけ、関心小腸又はＧＩＴ部分全体が撮像され、処置が完了したことを示すように表示されてもよい。画像の線指示は、ユーザがレビューすると、それらの色を（例えば、オレンジ色に）変更してもよい。
【0114】
第２の副行７４２は、撮像されたＧＩＴ部分、本明細書では小腸の断片の指示を含んでもよく、それらの画像は、第２のレベルの情報で表示される。これらの断片は、灰色に着色された矩形などの指示７８０によって指示されてもよい。各矩形、例えば、第２のレベルの断片は、図６Ａ及び図６Ｂを参照し得るように、第１のレベルの１枚以上の選択された画像を含んでもよい、かつ／又はそれらに関してもよい。これは、２枚以上の第１のレベルの選択された画像が、互いに対して比較的近接している場合である。
【0115】
第３の副行７４３は、例えば、小腸に沿って捕捉された画像の洗浄レベルを指示するグラフを含んでもよい。グラフは、レベル値に従って着色されてもよく、例えば、（例えば、洗浄）値が比較的低いときには赤色に着色されてもよい。
【0116】
撮像されたＧＩＴ部分の異なる解剖学的断片間の通路、例えば、胃からＳＢ（例えば、胃から小腸）及び／又はＳＢから結腸への通路もまた、図６Ａ及び図６Ｂに示すように指示されてもよい。通路は、マップ内の関連する区分の指示（例えば、破線）の上方に指示してもよく、通路には、通過時間を含んでもよい。任意に、関連する区分の指示の上方に、特定された通過エリア内で捕捉された一連の画像を表す、小さな色バーを表示してもよい。ユーザは、入力（例えば、移動）を色バーに提供し、通過画像をレビューしてもよい。色バーは、特定された通過エリアの画像のサンプルのみを表してもよい。
【0117】
図６Ａに示すような画像は異なっていてもよく、例えば、選択された画像は、行列形態で表示されてもよく、したがって、より多くの画像が同時に表示されてもよい。ユーザは、例えば、図６Ａのビューのモードの代わりに、ビューの他の表示モードを使用することを要求してもよい。このような代替のビューによれば、各三分位数の画像は、別個の行列、例えば、別個のタブ内に表示されてもよい。ユーザは、各三分位数内の画像間をスクロールしてもよい。
【0118】
【0119】
第２のレベルの情報は、選択された画像９１２をデフォルトで表示するポップアップウィンドウ９１０によって、本実施形態に従って実現されてもよい。ウィンドウ／表示／ビューは、選択された画像を取り囲む（例えば、選択された画像前後のいくつかの画像、又は選択された画像の数秒前後に捕捉された画像である）一連の副画像を表示してもよい。ユーザは、マウスのスクロールホイールなどの入力装置を使用して、画像を静止した様式でスクロールする（例えば、順序又は時間を前方及び後方に移動する）プロセスを生じさせてもよいし、又は一連の副画像を映像クリップとして表示するプロセスを生じさせてもよい。マップ９２０は、画像表示エリアの下方に表示されてもよい。
【0120】
図７の例によれば、マップには、撮像されたＧＩＴ部分の関連する区分を表す、第１のレベルのデフォルトのビューの第１の副行のマップの一部分を含んでもよい。第２のレベルの一連の副画像を表す断片は、色、例えば、オレンジ色で指示されてもよい。追加の第２のレベルのマップは、第１のレベルのマップの部分の上方に提示されてもよく、これは、第２のレベルの一連の副画像に含まれる第１のレベルの表示の選択された画像の指示を含む。このような画像、例えば、第１のレベルの選択された画像が、この第２のレベルのデータポップアップウィンドウの画像表示エリア内に表示されたとき、この第２のレベルのマップ内に指示される（例えば、図示の例では正方形で、関連する正方形は青色に着色されており、その刻印の上方に青色のカーソルが位置している）。
【0121】
第２のレベルの画像を含む断片を表す、第１のレベルのマップの一部分は、画像表示エリアの下方に表示されてもよい。選択された画像は、このマップ内に指示され、レビュー内の第１のレベルの選択された画像は、例えば、画像線の指示を異なる色で着色することによって指示される。
【0122】
一実施形態では、画像を水平に（例えば、カルーセル様式に）ブラウジングすることによって、選択された画像の群又は「パイル」から一度に１枚の画像を選択してもよい。撮像されたＧＩＴ部分を表し、選択された画像を指示するヒートマップは、例えば、画像表示エリアの上方に表示されてもよい。表示されている各画像は、例えば、画像と、その点又はヒートマップ若しくはマップ上の表現とを接続する線によって、ヒートマップ内のその指示に言及されてもよい。
【0123】
一実施形態では、選択された画像の群又はパイルから一度に１枚の画像を表示してもよい。ユーザは、ＧＵＩへの入力を提供して画像を垂直にスクロールさせ、一度に１枚の画像を選択するために、入力制御（例えば、マウス、スクロールホイールなど）を使用することによって単一の画像を観察してもよい。撮像されたＧＩＴ部分を表し、選択された画像を指示するヒートマップ又は他のマップは、例えば、画像表示エリアの隣に表示されてもよい。表示されている各画像は、例えば、関連するヒートマップ又はマップ位置若しくは画像指示に画像をリンクする接続線によって、ヒートマップ内のその指示に言及されてもよい。
【0124】
デフォルトのビューモード、例えば、精査用情報のデフォルトのビューのメインビューは、撮像されたＧＩＴ部分を表し、選択された画像を指示するヒートマップの表示を含んでもよい。画像は、撮像されたＧＩＴ部分内の推定位置に従って、ヒートマップ内に位置してもよい。選択された画像は、画像表示エリア内に表示されてもよい。選択された画像は、ユーザの要求に応じて、又はユーザの行動後に、静止した様式で、若しくは追加の関連画像を含む映像クリップの一部として表示されてもよい。ユーザは、例えば、画像のサムネイル及び／又は静止表示並びに／若しくはクリップを受信するために、例えば、ヒートマップ上の画像指示の上に移動するか、又は画像指示をクリックしてもよい。
【0125】
図８Ａは、一実施形態による、任意のビューモードのスクリーンショット又は表示を示す。図８Ａに示す一実施形態では、第１のレベルの画像、又は選択された画像部分集合のうちの画像は、スライド様式若しくは「カルーセル様式」１３００で表示されてもよく、その結果、１枚の画像１３０２は、中央でより顕著に表示され、他の画像１３０４は、メインの中央画像１３０２からの距離を伴って縮小サイズで横に表示され、その結果、ユーザ入力は（例えば、スクリーンの縁部の矢印１３１０に、若しくはマウスのスクロールバーを使用して）、ビュー内の他の画像１３０４のうちの別の画像が中央に移動されて中央画像１３０２になるように「回転」させる。洗浄１３２６及び他の追加情報を有するマップ１３２０は、第１のレベルの画像のカルーセル表示１３００（の典型的には上方）に表示されてもよい。
【0126】
第２のレベルの画像は、第１のレベルの画像と同じウィンドウ内に表示されてもよく、したがって、別のウィンドウを有効化する必要はない。ユーザは、例えば、画像上を移動するか、又はそれをクリックしてもよく、その後、画像は、図８Ａに示すように「有効化」されるか、又は「焦点が合った」状態になる。例えば、ユーザは、ＧＵＩに入力を提供してレベル２に切り替えてもよく、中央画像１３０２は、映像又は画像ストリームとして見られてもよく、若しくは、レベル１内の１枚の中央画像が表す特定の事例（例えば、第２のレベルの画像）に関連するか、又はそれに関連付けられた全ての画像のうちの、静止した様式で表示された画像の「スクロール可能な」シーケンスとして見られてもよい。
【0127】
この実施形態では、静止画像（例えば、自動的に事前選択された画像）は、カルーセル形態１３００で水平に表示される。図８Ａの特定の例では、５枚の画像が同時に表示されている。中央画像１３０２は、焦点が合っている画像である。その後、典型的に同時に表示される画像の枚数は、一般的には奇数枚の画像である。いくつかの実施形態では、様々な奇数枚の画像が同時に表示されてもよい。画像は、ユーザが画像間を水平にブラウズし、画像が他の画像を隠蔽しないようにすることができるカルーセル様式で表示されてもよい。画像のサイズは、表示カルーセル１３００内のそれらの位置に従って変更される。焦点の合っている画像である中央画像１３０２は、最大である。他の画像１３０４のサイズは、中央画像への近接度に関して変更される。画像が中央画像１３０２に近いほど、サイズは大きくなる。このようなレイアウトは、ユーザが１枚の画像を近接して、かつより明確にレビューすることを可能にし、同時に、隣接する画像又は周囲の画像に関する情報をレビューして受信することを可能にし得る。このようなビューは、焦点の合っている画像を詳細に依然として表示しながら、隣接する画像間の比較を可能にし得る。
【0128】
バー又はマップ１３２０（例えば、ヒートマップ）は、撮像されたＧＩＴ部分全体又はその断片の表現を図示してもよい。図８Ａに表示された例示的な表示は、小腸の表示である。マップ１３２０は、画像の表示の上方、及びスクリーンの上部エリア上に表示される。したがって、マップは、小腸を表し、３つの三分位数に（例えば、縦破線１３２２によって）分割される。マップには、撮像されたＧＩＴ部分に沿って表示された画像の位置に関する情報、及び／又は表示された画像並びに／若しくは捕捉された画像及び／あるいは撮像されたＧＩＴ部分の洗浄レベルの情報を含んでもよい。マップには、異なる情報を提示する２つ以上の副行を含んでもよい。焦点の合っている画像は、例えば、図８Ａに示すように接続線１３２４によってマップ内に指示されてもよい。いくつかの実施形態では、現在表示されている画像は全て、マップ内に（例えば、記号又は線、若しくは接続線によって）指示されてもよい。
【0129】
本実施形態では、マップ１３２０には、２つの副列１３２６及び１３２８を含む。第１の副列１３２６には、捕捉された画像の洗浄レベルに関する情報を含んでもよい。本実施形態では、洗浄レベルは、グラフの形態で提示されており、色バーの形態で提示されてもよい（図１０のように）。異なる色は、低、中、及び高などの異なる洗浄レベルのカテゴリを指示する。第２の副行１３２８には、選択された画像が（例えば、縦線によって）指示され、ＧＩＴの撮像された部分に沿ったそれらの推定位置に従ったバーを含んでもよい。
【0130】
更に、本実施形態によれば、第２のレベルの情報は、同じ初期の又はデフォルトのスクリーン（例えば、精査用情報ビューのメイン又はデフォルトのスクリーン）に提示される。焦点の合っている画像（例えば、中央画像１３０２）は、ユーザが、例えば、選択された画像の周囲の画像間を第２のレベルの表示としてスクロールすることができる追加の制御部１３０８と共に示されている。スクロールバーは、焦点の合っている画像に対する周囲の画像の番号付けを指示してもよい。例えば、焦点の合っている画像を「０」、右隣の画像を「１」、その右隣の画像を「２」などと指示してもよい。焦点の合っている画像の前の画像（すなわち、左隣の画像）を「－１」、その前の画像を「－２」などと指示してもよい。したがって、ユーザは、選択された元の画像１３０２に対する、（画像並びに時間内の）距離及び方向に関して配向されてもよい。更に、テキストボックスが焦点の合っている画像の下方に表示されてもよく、これにより、特定された種類の病態及びコメントなどの情報をユーザが入力することができる。いくつかの実施形態では、第２のレベルの制御部及び／又はデータは、画像が焦点の合っている画像として選択されると、かつ／又はユーザが画像を中央画像１３０２として（例えば、スクロールすることによって）配設すると、若しくはユーザが焦点の合っている画像の上に移動し、その画像をクリックすると、あるいは任意の他のユーザ行動時に、（例えば、画像の下方に）現れてもよい。
【0131】
【0132】
図９Ａは、本開示の一実施形態による、デフォルトのビューモードの例示的なスクリーンである。図９Ｂは、図９Ａの表示内で選択された画像の第２のレベルの情報の表示又はビューの例示的なスクリーンショットである。
【0133】
この実施形態では、レビューのために表示された症例は、結腸の症例である。デフォルトのスクリーン（例えば、精査用情報ビューのデフォルトのスクリーン）では、図９Ａに示すように、処置中に捕捉された画像ストリームから（例えば、画像選択プロセスによって自動的に）選択された画像は、行列１４００形態で表示される。結腸は、盲腸、上行結腸、横行結腸、下行結腸－Ｓ字結腸、及び直腸の５つの解剖学的区分に分割されてもよい。表示されている選択された画像は、５つの区分に従って局所化され（例えば、位置確認情報と共に表示される）、区分ごとに表示されてもよく、例えば、画像は、特定の位置ではなく、５つの結腸区分のうちの１つ、又は別のＧＩＴ区分若しくはカテゴリ内にあるものとして指示されることによって局所化されてもよい。各区分の画像は、専用の表示エリア内に表示されてもよく、ユーザは、タブによって区分の表示間を切り替えてもよい。図９Ａに示す特定のスクリーンは、下行結腸－Ｓ字結腸区分で捕捉されていると特定された画像を示す。レポートに含める画像としてユーザが選択した画像は、例えば、青色のフレーム１４１０によって指示されてもよい。追加情報１４２０は、ユーザに表示されてもよい。このような追加情報は、（図９Ｂ）、すなわち、どの区分が表示されているかを指示する結腸の図、患者関連の詳細、処置日、ＧＩＴの関連領域の処置時間（本明細書では、結腸前領域及び結腸）、及び精査用情報が完了したかどうか（図示の例では、カプセルが結腸の端部に到達したかどうか）であってもよい。このような処置時間及び完全性指示は、結腸の通過又は進入、及び体外への退出などの関連する目印の特定に基づいて決定されてもよい。
【0134】
更なる情報、例えば、第２のレベルの情報は、ユーザの要求時に表示されてもよい。例えば、ユーザは、図９Ｂに示すように、表示された画像をクリックし、デフォルトで画像を表示して追加情報のレビューを可能にするポップアップウィンドウ１４５０を開いてもよい。本実施形態に従って表示されている又は（例えば、ユーザの要求時に）表示され得る追加情報には、画像内の関心エリア、例えば、ポリ－プの自動指示、又はカプセル内視鏡が２つ以上のカメラを備える場合には画像を捕捉したカプセルのヘッドの自動指示を含んでもよい。関心エリアの指示は、例えば、エリアを区分化することによって、かつ／又はこのようなエリアを指す矢印によってでもよい。関心対象となる（例えば、ポリープの疑いのある）エリアの自動特定及び指示により、医師にガイダンスを提供し、診断、例えば、ポリープの検出を改善し得る。
【0135】
図１０では、アイコン１０１０によるサンプル表示（一実施形態では、ユーザが選択した３枚の画像１０３２に対応する、その付近の数字「３」を有する画像のパイルの図示）を示す。選択された画像１０３２は、ウィンドウ又はダイアログボックス１０３０内に含まれてもよい。ユーザは、アイコン１０１０上で（例えば、ＧＵＩに入力するためにマウスを使用して）クリック又は選択してもよく、システムによって、ユーザがチェックしたか、又は選択した画像を含んだウィンドウ１０３０が現れてもよい。次いで、ユーザは、隣接様式又は行様式で、チェックした画像１０３２全てを一度にレビューしてもよい。
【0136】
別の実施形態では、システムは、別のビュー又は表示内に、一定数の最も関連するか、又は疑わしい画像（例えば、「上位Ｘ枚の最も疑わしい画像」、例えば、５又は１０枚の最も関連する画像）を表示してもよい。このようなビューは、ユーザに対して第１の迅速な指示を提供し、例えば、結腸スクリーニングに有益であり得る。結腸スクリーニングの状況では、ユーザは、ポリープが存在するかどうかを判断してもよい（ポリープは、癌の可能性を指示する場合があり、大腸内視鏡検査が必要である）。ビューは、別のタブ又はウィンドウ内に追加されてもよい。
【0137】
自動ポリープ（又は他の特徴）サイズ推定機能は、ユーザの要求に応じて、ポリープの直径、長さ、又は他の推定サイズを計算し、それらの指示を提供してもよい。ポリープ又は特徴のサイズは、例えば、特定されたポリープ周辺部の２点間の最大距離を測定することによって自動的に計算され得る。ユーザは、ポリープのサイズを測定するための他の点を選択してもよく、プロセスにより、ユーザの選択に従ってサイズを計算してもよい。例えば、特徴又はポリープの表示には、ポリープがこのボックス内に位置するように、ポリープ用の境界ボックスを含んでもよい。境界ボックス内の線は、測定された長さを表して表示されてもよく、サイズは、例えば、その線の付近に表示又は提示されてもよい。ユーザは、ユーザが自動的に選択された点が正確ではないと確信した場合には、線の２つの各終了点の位置を変更してもよい。自動ポリープサイズ推定の１つの利点、又は任意の他の関心特徴の１つの利点は、標準化である。例えば、現在の方法では、手動のユーザ入力（例えば、ポリープの長さを画定する点）に基づいて、又は手動推定に従ってポリープサイズを決定し、異なるユーザ又は異なるユーザの入力により、同じポリープに対して異なるサイズ推定を提供するか、又はもたらし得る。
【0138】
いくつかの実施形態では、洗浄レベル又は他のデータは、画像ごと、区分ごと、及び／又は処置ごとに表示されてもよい。
【0139】
いくつかの実施形態では、各区分において、最も疑わしい画像を最初に（例えば、行列ビューに）、又は別の方法、例えば、アスタリスクで提示する選択肢を提供してもよい。
【0140】
いくつかの実施形態では、マップ内のＧＩＴ関心部分の表現は、第１のレベルの画像だけではなく、第２のレベルの画像も指示してもよい。したがって、例えば、疾患及び病態の範囲もまた表され得る。
【0141】
いくつかの実施形態では、精査用情報の個人化を提供するために、精査用情報のパラメータ（例えば、何枚の画像が第１／第２のレベルに含まれるか、何枚の精査用情報の画像が精査されたＧＩＴ部分の特定の区分を表すように選択されるか、精査用情報に含まれる画像を選択するための閾値など）が、患者ごとに調整又は決定されてもよい。いくつかの実施形態では、このような調整は、例えば、処置を行うユーザ、又はデータを入力する参照医師によって、手動で行われてもよい。いくつかの実施形態では、このようなパラメータ選択は、例えば、患者の病歴を含む患者の情報又は詳細に基づいて、自動的、又は少なくともその一部分（例えば、決定されるパラメータのいくつかの自動調整）であってもよい。自動調整では、Ａｍａｚｏｎが提供するＣｏｍｐｒｅｈｅｎｄ Ｍｅｄｉｃａｌシステムなどの、自然言語処理（natural language processing、ＮＬＰ）アルゴリズム又は
機械学習ベースのツールを利用してもよい。このようなツールは、自由記述の相互運用を可能にし、検索可能にし得る。次いで、システムは、精査用情報を調整するために患者の医療背景を使用してもよい。例えば、ある患者（例えば、ある症例）について、システムが自由記述の中で、その患者にポリープの家族歴があることを認識した場合、システムは、ポリープの病歴がない健康な患者とは対照的に、より多くの画像を有するように（例えば、精査用情報の感度を高めるように）、精査用情報又は提示情報を修正してもよい。
機械学習ベースのツールを利用してもよい。このようなツールは、自由記述の相互運用を可能にし、検索可能にし得る。次いで、システムは、精査用情報を調整するために患者の医療背景を使用してもよい。例えば、ある患者（例えば、ある症例）について、システムが自由記述の中で、その患者にポリープの家族歴があることを認識した場合、システムは、ポリープの病歴がない健康な患者とは対照的に、より多くの画像を有するように（例えば、精査用情報の感度を高めるように）、精査用情報又は提示情報を修正してもよい。
【0142】
いくつかの実施形態では、音声テキスト化又は自動音声認識システム（例えば、Ａｍａｚｏｎによる「Ｔｒａｎｓｃｒｉｂｅ」）を統合して、例えば、ユーザが、画像をレビューしながら音声テキスト化を使用してレポートを「書き込み」始めることを可能にすることによって、自由記述の場合は、レポート作成時間を大幅に短縮し得る。音声テキスト化の使用により、クリック又は他の手動のユーザ入力の必要性を減少させてもよい。例えば、ユーザが「アトラスから潰瘍の写真を見せて」と話し、それに基づいて行動が取られてもよく、この行動は、（例えば、キーデスクリプタで検索して、精査用情報画像と参照画像を比較するための観察支援として使用することができる、一般的な疾患画像のアトラスを表示するために）クリック又はユーザの手動入力なしにシステムによって起こすことができる。音声テキスト化では、ユーザがシステムに質問して、システムに、「ＦＡＱ」又は他のレポジトリ内に同様の質問があるかどうかを調べさせ、回答を提供させるような、システムのＧＵＩを「チャットボット」が支援することが可能になり得る。
【0143】
いくつかの実施形態では、システムは、ＧＩＴ関心部分内の遷移断片を表示してもよい。例えば、色バーの代わりに、各側からの遷移断片（例えば、ＳＢの胃及び結腸）を表す画像は、例えば、（断片間の）遷移画像を含む第２のレベルの表示を有する精査用情報の（及びマップ内に指示される）第１のレベルのビュー又はデフォルトのビューで提示されてもよいし、又は利用可能であってもよい。いくつかの実施形態では、遷移画像（例えば、Ｇｌ断片間の遷移を指示する画像）は、ユーザ入力後、例えば、ユーザが胃又は結腸を指示するアイコンをクリックした後、それに応じて、表示されたマップの各端部に表示されてもよい。このような解剖学的遷移画像には、解剖学的移遷移（例えば、ＳＢから結腸へ）に隣接して位置すると特定されたいくつかの画像を含んでもよい。遷移画像の表示のための１つの選択肢は、画像部分集合（例えば、第１のレベルの画像）内の各遷移について１枚の画像を含んでもよく、次いで、遷移を表す複数枚の画像を１枚以上の対応する画像（例えば、第２のレベルの画像）として含んでもよい。その後、画像部分集合のうちの画像は、関心部分の外側（例えば、両端）のマップ内に現れてもよい。別の選択肢は、このような画像を、関心部分の両端にあるマップの上方の小さな色バーで表すことか、又は、ユーザがその部分の端部にあるアイコン（例えば、結腸精査用情報内のＳＢアイコン及びトイレットアイコン）をクリックすることによって、画像の表示を含むウィンドウ又はスクリーンを受信することである。
【0144】
いくつかの実施形態では、精査用情報のデフォルトのビューは、ユーザが第１のレベルの画像を最初に素早くレビューすることを可能にするために、画像部分集合の行列表示を示してもよい。次いで、ユーザは、精査用情報の別のビュー、例えば、他のところにも記載されているような「カルーセル表示」に切り替えてもよい。例えば、行列表示内の画像をクリックすると、画像部分集合のカルーセル表示を含む、他の精査用情報ビューの表示が開始され、クリックした画像が、カルーセルの中央画像（例えば、一種の拡大ビュー）となる。このことは、精査用情報が比較的多くの画像（例えば、数百枚の画像）を含むときに最も有益であり得る。いくつかの実施形態では、行列ビューはまた、第２のレベルの画像及び／又は他の追加情報の表示も含んでもよい。
【0145】
いくつかの実施形態では、機械学習、人工知能、又はＡｌを使用して、前癌性結腸ポリープ、及び小腸の病態、又は他の特徴を自動的に特定、局所化、及びサイズ決定してもよい。実施形態では、ＮＬＨ（小結節性リンパ様過形成、Nodular Lymphoid Hyperplasia）、潰瘍、血管拡張症、浸食、血液、病変、又は炎症性狭窄などの特定の特徴又は病態のための「検出器」として機能するモジュールを使用又は実行してもよい。
【0146】
レポートは、レビュー中のユーザ入力に基づいて、ユーザのレビュー後に生成されてもよい。
【0147】
【0148】
動作１１００では、対象又は患者は、例えば、１つ以上の撮像機若しくは撮像装置（例えば、デジタル撮像機あるいはカメラ）、送信機、及び電源並びにアンテナなどの他のユニットを含む、嚥下式カプセルを嚥下又は摂取してもよい。
【0149】
動作１１１０では、カプセルは、対象のＧＩＴ、又はＧＩＴの一部分を（例えば、対象の自然な蠕動運動によって）横断し、（例えば、無線送信機を介して）画像を外部受信機に送信してもよい。
【0150】
動作１１２０では、カプセルが送信した画像は、外部受信機によって受信され（画像を転送する他の方法を使用してもよいが）、記録され、処理されてもよい。機器の様々な組み合わせを使用して、画像を受信及び保存してもよい。
【0151】
動作１１３０において、一実施形態では、関心画像集合は、例えば、第１の選択方法を使用して、例えば、１つ以上のプロセッサによって自動的に特定又は選択されてもよい。各関心画像は、自動的に特定された異なる特徴又は病態を示し得る。画像の群が作成されてもよく、各群には、１枚の第１のレベルの関心画像、及び第１のレベルの関心画像内にはないが、その群に対して、１枚の対応する第１のレベルの画像と同じ特徴を示す、対応する画像集合を含む。各第１のレベルの画像は、群内の「最も代表的な」画像として特定されてもよい。
【0152】
動作１１４０では、第１のレベルの画像は、静止（例えば、非映像）画像として、（例えば、このような表示を開始する任意のユーザ入力又はコマンドなしに）精査用情報のデフォルトのビューのメインビュー又はデフォルトのビューでモニタ又は表示装置上に表示されてもよい。第１のレベルの画像は、生体内画像ストリームの画像部分集合であってもよい。ユーザは、第１のレベルの画像をレビューしてもよい。第１のレベルの画像部分集合は、受信された画像ストリームを表し得る。
【0153】
動作１１５０では、第２のレベルの画像を表示するために、ユーザが入力を提供し、システム又はＧＵＩが入力を受信してもよく、表示装置上又はモニタ上に、画像部分集合のうちの現在表示されている画像に対応する、１枚以上の追加画像を表示してもよい。例えば、選択したか、又はクリックした第１のレベルの画像に対応する群内の画像が表示されてもよい。群内の１枚以上の追加画像は、第２の選択方法に従って、受信された生体内画像ストリームから自動的に選択されてもよい。第２の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
【0154】
動作１１６０において、一実施形態では、ユーザは、第２のレベルの画像の表示を変更してもよく、例えば、画像を動画像として表示させるか、又は、例えば、スクロールホイールを使用して、画像の群を静止した様式で前方及び後方に移動させる。精査用情報は、例えば、カルーセルモード、行列モード、又は別のモードで表示されてもよい。
【0155】
動作１１７０では、レポートをユーザに生成又は表示してもよい。レポートには、ユーザが選択した、表示された画像からの画像、及び場合によっては、ユーザが挿入したコメントなどの他の情報を含んでもよい。
【0156】
他の動作又は異なる動作が使用されてもよい。
【0157】
実施形態では、カプセル内視鏡処置の技術、並びに精査用情報の生成、医用画像表示、及び特に医療診断の技術を改善することができ、したがって、医療従事者が情報を診断し、より良好かつより効率的な治療を提供する能力を改善することもできる。例えば、医用画像処理及び表示技術は、医者がＧＩＴ内の関心領域をより素早く発見し、見て、分析することができるシステムを提供することによって改善されてもよく、これにより、従来の医療技術と比較したときに医者の判断を支持し、より良好にし得る自動分析を提供する。例えば、従来のＧＩＴ撮像システムでは、医者は、長時間の映像を見ることを余儀なくされていた可能性がある。加えて、関心特徴の自動特定、位置確認、及び／又はサイズ決定は提供されない。
【0158】
本開示のいくつかの実施形態を上の図面で示してきたが、それによって本開示が限定されることを意図するものではなく、本開示が当該技術分野で可能な限り広い範囲を対象とすること、及び本明細書も同様に解釈されることが意図されている。したがって、上述の説明は、単に特定の実施形態の例示として解釈すべきであり、限定するものとして解釈すべきではない。
【0159】
本開示による、かつ／又は図面に示される実施形態に関して上述した大部分の原理、要素、及び特徴は、それらが説明され／示される実施形態に限定されるものではなく、当業者が適切であると考える任意の組み合わせで、互いに、又は本開示による任意の他の実施形態に、必要な変更を加えて独立して適用されてもよいことを明らかにしておく。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【外国語明細書】