(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】赤外線熱内視鏡検査
(51)【国際特許分類】
A61B 1/00 20060101AFI20241106BHJP
A61B 1/045 20060101ALI20241106BHJP
A61B 1/12 20060101ALI20241106BHJP
【FI】
A61B1/00 512
A61B1/00 715
A61B1/00 650
A61B1/045 614
A61B1/045 618
A61B1/00 552
A61B1/12 521
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024526838
(86)(22)【出願日】2022-10-28
(85)【翻訳文提出日】2024-06-28
(86)【国際出願番号】 US2022048286
(87)【国際公開番号】W WO2023076631
(87)【国際公開日】2023-05-04
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】524166112
【氏名又は名称】オウル ピーク テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100119013
【氏名又は名称】山崎 一夫
(74)【代理人】
【識別番号】100130937
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【氏名又は名称】鈴木 博子
(74)【代理人】
【識別番号】100123630
【氏名又は名称】渡邊 誠
(72)【発明者】
【氏名】ハーヴィー ティモシー
(72)【発明者】
【氏名】ペイプ アビゲイル
(72)【発明者】
【氏名】パロマレス カルロス
(72)【発明者】
【氏名】コックス ジョン
(72)【発明者】
【氏名】スチュアート ウィル
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA04
4C161BB02
4C161BB08
4C161CC06
4C161DD03
4C161FF35
4C161GG11
4C161HH04
4C161HH32
4C161HH51
4C161HH55
4C161LL02
4C161LL08
4C161PP19
4C161QQ02
4C161QQ03
4C161QQ06
4C161QQ07
4C161WW02
4C161WW13
(57)【要約】
本明細書では、臓器内の異常の赤外線(例えば、遠赤外線)及び温度検出の使用を開示する。内視鏡的処置において、遠赤外線検出器、とりわけ複数の遠赤外線検出器の出力を活用して異常検出を強化するためのシステム、装置及び方法であって、これらの部品及びカメラ部品が飲み込み型ピルハウジングに含まれるシステム、装置及び方法を提供する。
【選択図】
図2A
【特許請求の範囲】
【請求項1】
内視鏡の管状部分の先端部であって、前記先端部は、内視鏡チューブの遠位端、及び前記遠位端の近位にある前記チューブの壁を備えるとともに、
a)前記壁の周囲及び/又は内部に独立して分散した複数の遠赤外線センサ及び/又は1又は2以上の温度センサと、
b)前記遠位端に配置された、前記チューブの前方の物体を撮像するためのカメラ(例えば、前記カメラの視野は、前記遠位端を越えて延びる、前記チューブの長手方向主軸を含む)と、
を備え、前記複数の遠赤外線センサ、1又は2以上の温度センサ、及びカメラは、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される、
ことを特徴とする先端部。
【請求項2】
少なくとも1つの赤外線センサの視野は、壁面に対して垂直な、又は前記チューブの前記長手方向軸に対して垂直な軸を含む、
請求項1に記載の先端部。
【請求項3】
前記複数の遠赤外線センサの各遠赤外線センサの視野及び前記カメラの視野は重なり合わない、
請求項1又は2に記載の先端部。
【請求項4】
前記複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野及び前記カメラの視野は重なり合う、
請求項1又は2に記載の先端部。
【請求項5】
前記複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野は重なり合う、
請求項1から4のいずれか1項に記載の先端部。
【請求項6】
前記遠赤外線センサのうちの少なくとも1つは、25°未満(又は0.1°~25°)(例えば、23°未満、18°未満、15°未満、1°~20°、4°~13°、5°~12°)の視野を有する、
請求項1から5のいずれか1項に記載の先端部。
【請求項7】
前記複数の遠赤外線センサの少なくとも50%(例えば、少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、全て)は、25°未満(又は0.1°~25°)(例えば、22°未満、18°未満、15°未満、3°~22°、1°~20°、4°~13°、5°~12°、1°~2°、2°~3°、3°~4°、4°~5°、5°~6°、6°~7°、7°~8°、8°~9°、9°~10°、10°~11°、11°~12°、12°~13°、13°~14°、14°~15°、15°~16°、16°~17°、17°~18°、18°~19°、19°~20°、20°~21°、21°~22°、22°~23°、23°~24°)の視野を単独で有する、
請求項1から6のいずれか1項に記載の先端部。
【請求項8】
前記複数の遠赤外線センサの少なくとも90%(例えば、全て)は、1°~20°(例えば、5°~12°)の視野を単独で有する、
請求項1から7のいずれか1項に記載の先端部。
【請求項9】
前記複数のセンサの一部(例えば、第1の部分、第2の部分)は、前記壁の円周を取り囲んで又は部分的に取り囲んで配置される、
請求項1から8のいずれか1項に記載の先端部。
【請求項10】
前記複数のセンサの一部(例えば、第1の部分、第2の部分)は、前記壁の円周に埋め込まれる、
請求項1から9のいずれか1項に記載の先端部。
【請求項11】
前記円周は、前記チューブの前記長手方向主軸に対して垂直である、
請求項10に記載の先端部。
【請求項12】
前記複数のセンサの一部(例えば、第1の部分、第2の部分)は、前記壁に沿って線形的に配置され、前記線形分散は、前記チューブの水平軸と実質的に平行(例えば、±5°、±1°)である、
請求項1から11のいずれか1項に記載の先端部。
【請求項13】
前記チューブは、円筒形チューブ、及び/又は真っ直ぐな及び/又は湾曲した縁部を有するチューブである、
請求項1から12のいずれか1項に記載の先端部。
【請求項14】
前記円筒形チューブは楕円筒である、
請求項13に記載の先端部。
【請求項15】
前記円筒形チューブは円筒である、
請求項13に記載の先端部。
【請求項16】
内視鏡の管状部分に取り付けられる装置であって、先端部増強のための前記装置は、内視鏡チューブの遠位端の近位にある壁に取り付け可能(例えば、取り外し自在に取り付け可能)であり、前記内視鏡は、前記遠位端に配置された、前記チューブの前方の物体を撮像するためのカメラを含み(例えば、前記カメラの視野は、前記遠位端を越えて延びる、前記チューブの長手方向主軸を含む)、
先端部増強のための前記装置は、基材上に分散した複数の遠赤外線センサ及び/又は1又は2以上の温度センサを含み、前記基材は、前記内視鏡の前記遠位端の近位にある前記壁に取り付け可能であり、
前記複数の遠赤外線センサ、1又は2以上の温度センサ、及びカメラは、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される、
ことを特徴とする装置。
【請求項17】
少なくとも1つの赤外線センサの視野は、壁面に対して垂直な、又は前記チューブの前記長手方向軸に対して垂直な軸を含む、
請求項16に記載の装置。
【請求項18】
前記装置が前記内視鏡に取り付けられた場合、前記複数の遠赤外線センサの各遠赤外線センサの視野及び前記カメラの視野は重なり合わない、
請求項16又は17のうちのいずれかに記載の装置。
【請求項19】
前記装置が前記内視鏡に取り付けられた場合、前記複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野及び前記カメラの視野は重なり合う、
請求項16又は17のうちのいずれかに記載の装置。
【請求項20】
前記複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野は重なり合う、
請求項16から20のいずれか1項に記載の装置。
【請求項21】
前記遠赤外線センサのうちの少なくとも1つは、20°未満(又は0.1°~25°)(例えば、18°未満、15°未満、1°~20°、4°~13°、5°~12°)の視野を有する、
請求項16から21のいずれか1項に記載の装置。
【請求項22】
前記複数の遠赤外線センサの少なくとも50%(例えば、少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、全て)は、25°未満(又は0.1°~25°)(例えば、22°未満、18°未満、15°未満、3°~22°、1°~20°、4°~13°、5°~12°、1°~2°、2°~3°、3°~4°、4°~5°、5°~6°、6°~7°、7°~8°、8°~9°、9°~10°、10°~11°、11°~12°、12°~13°、13°~14°、14°~15°、15°~16°、16°~17°、17°~18°、18°~19°、19°~20°、20°~21°、21°~22°、22°~23°、23°~24°)の視野を単独で有する、
請求項16から21のいずれか1項に記載の装置。
【請求項23】
前記複数の遠赤外線センサの少なくとも90%(例えば、全て)は、1°~20°(例えば、5°~12°)の視野を単独で有する、
請求項16から22のいずれか1項に記載の装置。
【請求項24】
前記装置が前記内視鏡に取り付けられた場合、前記複数のセンサの一部(例えば、第1の部分、第2の部分)は、前記壁の円周を取り囲んで又は部分的に取り囲んで配置される、
請求項16から23のいずれか1項に記載の装置。
【請求項25】
前記装置が前記内視鏡に取り付けられた場合、前記円周は、前記チューブの前記長手方向主軸に対して垂直である、
請求項24に記載の装置。
【請求項26】
前記装置が前記内視鏡に取り付けられた場合、前記複数のセンサの一部(例えば、第1の部分、第2の部分)は、前記壁に沿って線形的に配置され、前記線形分散は、前記チューブの水平軸と実質的に平行(例えば、±5°、±1°)である、
請求項16から25のいずれか1項に記載の装置。
【請求項27】
前記チューブは円筒形チューブであり、前記基材は、前記チューブに取り付けられるような寸法を有する、
請求項16から26のいずれか1項に記載の装置。
【請求項28】
前記円筒形チューブは楕円筒である(例えば、前記基材は楕円形である)、
請求項27に記載の装置。
【請求項29】
前記円筒形チューブは円筒である(例えば、前記基材は円形である)、
請求項27に記載の装置。
【請求項30】
a)請求項1から15のいずれか1項に記載の先端部、又は前記先端部に取り付けられる請求項16から29のいずれか1項に記載の装置を有する内視鏡と、
b)前記複数の遠赤外線センサ、及び任意に前記カメラから送信された前記データを受け取るように構成された機械可読媒体と、
c)前記機械可読媒体に送信された前記データを分析して、前記遠IRセンサからのデータ、及び任意に、提供された画像(例えば、臓器の組織表面上に存在するポリープなどの疾患、組織表面下に存在する疾患、腫瘍、嚢胞、肉芽腫、循環器異常、炎症)に基づいて、臓器又は一連の臓器(例えば、被験者の消化管)の異常を識別するための命令を含むプロセッサと、
を備えることを特徴とする内視鏡システム。
【請求項31】
前記プロセッサは、前記機械可読媒体に送信された前記カメラ画像からカメラML/AIアルゴリズムが異常を検出するための命令を含む、
請求項30に記載の内視鏡システム。
【請求項32】
前記プロセッサは、前記複数のセンサから前記機械可読媒体に送信された異常データを遠赤外線AIアルゴリズムが検出するための命令を含む、
請求項30又は31のいずれかに記載の内視鏡システム。
【請求項33】
前記プロセッサは、前記カメラML/AIアルゴリズムの出力と前記遠赤外線ML/AIアルゴリズムの出力とを比較するための命令を含む、
請求項32に記載の内視鏡システム。
【請求項34】
前記データを分析して異常を識別するための前記命令は、消化管内における前記遠位端の位置及び/又はデータ収集中の前記遠位端の移動速度に関与する計算を含む、
請求項30から33のいずれか1項に記載の内視鏡システム。
【請求項35】
前記プロセッサは、前記複数の遠赤外線センサから送信されたデータを分析して皮下異常を識別するための命令を含む、
請求項30から34のいずれか1項に記載の内視鏡システム。
【請求項36】
内視鏡システムを使用して物体を観察する方法であって、
a)チューブの遠位端の近位にある壁の周囲に分散した複数の遠赤外線センサ及び/又は温度センサを有する内視鏡を、前記物体が前記複数の遠赤外線センサ及び/又は温度センサのうちの少なくとも1つの視野内に存在するように配置して、前記物体の熱及び/又は温度データを検出することと、
b)前記熱及び/又は温度データを機械可読媒体に送信することと、
を含むことを特徴とする方法。
【請求項37】
内視鏡システムを使用して物体を観察する方法であって、
a)請求項1から15のいずれか1項に記載の先端部、又は前記先端部に取り付けられる請求項16から29のいずれか1項に記載の装置を有する内視鏡を準備することと、
b)光(例えば、白色光、赤色光、青色光、緑色光、赤外光、近赤外光)を放出できる光源を配置し、前記光源から放出された光が前記物体から前記カメラ内に反射されて画像データを形成するようにすることと、
c)前記画像データを機械可読媒体に送信することと、
d)任意に、前記物体が前記複数の遠赤外線センサのうちの1又は2以上の遠赤外線センサの視野内に存在するように前記内視鏡の前記遠位端を移動させて、前記物体の熱データを検出することと、
e)前記複数の遠IRセンサ及び/又は温度センサからの熱及び/又は温度データを機械可読媒体に送信することと、
を含むことを特徴とする方法。
【請求項38】
内視鏡システムを使用して物体を観察する方法であって、
a)請求項1から15のいずれか1項に記載の先端部、又は前記先端部に取り付けられる請求項16から29のいずれか1項に記載の装置を有する内視鏡を、前記物体が前記複数の遠赤外線センサのうちの少なくとも1つの視野に入るように配置して、前記物体の熱及び/又は温度データを検出することと、
b)前記熱及び/又は温度データを機械可読媒体に送信することと、
c)光(例えば、白色光、赤色光、青色光、緑色光、赤外光、近赤外光)を放出できる光源を配置して、前記光源から放出された光が前記物体から前記カメラ内に反射されて画像データを形成するようにすることと、
d)前記画像データを機械可読媒体に送信することと、
を含むことを特徴とする方法。
【請求項39】
前記光源は、前記遠位端の移動によって配置される、
請求項37又は38に記載の方法。
【請求項40】
前記遠位端は、前記複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野を前記物体が通過するように移動される、
請求項36から39のいずれか1項に記載の方法。
【請求項41】
前記移動中に各センサからの熱データが収集され、前記機械可読媒体に送信される、
請求項40に記載の方法。
【請求項42】
前記機械可読媒体は、前記熱データ及び/又は画像データを分析するための命令を含むプロセッサと通信する、
請求項37から41のいずれか1項に記載の方法。
【請求項43】
前記熱及び/又は温度データは、ある位置(例えば、組織の位置)の異常(例えば、ポリープ、皮下異常)を識別し、前記光源は、前記識別された異常から前記カメラ内に反射するように配置される、
請求項37から42のいずれか1項に記載の方法。
【請求項44】
前記方法は、前記位置を洗浄することをさらに含む、
請求項43に記載の方法。
【請求項45】
前記洗浄は、前記光源を配置して前記異常の位置を観察する前に行われる、
請求項44に記載の方法。
【請求項46】
前記洗浄は、前記光源を配置して前記異常の位置を観察した後に行われ、前記方法は、前記光源を、前記識別された異常から前記カメラ内に反射するように再配置して、前記洗浄された異常の位置を観察することをさらに含む、
請求項44に記載の方法。
【請求項47】
前記熱データ及び/又は温度データ及び/又は画像データをインターフェイス(例えば、グラフィカルユーザインターフェイス)に送信及び/又は表示して、前記データ内で識別された物体(例えば、異常、洗浄された異常、潜在的異常)を内視鏡ユーザが(例えば、リアルタイムで)観察できるようにすることをさらに含む、
請求項37から46のいずれか1項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2021年10月29日に出願された米国特許出願第63/273,821号に対する優先権及びその利益を主張するものであり、この文献の内容は全体が引用により本明細書に組み入れられる。
【0002】
本開示は赤外線検出に関し、具体的には、赤外線撮像を利用して、内視鏡的処置中に熱的に生じる異常の赤外線放射を測定する医療装置及び方法に関する。
【背景技術】
【0003】
「内視鏡検査」という用語は、「スコープを用いた中空臓器又は空間の可視化」を広く意味する。例えば、通常、結腸内視鏡検査では、いずれかの異常の検出のために直腸の内膜、結腸(大腸)の全部又は一部、さらには(回腸として知られている)小腸の最下部までも検査することができる。結腸内視鏡検査中は、肛門から内視鏡を挿入した後に、直腸、結腸、及び場合によっては回腸内にゆっくりと進める。通常、内視鏡は、挿入用の可撓性チューブ(別名、「挿入チューブ」)を含むとともに、消化管(GI tract)内にチューブを挿入して取り出す際に消化管の可視光画像を取り込むように構成された、光源を有するカメラを遠位端に含む。挿入チューブは、剛性、可撓性、又はこれらの両方の組み合わせであることができ、さらに挿入チューブの遠位端はユーザによって操縦可能であることができる。ほとんどの内視鏡は、空気、流体の注入、或いは組織の可視化又は操作を支援する器具の挿入さえも可能にする、挿入チューブに沿って又は挿入チューブ内を延びるチャネルを有する。限定するわけではないが、小腸、脳、副鼻腔、気管支、上部消化管、腹膜腔及び関節腔を含む人体内の多くの臓器及び空間の可視化を容易にするような形状及びサイズを有する特別に適合された内視鏡が存在する。
【0004】
しかしながら、内視鏡は、典型的にはチューブの順方向に向けられる限られた視野(FOV)を有することが多い。また、大腸の急激な屈曲、襞、捻れ及び旋回、並びに排泄物の常時存在などの消化管内の様々な困難な条件に起因して、消化管を完全に網羅して撮像するように挿入チューブを操作することは困難である。
【0005】
挿入チューブを有する代わりに、飲み込まれるように、又は挿入チューブでは到達が困難な所望の領域に配置されるように設計された特殊クラスの内視鏡検査用装置も存在する。これらの装置は、主に異常検出という同じ機能を果たす。これらの装置は、一般に「カプセル内視鏡」と呼ばれ、その使用は「カプセル内視鏡検査」と呼ばれる。
【0006】
可視光及び内視鏡ベースの組織及び臓器の目視検査には限界がある。上述したように、身体の多くの領域は、一般的な内視鏡でのアクセスが困難な場合がある。この困難さは、生体構造の性質、又は小腸などの長い中空臓器を横切ることにまつわる距離が原因で生じることがある。また、内視鏡を用いた直接可視化は、臓器内膜と内視鏡カメラとの間の可視光の遮断、内視鏡カメラ及び関連技術の限界、さらには処置中に収集された画像の内視鏡医による解釈に関連する主観性によって制限されることもある。具体的には、画像解像度不足、組織襞の存在、(例えば、洗浄されていない排泄物が組織表面上に堆積することによる)組織表面上の障害物、又は遠位端の高速な移動速度に起因して、異常を含む臓器又は空間の領域を内視鏡のオペレータが見落としてしまうことがある。
【0007】
可視光以外の放射線を使用して異常を検出するいくつかの内視鏡的処置も開発されている。例えば、米国特許第8,774,902号及び第10,791,916号には、周囲組織と比べた時に温度差がある異常から受動的に放出される赤外線放射を検出する赤外線センサを内視鏡上で使用することが詳述されており、これらの文献はその全体が引用により本明細書に組み入れられる。しかしながら、これらの検出法は実際の内視鏡的処置での実装が困難であり、非可視光単独では、異常に関する情報が異常を識別できるほど十分に提供されないことが多い。「血管新生(angiogenesis)」の概念は、(赤外線放射の形の)熱放出の増加を腫瘍などの異常に広く関連付け、ある領域における増加したIRの存在は、可視光が不十分な段階で異常を評価しようと模索する臨床医にとって極めて貴重な情報を提供することができる。現在進行中の研究では、従来の手段を使用して癌を識別できるようになる前に癌を識別するのにIRが役立つ可能性を示している。一般的な5年間隔の標準的内視鏡検査の合間に発見される多くの結腸癌は、内視鏡検査中に見落とされた病変又はポリープが原因であったことが分かっている。それにもかかわらず、内視鏡的処置でのIR測定の実装は困難と証明されており、大規模な採用には至っていない。これには様々な理由が考えられる。例えば、臓器又は空間の全体にわたってIRを適切に測定すること、内視鏡検査中にIRパラメータセットが異常を正確に識別できるかどうか、及びIR情報を内視鏡画像に結び付けること、に関連する複雑さが、内視鏡検査中における赤外分析法の使用を困難なものにしている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第8,774,902号明細書
【特許文献2】米国特許第10,791,916号明細書
【特許文献3】米国特許第9,936,151号明細書
【非特許文献】
【0009】
【非特許文献1】Stefanadis,C.著、Journal of Clinical Gastroentereology 36.3(2003)、215~218頁
【非特許文献2】Banic,M.著、Periodicum biologorum 113.4(2011)、439~444頁
【発明の概要】
【発明が解決しようとする課題】
【0010】
本開示の目的は、内視鏡及びその他の可視化装置のための撮像及び分析技術について説明することである。本開示は、これまでに利用可能な内視鏡的処置と比べて、取得されるデータを増加させ、取得されたデータの解釈を強化するように内視鏡を増強するための装置、ソフトウェア及びシステムを含む。これらの技術は、内視鏡の可視光画像データを伴うことで、使用中にさらに正確な生体組織の異常の検出を可能にすることができる。
【課題を解決するための手段】
【0011】
本開示は、上記の及びその他の目的に従い、熱を検出するように構成されたセンサセットを含む内視鏡、又は内視鏡に取り付けられる装置について説明する。そして、これらの要素を追加ハードウェア及びソフトウェアに結合して、データの取り込み、記憶、分析及び/又は解釈を行うことができる。通常、この分析は、診断上又は治療上の意思決定を支援するために、時には内視鏡から撮影された可視画像と併せてユーザに提示される。多くの場合、異常は、正常組織と比べて増加した熱シグネチャ(heat signature)を有する。本開示の装置は、異常検出のための追加パラメータを追加するためにこのシグネチャを利用する。理論に縛られるつもりはないが、処置中に装置が中空臓器又は空間内を移動している時に装置上の複数のセンサからの熱データを収集すると、固有の異常シグネチャが得られる。本開示は、この熱データを任意に光学画像と共に検出し、解釈して、内視鏡検査中におけるより正確な異常の検出及びより完全な異常の画像を提供する方法及びシステムを含む。本開示の装置は、本明細書で説明する機械学習プロセスから提供されるアルゴリズムを活用することにより、複数のセンサ測定に関連する固有のシグネチャを収集して活用する結果、本明細書で説明する複数のセンサ及び/又は機械学習の異常検出を使用しない装置と比べて異常検出が単純かつ迅速なものになる。
【0012】
本明細書では、内視鏡の管状部分の先端部であって、内視鏡チューブの遠位端、及び遠位端の近位にあるチューブの壁を備えるとともに、
a)前記壁の周囲に分散した複数の遠赤外線センサ及び/又は温度センサと、
b)任意に、遠位端に配置された、チューブの前方の物体を撮像するためのカメラ(例えば、カメラの視野は、遠位端を越えて延びる、チューブの長手方向主軸を含む)と、
を備え、複数の遠赤外線センサ、温度センサ(例えば、1又は2以上の温度センサ)、及びカメラが、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される、先端部を提供する。内視鏡は、撮像中の臓器又は空間からカメラ内に反射して光学画像を形成する可視光源を含むことができる。様々な実装では、少なくとも1つの赤外線センサの視野が、壁面に対して垂直な、又はチューブの長手方向軸に対して垂直な軸を含む。いくつかの実施形態では、複数の遠赤外線センサの各遠赤外線センサの視野とカメラの視野とが重なり合わない。他の実施形態では、複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野とカメラの視野とが重なり合う。遠赤外線センサ(又はその一部)は、線形的に(例えば、チューブの長手方向主軸に沿って)、チューブ壁の周囲に周方向又は部分的に周方向に、或いはこれらの組み合わせで配置することができる。いくつかの実施形態では、遠赤外線センサ(又はその一部)を内視鏡の遠位端に取り付けることができる。様々な実装では、少なくとも1つの遠赤外線センサが、カメラの視野と重なり合う視野を有することができる。いくつかの実施形態では、遠赤外線センサ(又はその一部)を、チューブの長手方向主軸に対して垂直な平面内に各センサが位置するようにチューブ壁の周囲に周方向に配置することができる。様々な実装では、遠赤外線センサ(又はその一部)を、チューブの長手方向主軸に対して垂直でない平面内に各センサが位置するようにチューブ壁の周囲に周方向に配置することができる。いくつかの実施形態では、複数の遠赤外線センサが、管状部分の直径を増加させないように内視鏡の管状部分及び/又は操縦部分に一体化される。いくつかの実施形態では、遠位端が、1~15個の遠IRセンサ(例えば、2~15個の遠IRセンサ、2~10個の遠IRセンサ、8個の遠IRセンサ)を含む。
【0013】
内視鏡の管状部分に取り付けられる装置も提供する。これらの装置は、内視鏡チューブの遠位端の近位にある壁に取り付け可能(例えば、取り外し自在に取り付け可能)である。典型的には、内視鏡は、遠位端に配置された、チューブの前方の物体を撮像するためのカメラを含み(例えば、カメラの視野は、遠位端を越えて延びる、チューブの長手方向主軸を含む)、先端部増強のための装置は、基材上に分散した複数の遠赤外線センサを含み、この基材は、内視鏡の遠位端の近位にある壁に取り付け可能であり、複数の遠赤外線センサ、温度センサ(例えば、1又は2以上の温度センサ)、及びカメラは、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される。様々な実装では、少なくとも1つの赤外線センサの視野が、壁面に対して垂直な、又はチューブの長手方向軸に対して垂直な軸を含む。いくつかの実施形態では、複数の遠赤外線センサの各々の視野とカメラの視野とが重なり合わない。他の実施形態では、複数の遠赤外線センサのうちの少なくとも1つのセンサの視野とカメラの視野とが重なり合う。遠赤外線センサ(又はその一部)は、チューブ壁の周囲に周方向又は部分的に周方向に配置することができる。いくつかの実施形態では、複数の遠赤外線センサが、装置が管状部分の直径を増加させないように、或いはチューブの直径又は円周を20%未満(又は、0.1%~20%)又は10%未満又は5%未満しか増加させないように内視鏡の管状部分に一体化される。いくつかの実施形態では、遠赤外線センサ(又はその一部)を、チューブの長手方向主軸に対して垂直な平面内に各センサが位置するようにチューブ壁の周囲に周方向に配置することができる。様々な実装では、遠赤外線センサ(又はその一部)を、チューブの長手方向主軸に対して垂直でない平面内に各センサが位置するようにチューブ壁の周囲に周方向に配置することができる。様々な実装では、複数の遠赤外線センサ及び/又は熱センサが、飲み込まれ、消化管を通過し、口から肛門まで通過する際に消化管の遠赤外線及び熱測定値を記録するように構成されたピル形カメラなどの飲み込み型カメラ(ingestible camera)上に配置される。他の実施形態では、説明したセンサを、可視光カメラに完全に取って代わるように配置して配列することができる。いくつかの実施形態では、装置が、1~15個の遠IRセンサ(例えば、2~15個の遠IRセンサ、2~10個の遠IRセンサ、8個の遠IRセンサ)を含む。
【0014】
これらの装置は、例えばカメラを有する内視鏡に取り付けることができるが、内視鏡はカメラを使用せずに臓器又は空間内を移動することもできる。ハウジングは、内視鏡の遠位端を挿入できる空洞を含むことができる。ハウジングは、装置が内視鏡に取り付けられた時にカメラの機能を維持するように、空洞に隣接する表面上に、挿入時に内視鏡カメラ及び/又は可視光源を位置合わせできるような穴を含むこともできる。いくつかの実施形態では、装置が光源(例えば、可視光源、赤外線光源)を含むことができ、カメラ及び/又は複数のIRセンサによって反射光を検知することができる。
【0015】
これらの装置上の赤外線(例えば、遠赤外線)センサ同士の相対的配向及び視野は、センサによって検出されたいずれかの異常に関する情報を収集して解釈するために使用される変数であることができる。例えば、複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野は、異なるセンサが物体のデータを同時に取得できるように重なり合う。センサの構成及び視野の重なり合いは、検出アルゴリズムで使用されるパラメータであることができる。また、いくつかの実施形態では、視野が重なり合うことで、センサの故障又は障害(例えば、センサ上又は組織表面沿いに排泄物などの生体内物質が堆積することによる障害)などの装置の問題を検出することもできる。いくつかの実施形態では、(組織表面に堆積した障害物を通じて観察される異常温度などの)異常温度を識別すると、例えば潜在的関心領域から(例えば、洗浄によって)障害物を除去し、及び/又は内視鏡の視覚部分を特定の位置に向け直した後に(例えば、障害物の除去後に)その領域を1回又は2回以上目視検査するように内視鏡オペレータに通知することができる。いくつかの実施形態では、異常温度の識別時に、遠位端が洗浄及び目視検査のために自動的に再配置される。また、内視鏡的処置中に除去するのが困難なセンサ上の障害物については、機械学習アルゴリズムが、このような障害物がいつ発生したかを識別し、及び/又は遮られていない残りのセンサを使用して検出を補償することができる。これらの機械学習アルゴリズムは、例えば内視鏡的処置中に遮られていない複数のIRセンサからの全視野を再計算し、或いはセンサ領域を洗浄又は別様にクリアにするようにユーザに通知するフィードバックを提供することができる。いくつかの実施形態では、前記複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野が重なり合わず、隣接する臓器部分から熱又は温度情報を取り込むことができる。様々な実装では、少なくとも2つの遠赤外線センサが、観察中の臓器部分を第1のセンサが撮像し、その後に内視鏡が動いた(例えば、回転、前進、後退した)後に、観察中の同じ又は実質的に同じ臓器部分を第2のセンサの視野が撮像できるようにされる。いくつかの実施形態では、前記装置が内視鏡に取り付けられた時に、前記複数のセンサの一部(例えば、第1の部分、第2の部分)が壁に沿って線形的に配置され、前記線形分散がチューブの長手方向主軸と実質的に平行(例えば、±5°、±1°)である。
【0016】
いくつかの実施形態では、複数のセンサのうちの少なくとも2つが異なる波長のIR光を検出する。例えば、各センサは、遠IR(例えば、15~1000μmの波長を有する光)、中IR(例えば、1,000nm~15,000nmの波長を有する光)、又は近IR(例えば、800nm~3,000nmの波長を有する光)を独立して検出することができる。いくつかの実施形態では、装置上のセンサの50%超(例えば、50%~100%、60%~100%、70%~100%、80%~100%、90%~100%)が遠IR光(例えば、15~1000μm、又は15~100μm、100~200μm、200~300μm、300~400μm、400~500μm、500~600μm、600~700μm、700~800μm、900~1000μmの波長を有する光)を検出することができる。いくつかの実施形態では、重なり合った視野を有するセンサが、同じ波長範囲、異なる波長範囲、又はこれらの組み合わせを検出する。
【0017】
内視鏡チューブは、円筒形チューブなどの、湾曲した最外壁を有するチューブであることができる。いくつかの実施形態では、円筒形チューブが楕円筒又は円筒である。これらのチューブに付着するように設計された装置では、基材が、チューブの遠位端の近位にある壁位置に収まるように設計された円形又は楕円形リングなどの形状寸法に一致するような寸法を有することができる。
【0018】
本開示は、特定の遠赤外線センサが生理学的に適切な距離で異常な熱シグネチャの評価を向上させるとの発見に部分的に基づく。例えば、遠赤外線センサのうちの少なくとも1つは、25°未満(又は0.1°~25°)(例えば、22°未満、18°未満、15°未満、1°~20°、4°~13°、5°~12°)の視野を有することができる。様々な実装では、複数の遠赤外線センサの少なくとも50%(例えば、少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、全て)が、25°未満(又は0.1°~25°)(例えば、22°未満、18°未満、15°未満、3°~22°、1°~20°、4°~13°、5°~12°、1°~2°、2°~3°、3°~4°、4°~5°、5°~6°、6°~7°、7°~8°、8°~9°、9°~10°、10°~11°、11°~12°、12°~13°、13°~14°、14°~15°、15°~16°、16°~17°、17°~18°、18°~19°、19°~20°、20°~21°、21°~22°、22°~23°、23°~24°)の視野を単独で有する。いくつかの実施形態では、複数の遠赤外線センサの少なくとも90%(例えば、全て)が、5°~12°の視野を単独で有する。様々な実施形態では、複数の赤外線センサのうちの少なくとも1つ、一部(例えば、50%超、60%超、70%超、80%超、90%超)、又は全てが、少なくとも1Hz(例えば、少なくとも2Hz、少なくとも3Hz、少なくとも4Hz、少なくとも5Hz、少なくとも6Hz、少なくとも7Hz、少なくとも8Hz、少なくとも9Hz、少なくとも10Hz、2Hz~20Hz、3Hz~20Hz、4Hz~20Hz、5Hz~20Hz、6Hz~20Hz、7Hz~20Hz、8Hz~20Hz、9Hz~20Hz、10Hz~20Hz)の検出率を有する。
【0019】
さらなる熱パラメータの分析を内視鏡システムが実行することができる。これらの内視鏡システムは、
a)本開示の先端部、又は先端部に取り付けられる本開示の装置を有する内視鏡と、
b)複数の遠赤外線センサ、及び任意にカメラから送信されたデータを受け取るように構成された機械可読媒体と、
c)機械可読媒体に送信されたデータを分析して、複数の遠赤外線センサ、及び任意に、備わったカメラから送信されたデータ(例えば、臓器の組織表面上に存在するポリープなどの疾患、組織表面下に存在する疾患、腫瘍、嚢胞、肉芽腫、循環器異常、炎症)に基づいて臓器又は一連の臓器(例えば、被験者の消化管)の異常を識別するための命令を含むプロセッサと、
を備えることができる。
いくつかの実施形態では、プロセッサが、機械可読媒体に送信されたカメラ画像からカメラAIアルゴリズムが異常を検出するための命令を含むことができる。例えば、プロセッサは、複数のセンサから機械可読媒体に送信された異常データを遠赤外線AIアルゴリズムが検出するための命令を含むことができる。様々な実装では、プロセッサが、カメラAIアルゴリズムの出力と遠赤外線AIアルゴリズムの出力とを比較するための命令を含む。いくつかの実施形態では、データを分析して異常を識別するための命令が、中空臓器又は空間(例えば、消化管)内における遠位端の位置及び/又はデータ収集中の遠位端の移動速度(例えば、前進速度、後退速度、回転速度)に関与する計算を含む。
【0020】
また、内視鏡システムを使用して物体を観察する方法であって、
a)チューブの遠位端の近位にある壁の周囲に分散した複数の遠赤外線センサを有する内視鏡を、物体が複数の遠赤外線センサのうちの少なくとも1つの視野内に存在するように配置して、物体の温度データを検出することと、
b)熱データを機械可読媒体に送信することと、
を含む方法も提供する。
【0021】
内視鏡システムを使用して物体を観察する方法は、
a)熱又は温度データを検出する複数のセンサを有する本開示の先端部、又は先端部に取り付けられた本開示の装置を有する内視鏡を準備することと、
b)光(例えば、白色光、赤色光、青色光、緑色光、赤外光、近赤外光)を放出できる光源を配置し、光源から放出された光が物体からカメラ及び/又は複数の遠IRセンサ(又はその一部)内に反射されて画像データを形成し、及び/又は遠IR波長の反射データを収集することと、
c)画像データを機械可読媒体に送信することと、
d)任意に、物体が複数の遠赤外線センサのうちの1又は2以上の遠赤外線センサの視野内に存在するように内視鏡の遠位端を移動させて、物体の熱データを検出することと、
e)熱又は温度データを機械可読媒体に送信することと、
を含むことができる。
【0022】
いくつかの実施形態では、内視鏡システムを使用して物体を観察する方法が、
a)本開示の先端部、又は先端部に取り付けられた本開示の装置を有する内視鏡を、物体が複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野に入るように配置して、物体の熱データを検出することと、
b)熱データを機械可読媒体に送信することと、
c)光(例えば、白色光、赤色光、青色光、緑色光、赤外光、近赤外光)を放出できる光源を配置して、光源から放出された光が物体からカメラ内に反射されて画像データを形成するようにすることと、
d)画像データを機械可読媒体に送信することと、
を含むことができる。
様々な実施形態では、光源が遠位端の移動によって配置される。光源は、熱データの測定及び分析前、及び/又は熱データの測定及び分析前に配置することができる。いくつかの実施形態では、遠位端を、複数の遠赤外線センサのうちの少なくとも2つの遠赤外線センサの視野を物体が通過するように移動させることができる。センサの配置は、カメラによる異常の識別前、識別中、又は識別後に実行することができる。いくつかの実施形態では、カメラ及び複数のIRセンサ(例えば、遠IRセンサ)の両方によって取得されたデータに対して分析が行われ、移動はこれらと無関係である。いくつかの実施形態では、方法が、遠IRセンサデータを介した異常の識別後に、洗浄ステップ(例えば、遠位端から生理食塩水などの液体を放出して組織表面及び/又はセンサから付着物を除去すること)の開始などの組織表面の改変を含むことができる。
【0023】
典型的には、方法は、前記移動中に各センサから熱データを収集して前記機械可読媒体に送信することを含む。いくつかの実施形態では、機械可読媒体が、熱データ及び/又は画像データを分析するための命令を含むプロセッサと通信する。いくつかの実施形態では、熱及び/又は温度データが、ある位置(例えば、組織の位置)の異常(例えば、ポリープ、皮下異常)を識別し、光源が、識別された異常からカメラ内に反射するように配置される。いくつかの実施形態では、光源の配置が、(例えば、遠位端の移動を介した)光源及びカメラの両方の配置を含む。
【0024】
内視鏡医は、障害物を除去し、及び/又は撮像する位置の視界を良好にするために、組織のいずれかの位置を(例えば、遠位端の近位にあるノズルから流出する生理食塩水で)洗浄することを選択することができる。例えば、いくつかの実施形態では、方法が、位置を洗浄することをさらに含むことができる。いくつかの実施形態では、光源を配置して異常の位置を観察する前に洗浄を行うことができる。別の実施形態では、光源を配置して異常の位置を観察した後に洗浄を行うことができ、方法は、識別された異常からカメラ内に反射するように光源を再配置して、洗浄された異常の位置を観察することをさらに含む。典型的には、これらの方法は、熱データ及び/又は温度データ及び/又は画像データをインターフェイス(例えば、グラフィカルユーザインターフェイス)に送信及び/又は表示して、データ内で識別された物体(例えば、異常、洗浄された異常、潜在的異常)を内視鏡ユーザが(例えば、リアルタイムで)観察できるようにすることを含む。いくつかの実施形態では、(例えば、本明細書で説明する機械学習アルゴリズムにおける使用のために)データを記憶して後の時点で見ることができる。
【0025】
一般に、本発明の実施形態は、米国特許第10,791,916号に記載されるような、例えば医療用途のためのサイドスキャン赤外線撮像のために構成された赤外線撮像装置を含み、この文献はその全体が引用により本明細書に組み入れられる。例えば、本発明の1つの実施形態では、撮像装置が、熱赤外線放射を検出するように構成された赤外線検出器の円形アレイを含むリング状検出要素と、入射赤外線を赤外線検出器の円形アレイに向けて集束させるように構成された集束要素とを含む。
【図面の簡単な説明】
【0026】
【
図1A】特定の形状寸法の遠赤外線検出器のアレイを含む内視鏡の先端部の断面図である。
【
図1B】特定の形状寸法の遠赤外線検出器のアレイを含む内視鏡の先端部の断面図である。
【
図1C】特定の形状寸法の遠赤外線検出器のアレイを含む内視鏡の先端部の断面図である。
【
図1D】特定の形状寸法の遠赤外線検出器のアレイを含む内視鏡の先端部の断面図である。
【
図1E】特定の形状寸法の遠赤外線検出器のアレイを含む内視鏡の先端部の断面図である。
【
図2A】遠位端に取り付けられた複数のセンサを有する装置を含む内視鏡の装置の上面図である。
【
図2B】遠位端に取り付けられた複数のセンサを有する装置を含む内視鏡の装置及び遠位端の正面図である。
【
図3A】遠位端のハウジングの周囲に複数のセンサが分散した内視鏡の図である。
【
図3B】遠位端のハウジングの周囲に複数のセンサが分散した内視鏡の図である。
【
図4】本開示の装置、システム及び方法を用いた内視鏡的処置の例示的なフローチャートである。
【
図5】異常検出に使用される計算ユニットを構築する例示的な機械学習手順の例示的なフローチャートである。
【
図6】様々なセンサの測定されたセンサデータを熱源からの距離の関数として示す図である。
【
図7A】実施例において説明するセンサ測定の概略図である。
【
図7B】実施例において説明するセンサ測定の概略図である。
【
図8A】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから0”の位置で走査した時の、5°FOVセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図8B】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから1”の位置で走査した時の、5°FOVセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図9A】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから0”の位置で走査した時の、12°FOVセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図9B】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから1”の位置で走査した時の、12°FOVセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図10A】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから0”の位置で走査した時の、様々なMelexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図10B】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから1”の位置で走査した時の、様々なMelexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図11A】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから0”の位置で走査した時の、12°FOV Melexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図11B】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから1”の位置で走査した時の、12°FOV Melexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図12A】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから0”の位置で走査した時の、5°FOV Melexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図12B】異常シミュレーションのための穴を含む加熱マスク全体を加熱マスクから1”の位置で走査した時の、5°FOV Melexisセンサを使用して採取された熱遠赤外線IR測定値を示す図である。
【
図13A】異常をシミュレートするために裏側に抵抗ヒータが配置された人工腸の画像を示す図である。
【
図13B】全てのコンポーネントが周囲温度にある状態で
図13Aに示す表面全体を走査した時のこのプロトコルの走査の陰性対照を示す図である。
【
図14A】異常シミュレーション中の人工腸にわたる5°及び12°FOV Melexisセンサのセンサ測定値を示す図である。
【
図14B】異常シミュレーション中の人工腸にわたる5°及び12°FOV Melexisセンサのセンサ測定値を示す図である。
【
図14C】異常シミュレーション中の人工腸にわたる5°及び12°FOV Melexisセンサのセンサ測定値を示す図である。
【
図14D】異常シミュレーション中の人工腸にわたる5°及び12°FOV Melexisセンサのセンサ測定値を示す図である。
【
図15A】人工腸材料の湾曲した実験設定の画像である。
【
図15B】材料の反対側に抵抗性熱源を適用した湾曲材料の熱画像である。
【
図16】模擬異常を有する湾曲した人工腸の遠赤外線センサ走査を示す図である。
【
図17A】異常に対する複数のセンサの水平構成を示す図である。
【
図17B】異常に対する複数のセンサの垂直構成を示す図である。
【
図18A】模擬異常を有する湾曲した人工腸上を水平方向に走査した時の3つのセンサのセンサ測定値を示す図である。
【
図18B】模擬異常を有する湾曲した人工腸上を垂直方向に走査した時の3つのセンサのセンサ測定値を示す図である。
【
図19A】生体内異常シミュレーション実験において使用されるセンサ固定具(センサハウジング及びセンサアレイ)の図である。
【
図19B】生体内異常シミュレーション実験において使用されるセンサ固定具(センサハウジング及びセンサアレイ)の図である。
【
図19C】生体内異常シミュレーション実験において使用されるセンサ固定具(センサハウジング及びセンサアレイ)の図である。
【
図19D】生体内異常シミュレーション実験において使用されるセンサ固定具(センサハウジング及びセンサアレイ)の図である。
【
図20A】生体内異常シミュレーション実験において使用されるシースの図である。
【
図20B】生体内異常シミュレーション実験において使用されるシースの図である。
【
図20C】生体内異常シミュレーション実験において使用されるシースの図である。
【
図20D】生体内異常シミュレーション実験において使用されるシースの図である。
【
図21A】生体内異常シミュレーション実験においてセンサ固定具を腸内の模擬異常に対して配向するように設計されたアタッチメントの図である。
【
図21B】生体内異常シミュレーション実験においてセンサ固定具を腸内の模擬異常に対して配向するように設計されたアタッチメントの図である。
【
図21C】生体内異常シミュレーション実験においてセンサ固定具を腸内の模擬異常に対して配向するように設計されたアタッチメントの図である。
【
図21D】これらの実験においてセンサ/異常の位置合わせを可能にするためにセンサ固定具、シース及びアタッチメント間の接点がどのように動作するかを示す図である。
【
図21E】これらの実験においてセンサ/異常の位置合わせを可能にするためにセンサ固定具、シース及びアタッチメント間の接点がどのように動作するかを示す図である。
【
図22】遠IR測定データに基づいてリアルタイムデータモニタリング及び潜在的異常のタグ付けを可能にする、実験に使用される例示的なグラフィカルユーザインターフェイス(GUI)を示す図である。
【
図23】抵抗器の熱較正及び熱平衡中の2つの異なるサーミスタ測定値を示す図である。
【
図24】5°FOVセンサを用いた例示的な陰性対照実験を示す図である。
【
図25】使用するセンサのFOVに異常が入り込んだ時点を垂直線によって示す、生体内実験中の模擬異常の測定値を示す図である。
【
図26】位置3における10回の異なる実行から採取されたデータのプロットである。
【
図27A】12°FOVセンサを用いた2つの例示的な陰性対照検査を示す図である。
【
図27B】12°FOVセンサを用いて採取された模擬異常のデータを示す図である。
【
図27C】位置6における10回の異なる試験についての12°FOVセンサからのデータを示す図である。
【
図28A】5°FOVセンサでの盲検下測定を示す、IRデータセンサデータ及び対応する実際の異常位置(垂直実線)、並びに盲検GUIユーザがリアルタイムデータを評価することに基づく推定異常位置(水平破線)を示す図である。
【
図28B】12°FOVセンサでの盲検下測定を示す、IRデータセンサデータ及び対応する実際の異常位置(垂直実線)、並びに盲検GUIユーザがリアルタイムデータを評価することに基づく推定異常位置(水平破線)を示す図である。
【
図29A】遠IR模擬異常測定のために採取された未加工データと、この未加工データの異常(又は「外れ値」)の位置を識別する機械学習ベースのアルゴリズムとを比較する図である。
【
図29B】遠IR模擬異常測定のために採取された未加工データと、この未加工データの異常(又は「外れ値」)の位置を識別する機械学習ベースのアルゴリズムとを比較する図であり、囲みデータは機械学習アルゴリズムによって外れ値として識別されたデータである。
【
図30A】腹腔内に腸を配置して実行した実験から採取された10回の完全盲検試験からのデータを示す図である。
【
図30B】GUIオペレータによって識別された推定ポリープ位置(垂直破線)を用いた例示的な完全盲検試験を示す図である。
【
図31】測定前に内腔に生理食塩水を適用した後の遠IR測定のプロットである。
【
図32】センサ面に排泄物を適用することから得られる2回の試験の遠IR測定のプロットである。
【
図33A】結腸内視鏡検査中に使用される熱センサによって実行されるポリープの熱測定の、囲みデータがポリープに関連するプロットを示す図である。
【
図33B】結腸内視鏡検査中に使用される熱センサによって実行されるポリープの熱測定の、囲みデータがポリープに関連するプロットを示す図である。
【
図33C】結腸内視鏡検査中に使用される熱センサによって実行されるポリープの熱測定の、囲みデータがポリープに関連するプロットを示す図である。
【
図33D】結腸内視鏡検査中に使用される熱センサによって実行されるポリープの熱測定の、囲みデータがポリープに関連するプロットを示す図である。
【発明を実施するための形態】
【0027】
本明細書には本開示の詳細な実施形態を開示するが、開示する実施形態は、様々な形態で具体化できる本開示の例示にすぎないと理解されたい。また、本開示の様々な実施形態に関連して示す各例は、限定ではなく例示を目的とするものである。
【0028】
本明細書で使用する全ての用語は、別途示していない限り当業における通常の意味を有するように意図される。全ての濃度は、別途規定しない限り、局所組成物の重量全体に対する特定成分の重量パーセント単位である。
【0029】
本明細書で使用する「a又はan(英文不定冠詞)」は、1つ又は2つ以上を意味するものとする。本明細書において「含む・備える(comprising)」という単語と共に使用する場合、「a」又は「an」という単語(英文不定冠詞)は1つ又は1つよりも多くを意味する。本明細書で使用する「別の(another)」は、少なくとも第2の又は第3以降の、を意味する。
【0030】
本明細書で使用する全ての数値範囲は、端点と、開示する値間の開示する全ての可能な値とを含む。全ての半整数の数値の正確な値も、具体的に開示するもの、及び開示する範囲の全てのサブセットの限界値として想定される。例えば、0.1%~3%の範囲は、具体的には0.1%、1%、1.5%、2.0%、2.5%及び3%という割合を開示する。また、0.1~3%の範囲は、0.5%~2.5%、1%~3%、0.1%~2.5%などを含む、元々の範囲のサブセットを含む。別途示していない限り、複数のうちの個々の成分の全ての%の総和は100%を超えることはないと理解されるであろう。
【0031】
本開示では、別途示していない限り、(内視鏡検査中の測定の文脈内での)「赤外線放射」、(内視鏡検査中の測定の文脈内での)「IR」、「熱シグネチャ」、及び「熱データ」を同義的に使用することができる。しかしながら、「熱データ」又は「熱シグネチャ」は、周囲温度に対する相対的温度変化、1又は2以上のセンサの視野、複数のIRセンサの動き、又は他の方法によって(例えば、温度センサによって)実行される温度測定などの、IR測定に関連する追加パラメータを含むことができる。
【0032】
本開示の先端部は、内視鏡チューブの遠位端、及び遠位端の近位にあるチューブの壁を備えるとともに、
a)前記壁の周囲に分散した複数の遠赤外線センサ及び/又は1又は2以上の温度センサと、
b)任意に、遠位端に配置された、チューブの前方の物体を撮像するためのカメラ(例えば、カメラの視野は、遠位端を越えて延びる、チューブの長手方向主軸を含む)と、
を備え、複数の赤外線センサ(例えば、遠赤外線センサ)、温度センサ、及びカメラは、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される。様々な実装では、少なくとも1つの赤外線センサの視野が、壁面に対して垂直な、又はチューブの長手方向軸に対して垂直な軸を含む。いくつかの実施形態では、複数の遠赤外線センサの各遠赤外線センサの視野とカメラの視野とが重なり合わない。別の実施形態では、複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野とカメラの視野とが重なり合う。遠赤外線センサ(又はその一部)は、チューブ壁の周囲及び/又は内部に周方向又は部分的に周方向に独立して配置することができる。いくつかの実施形態では、遠赤外線センサ(又はその一部)を、各センサがチューブの長手方向主軸に対して垂直な平面内に位置するようにチューブ壁の周囲及び/又は内部に独立して配置することができる。様々な実装では、遠赤外線センサ(又はその一部)を、各センサがチューブの長手方向主軸に対して垂直でない平面内に位置するようにチューブ壁の周囲及び/又は内部に独立して配置することができる。
【0033】
いくつかの実施形態では、先端部が、遠赤外線センサのリングアレイ型構造を含むことができる。このような先端部は、内視鏡カメラ及び/又は飲み込み型カメラ及び/又はカプセル内視鏡と共に使用することができる。内視鏡は、例えばチューブ上のハウジング、遠位端との間で光情報を送信するための光ファイバ、及び/又は複数の遠赤外線検出器を含む遠位端への電気通信用ワイヤ、光ファイバに接続されたレンズを含むことができる。複数の遠赤外線センサ及び/又は温度センサは、チューブハウジングの周囲及び/又は内部に配置して、(例えば、ワイヤを介して)ハウジングを通じた通信及び/又はデータの無線送信のために構成することができる。ハウジング内には、熱IRリングアレイ撮像装置に電力を供給するとともに、複数の遠赤外線センサによって取り込まれた熱IRのリアルタイムデータを、任意に内視鏡カメラからの画像データと共に送信できる電気配線及び相互接続部が延びることができる。
【0034】
内視鏡チューブの遠位端の近位にある壁には、内視鏡増強のための装置を取り付け可能(例えば、取り外し自在に取り付け可能)であることができる。典型的には、内視鏡は、遠位端に配置された、チューブの前方の物体を撮像するためのカメラを含むことができ(例えば、カメラの視野は、遠位端を越えて延びる、チューブの長手方向主軸を含む)、先端部増強のための装置は、基材上に分散した複数の遠赤外線センサを含み、この基材は、内視鏡の遠位端の近位にある壁に取り付け可能であり、
複数の遠赤外線センサ、温度センサ及びカメラは、互いに連動して処理及び分析のためのデータをそれぞれ送信するように構成される。様々な実装では、少なくとも1つの赤外線センサの視野が、壁面に対して垂直な、又はチューブの長手方向軸に対して垂直な軸を含む。いくつかの実施形態では、複数の遠赤外線センサの各遠赤外線センサの視野とカメラの視野とが重なり合わない。別の実施形態では、複数の遠赤外線センサのうちの少なくとも1つの遠赤外線センサの視野とカメラの視野とが重なり合う。遠赤外線センサ(又はその一部)は、チューブ壁の周囲に周方向に又は部分的に周方向に配置することができる。いくつかの実施形態では、遠赤外線センサ(又はその一部)を、各センサがチューブの長手方向主軸に対して垂直な平面内に位置するようにチューブ壁の周囲に周方向に配置することができる。様々な実装では、遠赤外線センサ(又はその一部)を、各センサがチューブの長手方向主軸に対して垂直でない平面内に位置するようにチューブ壁の周囲に周方向に配置することができる。
【0035】
送達アセンブリは、例えば現在入手可能な内視鏡などの内視鏡と連動して動作することができる。本発明の別の態様は、一般に現在入手可能な内視鏡の修正を必要とすることなくこのような内視鏡に容易に付着する送達アセンブリを提供する。本発明の別の態様は、使用が容易であって内視鏡医の訓練を最小限しか必要としない内視鏡送達アセンブリを提供する。一般に、これらのアセンブリは、内部又は周囲に複数の遠赤外線センサが配置された基材を含み、この基材は、内視鏡に取り外し可能に取り付けられるような寸法を有し、そのための要素(例えば、クリップ、ネジ)を含む。
【0036】
いくつかの実装では、装置が、内視鏡装置と共に実装してリアルタイム走査を提供できるリングアレイ型構造を形成することができる。このような装置は、内視鏡カメラと共に使用することができる。内視鏡は、チューブ上のハウジング、遠位端との間で光情報を送信するための光ファイバ、及び/又は複数の遠赤外線検出器を含む遠位端への電気通信用ワイヤ、光ファイバに接続されたレンズを含むことができる。リング装置は、ハウジングの周囲に収まることができ、ハウジングを通じた通信及び/又はデータの無線送信のために構成することができる。光ファイバ束は基材の開口部を通過するとともに、リング状検出器要素の内部を通過することができる。熱IRリングアレイ撮像装置は、典型的には内視鏡の前端に固定される。基材上には、検出器回路(図示せず)を形成することができる。ハウジング内には、熱IRリングアレイ撮像装置に電力を供給するとともに、複数の遠赤外線センサによって取り込まれた熱IRのリアルタイムデータを、任意に内視鏡カメラからの画像データと共に送信できる電気配線及び相互接続部が延びることができる。
【0037】
赤外線(IR)帯域は、典型的には700nm~1mmの波長範囲、430THz~300GHzの周波数範囲、1.7eV~1.24meVの光子エネルギー範囲をカバーする。20~0.3THzの周波数範囲、及び83~1.2meVの光子エネルギー範囲を有する1~1000μmの波長スペクトル上には遠赤外線放射(FIR)が見られる。いくつかの実施形態では、複数の近赤外線センサ内の各センサが、1μm~1000μmの波長を有する電磁放射線の存在を検出して測定する。いくつかの実施形態では、内視鏡が、近赤外線センサを含む1又は2以上の赤外線センサをさらに含むことができる。いくつかの実施形態では、複数のセンサのうちの少なくとも2つが異なる波長のIR光を検出する。例えば、各センサは、遠IR(例えば、15~1000μmの波長を有する光)、中IR(例えば、1,000nm~15,000nmの波長を有する光)、又は近IR(例えば、800nm~3,000nmの波長を有する光)を独立して検出することができる。いくつかの実施形態では、装置上のセンサの50%超(例えば、50%~100%、60%~100%、70%~100%、80%~100%、90%~100%)が遠IR光(例えば、15~1000μm、又は15~100μm、100~200μm、200~300μm、300~400μm、400~500μm、500~600μm、600~700μm、700~800μm、900~1000μmの波長を有する光)を検出することができる。いくつかの実施形態では、重なり合った視野を有するセンサが、同じ波長範囲、異なる波長範囲、又はこれらの組み合わせを検出する。
【0038】
光カメラは、検査する組織表面(例えば、消化管粘膜)上に存在し得る疾患の画像を取り込むためにしか使用できないのに対し、IR(例えば、遠赤外線)センサは、例えば組織の表面の4mm未満(例えば、0.5mm~4mm)下方などの組織表面の下方に存在し得る疾患の画像を取り込むために使用することができる。実際には、組織表面の下方の撮像は、遠赤外線などの放射性熱電磁放射線(emissive thermal electromagnetic radiation)を測定することによって実行することができる。通常、遠赤外線センサは、2μm~15μmの波長を有する電磁熱スペクトルの熱赤外線部分を検出することができる。また、生体組織から放出されるスペクトルを見ると、生体細胞の生物学的活動によって生成された放射性光子及び熱を観察することができる。この放射性IR熱は、消化管の壁の組織の特定の厚みを通じて伝播することにより、表面下特性の測定をもたらすことができる。放射性IR熱の大きさは、下にある細胞の密度、及び組織が行う生物学的活動のタイプに基づいて変化する。装置は、IR熱ビューを特定の波長(例えば、4μm、11μm)に対してフィルタ処理することによって異なる密度及び熱放射率の組織を分離して表示することができ、従って組織の表面下に初期段階で存在していて測定時には内面上に目に見えるほど露出していない可能性がある潜在的異常状態(例えば、腫瘍、嚢胞、肉芽腫、循環器異常、前癌性異常、癌性異常、良性異常、炎症)に関する有用なデータを取得することができる。本開示の装置は、その後に異常が成長してより多くの細胞活性を獲得してしまう何らかの時点よりも前にこれら表面下の異常の早期検出を可能にすることができる。本明細書で説明する熱IR撮像装置及び技術は、表面組織の下方に存在するこのような異常状態の早期検出を可能にするという利点を有することができる。
【0039】
内視鏡の先端部上に分散した複数のセンサは、内視鏡のFOVを拡大するために、本明細書で説明する構成の組み合わせを含むことができる。
図1Aは、内視鏡チューブに取り付けられた例示的な3センサアレイの断面図である。この実施形態では、内視鏡チューブが13.9mmの外径を有しており、直径76mmの結腸内に位置する実施形態を示す。これらの3つのMelexis製MLX90614ESF-DCH-000-TU 12°FOVセンサを有するチューブは、全体で35mmの直径を有する。各個々のセンサのFOVは、この構成でアレイを配置した時に測定できる結腸の部分を示していることが分かる。センサは、内視鏡チューブの長手方向主軸に対して垂直な平面内で内視鏡チューブの外周面の周辺上に向けることができる。これらのセンサは、チューブ壁を部分的に周方向に取り囲む(すなわち、これらは円周の10%~90%又は20%~80%などの円周の一部しか占めていない)。これらのセンサは、内視鏡の遠位端に付着するように適合された容器内に収容することができる。容器は、挿入された装置及び内視鏡の直径を内視鏡自体の遠位端と比べて1.1倍よりも大きく(例えば、1.5倍よりも大きく、2倍よりも大きく、1.1倍~4倍、1.5倍~3倍)増加させた直径を有する円筒形であることができる。例えば、容器が、図示の35mmの直径内に完全にセンサが組み込まれるようにセンサを収容するよう構成されている場合、直径の増加は2.5倍(35mm/13.9mm=2.5倍)である。
【0040】
複数のセンサによって測定される臓器の総面積を増加させるために、異なる構成のセンサを使用することもできる。例えば、
図1B~
図1Dに、チューブの長手方向主軸と平行な軸に沿って線形構成でセンサを配向した構成を示す。
図1Bには好適な線形構成の上面図を示しており、ここでは各センサの視野が、チューブ壁に対して接線方向又は実質的に接線方向(例えば、中央のセンサ位置に定められるチューブの接線に対して±10°、±5°、±1°)に配向されている。チューブが中空臓器内を移動すると、各視野に異常が入り込んで複数の測定値が統合され、検出を支援することができる。この線形配向では、チューブが臓器内を移動する際に各センサによって同じ領域がモニタされるように、各FOVが実質的に平行であることができる。
図1Cにはセンサの端面図構成を示しており、ここではセンサが線形配列で配置されているが、各センサが他のセンサに対して回転したFOVを有することによって隣接する臓器位置の測定値を提供する。
図1Dには、FOVが内視鏡チューブの接線に対して垂直又は実質的に垂直に延びる実施形態を示す。様々な実装では、複数の遠赤外線センサ(又は遠赤外線センサの一部)が、内視鏡チューブ壁の周囲に周方向に(又は部分的に周方向に)、チューブの長手方向主軸に沿って線形的に、又はこれらの組み合わせで配向される。様々な実装では、各センサのFOVの中心軸が、センサの取り付け点におけるチューブの接線に対して独立して平行、実質的に平行、垂直、又は実質的に垂直である。
【0041】
図1Eは、Melexis製MLX90614ESF-DCI-000-TU 5°FOVセンサを示す寸法を用いた、
図1A~
図1Dと同様の本開示の内視鏡先端部の概略図である。複数の遠赤外線センサは、例えばExcelitas製120°FOVセンサ、Excelitas製5°FOVセンサ、Melexis製50°FIV センサ、Melexis製35°FOVセンサ、Melexis製90°FOV(DAA)、Melexis製12°FOVセンサ、及びMelexis製5°FOVセンサから選択することができる。特定の実施形態では、赤外線センサが、Melexis製12°FOVセンサ及び/又はMelexis製5°FOVセンサである。いくつかの実装では、センサが、Excelitas製59×3°FOVセンサ、Excelitas製22°FOVセンサ、又はExcelitas製17°FOVセンサなどの画素センサアレイであることができる。様々な実装では、複数の遠赤外線センサの少なくとも50%(例えば、少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、全て)が、25°未満(又は0.1°~25°)(例えば、22°未満、18°未満、15°未満、3°~22°、1°~20°、4°~13°、5°~12°、1°~2°、2°~3°、3°~4°、4°~5°、5°~6°、6°~7°、7°~8°、8°~9°、9°~10°、10°~11°、11°~12°、12°~13°、13°~14°、14°~15°、15°~16°、16°~17°、17°~18°、18°~19°、19°~20°、20°~21°、21°~22°、22°~23°、23°~24°)の視野を単独で有する。いくつかの実施形態では、複数の遠赤外線センサの少なくとも90%(例えば、全て)が、5°~12°の視野を単独で有する。様々な実施形態では、複数の赤外線センサのうちの少なくとも1つ、一部(例えば、50%超、60%超、70%超、80%超、90%超)、又は全てが、少なくとも1Hz(例えば、少なくとも2Hz、少なくとも3Hz、少なくとも4Hz、少なくとも5Hz、少なくとも6Hz、少なくとも7Hz、少なくとも8Hz、少なくとも9Hz、少なくとも10Hz、2Hz~20Hz、3Hz~20Hz、4Hz~20Hz、5Hz~20Hz、6Hz~20Hz、7Hz~20Hz、8Hz~20Hz、9Hz~20Hz、10Hz~20Hz)の検出率を有する。
【0042】
図2A及び
図2Bは、内視鏡1(
図1A)の一部の上面図、並びに内視鏡の長手方向主軸に沿った遠位端及び容器の管状部分の正面図である。内視鏡1は、屈曲部2及び遠位端5を含む。屈曲部2は、使用中に内視鏡の遠位端の屈曲を可能にする枢動ビン(pivot bins)3及び4、並びにアンギュレーションワイヤ(angulation wires)8を含む。遠位端6は、一点鎖線で示す視野及び光学的光源8を有するカメラ7を収容する。遠位端6には、遠赤外線センサ12及び13を含む複数の遠赤外線センサを含む装置10が取り付けられる。装置10は、遠位端6を収容するような寸法の空洞、並びに空洞に接続されて引き続きカメラ7及び光源8の作動を可能にする穴を含む。装置10は、ワイヤ15及び16を通じて電力を受け取り、データを送信する。ワイヤ15は、装置に接続されて内視鏡の外部を延び、ワイヤ16は内視鏡の内部を延びる。いくつかの実施形態では、複数の遠IRセンサが、装置の内部を延びるワイヤを介して電力を受け取り、測定値を送信する。いくつかの実施形態では、装置が、遠IRセンサに電力を供給するバッテリを含む。いくつかの実施形態では、遠IRセンサが無線で(例えば、Bluetooth、無線RFID通信アルゴリズムを介して)データを送信する。
【0043】
図2Aには、遠IRセンサ12及びその対応する視野(FOV)を含む、遠位端の周囲に周方向に配置された一連の遠IRセンサを示す。
図2Bには、遠位端の全周を取り囲むセンサ12などの12個の遠IRセンサの周方向配置を例示する、軸Aを含むセンサの内部断面位置を示す。図示のように、装置10上の各IRセンサは装置ハウジング内に埋め込まれ、ハウジングの外面及び構成に最小限の影響(例えば、5%未満の直径変化)しか与えない。
図2Aには、装置の主軸に沿って線形的に配置された3つのセンサも示す。
【0044】
遠IRセンサ12は、遠位端6の長手方向主軸に対して垂直又はほぼ垂直(例えば、80°~100°)に配向された視野の中心軸を有する。遠IRセンサ13は、遠位端6の長手方向主軸に対して垂直に配向されていない(例えば、10°~80°、又は20°~70°の角度を成す)視野の中心軸を有する。各センサの視野は、装置内の他のいずれかのセンサと個別に重なり合うことも、又は重なり合わないこともできる。一般に、隣接するセンサなどのセンサ同士、又はセンサとカメラとの重なり合う及び重なり合わない構成では、装置又は内視鏡が必要時に複数の測定値を採取し、(例えば、遠IRセンサの特定の形状寸法について訓練された機械学習アルゴリズムなどによって決定された異なる測定位置に遠位端を動かすことによって)これらを個別に使用して検出の偽陽性率を低下させることができる。図示のように、遠IRセンサ12のFOVは遠IRセンサ13のFOVと重なり合っていない。一方で、遠IRセンサ13のFOVは、部分14においてカメラ7のFOVと重なり合っている。特定の実施形態では、重なり合った視野を有する全ての遠IRセンサが同じ検出頻度を有する。他の実施形態では、重なり合った視野を有する少なくとも2つの遠IRセンサが異なる検出頻度を有する。本明細書で説明する機械学習アルゴリズムは、これらの様々なパラメータを利用して異常を識別することができる。
【0045】
図3A及び
図3Bに、チェーン及びスプロケットを介してアンギュレーションワイヤ36を動かすアンギュレーションノブ34によって制御される屈曲部32を有する内視鏡30を示す。屈曲部32の動きは、検査中の臓器又は空間内を内視鏡が移動する際の遠位端38の動きを可能にする。遠位端38は、遠IRセンサ40、42及び44を含む複数の遠IRセンサを含む。遠位端38はカメラ46も含む。図示のように、センサ42のFOV及びカメラ46の視野は重なり合う。図示の実施形態では、複数の遠IRセンサの一部(例えば、遠IRセンサ40及び44)が内視鏡の遠位端ハウジング内に埋め込まれている。複数の遠IRセンサの別の一部(例えば、遠赤外線センサ42)は遠位端の壁に配置されている。
【0046】
本開示の内視鏡、及び内視鏡に取り付けられる装置の両実施形態では、各遠IRセンサを遠位端ハウジング又は装置ハウジングの壁内又は壁上に単独で埋め込むことができる。いくつかの実施形態では、各遠IRセンサが遠位端ハウジング又は装置ハウジングの壁内に埋め込まれる。
【0047】
本開示の内視鏡システム及び方法は、測定されたさらなる熱又は温度パラメータの分析を実行することができる。これらの内視鏡システム及び方法は、
a)先端部、又は先端部に取り付けられる本開示の装置を有する内視鏡と、
b)複数の遠赤外線センサ及びカメラから送信されたデータを受け取るように構成された機械可読媒体と、
c)機械可読媒体に送信されたデータを分析して、複数の遠赤外線センサから送信されたデータ、及び任意に、カメラによって提供された画像(例えば、臓器の組織表面上に存在するポリープなどの疾患、組織表面下に存在する疾患、腫瘍、嚢胞、肉芽腫、循環器異常、炎症)に基づいて、臓器又は一連の臓器(例えば、被験者の消化管)の異常を識別するための命令を含むプロセッサと、
を含むことができる。
いくつかの実施形態では、プロセッサが、機械可読媒体に送信されたカメラ画像からカメラAIアルゴリズムが異常を検出するための命令を含むことができる。例えば、プロセッサは、複数のセンサから機械可読媒体に送信された異常データを遠赤外線AIアルゴリズムが検出するための命令を含むことができる。様々な実装では、プロセッサが、カメラAIアルゴリズムの出力と遠赤外線AIアルゴリズムの出力とを比較するための命令を含む。いくつかの実施形態では、データを分析して異常を識別するための命令が、消化管における遠位端の位置及び/又はデータ収集中の遠位端の移動速度(例えば、前進速度、後退速度、回転速度)に関与する計算を含む。
【0048】
温度センサ及び/又は遠IRセンサを使用して、臓器又は空間(例えば、消化管)内の異常に関する熱データを収集することもできる。例えば、(例えば、内視鏡、飲み込み型カメラによって)温度センサを組織(例えば、消化管)に接触させて、周囲組織と比べて異常な温度を記録することができる。例えば、0.1℃又は0.5℃又は1℃程の低い(又は最大10℃)の差分(例えば、0.1℃~5℃、0.1℃~2℃、1℃~2℃、1℃~1.5℃)をベンチマークとして使用して、例えば内視鏡先端の動き又は消化管を通過する飲み込み型ピルの移動によって識別された異常を識別することができる。摂氏温度の差分に変換できる温度差も本開示の範囲内に含まれると理解されるであろう。例えば、1又は2以上のIRセンサ(例えば、遠IRセンサ)及び/又は温度センサ(例えば、熱電対)の未加工出力に関連して0.1℃又は0.5℃又は1℃程の低い(又は最大10℃)の差分(例えば、0.1℃~5℃、0.1℃~2℃、1℃~2℃、1℃~1.5℃)を測定して分析することができる。本開示のシステムは、温度センサが消化管内を移動する際の周囲組織との比較に基づいて、この位置をさらなるレビュー又は異常検出のための潜在的位置として使用することができる。本開示の温度センサは、表面との接触時に温度差を測定できるセンサを含むことができる。とりわけ、いくつかの温度センサは0.5℃未満の分解能を有することができる。例えば、温度センサは、サーミスタ、抵抗温度型検出器、又は熱電対(例えば、T型熱電対)であることができる。これらのセンサを活用する装置は、例えば結腸内視鏡検査中に、飲み込み型カメラ上で診断目的及び/又はアルゴリズムの訓練目的で使用することができる。
【0049】
本明細書に開示する内容は、ソフトウェア又はファームウェア又はこれらの組み合わせで、或いは1又は2以上のプロセッサが読み取って実行できる、機械可読媒体に記憶された命令として実装することができる。機械可読媒体は、機械(例えば、コンピュータ装置)による読み取りが可能な形態で情報を記憶又は送信するいずれかの媒体及び/又は機構を含むことができる。例えば、機械可読媒体は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、電気、光、音、又はその他の形態の伝播信号(例えば、搬送波、赤外線信号、デジタル信号)などを含むことができる。
【0050】
ハードウェア要素の例としては、プロセッサ、マイクロプロセッサ、回路、回路要素(例えば、トランジスタ、抵抗器、キャパシタ及びインダクタなど)、集積回路、特定用途向け集積回路(ASIC)、プログラマブルロジック装置(PLD)、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、ロジックゲート、レジスタ、半導体素子、チップ、マイクロチップ、及びチップセットなどを挙げることができる。いくつかの実施形態では、任意に上述した又は後述するいずれかの実施形態と組み合わせて、1又は2以上のプロセッサを、複合命令セットコンピュータ(CISC)又は縮小命令セットコンピュータ(RISC)プロセッサ、x86命令セット互換プロセッサ、マルチコア、或いは他のいずれかのマイクロプロセッサ又は中央処理装置(CPU)として実装することもできる。様々な実装では、1又は2以上のプロセッサが、デュアルコアプロセッサ及びデュアルコアモバイルプロセッサなどであることができる。
【0051】
ソフトウェアの例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、手順、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス(API)、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、記号、又はこれらのいずれかの組み合わせを挙げることができる。
【0052】
1又は2以上の態様は、機械によって読み取られた時に本明細書で説明する技術を実行するためのロジックを機械に作製させる、プロセッサ内の様々なロジックを表す、機械可読媒体に記憶された代表命令(representative instructions)によって実装することができる。このような「IPコア」として知られている表現は、有形の機械可読媒体に記憶し、様々な顧客又は製造施設に供給して、実際にロジック又はプロセッサを作製する製作機械にロードすることができる。
【0053】
システムのいくつかの実施形態は、遠赤外線センサからの画像及びデータのいずれかの組み合わせを、異常識別のための閾値を上回っているものと認識するように人工知能(本明細書で使用する際にはいずれかのタイプの機械学習を含むことができるAI)を訓練するためのコンピュータ実装方法を含む。システムのいくつかの実施形態は、1又は2以上のプロセッサと、本明細書で説明する各実施形態の少なくとも一部を実装するための命令を記憶した1又は2以上の非一時的なコンピュータ可読媒体とを含む1又は2以上のコンピュータの少なくとも一部を含む。いくつかの実施形態では、非一時的コンピュータ可読媒体が、画像及びテキスト(本明細書で使用する「テキスト」は、文字、数字、言語記号及び/又は単語を含む1又は2以上のキャラクタのうちのいずれか1つ又は組み合わせを含む)のいずれかの組み合わせを認識して異常識別のための閾値を識別するようにAIを訓練する方法を実行するための命令を含む。いくつかの実施形態では、システムが、カメラ画像を解釈するAI、複数の遠赤外線センサ(又はその一部)から読み出した情報を解釈するAI、及び両データ取得装置から受け取られた情報を組み合わせるAIなどの、独立して動作するAIを含む。
【0054】
画像データは、内視鏡が人間の消化(GI)管内を移動している間にカメラが通常画像(regular images)を取り込むことによって処理することができる。これらの通常画像を共に配置して、既に内視鏡が通過した人間の消化管の部分における見逃された又は十分に撮像されなかった領域を決定することができる。見逃された又は十分に撮像されなかった領域が検出された場合には、(例えば、カメラを再配置して画像を取得すること、見逃されたデータ又は十分に撮像されなかったデータを複数のIRセンサ及び/又は温度センサからの熱データで補間することにより)いずれかの見逃された又は十分に撮像されなかった領域に関する情報を提供することができる。いくつかの実施形態では、複数の遠赤外線センサから受け取られた測定値に基づいて、見逃された画像を相互相関させて識別することができる。例えば、複数の遠IRセンサから採取されたデータによって異常が検出されたがカメラからは検出されていない場合には、遠位端を再配置して異常温度を有する領域のカメラ画像データを取得することができる。いくつかの実施形態では、遠IRセンサとカメラとの間の異常検出の差異を、遠位端を再配置する内視鏡オペレータに送信することができる。いくつかの実施形態では、異常検出の差異によって遠位端が自動的に再配置される。
【0055】
方法は、通常画像に関連する、内視鏡が人間の消化管内を移動している間にカメラによって取り込まれた構造化光画像をカメラから受け取り、構造化光画像に基づいて通常画像の距離情報を導出することをさらに含むことができる。通常画像は、通常画像の編集を容易にするために、通常画像の距離情報及び光学倍率情報に従って正規化することができる。距離情報は、1つの通常画像内のターゲット領域の焦点がずれているか、それとも合っているかを判定するために使用することができ、ターゲット領域をカバーする全ての通常画像においてターゲット領域の焦点がずれている場合、このターゲット領域は、1つの見逃された又は十分に撮像されなかった領域として判定される。
【0056】
いくつかの実施形態では、内視鏡、又は内視鏡に取り付けられる装置が、人間の消化管内におけるチューブの動きを測定する動き検知装置をさらに含むことができる。例えば、動き検知装置は、加速度計、又は少なくともコンピュータ可読記憶媒体にデータを送信するように構成されたジャイレータ(gyrator)であることができる。動き検知装置は、チューブの動き、チューブの軌道、チューブの向き、又はこれらのいずれかの組み合わせを決定するために使用することができる。これらのパラメータは、異常検出分析において使用することができる。例えば、移動速度の増加は、単一のセンサから取得された熱データ上の傾きの増加と相関することができる。複数の遠赤外線センサ及び/又はカメラから独立して採取されたこれらの複数の構成要素の統合を使用して、(例えば、採用される機械学習アルゴリズムを介して)異常検出のための適切な閾値を識別することができる。
【0057】
内視鏡は、通常画像を構造化光画像(SLI)と共に取り込むために構造化光を備えることもできる。これらのSLIを使用して画像内の異なる領域の距離を導出することで、撮像領域の3D情報を使用することによってステッチング(stitching)をより正確にすることができる。米国特許第9,936,151号には、同じイメージセンサを使用して通常画像及び構造化光画像の両方を取り込むように通常光及び構造化光を備えたカメラが開示されており、この文献はその全体が引用により組み入れられる。構造化光画像及び対応する通常画像は、これらの間の動きが小さいと予想されるように時間的に近接して取り込まれる。従って、構造化光画像から導出された距離情報は通常画像と相関することができる。引用により組み入れられる米国特許第9,936,151号には、SLI取り込み能力を有するカメラ設計に関する詳細が開示されている。いくつかの実装では、構造化光が、組織表面から反射して複数のIRセンサのうちの少なくとも1つによって検出されるのに十分な波長で形成される。
【0058】
本開示の内視鏡システムは、臓器内の生体組織の病変などの異常を評価することができる。内視鏡システムは、
臓器内の生体組織を撮像するように構成された内視鏡と、
臓器から熱データを導出する複数の遠赤外線センサと、
生体組織の複数の取り込み画像及び熱データを処理して異常の存在を評価及び/又は識別し、及び/又は臓器内の異常(例えば、異常のタイプ)を評価及び/又は識別するように構成された評価ユニットを含むプロセッサと、
を含むことができる。
例えば、評価ユニットは、
複数の生体組織画像の各々の画素評価値から各画像内の生体組織の異常の強度を示す画像評価値を計算するように構成された画像評価値計算ユニット、
ベースライン又は熱閾値と比較した熱及び/又は温度の偏差(例えば、増加)から各画像内の生体組織の異常の強度を示す熱強度異常を計算するように構成された発熱量計算ユニット、
各画像が取り込まれた臓器内の撮像位置の情報を各画像に関連して取得するように構成された撮像位置情報取得ユニット、
画像評価値が所定の閾値及び/又は熱閾値を上回っているかどうかに基づいて各画像内の異常及び/又は熱偏差の有無を判定する異常位置計算ユニット、
画像評価ユニット及び発熱量計算ユニットからの結果を比較して異常の領域の開始位置及び終了位置を取得するように構成されたデータ相関計算ユニット、並びに、
開始位置及び終了位置から評価すべき病変部分の長さを異常部分の程度情報として設定し、位置及び程度情報と、病変部分を撮像することによって取得された取り込み異常画像の画像評価値の代表値とを使用して臓器内での異常の度合いを評価するように構成された臓器病変評価ユニット、
のうちの1つ又は2つ以上を含むことができる。
異常位置計算ユニットは、複数の位置に異常が存在する場合には、病変が連続して広がっている深さ方向の最大長を有する位置を評価すべき病変部分として使用することができる。長さは、温度データの偏差に基づいて、任意に遠赤外線センサの1又は2以上の視野及び/又は内視鏡の移動速度と併せて計算することができる。
【0059】
異常の存在を認識するように人工知能を訓練するためのシステムも提供する。これらのシステムは、
1又は2以上のプロセッサと1又は2以上の非一時的コンピュータ可読媒体とを含む1又は2以上のコンピュータを含むことができ、1又は2以上の非一時的コンピュータ可読媒体は、実行時に1又は2以上のプロセッサが遠赤外線センサデータと、任意に本開示の内視鏡カメラからの画像とをインポートすることを1又は2以上のコンピュータに行わせる命令を記憶し、プロセッサは、
(例えば、カメラから取り込まれた)閾値画像データに基づいて1又は2以上の異常を識別し、
(例えば、複数の遠IRセンサ及び/又は温度センサから取り込まれた)閾値熱データに基づいて1又は2以上の異常を識別し、
熱データと画像データとを比較して、両システムが肯定的識別(positive identification)を戻すかどうかを識別し、
比較における正又は負の相関に基づいて閾値をリバランスする、
ように構成することができる。
様々な実装では、閾値のリバランスが、例えば内視鏡検査を実行する人物による異常の肯定的識別を伴うことができる。機械学習は、教師あり学習、教師なし学習、強化学習及び/又はアンサンブル学習によって異常の存在を認識するように訓練することができる。人工知能によって活用されるアルゴリズムは、線形、ロジスティック、K-means法、分離フォレストなどの異常検出、(とりわけ強化学習のための)ニューラルネット、KNN、決定木、ランダムフォレスト、SVM、単純ベイズ、又はこれらの組み合わせを含むことができる。いくつかの実施形態では、機械学習アルゴリズム(例えば、分離フォレストなどの異常検出)が、20%超(例えば、30%超、40%超、50%超、20%~60%)の外れ値(又は偽陽性率)の割合をもたらすように選択される。機械学習アルゴリズム(及び対応するリアルタイム分析)は、装置内の遠IRセンサの検出率に基づいて選択することができる(例えば、各遠IRセンサは、少なくとも1Hz(例えば、少なくとも2Hz、少なくとも3Hz、少なくとも4Hz、少なくとも5Hz、少なくとも6Hz、少なくとも7Hz、少なくとも8Hz、少なくとも9Hz、少なくとも10Hz、2Hz~20Hz、3Hz~20Hz、4Hz~20Hz、5Hz~20Hz、6Hz~20Hz、7Hz~20Hz、8Hz~20Hz、9Hz~20Hz、10Hz~20Hz)の検出率を有することができる))。いくつかの実施形態では、(例えば、異なる検出頻度を有する異なるセンサを含む装置では)複数の機械学習アルゴリズムを利用することができる。
【0060】
機械学習アルゴリズムは、検査中の臓器又は空間内の様々な位置を内視鏡の遠位端が通過する際に、複数のセンサから出力された未加工データをリアルタイムで解釈して異常を識別することができる。
図4に、本明細書で説明する複数の遠IRセンサを使用する内視鏡的処置及びシステムの例示的なフローチャートを示す。ステップ100において、測定手順を開始することができる。ステップ100は、遠位端が臓器又は組織内を移動する際の遠位端のいずれかの位置を含むことができる。ステップ100は、例えば(例えば、何らかの視覚マーカによって明示される)処理中のある時点でオペレータが開始することも、或いは(例えば、1又は2以上の遠IRセンサ及び/又は温度センサによって測定される)組織のベースライン周囲温度が確立されると直ぐに開始することもできる。いくつかの実施形態では、各「位置」が、各遠IRセンサからの複数の測定値の集約を含むことができる。例えば、ある位置は、少なくとも1つの遠IRセンサからのデータの検出率の1~100倍の集約とみなすことができる。例えば、計算ユニットが、1~10Hzの検出率を有する遠IRセンサからのデータを処理している場合、各位置は、0.1s~100s(例えば、0.1s~50s、0.1s~20s、0.1s~10s、1s~10s)の測定値を含むことができる。
【0061】
ステップ102において、システムが遠IRセンサデータを収集して構造化することができる。いくつかの実施形態では、ステップ108において、システムが遠IRセンサから直接遠IRセンサデータを取得し、異常検出のための命令を含むプロセッサがアクセスできる可読媒体に未加工データを送信する。いくつかの実施形態では、ステップ108において、プロセッサによって容易に分析されるようにデータ(とりわけ複数のセンサからのデータ、並びに異なる視野及び/又は検出率などを有する複数の非同一センサからのデータ)を収集して構造化する。任意に、ステップ104において、内視鏡が(例えば、加速度計によって測定される)移動速度及び回転などの遠位端の位置情報を収集して構造化することもできる。いくつかの実施形態では、ステップ106において、システムが任意に内視鏡カメラから画像データを収集して構造化することもできる。ステップ102、並びに任意のステップ104及び106は、それぞれ異常位置の分析、解釈及び識別のためにステップ108においてプロセッサに送信することができる。いくつかの実施形態では、ステップ110において、複数の赤外線センサ及び任意にカメラの視野を収集し、リアルタイムデータの分析のためにプロセッサに送信する。いくつかの実施形態では、計算ユニットが複数の遠赤外線センサ及び任意にカメラの特定の形状寸法について訓練されており、ステップ110が不要である。次に、ステップ112において、プロセッサに送信されたデータを計算ユニットが人工知能及び/又は機械学習によって解釈して、内視鏡位置に異常が存在する尤度を識別する。計算ユニットは、内視鏡位置が高い異常の尤度を有する(114)(例えば、その後の複数の測定及び位置にわたって遠IR信号に大きな偏差が見られる場合など、計算ユニットが20%未満(又は0.1%~20%)の偽陽性率を検出する)か、低い異常の尤度を有する(116)(例えば、計算ユニットが80%超(すなわち、80%~100%)の偽陽性率を検出する)か、それとも確定不能な尤度(例えば、20%~80%の偽陽性率)を有するか(118)を識別する。
【0062】
尤度が高い場合(114)、システムは、ステップ(120)において内視鏡ユーザに異常が存在する旨を通知することができる。例えば、計算ユニットは、遠IRセンサデータを計算し、光学カメラ画像に重ね合わせてユーザの画面上に表示し、未確認の異常についての通知を受け取ることができ、任意に、異常を観察するために、或いはステップ122において内視鏡的処置の継続のために、別の位置に別のセンサセット及び/又はカメラを配向することによって未確認の異常の領域を洗浄すること、及び(例えば、異常の洗浄後に)異常をさらに観察するためにカメラを再配置することなどのオプションをユーザに提供する。尤度が低い場合(116)には、ステップ122において検査のために内視鏡を次の位置に移動させる。尤度が閾値間に存在する場合には、ステップ122において、再び測定値を採取して潜在的異常を再測定するために内視鏡122を再配置することができる。この再測定は、前回の測定と同じパラメータの測定を伴うことも、或いは(例えば、異なる遠IRセンサセット及び/又はカメラの視野を潜在的異常と重ね合わせることによる、測定前に潜在的障害を識別するために領域を洗浄することによる)組織の新たな測定を伴うこともできる。このデータは、これらの考えられる事象からのリアルタイム学習、及び(内視鏡的処置中又は処置後に行うことができる)その後の計算への統合を可能にするように、任意のステップ124において、機械学習及び/又は人工知能アルゴリズムを構成されたプロセッサに送信することができる。例えば、同じ位置わたって繰返し測定が行われ、最終的に肯定的な識別が行われた場合、計算ユニットは、この情報を統合して、同様のデータ状況がその異常に関連付けられることを可能にすることができる。この結果、システムは、臓器又は空間の新たな位置の測定を進める準備を整える。いくつかの実施形態では、異常に基づいて治療を実行することができる。例えば、(ユーザによって制御される)内視鏡は、(例えば、内視鏡検査後のさらなる分析のために、異常を除去するために)組織の一部又は全部を切断及び/又は収集することができる。いくつかの実施形態では、(ユーザによって制御される)内視鏡が、例えば後の時点で異常の位置が見つかるようにその位置における組織に蛍光物質又は化学発光物質などの物質を注入することによって組織にマーキングを行い、或いは異常の治療に役立つ物質を投与することができる。
【0063】
計算ユニットは、機械学習又は人工知能によって開発されたアルゴリズムを活用することができる。具体的には、計算ユニットが光学画像及び遠IRセンサデータを必要とする実施形態では(例えば、遠IRでの異常を光学画像上の位置と相関させるために)人工知能が使用される。人工知能は、一連のニューロンを含むニューラルネットワーク(例えば、深層学習、深層畳み込み又は再帰ニューラルネットワーク)であることができる。ニューロンは、データ処理及び人工知能において、とりわけ所与のニューロンに提供される入力(例えば、1又は2以上の遠IRセンサからのデータ、及びその対応する遠位端上での形状寸法、光学画像)の重みについての機械学習において使用されるアーキテクチャ要素である。本明細書で使用する各ニューロンは、ニューラルネットワーク内の他のニューロンから所定の数の入力を受け入れて、遠IRセンサデータと協働して分析される光学画像の内容に関係のある出力及び副次的に関係のある出力を提供するように構成することができる。個々のニューロンは、各光学画像及び遠IRセンサデータがどのように関連し合っているかについての相互作用及び関係学習モデリングを提供するように、様々な構成のニューラルネットワークにおいて共に繋ぎ合わせ及び/又は組織化することができる。
【0064】
例えば、ニューロンとして機能するニューラルネットワークノードは、入力ベクトル(例えば、画像の断面、遠IRセンサデータのベクトル、複数の遠IRセンサからの構造化データアレイ、遠IRセンサの形状寸法)、メモリセル、及び出力ベクトル(例えば、内視鏡ユーザへの表示のためのコンテキスト表現、又はその後の検査のための記憶)を処理する複数のゲートを含むことができる。通常、入力ゲート及び出力ゲートは、それぞれメモリセルに出入りする情報を制御する。様々なゲートの重み及びバイアスベクトルは訓練段階を通じて調整することができ、訓練段階が完了すると、これらの重み及びバイアスを通常動作のためにまとめ上げる(或いは、継続的訓練に基づいて動作中に調整する)ことができる。これらのニューロン及びニューラルネットワークは、プログラム的に(例えば、ソフトウェア命令を介して)、又は各ニューロンを連結してニューラルネットワークを形成する専用ハードウェアを介して構築することができる。
【0065】
ニューラルネットワークは、データを分析して評価を生成するための特徴(例えば、画像のパターン及び/又は遠IRセンサデータ)を利用することができる。これらの特徴は、観察中の現象の個々の測定可能な特性(例えば、異常の温度の上昇、組織の表面の変化)であることができる。特徴の概念は、しばしば線形回帰などの統計的手法において使用される説明変数の概念に関連する。さらに、深層特徴は、人工知能訓練中に識別できる、深層ニューラルネットワークの隠れ層におけるノードの出力を表す。
【0066】
内視鏡の制御コマンドは、遠IRセンサによって収集されたデータのコンピュータ分析に基づいて生成することもできる。コンピュータ分析は、より正確かつ精密な制御コマンド生成、及び予想される条件/パラメータに従って内視鏡(又は内視鏡に取り付けられる装置)が動作しているかどうかについての判定にAI/ML技術を使用することを含むことができる。例えば、時間の経過と共に、遠位端の力及び速度又はその他の時間情報に関するデータを収集することができる。このデータを使用して、手術中に(例えば、再配置、洗浄、手術オプションの提供などの)遠位端の制御コマンドを正確かつ精密に生成するように1又は2以上のモデルを訓練することができる。
【0067】
本明細書で説明する1又は2以上のモデルは、以下に限定するわけではないが、相関モデル、通常の最小二乗法、畳み込みニューラルネットワーク(CNN)、又は教師あり機械学習を含むいずれかのタイプの機械学習モデルであることができる。異なる手順/動作のためには異なるモデルを生成することができる。例えば、人工知能及び機械学習モデルは、YOLO(例えば、YOLOv2)又はDetectronアルゴリズムを使用して訓練することができる。異なるタイプのセンサ及び遠位端の形状寸法、又は異なる機能を有する内視鏡のための異なるモデルを生成することもできる。いくつかの実装では、異なる患者プロファイル、人口統計学、又はその他の患者情報のための異なるモデルを生成することもできる。
【0068】
図5は、複数の遠IRセンサ、及び任意に内視鏡カメラから提供されたデータを利用する本開示のML/AI訓練アルゴリズムの例示的なフローチャートである。通常、訓練セッションは、ステップ202において1又は2以上の遠IRセンサからデータを収集して構造化し、任意に遠位端位置に関するデータ(ステップ204)及びカメラ画像(ステップ206)を収集することから開始する(200)。このデータは、機械学習アルゴリズムを含むプロセッサがアクセスできる可読媒体に送信される。いくつかの実施形態では、複数の遠IRセンサの形状寸法も可読媒体に提供される。このデータは、手順(例えば、ユーザによって異常と遠IRセンサデータとの間に正の相関関係が直接形成された手順)、及び/又はより小規模なデータセットの分析に基づいてアルゴリズムを訓練するのに役立つように生成された合成データから取得することができる。機械学習アルゴリズムは、ステップ212においてこれらのデータセットを解釈して変数を識別し、ステップ214において異常の閾値検出を可能にすることができる。これらの変数は、遠IRセンサによって測定される周囲温度との温度差、特定の内視鏡遠位端の動きに関連する温度差、カメラからの光学画像と相関する温度差を含むことができる。機械学習アルゴリズムは、この情報を活用して、内視鏡的処置において使用される計算ユニットを形成することができる。いくつかの実施形態では、計算ユニットからの情報をその後の訓練セッションにおいて再使用して、以前に確認されたデータ相関性に基づいて新たなデータセットをさらに分析することができる。いくつかの実施形態では、機械学習アルゴリズムが内視鏡的処置中に学習を行い、計算ユニットにおける異常検出の重み及び相関性の変更をリアルタイムで提供することができる。
【実施例】
【0069】
以下の実施例に、本明細書の具体的な態様を示す。これらの実施例は、実施形態及びその様々な態様の具体的な理解及び実践をもたらすものにすぎないため、限定として解釈すべきでない。
【0070】
実施例1:センサ評価
複数の遠赤外線センサを試験して、解剖学的範囲内における熱源からの様々な距離で温度を安定して検出する能力を確認した。評価では、試験ブース内に正方形の黒体輻射体を配置し、周囲よりも2℃高い温度を生じるように設定した。試験ブースは、周囲温度の変動を妨げて生理学的条件を模倣するために使用した。IRカメラを使用して、黒体輻射体全体にわたる均一性を確保した。
【0071】
各センサからの測定値を熱電対の測定値と比較した。試験したセンサは、120°、90°、50°、35°及び5°の視野(FOV)を有するExceletis製及びMelexis製センサであった。
図6に、黒体輻射体面から0~1インチの距離で0°でそれぞれを測定評価した、試験したセンサの精度を(熱電対測定値とのパーセント差として)示す。
【0072】
黒体輻射体上に5mmの穴を有するプラスチック製マスクを配置し、均一になるまで加熱した。この発熱体を26.0°に設定した結果、均一なマスク温度は24.1°になった。
【0073】
マスクの形状寸法に関連する温度変動を確認するために、マスクの面を横切って穴を越えて複数のセンサを移動させた。この実験プロトコルの図を
図7A及び
図7Bに示す。マスクを横切ってセンサを移動させ、移動中のいくつか位置で穴がセンサFOV内に入るようにする。移動中に温度読み取り値をモニタした。
図8Aに、Excelitas製5°FOVセンサをマスクのすぐ隣(「発熱体から0’」)に移動させた時の温度読み取り値を示し、
図8Bに、マスクから1インチ(「発熱体から1’」)離れた時の読み取り値を示す。
図9Aには、マスクにExcelitas製120°FOVセンサを配置した時の測定値を示し、
図9Bには、マスクから1”離してセンサを配置した時の測定値を示す。これらの図には周囲温度も示している。図示のように、センサが穴を横切って移動するにつれて温度変化の増加を確認することができる。しかしながら、マスクから1”離れた位置では、120°FOVが熱変動を検出することはできなかった。
図8Bには、より高い温度が測定される原因となる発熱体とマスクとの間の熱漏れに起因するアーチファクトも見られる。
【0074】
Melexis製センサも測定しており、
図10A(マスクから0インチ)及び
図10B(マスクから1インチ)に測定値を示す。図示のように、各センサはこれらの位置で異なる形でマスクを測定し、測定された温度、位置及び穴のサイズはFOV及びセンサタイプの変化によって影響を受ける。
図11A~
図11Bに、12°FOV Melexisセンサの同様の測定値を示し、
図12A~
図12Bに、5°FOV Melexisセンサの測定値を示す。これらのセンサは、検査した解剖学的範囲(anatomical limits)において穴の形状及びサイズを正確に一貫して識別することができた。
【0075】
実施例2:人工腸に関するセンサ評価
表面下温度測定(sub surface temperature measurements)をシミュレートするために、人工腸の下に抵抗器を配置した。全ての温度を周囲温度に保持した時に人工腸を横切ってセンサを移動させる陰性対照実験を行った。
図13Aに、人工腸の下方の抵抗器位置及び抵抗器への電源接続部を示す実験設定の注釈付き画像を示し、
図13Bに、陰性対照からの測定値を示す。
図14A~
図14Dには、マスクから0インチ及び1インチの位置で人工腸を横切ってセンサを配置した時の5°FOV及び12°FOVセンサの測定値を示す。これらの測定の周囲温度は24.0℃であり、抵抗器温度は26.0℃までであった。実施例1のマスク穴と比べて分布が広いのは、プラスチックと比較した際の人工腸の熱貫流率(thermal transmittance)が原因である可能性が高い。それでもなお、これらのセンサは、表面下温度変動に起因する熱変動を識別することができた。
【0076】
図15Aに示すように、より厳密に消化管を模倣するために、人工腸を湾曲形状に配向した。湾曲した人工腸の背後に抵抗器を配置した。
図15Bに、IRカメラによって測定されたヒートマップを示す。湾曲した人工腸の様々な位置において(周囲温度と比べて)異なる抵抗器温度で湾曲の長手方向軸に沿ってセンサ測定を行い、その12°及び5°のFOVセンサの測定値を
図16に示す。
【0077】
これらの測定値は、内視鏡測定に典型的に必要とされる解剖学的距離にわたって正確な熱測定を特定のセンサしか提供できないことを示す。具体的には、5°及び12°のFOVセンサは測定した距離にわたって非常に正確であり、それぞれが全ての試験条件において何らかの信号を供給した。同様の実験を行って機械学習アルゴリズムを確認し、異常、とりわけ表面下の異常の存在を正確に識別するように訓練することができる。
【0078】
実施例3:複数のセンサ測定値の統合
3つの同一のMelexis製5°FOVセンサを基材上に配置し、皮下異常をシミュレートするように片側に抵抗器を有する湾曲した人工腸を横切って動かした。センサは、異常に対して水平配向(
図17A)又は垂直配向(
図17B)で走査を実行できるように線形の横列で基材上に配置した。この文脈における「水平」及び「垂直」は、動きに対するセンサの線形構成に関する。「水平」構成は、チューブに沿ったセンサの周方向配置に類似すると考えることができ、「垂直」構成は、チューブの長手方向主軸に沿ったセンサの線形配置に類似すると考えることができる。
【0079】
各配向で配置されたセンサの熱データを収集し、これを
図18A(水平配向)及び
図18B(垂直配向)に示す。3つのセンサが水平位置で異常上を通過する際には、基材の異なる位置ではあるが全体として異常を測定することができる。対照的に、3つのセンサが垂直位置で異常上を通過する際には温度変動の幅が識別される。ただし、中央センサ(センサ2)は、同一の応答を記録する端部センサ(センサ1及び3)と比べて大きな熱変動を示す。
【0080】
実施例4:動物実験
動物実験中のデータを収集するために、3つの特注の固定具を設計して使用した。この調査は、生きた動物組織内で周囲よりも2℃温かい模擬ヒートスポットを遠IRセンサが一貫して複数の位置で検出できるかどうかを判定するために設計したものである。また、これらの調査は、結腸内視鏡検査を表す条件でのセンサ性能を明らかにするために設計したのもでもある。例えば、これらの調査は以下を評価することができる。
1)0.1”(0.254cm)の固定距離で模擬ポリープを識別するIRセンサの使用(この距離は、遠IRの近接依存性に起因して実験で生じ得る変動性を排除するために選択した)、
2)異なる視野(FOV)を有する複数のセンサの使用、
3)センサ付き固定具が制御された経路を移動している間に動物、固定具又はオペレータを直接可視化することなくグラフィカルユーザインターフェイス(GUI)上で遠IRデータを観察して2℃の温度差(Δ又はデルタ)の始まり及び終わりを識別することによって発熱源を識別する対照盲検試験、及び、
4)0.9%生理食塩水での意図的な腸表面の洗浄、センサ上に配置された排泄物、及び空気/CO2送気環境を含む、結腸内視鏡検査中に遭遇し得るストレス因子の適用後におけるセンサ機能の評価。
【0081】
動物実験中のデータを収集するために、3つの特注の固定具を設計して使用した。
【0082】
センサ固定具及び設計
動物実験の前に、センサアレイ用のハウジングを設計し、組み立て、漏れ試験を行った。このハウジングは、固定された既知の位置にセンサを保持して生体組織環境からの保護をもたらした。センサ固定具は、SolidWorksで設計し、FormLabs製Form3 3Dプリンタを使用して透明樹脂で製作した。UV硬化接着剤を使用してハウジング内にハードウェアを固定し、ハウジングを密封した。
図19A及び
図19Bに、ハウジングの斜視図及び断面図をそれぞれ示す。
【0083】
図19C(上面図)及び
図19D(側面図)にセンサハウジングの上面図及び側面図を示し、生理食塩水噴霧管、漏れ試験管、各サーミスタ(サーミスタ1及びサーミスタ2)、遠IRセンサアレイ、磁石、温度及び湿度センサの位置、並びにケーブル配線用の穴の相対的位置を識別している。
【0084】
生理食塩水噴霧管を使用して、腸の外側の注射器から腸壁に生理食塩水を塗布した。
【0085】
サーミスタ1は、結腸内を摺動する際の組織との良好な接触を確実にするようにハウジングの表面のわずかに上方に突出させた。このサーミスタは組織の表面温度を読み取り、従ってサーミスタ1は、新たな位置での各試験の開始時に、ヒートスポットの温度がベースライン組織温度よりも高い適切な温度に設定されて調整されるように発熱源(腸の外部に取り付けられた抵抗器)の真下に配置される。サーミスタ2はサーミスタ1と同じ目的を果たすが、ベースライン組織温度を測定する。この差分(すなわち、サーミスタ1とサーミスタ2との間のΔ)は、あらゆる実験で調査される温度差である。磁石を使用して、抵抗器接点の下方の位置で発熱源をサーミスタ1と位置合わせした。
【0086】
実験中には、ハウジング内の漏れを識別するために、圧力計及び注射器に漏れ試験管を接続した。
【0087】
5°視野(FOV)センサ(Melexis部品番号MLX90614ESF-CDI-000-TU)、及び12°FOV(Melexis部品番号MLX90614ESF-CDH-000-TU)という2つのタイプの遠IRセンサを評価した。
【0088】
実験中に結腸内を移動している最中にセンサ固定具を案内するように結腸に挿入されるシースを開発した。
図20A及び
図20Bにそれぞれ斜視図及び断面図を示す。
図20Cは、シース内に配置されたハウジング及びセンサの斜視図であり、
図20Dは、シース内のハウジング及びセンサの正面図である。シースは、断面が楕円形であることにより、ハウジングがその長軸の周囲で回転する自由を制限する。
【0089】
抵抗器を腸外部の既知の位置に配置するために、抵抗器保持器も開発した。固定具は、抵抗器をシース、ハウジング及びセンサ位置に対して既知の位置に保持した。
図21A~
図21Eに示すように、シースの側面に磁石を接着して抵抗器のアーム上の磁石に接続した。このアタッチメントは、シース磁石と付属磁石との間の引力磁場を通じて実験中に抵抗器をシースの中心に置く。ハウジング上の磁石を介してハウジングを位置合わせするためにアタッチメント上の上部穴に磁石を挿入すると、サーミスタ1が抵抗器と位置合わせされると考えられる。この構成では、サーミスタ1が、抵抗ヒータから生じるヒートスポットの正確な読み取り値を取得し、従って周囲組織(サーミスタ2)と比べて直接的なヒートスポットの測定値を提供する。抵抗器への電圧パラメータを変更することにより、ヒートスポットを周囲組織との所望の温度差に設定できるとともに、ハウジング及びセンサがシース内を自由に移動できるので遠IR測定値を取得することができる。
【0090】
特注のグラフィカルユーザインターフェイスが全てのセンサデータをリアルタイムで表示するように構成されたラップトップにUSB接続を介して接続された特注のプリント回路基板(PCB)を通じてセンサデータを送信した。このGUIでは、ポリープの存在又は生理食塩水噴霧の使用などの、データファイル内の特定の事象にオペレータがマーキングすることもできる。A)ボード接続のためのインジケータ、B)オペレータによる特定のタイムイベント表記のためのクロック、C)様々なセンサの選択オプション、D)試験するセンサのサンプリングレートの入力、E)測定又はプロットを開始又は停止するオプション、F)ポリープ又は生理食塩水検出のためのデータにマーキングする能力、G)ファイル名設定、H)周囲湿度及び温度などのセンサ読み取り値、I)測定中の遠IRデータのプロット、及びJ)サーミスタデータのプロット、を含むGUIのスクリーンショットを
図22として示す。これらの例示的なトレースでは、遠IRセンサの測定値がサーミスタの読み取り値と一致していることが分かる。
【0091】
手順
未成熟豚に麻酔をかけ、その腹部を切開して腹腔内の消化管を露出させた。血液供給が失われていない渦巻状の大腸を腹腔から持ち上げ、アクセスできるように露出させた。大腸の異なる9つの位置を試験した。大腸内の各位置について切開を行い、切開部を通じてシースを挿入した。次に、上述したようにシースに磁力的に抵抗器特徴を取り付けた。試験中に腸に対して抵抗器が動かないように組織接着剤(3M Vetbond、部品番号1469SB)を塗布した。抵抗器を取り付けると、センサハウジングをシースに挿入し、ハウジング磁石が抵抗器アタッチメントの上部磁石と整列するまで押し進めた。
【0092】
抵抗器が適所に来た時点で陰性対照検査を行った。陰性対照では、センサ固定具をシースに挿入し、データ収集を開始し、抵抗器の下方でセンサ固定具(ハウジング及びセンサアレイ)を動かした。各位置で少なくとも1回の陰性対照試験を実行した。
【0093】
陰性対照試験後にヒートスポットを確立した。抵抗器固定具の上部穴内(
図21A)に磁石を配置した。次に、磁石が抵抗器と整列したことが磁力によって示されるまでセンサ固定具をシースに押し通した(
図21D及び
図21E)。
【0094】
センサ固定具を配置すると、抵抗加熱及び異常シミュレーションを開始するために抵抗器に電圧を印加した。サーミスタ1とサーミスタ2との間の測定値の差分をモニタし、定常状態の差分が得られるまでリアルタイムで電圧を調整した。
図23に、電圧を変化させて2.0℃の定常状態Δになった時の2つのサーミスタの例示的な測定値を示す。所望の温度差が得られると、センサ固定具がシース内で自由に移動できるように上部磁石を除去した。
【0095】
9つの位置の各々で2~10回の実験を終えた。各実験は、模擬異常の下方を1~3回通過させることを含んでいた。盲検実験(又は盲検試験)では、GUIでライブストリームデータを観察するさらなる観察者を別の部屋に配置し、遠IRデータの上昇及び下降に基づいて「ポリープ」と思われものにマーキングさせた。困難な条件を評価するために、検査実行の直前にヒートスポットの位置の腸壁の内側に5mLの生理食塩水を注入し、或いはセンサ面に排泄物を塗布した。全ての測定は、粘膜表面から0.1”(0.254cm)の固定距離で行った。
【0096】
位置1~5を使用して、5°及び12°FOVセンサ機能を試験した。陰性対照後に2°の温度Δを確立して測定を開始した。
図24に、例示的な陰性対照試験を示す。5°FOV測定では、模擬異常の上をセンサが10回通過した。
図25は、位置3における例示的な実験結果であり、センサのFOVに異常が入り込んだ時の位置を垂直線によって示す。
【0097】
図26に、位置3における10回の実験の各々の遠IRデータを示す。各実験では、模擬異常に関連する温度変化を認識する遠IRセンサの能力が正常に示されている。
【0098】
図27A~
図27Cに、12°FOVセンサでの位置6における陰性対照測定値(
図27A)、センサのFOVに異常が入り込んだ時及びそこから出た時の位置を垂直線によって示す、12°FOVセンサでの位置6における例示的な実行(
図27B)、並びに位置6における10回の実行からのデータ(
図27C)を示す。5°FOVセンサの測定値と同様に、ほとんどの測定値は異常検出に関連する温度スパイクを示している。12°FOVセンサの測定値は5°FOVの測定値よりも感度が低く、示される温度偏差が小さいが、これらのセンサもFOV内の異常の存在を正確に識別することができた。
【0099】
対照盲検試験
両タイプのセンサを使用して、3つの異なる位置(2、3及び6)で10回の盲検試験を行った。ほとんど全ての実験では、先入観のない観察者(unbiased observers)が、異常が検出されていると思う時及び検出されていないと思う時に、GUIへのライブデータストリーム内のデータ(すなわち、推定位置)にマーキングを行うことによって、正しい数の模擬異常が検出された。観察者は、試験データにいつ異常が現れるかも、異常の上を何回通過するかも知らされていなかった。各試験は、1~3回の模擬異常の通過を含んでいた。
図28A及び
図28Bに、先入観のない異常検出の観察(垂直破線)を実際の位置(垂直実線)と相関させる個々の実験からのデータを示す。図示のように、観察者は、遠IRデータを使用して表面下の熱異常の存在を正確に識別することができた。
【0100】
この種の情報を送信して、本明細書で説明する機械学習アルゴリズムで使用することができる。
図29Aに、5°FOV遠IRセンサでの位置3における測定値を示す。異常存在(又は「外れ値」)の位置を識別するために、ここで収集されたデータに基づいて機械学習アルゴリズムを開発し、
図29Aに示す未加工データに適用した。
図29Bには、機械学習アルゴリズムによって分析されたこのデータの結果を示しており、囲みデータは、計算ユニットによって外れ値として識別されたデータを示す。アルゴリズムは、一定のノイズ変動に加えて異常位置を正しく識別することができた。装置形状の最適化に加え、データセットを大規模化し、機械学習を高めれば、外れ値検出率は低下すると予想される。
【0101】
センサがいつ模擬異常に遭遇したかを受動的観察者もGUIオペレータも知らない状態で熱源を識別しようと試みる二重盲検対照試験も行った。これらの測定からのデータは、センサが温度差及び未知の異常位置を常に正確に制御できるわけではないにもかかわらず模擬異常からの温度変化を検出したことを示す。これらの測定では、腸を腹腔内に戻した結果、上述した測定値よりも全体的温度が高くなり、3°の温度Δが得られた。
【0102】
図30Aに、位置9における5°FOVセンサでの10回の完全盲検試験の結果を示す。異常検出を観察できた時に行われた測定と同様の構造を有する有意な温度変動が観察される。これら測定値の変動は、複数回の組織使用及び腸壁の肥厚による腸の完全性の低下、並びにいくつかの測定においてベースライン温度の識別を妨げた最小追跡長さにも由来すると考えられる。それでもなお、遠IRセンサから測定された温度Δのピークは、粘膜表面に取り付けられた抵抗器に関連する温度差である3℃として測定された。
図30Bに、GUIオペレータが完全盲検データ収集に基づいて異常位置を推定した実験のうちの1つを示す。
【0103】
ストレス因子試験
位置3又は6のいずれかにおける結腸外部の位置に抵抗器を取り付け、陰性対照を実行し、ヒートスポット温度をサーミスタ2から決定されたベースライン組織温度よりも2度高い温度に設定し、模擬異常の真下の腸内面に5mLの生理食塩水を塗布した。塗布後に、上述したように模擬異常にセンサを通過させた。5°FOVセンサ及び12°FOVセンサの両方でストレス因子測定を行った。
【0104】
図31に、生理食塩水による洗浄後に模擬異常上をセンサが通過した場合の測定値を示す。これら測定値の感度は低下したが、遠IRデータから模擬異常をはっきりと識別することができた。
【0105】
位置8における遠IRセンサの表面に排泄物を塗布することによってさらなるストレス因子試験を行った。
図32に、位置8における2回の実験のデータを示す。図示のように、結腸内視鏡検査中に遭遇する可能性が高い変数である排泄物がセンサ面上に存在すると、模擬異常の信号が無効化される。
【0106】
実施例5:ポリープの温度プロファイル検出
所定の結腸内視鏡検査中に消化管内のポリープの温度を評価し、それぞれ全体が引用により本明細書に組み入れられるStefanadis,C.著、Journal of Clinical Gastroentereology 36.3(2003)、215~218頁、及びBanic,M.著、Periodicum biologorum 113.4(2011)、439~444頁に見出される温度上昇異常の分析と同様に周囲の正常組織と比較した。ポリープから1~2インチ離れた周囲の正常組織の温度測定後に、識別されたポリープの中心温度を測定した。
【0107】
温度測定は、Omega社製のHSTH-44000シリーズサーミスタを使用して行った。患者1人につき1つのサーミスタを利用した。画像生成及び温度データの読み取り及び分析のために、サーミスタ及びラップトップにOmega社製のデータロガーを接続した。結腸内視鏡は、Charlottesville Gastroenterology Associates社から提供されたものであった。
【0108】
消化管内組織の接触熱測定用サーミスタを含む結腸内視鏡を使用して所定の結腸内視鏡検査を行った。結腸内視鏡検査中に患者に癌が識別された場合、又は炎症性腸疾患の既往歴がある場合、これらの患者は除外した。結腸内視鏡の作業チャネルを通じてサーミスタを配置した。結腸内視鏡検査画像を用いた1又は2以上のポリープの識別後に、清潔なサーミスタを15~30秒にわたってポリープと接触させた。また、サーミスタを周囲組織に2~3回、1回につき15~30秒にわたって接触させた。
【0109】
これらの増強結腸内視鏡検査を2日間にわたって7人の患者に実行した。1人の患者は、結腸内視鏡検査中に3つのポリープが識別された。第1のポリープは直腸内で識別され、直径6mm、温度37.2℃であり、これに対して周囲組織は36.0℃であった。
図33Aに、サーミスタ(TM1)によって摂氏で測定されたポリープ周囲の温度測定値を示す。第2のポリープは上行結腸内で確認され、直径が12mmであった。茎(stalk)の基部では温度が38℃であったのに対し、有茎性ポリープ(pedunculated polyp)の上部では温度が37.5℃であった。周囲組織は36.0℃~37.2℃であり、従属組織における水分の存在によって測定値が損なわれた可能性がある。
図33Bに、サーミスタ(TM1)によって摂氏で測定されたポリープ周囲の温度測定値を示す。第3のポリープは下行結腸内に存在し、直径5mm、温度37.5℃であり、これに対して正常な周囲組織の温度は36.0℃であった。
図33Cに、サーミスタ(TM1)によって摂氏で測定されたポリープ周囲の温度測定値を示す。別の患者は横行結腸内に1つのポリープを有しており、推定直径3mm、温度36.5℃であり、これに対して周囲組織の温度は36.0℃であった。
図33Dに、サーミスタ(TM1)によって摂氏で測定されたポリープ周囲の温度測定値を示す。
【0110】
理論に縛られるつもりはないが、結腸のいずれの部分(例えば、上行結腸、横行結腸、下行結腸、直腸S状部)に存在するポリープも、各ポリープのそれぞれの位置の周囲組織よりも高い温度を有する。異常な粘膜組織(例えば、ポリープ、皮下異常)と正常な粘膜組織との間には平均1.215℃の差分が識別され、この仮説の補強証拠(confirmatory evidence)を示した。
【0111】
上述した主題には、本開示の範囲及び趣旨から逸脱することなく様々な変更を行うことができるので、上記の説明に含まれる、又は添付の特許請求の範囲に定められる全ての主題は、本開示の説明及び例示として解釈すべきであると意図される。上記の教示に照らして、本開示の多くの修正及び変形が可能である。従って、本明細書は、添付の特許請求の範囲に含まれる全てのこのような代替例、修正例及び変形例も対象とするように意図される。
【0112】
本明細書で引用又は参照した全ての文書、本明細書で引用した文書において引用又は参照されている全ての文書は、本明細書又は引用により本明細書に組み入れられるあらゆる文書において言及されるあらゆる製品についてのあらゆる製造者の指示、説明、製品仕様書及び製品シートと共に引用により本明細書に組み入れられ、本開示の実施において採用することができる。
【符号の説明】
【0113】
1 内視鏡
2 屈曲部
3 枢動ビン
4 枢動ビン
5 アンギュレーションワイヤ
6 遠位端
7 カメラ
10 装置
12 遠赤外線センサ
13 遠赤外線センサ
14 重なり部分
15 ワイヤ
16 ワイヤ
A 軸
【国際調査報告】