IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クエスト・フォトニック・デバイシーズ・ビー.ブイ.の特許一覧

特開2024-72288蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス
<>
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図1
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図2
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図3
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図4
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図5
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図6
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図7
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図8
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図9
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図10
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図11
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図12
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図13
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図14
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図15
  • 特開-蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072288
(43)【公開日】2024-05-27
(54)【発明の名称】蛍光信号を測定し、ピーク頻度マップを決定し、リスク予測値を提供する方法、画像捕捉および処理デバイス
(51)【国際特許分類】
   A61B 10/00 20060101AFI20240520BHJP
   A61B 1/00 20060101ALI20240520BHJP
   A61B 1/045 20060101ALI20240520BHJP
【FI】
A61B10/00 E
A61B1/00 511
A61B1/045 618
A61B1/045 622
【審査請求】未請求
【請求項の数】32
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023194563
(22)【出願日】2023-11-15
(31)【優先権主張番号】63/425,402
(32)【優先日】2022-11-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】23205172.2
(32)【優先日】2023-10-23
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】519207011
【氏名又は名称】クエスト・フォトニック・デバイシーズ・ビー.ブイ.
【氏名又は名称原語表記】QUEST PHOTONIC DEVICES B.V.
【住所又は居所原語表記】Industrieweg 41, 1775 PW Middenmeer, The Netherlands
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】リシェル ヨハンナ マリア ホベリング
(72)【発明者】
【氏名】リチャード ヨハネス コルネリス ミースター
(72)【発明者】
【氏名】トーマス コープマン
(72)【発明者】
【氏名】ウナイ パスクアル
(72)【発明者】
【氏名】ジャヤント チントゥ ルクマニ クマール
(72)【発明者】
【氏名】アヌブラタ ボウミック
(72)【発明者】
【氏名】アリッサ バルフールト
(72)【発明者】
【氏名】カスパー ティービエ
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA24
4C161FF02
4C161LL08
4C161MM04
4C161QQ02
4C161QQ04
4C161WW02
4C161WW04
4C161WW08
4C161WW12
4C161WW17
(57)【要約】      (修正有)
【課題】蛍光信号を測定する改善された方法、改善された画像捕捉および処理デバイス、ならびに改善された内視鏡または腹腔鏡を提供する。
【解決手段】画像捕捉デバイス10は、身体部分4の組織における蛍光信号を測定し、身体部分の表面を撮像する。画像捕捉デバイスは、蛍光画像を捕捉するように構成された蛍光撮像ユニットと、可視光画像を捕捉するように構成された可視光撮像ユニットとを含む。蛍光撮像ユニットは、蛍光画像の時系列を捕捉するようにさらに構成される。処理デバイス12において、ピーク頻度マップユニットは、蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定し、出力ユニットは、可視光画像および/または蛍光画像とともにピーク頻度マップを出力するように構成される。
【選択図】図1
【特許請求の範囲】
【請求項1】
蛍光剤(8)が添加された身体部分(4)の組織における蛍光信号を測定し、前記身体部分(4)の表面を撮像する方法であって、前記蛍光剤(8)が添加された前記組織が、前記身体部分(4)の一部を形成する、前記方法は、
-蛍光画像(7)を提供するために、前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明することによって、および前記発光された光の空間分解測定によって、検査領域内の少なくとも1つの前記蛍光画像(7)を捕捉するステップと、
-前記検査領域内の前記身体部分(4)の表面の少なくとも1つの可視光画像(5)を捕捉するステップであって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が既知の関係を介してリンクされる、ステップと、
-蛍光画像(7)の時系列を提供するために、前記蛍光画像(7)を捕捉するステップを繰り返して、経時的に複数の蛍光画像(7)を捕捉するステップと、
可視光画像(5)の時系列を提供するために、特に、前記可視光画像(5)を捕捉するステップを繰り返して、経時的に複数の可視光画像(5)を捕捉するステップと、
-蛍光画像(7)の前記時系列を分析することによって、前記蛍光画像内の関心領域のピーク頻度マップを決定するステップであって、
前記関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
前記時間依存強度曲線内のピークを識別し、前記識別されたピークの頻度および/または前記識別されたピークの最大高さを決定するステップと、
前記少なくとも1つの画素についての前記決定された頻度および/または最大高さのグラフィック表現を生成し、前記グラフィック表現を前記ピーク頻度マップに含めるステップと、
を実行することによって、決定するステップと、
-前記可視光画像(5)および/または前記蛍光画像(7)とともに前記ピーク頻度マップを出力するステップと、
を含む、方法。
【請求項2】
グラフィック表現を生成する前記ステップは、前記関心領域内の前記少なくとも1つの画素の位置における前記識別されたピークの前記決定された頻度および/または前記最大高さを示す強度プロットを生成することを含む、請求項1に記載の方法。
【請求項3】
-ピーク/蛍光オーバーレイ画像を提供するために、前記ピーク頻度マップと前記蛍光画像(7)とを重ね合わせるステップと、
-前記ピーク/蛍光オーバーレイ画像を前記ピーク頻度マップの出力として前記蛍光画像(7)とともに出力するステップと、
および/または
-ピーク/可視オーバーレイ画像を提供するために、前記ピーク頻度マップと前記可視光画像(5)とを重ね合わせるステップと、
-前記ピーク/可視オーバーレイ画像を前記ピーク頻度マップの出力として前記可視光画像(5)とともに出力するステップと、
をさらに含む、請求項2に記載の方法。
【請求項4】
前記蛍光画像(7)を捕捉する前記ステップおよび前記可視光画像(5)を捕捉する前記ステップは、特に前記蛍光画像(7)の信号と前記可視光画像(5)の信号との間の時間切り替えがない場合に、同時に実行される、請求項1~3のいずれかに記載の方法。
【請求項5】
-一連の蛍光画像(7)および一連の可視光画像(5)を提供するために、前記蛍光画像(7)を捕捉するステップおよび前記可視光画像(5)を捕捉するステップを繰り返すことであって、前記一連の画像が、前記身体部分(4)の検査の種々の重なり合う領域を示す、繰り返すことと、
-大きな可視光画像を生成するために前記一連の可視光画像(5)にステッチアルゴリズムを適用することであって、前記ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、適用することと、
-大きな蛍光画像を生成するために前記一連の蛍光画像(7)に前記ステッチアルゴリズムを適用することであって、前記ステッチアルゴリズムが、前記可視光画像(5)のステッチを実行するときに決定されたステッチパラメータの前記セットを適用する、適用することと、
をさらに含み、
前記出力するステップは、
-前記大きな可視光画像(5)を前記大きな蛍光画像(7)および前記ピーク頻度マップとともに出力すること
を含む、
請求項1~4のいずれかに記載の方法。
【請求項6】
前記蛍光信号の測定は、少なくとも第1および第2の蛍光剤(8)が添加された組織に対して実行され、前記蛍光画像を捕捉するステップは、
-前記第1の蛍光剤(8)の第1の励起された発光によって発光された光を生成するのに適した第1の波長を有する第1の励起光で前記組織を照明することによって生成される、第1の波長範囲における第1の蛍光画像を捕捉することと、
-前記第2の蛍光剤(8)の第2の励起された発光によって発光された光を生成するのに適した第2の波長を有する第2の励起光で前記組織を照明することによって生成される、第2の波長範囲における第2の蛍光画像を捕捉することと、
を含み、
蛍光画像(7)の時系列を捕捉する前記ステップ、ピーク頻度マップを決定する前記ステップ、および前記可視光画像(5)とともに前記ピーク頻度マップを出力する前記ステップは、前記第1および前記第2の蛍光画像に対して実行される、
請求項1~5のいずれかに記載の方法。
【請求項7】
前記第1の蛍光画像を捕捉する前記ステップおよび前記第2の蛍光画像を捕捉する前記ステップは、特に前記第1の蛍光画像の信号と前記第2の蛍光画像の信号との間の時間切り替えがない場合に、同時に実行される、請求項6に記載の方法。
【請求項8】
蛍光剤(8)が添加された身体部分(4)の組織における蛍光信号を測定し、前記身体部分(4)の表面を撮像するように構成された画像捕捉および処理デバイス(2)であって、前記蛍光剤(8)が添加された前記組織が、前記身体部分(4)の一部を形成する、前記画像捕捉および処理デバイス(2)は、
-前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明するように構成された照明ユニット(16)と、
-蛍光画像(7)を提供するために、前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明することによって、および前記発光された光の空間分解測定によって、検査領域内の前記蛍光画像(7)を捕捉するように構成された蛍光撮像ユニット(22)と、
-前記検査領域内の前記身体部分(4)の表面の可視光画像(5)を捕捉するように構成された可視光撮像ユニット(24)であって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が既知の関係を介してリンクされる、可視光撮像ユニット(24)と、
を備える、画像捕捉デバイス(10)を備え、
-前記蛍光撮像ユニット(22)は、蛍光画像(7)の時系列を提供するために、経時的に複数の蛍光画像(7)を捕捉するようにさらに構成され、
特に、前記可視光撮像ユニット(24)は、可視光画像(5)の時系列を提供するために、経時的に複数の可視光画像(5)を捕捉するように構成され、
前記画像捕捉および処理デバイス(2)は、
-前記蛍光画像(7)の時系列を分析することによって、前記蛍光画像内の関心領域のピーク頻度マップを決定するように構成されたピーク頻度マップユニット(60)であって、前記ピーク頻度マップユニット(60)が、
前記関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
前記時間依存強度曲線内のピークを識別し、前記識別されたピークの頻度および/または前記識別されたピークの最大高さを決定するステップと、
前記少なくとも1つの画素についての前記決定された頻度および/または最大高さのグラフィック表現を生成し、前記グラフィック表現を前記ピーク頻度マップに含めるステップと、
を含む分析を実行するように構成される、ピーク頻度マップユニット(60)と、
-前記可視光画像(5)および/または前記蛍光画像(7)とともに前記ピーク頻度マップを出力するように構成された出力ユニットと、
を備える、処理デバイス(12)をさらに備える、
デバイス(2)。
【請求項9】
前記ピーク頻度マップユニット(60)は、前記グラフィック表現の前記生成が、前記関心領域内の前記少なくとも1つの画素の位置における前記識別されたピークの前記決定された頻度および/または前記最大高さを示す強度プロットを生成することを含むという点でさらに構成される、請求項8に記載のデバイス(2)。
【請求項10】
前記処理デバイス(12)は、重ね合わせユニットをさらに備え、
-前記重ね合わせユニット(30)は、ピーク/蛍光オーバーレイ画像を提供するために、前記ピーク頻度マップと前記蛍光画像(7)とを重ね合わせるように構成され、
-前記出力ユニットは、前記ピーク/蛍光オーバーレイ画像を前記ピーク頻度マップの出力として前記蛍光画像(7)とともに出力するようにさらに構成され、
かつ/または
-前記重ね合わせユニット(30)は、ピーク/可視オーバーレイ画像を提供するために、前記ピーク頻度マップと前記可視光画像(5)とを重ね合わせるように構成され、
-前記出力ユニットは、前記ピーク/可視オーバーレイ画像を前記ピーク頻度マップの出力として前記可視光画像(5)とともに出力するようにさらに構成される、
請求項9に記載のデバイス(2)。
【請求項11】
前記画像捕捉デバイス(10)は、
-一連の蛍光画像(7)および一連の可視光画像(5)を提供するために、前記蛍光画像(7)を捕捉するステップおよび前記可視光画像(5)を捕捉するステップを繰り返すことであって、前記一連の画像が、前記身体部分(4)の検査の種々の重なり合う領域を示す、繰り返すことを行うように構成され、前記処理デバイス(12)は、
-前記一連の可視光画像(5)にステッチアルゴリズムを適用し、大きな可視光画像を生成するように構成されたステッチユニットであって、前記ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、ステッチユニット
をさらに備え、
-前記ステッチユニットは、前記一連の蛍光画像(7)に前記ステッチアルゴリズムを適用し、大きな蛍光画像を生成するようにさらに構成され、前記ステッチアルゴリズムは、前記可視光画像(5)のステッチを実行するときに決定されたステッチパラメータの前記セットを適用し、前記出力ユニットは、
-前記大きな可視光画像(5)を前記大きな蛍光画像(7)および前記ピーク頻度マップとともに出力する
ようにさらに構成される、
請求項8~10のいずれかに記載のデバイス(2)。
【請求項12】
-前記蛍光撮像ユニット(22)および前記可視光撮像ユニット(24)は、一連の蛍光画像(7)および一連の可視光画像(5)を提供するために、前記蛍光画像(7)を捕捉するステップおよび前記可視光画像(5)を捕捉するステップを繰り返すことであって、前記一連の画像が、前記身体部分(4)の検査の種々の重なり合う領域を示す、繰り返すことを行うようにさらに構成され、前記処理デバイス(12)は、
-大きな可視光画像を生成するために前記一連の可視光画像(5)にステッチアルゴリズムを適用するように構成されたステッチユニット(28)であって、前記ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、ステッチユニット(28)
をさらに備え、
-前記ステッチユニット(28)は、大きな蛍光画像を生成するために前記一連の蛍光画像(7)に前記ステッチアルゴリズムを適用するようにさらに構成され、前記ステッチアルゴリズムは、前記可視光画像(5)のステッチを実行するときに決定されたステッチパラメータの前記セットを適用し、前記出力ユニットは、前記大きな可視光画像(5)を前記大きな蛍光画像(7)および前記ピーク頻度マップとともに出力するように構成される、
請求項8~11のいずれかに記載のデバイス(2)。
【請求項13】
前記蛍光撮像ユニット(22)および前記可視光撮像ユニット(24)は、前記蛍光画像(7)および前記可視光画像(5)の視認方向および視点が同一であるという点で構成され、特に、前記蛍光撮像ユニット(22)および前記可視光撮像ユニット(24)は、前記蛍光画像(7)および前記可視光画像(5)が1つの同じ対物レンズ(18)を通って捕捉されるという点で構成される、請求項7~12のいずれかに記載のデバイス(2)。
【請求項14】
前記蛍光撮像ユニット(22)および前記可視光撮像ユニット(24)は、特に前記蛍光画像(7)の信号と前記可視光画像(5)の信号との間で時間切り替えがない場合に前記蛍光画像(7)および前記可視光画像(5)を同時に捕捉するように構成される、請求項8~13のいずれかに記載のデバイス(2)。
【請求項15】
前記画像捕捉デバイス(10)は、前記入射面(S1)を通って、前記蛍光画像(7)を形成する蛍光と、前記可視光画像(5)を形成する可視光とを受光するように構成されたダイクロイックプリズムアセンブリ(20)であって、第1のプリズム(P1)と、第2のプリズム(P3)と、前記第1のプリズム(P1)と前記第2のプリズム(P3)との間に位置する第1の補償器プリズム(P2)と、前記可視光を3つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリ(P5、P6、P7)と、前記第2のプリズム(P3)と前記さらなるダイクロイックプリズムアセンブリ(P5、P6、P7)との間に位置する第2の補償器プリズム(P4)とを備える、ダイクロイックプリズムアセンブリ(20)をさらに備え、
前記第1のプリズム(P1)および前記第2のプリズム(P3)はそれぞれ、少なくとも5つの角部を有する断面を有し、各角部が少なくとも90度の内側角を有し、前記第1のプリズム(P1)および前記第2のプリズム(P3)の角部はそれぞれ、それぞれの入射面(S1、S3)およびそれぞれの出射面を有し、前記入射面(S1、S3)の法線に平行な方向で前記それぞれのプリズム(P1、P3)の前記入射面(S1、S3)に入る入射ビームが、前記それぞれのプリズム(P1、P3)の内部で2回反射され、前記出射面の法線に平行な前記それぞれのプリズム(P1、P3)の出射面を通って前記それぞれのプリズム(P1、P3)から出るようにそれぞれ設計され、
前記それぞれのプリズム(P1、P3)の前記入射面(S1、S3)の法線と前記出射面の法線とは互いに直交し、
光が前記入射面(S1)を通って前記第1のプリズム(P1)に入るとき、前記光は、前記第1のプリズム(P1)の前記出射面に向かって部分的に反射され、それによって、前記第1のプリズム(P1)の前記入射面(S1)から前記第1のプリズム(P1)の前記出射面まで第1の経路長を進行し、前記光は、前記第1の補償器プリズム(P2)を介して前記第2のプリズム(P3)に部分的に入り、前記第2のプリズム(P3)の前記出射面に向かって部分的に反射され、それによって、前記第1のプリズム(P1)の前記入射面から前記第2のプリズム(P3)の前記出射面まで第2の経路長を進行し、
前記第1のプリズム(P1)は、前記第1の経路長と前記第2の経路長とが同じであるように、前記第2のプリズム(P3)よりも大きい、
請求項8~14のいずれかに記載のデバイス(2)。
【請求項16】
請求項8~15のいずれかに記載の画像捕捉および処理デバイス(2)における前記画像捕捉デバイス(10)として構成される内視鏡または腹腔鏡。
【請求項17】
リンパ機能不全、特にリンパ浮腫を診断する方法であって、
-蛍光剤(8)を身体部分(4)に投与するステップと、
-前記蛍光剤(8)が投与された前記身体部分(4)の組織における蛍光信号を測定し、前記身体部分(4)の表面を撮像するステップであって、前記蛍光剤(8)が添加された前記組織が、前記身体部分(4)の一部を形成する、ステップと、
-蛍光画像(7)を提供するために、前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明することによって、および前記発光された光の空間分解測定によって、前記蛍光画像(7)を捕捉するステップと、
-前記検査領域内の前記身体部分(4)の表面の可視光画像(5)を捕捉するステップであって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が既知の関係を介してリンクされる、ステップと、
-蛍光画像(7)の時系列を提供するために、前記蛍光画像(7)を捕捉するステップを繰り返して、経時的に複数の蛍光画像(7)を捕捉するステップと、
可視光画像(5)の時系列を提供するために、特に、前記可視光画像(5)を捕捉するステップを繰り返して、経時的に複数の可視光画像(5)を捕捉するステップと、
-蛍光画像(7)の前記時系列を分析することによって、前記蛍光画像内の関心領域のピーク頻度マップを決定するステップであって、前記分析が、
前記関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
前記時間依存強度曲線内のピークを識別し、前記識別されたピークの頻度および/または前記識別されたピークの最大高さを決定するステップと、
前記少なくとも1つの画素についての前記決定された頻度および/または最大高さのグラフィック表現を生成し、前記グラフィック表現を前記ピーク頻度マップに含めるステップと、
を含む、決定するステップと、
-前記可視光画像(5)および/または前記蛍光画像(7)とともに前記ピーク頻度マップを出力するステップと、
-前記蛍光画像(7)および前記ピーク頻度マップを分析することによって、前記リンパ機能不全、特にリンパ浮腫に関する、さらに特に前記リンパ機能不全、特にリンパ浮腫の重症度またはレベルに関する診断結果を導出するステップと、
を含む、方法。
【請求項18】
前記蛍光画像(7)を捕捉する前記ステップおよび前記可視光画像(5)を捕捉する前記ステップは、特に前記蛍光画像(7)の信号と前記可視光画像(5)の信号との間の時間切り替えがない場合に、同時に実行される、請求項17に記載の方法。
【請求項19】
前記蛍光剤(8)は、患者の足または手の指節間の組織に前記蛍光剤を注入することによって前記患者の腕または脚に投与される、請求項17または18に記載の方法。
【請求項20】
リンパ機能不全、特にリンパ浮腫の長期療法の方法であって、
-患者(6)に対して請求項17~19のいずれかに記載のステップを実行することによってリンパ浮腫に関する診断を実行するステップと、
-前記患者(6)に対して療法を実行するステップであって、前記療法が、前記リンパ機能不全、特にリンパ浮腫に関する前記診断結果に応じて調整される、ステップと、
-前記リンパ機能不全、特にリンパ浮腫を診断するステップと、前記患者(6)に対して療法を実行するステップとを繰り返すステップであって、各反復において、前記療法が、前記リンパ機能不全、特にリンパ浮腫の前記診断、さらに特にリンパ機能不全、特にリンパ浮腫の前記重症度またはレベルに応じて調整される、ステップと、
を含む、方法。
【請求項21】
蛍光剤(8)が添加された身体部分(4)の組織における蛍光信号の測定に基づいてリスク予測値を提供する方法であって、前記蛍光剤(8)が添加された前記組織が、前記身体部分(4)の一部を形成する、前記方法は、
-蛍光画像(7)を提供するために、前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明することによって、および前記発光された光の空間分解測定によって、検査領域内の少なくとも1つの前記蛍光画像(7)を捕捉するステップと、
-蛍光画像(7)の時系列を提供するために、前記蛍光画像(7)を捕捉するステップを繰り返して、経時的に複数の蛍光画像(7)を捕捉するステップと、
-蛍光画像(7)の前記シーケンスの前記少なくとも1つの蛍光画像(7)において少なくとも1つの計算領域(80)を定義するステップと、
-前記計算領域(80)内の信号強度から時間強度曲線を計算するステップと、
-少なくとも1つの係数を有するモデルによって前記時間強度曲線を近似し、前記時間強度曲線の少なくとも一部分に対する前記モデルの近似に関連する前記少なくとも1つの係数を決定するステップと、
-前記少なくとも1つの係数をプロセッサの入力インターフェースに提供するステップであって、前記プロセッサが、前記入力インターフェース、人工知能(AI)モデル、および出力インターフェースを備え、
-前記プロセッサが、前記少なくとも1つの係数を前記AIモデルに適用することによって、および前記AIモデルの出力から、前記計算領域内の組織灌流を示すリスク予測値を前記出力インターフェースにおける出力データとして生成することによって推論動作を実行する、ステップと、
-ユーザインターフェース(88)を介して前記リスク予測値を通信するステップと、
を含む、方法。
【請求項22】
-前記計算領域(80)を定義するステップと、
-前記時間強度曲線を計算するステップと、
-前記モデルによって前記時間強度曲線を近似し、前記少なくとも1つの係数を決定するステップと、
-前記少なくとも1つの係数を前記プロセッサ(84)の入力インターフェースに提供するステップと、
-前記AIモデルに基づいて前記推論動作を実行し、前記リスク予測値を生成して出力するステップとは、
複数の計算領域(80)に対して、特に前記蛍光画像(7)のピクセルまたはボクセルごとに実行され、
前記方法は、
-前記複数の計算領域にわたる前記リスク予測値をリスク予測値導出画像マップに変換するステップと、
-前記ユーザインターフェース(88)を介して前記リスク予測値導出画像マップを出力するステップと、
をさらに含む、請求項21に記載の方法。
【請求項23】
-前記検査領域内の前記身体部分(4)の表面の少なくとも1つの可視光画像(5)を捕捉するステップであって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が、既知の関係を介してリンクされる、ステップと、
-前記ユーザインターフェース(88)を介して前記リスク予測値および前記可視光画像(5)を出力するステップと、
をさらに含む、請求項21に記載の方法。
【請求項24】
-前記検査領域内の前記身体部分(4)の表面の少なくとも1つの可視光画像(5)を捕捉するステップであって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が、既知の関係を介してリンクされる、ステップと、
-前記ユーザインターフェース(88)を介して前記可視光画像(5)とともにオーバーレイ画像として前記リスク予測値導出画像マップを出力するステップと、
をさらに含む、請求項22に記載の方法。
【請求項25】
前記時間強度曲線を近似するために適用される前記モデルは、単一組織コンパートメントモデル、特に、組織均質性に対する断熱近似(AATH)モデルである、請求項21~24のいずれかに記載の方法。
【請求項26】
前記人工知能(AI)モデルは、事前に訓練されたニューラルネットワーク、特に、臨床患者データに基づいて教師あり訓練で訓練された事前に訓練されたニューラルネットワークである、請求項21~25のいずれかに記載の方法。
【請求項27】
蛍光剤(8)が添加された身体部分(4)の組織における蛍光信号の測定に基づいてリスク予測値を提供するためのコンピュータベースの臨床意思決定支援システム(CDSS)(86)であって、前記蛍光剤(8)が添加された前記組織が、前記身体部分(4)の一部を形成する、前記CDSSは、
-前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明するように構成された照明ユニット(16)と、
-蛍光画像(7)を提供するために、前記蛍光剤(8)の励起された発光によって発光された光を生成するのに適した波長を有する励起光で前記組織を照明することによって、および前記発光された光の空間分解測定によって、検査領域内の少なくとも1つの前記蛍光画像(7)を捕捉するように構成された蛍光撮像ユニット(22)であって、
-前記蛍光撮像ユニット(22)が、蛍光画像(7)の時系列を提供するために、経時的に複数の蛍光画像(7)を捕捉するようにさらに構成される、蛍光撮像ユニット(22)と、
処理デバイス(92)であって、
-蛍光画像(7)の前記シーケンスの前記少なくとも1つの蛍光画像(7)内に少なくとも1つの計算領域(80)を定義することと、
-前記計算領域(80)内の信号強度から時間強度曲線を計算することと、
-少なくとも1つの係数を有するモデルによって前記時間強度曲線を近似し、前記時間強度曲線の少なくとも一部分に対する前記モデルの近似に関連する前記少なくとも1つの係数を決定することと、
-前記少なくとも1つの係数をプロセッサ(84)の入力インターフェースに提供することであって、処理デバイス(92)が、前記入力インターフェース、人工知能(AI)モデル、および出力インターフェースをさらに備える前記プロセッサ(84)を備える、提供することと、を行うように構成され、
-前記プロセッサが、前記少なくとも1つの係数を前記AIモデルに適用することによって、および前記計算領域(80)内の組織灌流を示すリスク予測値を前記出力インターフェースにおける出力データとして前記AIモデルの出力から生成することによって推論動作を実行し、前記リスク予測値をユーザインターフェースに通信するように構成される、処理デバイス(92)と、を備え、
-前記CDSS(86)は、前記リスク予測値を表示するように構成された前記ユーザインターフェース(88)をさらに備える、
CDSS(86)。
【請求項28】
前記処理デバイスは、
-前記計算領域(80)を定義することと、
-前記時間強度曲線を計算することと、
-前記モデルによって前記時間強度曲線を近似し、前記少なくとも1つの係数を決定することと、
-前記少なくとも1つの係数を前記プロセッサ(84)の入力インターフェースに提供することと、
-前記推論動作を実行し、前記AIモデルに基づいて前記リスク予測値を生成して出力することとであって、
複数の計算領域(80)に対して、特に前記蛍光画像(7)のピクセルまたはボクセルごとに、生成して出力することと、
を行うように構成され、
前記処理デバイス(92)は、
-前記複数の計算領域(80)にわたる前記リスク予測値をリスク予測値導出画像マップに変換することと、
-前記リスク予測値導出画像マップを前記ユーザインターフェース(88)に通信することであって、
前記ユーザインターフェース(88)が、前記リスク予測値導出画像マップを表示するように構成される、通信することと、
を行うようにさらに構成される、
請求項27に記載のCDSS(86)。
【請求項29】
-前記検査領域内の前記身体部分(4)の表面の少なくとも1つの可視光画像(5)を捕捉するように構成された可視光撮像ユニット(24)であって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が既知の関係を介してリンクされ、
-前記処理デバイス(92)が、前記リスク予測値および前記可視光画像(5)を前記ユーザインターフェース(88)に出力するようにさらに構成され、
-前記ユーザインターフェース(88)が、前記リスク予測値および前記可視光画像(5)を表示するように構成される、
可視光撮像ユニット(24)をさらに備える、
請求項27に記載のCDSS(86)。
【請求項30】
-前記検査領域内の前記身体部分(4)の表面の少なくとも1つの可視光画像(5)を捕捉するように構成された可視光撮像ユニット(24)であって、前記蛍光画像(7)および前記可視光画像(5)の視認方向および/または視点が既知の関係を介してリンクされ、
-前記処理デバイス(84)が、前記リスク予測値導出画像マップおよび前記可視光画像(5)を前記ユーザインターフェース(88)に出力するようにさらに構成され、
-前記ユーザインターフェース(88)が、前記可視光画像(5)とともにオーバーレイ画像として前記リスク予測値導出画像マップを表示するように構成される、
可視光撮像ユニット(24)をさらに備える、
請求項28に記載のCDSS(86)。
【請求項31】
前記処理デバイス(92)は、単一組織コンパートメントモデル、特に、組織均質性に対する断熱近似(AATH)モデルである、前記時間強度曲線を近似するために適用される前記モデルを含む、請求項27~30のいずれかに記載のCDSS(86)。
【請求項32】
前記処理デバイス(84)は、事前訓練されたニューラルネットワーク、特に臨床患者データに基づいて教師あり訓練で訓練された事前訓練されたニューラルネットワークである、前記人工知能(AI)モデルを含む、請求項27~31のいずれかに記載のCDSS(86)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像する方法であって、蛍光剤が添加された組織が身体部分の一部を形成する、方法に関する。本発明はさらに、蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像するように構成された画像捕捉および処理デバイスであって、蛍光剤が添加された組織が身体部分の一部を形成する、画像捕捉および処理デバイスに関する。さらに、本発明は、画像捕捉および処理デバイスを含む内視鏡または腹腔鏡に関する。
【0002】
本発明はまた、リンパ機能不全、特にリンパ浮腫を診断する方法およびリンパ機能不全、特にリンパ浮腫の長期療法の方法に関する。
【0003】
本方法ならびに画像捕捉および処理デバイスは、特に、リンパ機能不全、特にリンパ浮腫の診断、治療および/または予防をさらに考慮したリンパ機能不全、特にリンパ機能の撮像および測定に関する。
【0004】
本発明はまた、蛍光剤が添加された身体部分の組織における蛍光信号の測定に基づいてリスク予測値を提供する方法に関する。さらに、本発明は、蛍光剤が添加された身体部分の組織における蛍光信号の測定に基づいてリスク予測値を提供するためのコンピュータベースの臨床意思決定支援システム(CDSS)に関する。
【背景技術】
【0005】
リンパ浮腫は、リンパ機能不全であり、身体の組織におけるリンパ液の蓄積をもたらす。酸素化された血液は動脈を介して心臓から組織に送り出されるが、脱酸素化された血液は静脈を介して心臓に戻る。動脈側の圧力レベルは静脈側よりもはるかに高いため、血液の無色の流体部分が細胞間の空間に押し込まれる。典型的には、静脈側で再吸収されるよりも多くの流体が押し出される。過剰な流体は、毛細リンパ管によって輸送される。さらに、流体は、より大きなタンパク質および細胞破片などの局所的な異物を運び去る。リンパ系に入ると、輸送された物質を含むこの流体は、リンパまたはリンパ液と呼ばれる。
【0006】
リンパ系は、リンパ液を次のリンパ節に輸送するための静脈弁に類似した一方向弁を有するリンパ管を含む。リンパ節は、特定の物質の除去を行い、流体が血流に戻る前に流体を浄化する。
【0007】
リンパ流が遮断されるか、または所望のレベルで行われないという点でリンパ系が閉塞された場合、リンパ液は組織細胞間の間質空間に蓄積する。リンパ輸送の障害に起因するこの蓄積は、リンパ浮腫と呼ばれる。リンパ液の蓄積は、患部を取り囲む細胞を損傷する炎症反応を引き起こし得る。それはさらに、患部組織の硬化に変わり得る線維症を引き起こし得る。
【0008】
リンパ浮腫は、治癒または薬物療法が存在しない生涯にわたる状態であるため、排液を改善し、流体負荷を低減するための早期診断および適切な早期対抗策は、患者の健康および回復にとって非常に重要である。手術までのリンパ管マッサージおよび圧迫包帯などの可能な治療は、以下のように世界保健機関(WHO)によって定義された4段階システムである重症度のレベルに依拠する。
ステージ1:リンパ系における正常な流れ。徴候または症状なし。
ステージ2:腫脹を伴う流体の蓄積。
ステージ3:罹患した四肢または身体部分の挙上で消散しない永続的な腫脹。
ステージ4:象皮病(大きく変形した四肢)、「いぼ状」の成長を伴う皮膚肥厚、および広範な瘢痕。
【0009】
リンパ系の機能の診断では、一般的に使用される技術は、医師による患部の四肢または身体部分の手動検査である。既知の撮像技術は、リンパシンチグラフィである。この技術では、放射性トレーサが罹患した身体部分の組織に注入され、続いてMRI(磁気共鳴画像法)、CT(コンピュータ断層撮影法)、PET-CTスキャン(陽電子放射断層撮影法)または超音波撮像が行われる。
【0010】
比較的新しい撮像技術は、蛍光色素、例えばICG(インドシアニングリーン)を使用する赤外蛍光撮像である。ICGは、40年以上にわたって使用される緑色の医療用色素である。色素は、600nm~800nmの波長を有する近赤外光で励起されると蛍光を発する。この励起により、ICGは750nm~950nmの蛍光を発する。ICG色素の蛍光は、CCDもしくはCMOSセンサまたはカメラを使用して検出することができる。蛍光色素は、患部の四肢または身体部分の組織に投与され、検出された蛍光に基づいてリンパ液の濃度および流れを追跡することができる。
【0011】
リンパ機能不全は、身体の組織におけるリンパ液の不十分な循環によって引き起こされる。組織灌流は一般に、多くの臨床所見における重要なバイオマーカーである。例えば、それは、例えば胃腸手術における、手術後の成功した回復の指標である。
【0012】
蛍光撮像は、組織灌流の評価のための有用な情報を提供する。データ分析は、典型的には、蛍光強度の時間強度曲線を分析することによって実施される。時間強度曲線は、蛍光画像の時間依存記録から抽出することができる。時間強度データは、例えば、画素ごとに抽出されるか、または特定の領域にわたって平均化することができる。時間強度曲線は、モデルのフィッティングによって分析することができ、モデルの係数は、生理学的パラメータに関する特定の情報を与える。しかし、モデルの係数は、時間強度曲線の形状を多かれ少なかれ正確に説明し、基礎をなす生物学的プロセスに直接リンクされない。したがって、導出された係数の解釈は、困難な場合があり得る。
【発明の概要】
【発明が解決しようとする課題】
【0013】
本発明の第1の目的は、蛍光信号を測定する改善された方法、改善された画像捕捉および処理デバイス、ならびに改善された内視鏡または腹腔鏡を提供することであり、特に、改善された蛍光撮像出力が提供されることができる。さらに、本発明の目的は、リンパ浮腫を診断する改善された方法およびリンパ浮腫の長期療法の改善された方法を提供することである。
【0014】
本発明の第2の目的は、蛍光信号に基づいてリスク予測値を提供する改善された方法、およびリスク予測値を提供するための改善されたコンピュータベースの臨床意思決定支援システム(CDSS)を提供することである。
【課題を解決するための手段】
【0015】
第1の目的は、蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像する方法であって、蛍光剤が添加された組織が、身体部分の一部を形成する、方法によって解決され、本方法は、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の少なくとも1つの蛍光画像を捕捉するステップと、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するステップであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされる、ステップと、
-蛍光画像の時系列を提供するために、蛍光画像を捕捉するステップを繰り返して、経時的に複数の蛍光画像を捕捉するステップと、
可視光画像の時系列を提供するために、特に、可視光画像を捕捉するステップを繰り返して、経時的に複数の可視光画像を捕捉するステップと、
-蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定するステップであって、
関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
時間依存強度曲線内のピークを識別し、識別されたピークの頻度および/または識別されたピークの最大高さを決定するステップと、
少なくとも1つの画素についての決定された頻度および/または最大高さのグラフィック表現を生成し、グラフィック表現をピーク頻度マップに含めるステップと、
を実行することによって、決定するステップと、含み、本方法は、
-可視光画像および/または蛍光画像とともにピーク頻度マップを出力するステップ
をさらに含む。
【0016】
リンパ浮腫を診断するための重要な情報は、リンパ系へのリンパ輸送の速度である。リンパ液の急速な輸送は、リンパ管静脈が無傷であり、リンパ浮腫がないことを示すが、リンパ液のゆっくりとした輸送は、患者が治療的処置を受けるべき段階でリンパ浮腫を発症したことを強く示す。リンパ液の輸送は、蛍光剤、例えばICG(インドシアニングリーン)が、不十分なリンパ機能を示すことになる身体部分の組織に投与されているため、蛍光画像で見ることができる。蛍光画像を経時的に観察することによって、リンパ系におけるリンパ液の取り込みを観察することができる。健康なリンパ系では、蛍光剤は、リンパ液とともにリンパ系によって迅速に取り込まれる。リンパ管静脈は、直線状の経路でリンパ液を迅速に輸送する。これらのリンパ管は、流体の逆流を防止するための一方向弁を含む。
【0017】
健康なリンパ系では、リンパ管におけるリンパ液の律動的な輸送がある。このプロセスは、時間分解蛍光画像で観察することができる。リンパ液の律動的な輸送は、蛍光画像の特定の領域内の強度振動をもたらす。これらの領域は、リンパ管の位置に対応する。
【0018】
リンパ浮腫の場合、リンパ液の流れが妨げられると、リンパ管内の圧力が上昇し、これによりリンパ液が皮下組織に漏出する。リンパ浮腫の予防のためには、疾患の早期診断および治療が最も重要である。リンパ浮腫を発症した患者のリンパ系では、リンパ液の輸送の有意な減少が観察され得る。この場合も、この現象は、時間分解された一連の蛍光画像を分析することによって検出することができる。したがって、経時的に撮影された複数の蛍光画像の分析は、リンパ浮腫の確実かつ早期の診断のための重要な課題である。
【0019】
本発明の態様による蛍光信号を測定する方法が開始する前にこのステップが生じる蛍光剤の投与後、蛍光信号は、捕捉された一連の蛍光画像に基づいて追跡および分析することができる。捕捉された画像は、蛍光画像の時系列を表す時間分解蛍光画像である。
【0020】
蛍光剤は、例えば、ICG(インドシアニングリーン)またはメチレンブルーである。本明細書の文脈内で、「蛍光色素」または「色素」(「蛍光色素」または「蛍光体」とも呼ばれる)という用語は、分子を蛍光性にする分子の成分を指す。成分は、特定の波長のエネルギーを吸収し、異なる特定の波長でエネルギーを再放射する分子中の官能基である。様々な態様では、蛍光剤は、蛍光色素、その類似体、その誘導体、またはこれらの組み合わせを含む。適切な蛍光色素としては、インドシアニングリーン(ICG)、フルオレセイン、メチレンブルー、イソスルファンブルー、パテントブルー、シアニン5(Cy5)、シアニン5.5(Cy5.5)、シアニン7(Cy7)、シアニン7.5(Cy7.5)、シパート、シリコンローダミン、5-ALA、IRDye 700、IRDye 800CW、IRDye 800RS、IRDye 800BK、ポルフィリン誘導体、Illuminare-1、ALM-488、GCP-002、GCP-003、LUM-015、EMI-137、SGM-101、ASP-1929、AVB-620、OTL-38、VGT-309、BLZ-100、ONM-100、BEVA800が挙げられるが、これらに限定されない。
【0021】
しかし、本発明の態様によって実行されるリンパ流の分析は、時間分解された一連の蛍光画像の単なる観察にとどまらない。蛍光画像の時系列は、最初に蛍光画像内の関心領域を定義することによって分析される。この関心領域は、蛍光画像内の単一の画素からフルスケール蛍光画像、すなわち完全な蛍光画像までの範囲である。多くの場合、関心領域は、ある程度中間にある。例えば、入力ハードウェアによって、例えばマウスまたはトラックボールを用いて操作することができる好適なツールを使用して、選択矩形を画面上に定義することができる。この関心領域では、蛍光画像が経時的に分析される。これは、蛍光画像の時系列が捕捉された検査の全時間、または所定の期間もしくは選択された期間であり得る。
【0022】
説明を簡単にするために、蛍光画像内の単一の画素の分析を参照する。換言すれば、関心領域は、単に簡略化のために、単一の画素である。複数の画素が分析されるときに同様のアプローチが適用される。
【0023】
第1のステップとして、蛍光画像の時系列における検査中の画素の強度が分析され、前記画素の時間依存強度曲線が決定される。分析される画素が、リンパ液の輸送が行われる蛍光画像の領域に位置する場合、時間依存強度曲線は、典型的には、様々なピークを示す。この輸送は、蛍光信号の変化する強度によって示される。例えば、蛍光信号の強度は、リンパ管内のリンパ液の振動に従う。
【0024】
時間依存性強度曲線を決定した後、曲線が分析され、強度のピークが識別される。ピークの最大高さおよびピークの位置が決定され得る。例えば、これは、傾斜分析によって、または任意の他の好適なアプローチを用いて実行することができる。ピークの位置に関する情報に基づいて、識別されたピークの頻度が計算され得る。この頻度の単位は、例えば、1秒あたりのピーク、1フレームあたりのピーク、または100フレームあたりのピークなどである。ピークの頻度に関する情報は、患者の身体部分の表面の可視画像とともに出力される。この情報に基づいて、操作者には、関心領域内のリンパ輸送に関する情報が提供される。高頻度は、リンパ液の典型的なパルス輸送を示し、それによって高い輸送量を明確に示す。頻度の値は、数字として、カラースケールで、または任意の他の好適な情報で出力することができる。
【0025】
さらなるまたは代替の情報として、ピークの最大高さを分析することができる。蛍光信号のピークが高いほど、関心領域(またはその全体を考慮したときの関心領域)内の分析された画素におけるリンパ液の濃度が高い。識別されたピークの最大高さが決定される。この情報はまた、特にピークの頻度についての情報と組み合わせて、非常に有益であり得る。最大値はリンパ液の濃度に関する情報を与えるが、頻度はリンパ液の輸送に関する情報を与える。
【0026】
上述のアプローチが関心領域内のすべての画素に対して実行される場合、最大値の頻度のマップ、いわゆる頻度マップが生成されることができる。マップは、カラースケールで表示することができる。同様に、検出されたピークの最大値のマップを生成することができる。このマップは、カラースケールで表示することもできる。マップは、蛍光画像と並べて、また可視光画像と組み合わせて示すことができる。特に、可視光画像との組み合わせにより、ユーザは特定の診断所見が行われた患者の身体部分上の位置を特定することができる。これにより、例えば医師は、検出されたリンパ浮腫の調整された療法を患者に提供することができる。
【0027】
ピーク頻度マップの出力には、例えば頻度の状態または割合に関する追加の情報を含めることができる。これは、良いまたは悪い色表示などで示されるスコアリング確率の形で表すことができる。時間依存強度曲線内の最大値の検出は、例えば、強度曲線の傾斜分析によって実行することができる。ピークの検出は、閾値分析に基づくこともでき、これは、特定の閾値を超える曲線のすべての部分がピークと見なされることを意味する。ピーク頻度マップの出力は、色表示、グラフ、値、もしくは値の量を示す擬似カラー、または単純な表であってもよい。理解しやすいグラフィック表現は、強度プロットである。
【0028】
有利な実施形態によれば、本方法は、グラフィック表現を生成するステップが、関心領域内の少なくとも1つの画素の位置における識別されたピークの決定された頻度および/または最大高さを示す強度プロットを生成することを含むという点でさらに改善される。
【0029】
強度プロットは、識別されたピークの頻度および/または識別されたピークの最大高さの擬似カラー表現であり得る。これはまた、等高線、特に、強度プロットから取られた色を有する等高線を擬似カラー表現で示すプロットであり得る。
【0030】
測定結果の解釈をさらに簡単にするために、ピーク頻度マップと蛍光画像および/または可視光画像との重ね合わせが実行され得る。
【0031】
有利な実施形態によれば、本方法は、
ピーク/蛍光オーバーレイ画像を提供するために、ピーク頻度マップと蛍光画像とを重ね合わせるステップと、
ピーク/蛍光オーバーレイ画像をピーク頻度マップの出力として蛍光画像とともに出力するステップと、
および/または
ピーク/可視オーバーレイ画像を提供するために、ピーク頻度マップと可視光画像とを重ね合わせるステップと、
ピーク/可視オーバーレイ画像をピーク頻度マップの出力として可視光画像とともに出力するステップと、
をさらに含む。
【0032】
ピーク頻度マップと蛍光画像との重ね合わせは、蛍光画像の解釈を簡単にする。ピーク頻度マップと可視光画像との重ね合わせにより、ユーザは、例えばリンパ浮腫の特定の治療が望ましい特定の領域を特定することができる。
【0033】
さらに、別の実施形態による方法であって、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップが、特に蛍光画像の信号と可視光画像の信号との間の時間切り替えがない場合に、同時に実行される、方法がある。
【0034】
有利には、蛍光画像および可視光画像を同時に捕捉することができる。結果として、蛍光画像を意味する蛍光信号の測定と、検査中の身体部分の表面を示す可視光画像との間に完全な一致が存在する。この情報に基づいて、例えばリンパ機能不全の調整された空間的に正確な精密治療を行うことができる。診断の可能性についても同様である。
【0035】
本発明のさらに別の有利な実施形態によれば、本方法は、
一連の蛍光画像および一連の可視光画像を提供するために、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップを繰り返すことであって、一連の画像が、身体部分の検査の種々の重なり合う領域を示す、繰り返すステップと、
大きな可視光画像を生成するために一連の可視光画像にステッチアルゴリズムを適用することであって、ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、適用するステップと、
大きな蛍光画像を生成するために一連の蛍光画像にステッチアルゴリズムを適用することであって、ステッチアルゴリズムが、可視光画像のステッチを実行するときに決定されたステッチパラメータのセットを適用する、適用するステップと、
をさらに含み、出力するステップは、
大きな可視光画像を大きな蛍光画像およびピーク頻度マップとともに出力すること
を含む。
【0036】
ステッチアルゴリズムを適用することによって、身体部分のより大きな領域を検査することができる。有利には、ステッチアルゴリズムは、可視光画像のステッチを実行するときに以前に決定されたステッチパラメータのセットに基づいて、一連の蛍光画像の再構成およびステッチを実行する。ステッチ時には、蛍光画像の時系列および可視光画像の時系列のうちの1つの画像のみを使用することが特に可能である。以前に決定されたステッチパラメータの適用は、蛍光画像が、典型的には、ステッチプロセスの実施に好適である稀な特殊特徴を提供するため、有利である。可視光画像および蛍光画像は、視認方向および/または視点に関して既知の一定の関係によってリンクされるため、可視光画像に使用されるステッチアルゴリズムのパラメータは、蛍光画像のステッチにも適用することができる。これにより、ステッチプロセスおよび実現可能な結果が大幅に向上する。
【0037】
本発明の別の有利な実施形態によれば、蛍光信号の測定は、少なくとも第1および第2の蛍光剤が添加された組織に対して実行され、蛍光画像を捕捉するステップは、
第1の蛍光剤の第1の励起された発光によって発光された光を生成するのに適した第1の波長を有する第1の励起光で組織を照明することによって生成される、第1の波長範囲における第1の蛍光画像を捕捉することと、
第2の蛍光剤の第2の励起された発光によって発光された光を生成するのに適した第2の波長を有する第2の励起光で組織を照明することによって生成される、第2の波長範囲における第2の蛍光画像を捕捉することと、を含み、蛍光画像の時系列を捕捉するステップ、ピーク頻度マップを決定するステップ、および可視光画像とともにピーク頻度マップを出力するステップは、第1および第2の蛍光画像に対して実行される。
【0038】
種々の蛍光色素が鑑別診断の分野を開くため、2つの蛍光剤に基づく蛍光撮像が望ましい場合がある。第1の蛍光剤は、例えば、ICGであってもよく、第2の蛍光剤は、メチレンブルーであってもよい。第1の蛍光画像は、メチレンブルーが第1の蛍光剤または色素として使用される場合、700nm~800nmの波長範囲で捕捉されることができる。第2の蛍光画像は、ICGが第2の蛍光剤または色素として使用される場合、800nm~900nmである波長範囲で捕捉されることができる。本発明の態様による方法は、種々の蛍光剤および色素を用いて実施することができる。基本的に、適切な色素と好適なまたは適合する励起光源との任意の組み合わせを適用することができる。
【0039】
多くの場合、リンパ系の機能は、身体の四肢において影響を受ける。しかし、蛍光信号を測定する方法は、四肢の検査に限定されない。本方法は、一般に、患者の四肢だけでなく、身体の体部、頭部、首、背中または任意の他の部分でもあり得る身体部分の検査を指す。身体部分が、臓器、特に内臓であることも可能である。蛍光信号を測定する方法は、リンパ流の指標であり、開腹手術中に実施することもできる。手術が、内視鏡または腹腔鏡を使用して行われる低侵襲手術である状況にも同じことが当てはまる。
【0040】
本明細書の文脈内で、「可視光画像」は、現実世界の状況の画像である。これは、人間の目で見ることができるものと同様の画像印象を再現する。人間の目とは異なり、可視光画像は、カラー画像、グレースケール画像、またはさらには擬似カラースケールプロットであり得る。可視光画像は、蛍光剤が投与された組織を含む身体部分の表面を示す。組織が身体部分の表面に配置される場合、例えば内臓が検査されるとき、身体部分の表面の撮像は、組織の表面の撮像を含む。
【0041】
さらに、別の実施形態による方法では、第1の蛍光画像を捕捉するステップおよび第2の蛍光画像を捕捉するステップは、特に第1の蛍光画像の信号と第2の蛍光画像の信号との間の時間切り替えがない場合に、同時に実行される。
【0042】
第1および第2の蛍光画像の同時捕捉は、第1の蛍光画像から導出された情報および第2の蛍光画像から導出可能な情報が真に同じ時点を参照する測定をもたらす。したがって、2つの画像の比較から得ることができる特徴または情報は、身体部分における経時変化、例えばリンパ液の急速な変動によって劣化されない。これにより、測定の質が向上する。
【0043】
別の有利な実施形態によれば、蛍光画像および可視光画像の視認方向および視点は同一であり、特に、蛍光画像および可視光画像は、1つの同じ対物レンズを通って特に捕捉される。1つの単一の対物レンズを通って両方の画像を捕捉することは、視認方向と画像の視点とのほぼ完全な位置合わせを提供する。
【0044】
特に、蛍光画像および可視光画像は、時間切り替えがない場合に捕捉される。これは、プリズムアセンブリと、複数の画像センサとを含む、画像捕捉デバイスによって行われることができる。蛍光および可視光は、共通の光束として、プリズムアセンブリの同じ入射面を通ってプリズムアセンブリに入る。プリズムアセンブリまたは構造はまた、可視波長範囲を、蛍光剤の励起された発光が典型的に生じる赤外波長範囲から分離するためのフィルタを含むことができる。種々の波長範囲は、種々のセンサに向けられる。これらのセンサは、独立して動作させることができ、センサの信号の時間切り替えは必要ない。これは、蛍光静止画である赤外線静止画と、可視光静止画とが、別個の画像センサを使用して正確に同時に捕捉されるため、有利である。したがって、画像は、例えば毎秒60フレーム以上の高いフレーム繰り返し率で捕捉されることができる。より高いフレームレートは、典型的には、時間切り替えを実行するときに達成され得ない。さらに、蛍光画像および可視光画像が個々のセンサ上で捕捉されるとき、これらのセンサは両方とも、正確に焦点が合って配置されることができる。さらに、センサの設定は、可視光画像および蛍光画像の画像捕捉のための要件を考慮して、個々に調整することができる。これは、例えば、センサゲイン、ノイズ低減、または露光時間の調整に関する。
【0045】
第1の目的はまた、蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像するように構成された画像捕捉および処理デバイスであって、蛍光剤が添加された組織が、身体部分の一部を形成する、画像捕捉および処理デバイスによって解決され、画像捕捉および処理デバイスは、
蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニットと、
蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の蛍光画像を捕捉するように構成された蛍光撮像ユニットと、
検査領域内の身体部分の表面の可視光画像を捕捉するように構成された可視光撮像ユニットであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされる、可視光撮像ユニットと、
を含む、画像捕捉デバイスを含み、
蛍光撮像ユニットは、蛍光画像の時系列を提供するために、経時的に複数の蛍光画像を捕捉するようにさらに構成され、
特に、可視光撮像ユニットは、可視光画像の時系列を提供するために、経時的に複数の可視光画像を捕捉するように構成され、
画像捕捉および処理デバイスは、
蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定するように構成されたピーク頻度マップユニットであって、ピーク頻度マップユニットが、
関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
時間依存強度曲線内のピークを識別し、識別されたピークの頻度および/または識別されたピークの最大高さを決定するステップと、
少なくとも1つの画素についての決定された頻度および/または最大高さのグラフィック表現を生成し、グラフィック表現をピーク頻度マップに含めるステップと、
を含む分析を実行するように構成される、ピーク頻度マップユニットと、
可視光画像および/または蛍光画像とともにピーク頻度マップを出力するように構成された出力ユニットと、
を含む、処理デバイスをさらに含む。
【0046】
蛍光信号を測定する方法に関して言及した同じまたは同様の利点は、同じまたは同様の方法で画像捕捉および処理デバイスに適用され、したがって繰り返されない。
【0047】
本発明の有利な実施形態によれば、本デバイスは、ピーク頻度マップユニットが、グラフィック表現の生成が関心領域内の少なくとも1つの画素の位置における識別されたピークの決定された頻度および/または最大高さを示す強度プロットを生成することを含むという点でさらに構成されるという点でさらに改善される。
【0048】
さらに、処理デバイスは、重ね合わせユニットを特に含み、
重ね合わせユニットは、ピーク/蛍光オーバーレイ画像を提供するために、ピーク頻度マップと蛍光画像とを重ね合わせるように構成され、
出力ユニットは、ピーク/蛍光オーバーレイ画像をピーク頻度マップの出力として蛍光画像とともに出力するようにさらに構成され、
かつ/または
重ね合わせユニットは、ピーク/可視オーバーレイ画像を提供するために、ピーク頻度マップと可視光画像とを重ね合わせるように構成され、
出力ユニットは、ピーク/可視オーバーレイ画像をピーク頻度マップの出力として可視光画像とともに出力するようにさらに構成される。
【0049】
本発明のさらに別の有利な実施形態によれば、本デバイスは、画像捕捉デバイス、特に蛍光撮像ユニットおよび可視光撮像ユニットが、
一連の蛍光画像および一連の可視光画像を提供するために、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップを繰り返すことであって、一連の画像が、身体部分の検査の種々の重なり合う領域を示す、繰り返すことを行うようにさらに構成され、処理デバイスが、
大きな可視光画像を生成するために一連の可視光画像にステッチアルゴリズムを適用するように構成されたステッチユニットであって、ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、ステッチユニットをさらに含み、
ステッチユニットが、一連の蛍光画像にステッチアルゴリズムを適用し、大きな蛍光画像を生成するようにさらに構成され、ステッチアルゴリズムが、可視光画像のステッチを実行するときに決定されたステッチパラメータのセットを適用し、
出力ユニットが、
大きな可視光画像を大きな蛍光画像およびピーク頻度マップとともに出力するようにさらに構成される、
という点でさらに改善される。
【0050】
さらに、有利な実施形態によれば、本デバイスは、
蛍光撮像ユニットおよび可視光撮像ユニットが、一連の蛍光画像および一連の可視光画像を提供するために、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップを繰り返すことであって、一連の画像が、身体部分の検査の種々の重なり合う領域を示す、繰り返すことを行うようにさらに構成され、処理デバイスが、
大きな可視光画像を生成するために一連の可視光画像にステッチアルゴリズムを適用するように構成されたステッチユニットであって、ステッチアルゴリズムが、ステッチパラメータのセットを決定して適用する、ステッチユニットをさらに含み、
ステッチユニットが、一連の蛍光画像にステッチアルゴリズムを適用し、大きな蛍光画像を生成するようにさらに構成され、ステッチアルゴリズムが、可視光画像のステッチを実行するときに決定されたステッチパラメータのセットを適用し、
出力ユニットが、大きな可視光画像を大きな蛍光画像およびピーク頻度マップとともに出力するように構成される、
という点でさらに改善される。
【0051】
本デバイスは、蛍光撮像ユニットおよび可視光撮像ユニットが、蛍光画像および可視光画像の視認方向および視点が同一であるという点で構成され、特に、蛍光撮像ユニットおよび可視光撮像ユニットが、蛍光画像および可視光画像が1つの同じ対物レンズを通って捕捉されるという点で構成されるという点でさらに改善することができる。
【0052】
本発明のさらに別の有利な実施形態によれば、本デバイスは、蛍光撮像ユニットおよび可視光撮像ユニットが、特に蛍光画像の信号と可視光画像の信号との間で時間切り替えがない場合に蛍光画像および可視光画像を同時に捕捉するように構成されるという点でさらに改善される。
【0053】
本発明のさらに別の有利な実施形態によれば、画像捕捉デバイスは、
入射面を通って、蛍光画像を形成する蛍光と、可視光画像を形成する可視光とを受光するように構成されたダイクロイックプリズムアセンブリであって、第1のプリズムと、第2のプリズムと、第1のプリズムと第2のプリズムとの間に位置する第1の補償器プリズムと、
可視光を3つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリと、第2のプリズムとさらなるダイクロイックプリズムアセンブリとの間に位置する第2の補償器プリズムとを含む、ダイクロイックプリズムアセンブリをさらに含み、
第1のプリズムおよび第2のプリズムはそれぞれ、少なくとも5つの角部を有する断面を有し、各角部が少なくとも90度の内側角を有し、第1のプリズムおよび第2のプリズムの角部はそれぞれ、それぞれの入射面およびそれぞれの出射面を有し、前記入射面の法線に平行な方向でそれぞれのプリズムの入射面に入る入射ビームが、それぞれのプリズムの内部で2回反射され、前記出射面の法線に平行なそれぞれのプリズムの出射面を通ってそれぞれのプリズムから出るようにそれぞれ設計され、
それぞれのプリズムの入射面の法線と出射面の法線とは互いに直交し、
光が入射面を通って第1のプリズムに入るとき、光は、第1のプリズムの出射面に向かって部分的に反射され、それによって、第1のプリズムの入射面から第1のプリズムの出射面まで第1の経路長を進行し、光は、第1の補償器プリズムを介して第2のプリズムに部分的に入り、第2のプリズムの出射面に向かって部分的に反射され、それによって、第1のプリズムの入射面から第2のプリズムの出射面まで第2の経路長を進行し、
第1のプリズムは、第1の経路長と第2の経路長とが同じであるように、第2のプリズムよりも大きい。
【0054】
有利には、上述の5つのプリズムアセンブリは、可視光撮像のための2つの波長および3つの色における2つの蛍光画像をすべて同時に捕捉することを可能にする。可視光画像の色は、例えば、赤、青、および緑であり得る。5つのプリズムアセンブリは、入射面からセンサのそれぞれの1つに進行する光の光路長が同一の長さを有するという点で有利である。すべてのセンサは、焦点を合わせて配置することができ、さらに、センサの信号間にタイミングギャップはない。有利には、本デバイスは、受信信号の時間切り替えを必要としない。プリズムアセンブリは、さらに小型であり、捕捉デバイスを不必要に大きくしない。
【0055】
さらに別の態様によれば、画像捕捉デバイスは、蛍光および可視光をそれぞれ第1、第2、および第3のセンサに向けるための第1、第2、および第3の光路を画定し、画像捕捉デバイスは、入射面を通って蛍光および可視光を受光するように構成されたダイクロイックプリズムアセンブリをさらに含み、ダイクロイックプリズムアセンブリは、第1のプリズム、第2のプリズム、および第3のプリズムを含み、各プリズムは、それぞれの第1、第2、および第3の出射面を有し、第1の出射面には、第1のセンサが設けられ、第2の出射面には、第2のセンサが設けられ、第3の出射面には、第3のセンサが設けられ、特に、第1の光路には、第1のフィルタが設けられ、第2の光路には、第2のフィルタが設けられ、第3の光路には、第3のフィルタが設けられ、
第1のフィルタ、第2のフィルタ、および第3のフィルタは、任意の順序で、緑色フィルタ、赤外線フィルタ、ならびに赤色フィルタおよび青色フィルタを交互のパターンで含む赤色/青色パターン化フィルタであり、その結果、赤色/青色パターン化フィルタによって受光された光の半分は青色フィルタを通過し、赤色/青色パターン化フィルタによって受光された光の半分は赤色フィルタを通過するようになっている。
【0056】
さらに、別の態様によれば、第1、第2、および第3のフィルタは、任意の順序で、赤色/緑色/青色パターン化フィルタ(RGBフィルタ)、第1の赤外線フィルタ、および第2の赤外線フィルタであり、特に、第1および第2の赤外線フィルタは、異なる透過波長を有する。
【0057】
換言すれば、第1および第2の赤外線フィルタは、種々のIR波長間隔、例えば、典型的な蛍光色素が第1の蛍光ピークを発する第1のIR帯域、および典型的な蛍光色素が第2の蛍光ピークを発する第2のIR帯域のIR光をフィルタリングするためのものである。典型的には、第2のIR帯域は、第1のIR帯域と比較してより高い波長に位置する。第1および第2の赤外線フィルタは、種々の蛍光剤の発光帯域に調整することもできる。したがって、例えば第1の蛍光剤の発光は、第1のフィルタを通過し(特に第2のフィルタによって遮断され)、対応する第1のセンサ上で検出することができ、第2の蛍光剤の発光は、第2のフィルタを通過し(特に第1のフィルタによって遮断され)、対応する第2のセンサ上で検出することができる。例えば、第1のフィルタは、メチレンブルーの蛍光発光を測定するように構成することができ、第2のフィルタは、ICGの蛍光発光を測定するように構成することができる。
【0058】
画像捕捉および処理デバイスの実施形態に関しても、蛍光信号を測定する方法に関して述べたのと同じまたは同様の利点および有利な態様が適用される。
【0059】
第1の目的は、内視鏡または腹腔鏡によってさらに解決され、内視鏡または腹腔鏡は、前述の実施形態のうちの1つまたは複数による画像捕捉および処理デバイス内の画像捕捉デバイスとして機能するという点で構成される。有利には、画像捕捉および処理のためのデバイスは、内視鏡または腹腔鏡を使用する手術中と同様に、開腹手術において使用することができる。方法および/またはデバイスに関して言及した同じまたは同様の利点は、同じまたは同様の方法で内視鏡または腹腔鏡に適用される。
【0060】
第1の目的は、リンパ機能不全、特にリンパ浮腫を診断する方法であって、
蛍光剤を身体部分に投与するステップと、
蛍光剤が投与された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像するステップであって、蛍光剤が添加された組織が、身体部分の一部を形成する、ステップと、
蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、蛍光画像を捕捉するステップと、
検査領域内の身体部分の表面の可視光画像を捕捉するステップであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされる、ステップと、
蛍光画像の時系列を提供するために、蛍光画像を捕捉するステップを繰り返して、経時的に複数の蛍光画像を捕捉するステップと、
可視光画像の時系列を提供するために、特に、可視光画像を捕捉するステップを繰り返して、経時的に複数の可視光画像を捕捉するステップと、
-蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定するステップであって、分析が、
関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
時間依存強度曲線内のピークを識別するステップ、および
識別されたピークの頻度および/または識別されたピークの最大高さを決定するステップと、
少なくとも1つの画素についての決定された頻度および/または最大高さのグラフィック表現を生成し、グラフィック表現をピーク頻度マップに含めるステップと、
を含む、決定するステップと、
-可視光画像および/または蛍光画像とともにピーク頻度マップを出力するステップと、
-蛍光画像およびピーク頻度マップを分析することによって、リンパ機能不全、特にリンパ浮腫に関する、特にリンパ機能不全、特にリンパ浮腫の重症度またはレベルに関する診断結果を導出するステップと、
を含む、方法によってさらに解決される。
【0061】
有利には、リンパ浮腫を診断する方法は、より高い精度および信頼性で実施することができ、したがって、向上された診断結果を提供する。全く新しいアプローチは、リンパ浮腫を診断する古典的な方法を有利に置き換えることができる。リンパ浮腫を診断する従来の方法は、医師による患部の身体部分の手動検査を実行することである。しかし、この方法は、医師の個人的経験および資格によって必然的に影響を受ける。本発明の態様によるリンパ浮腫を診断する方法は、この影響を解決する。したがって、結果は、より高い再現性および信頼性を有する。
【0062】
本方法は、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップが、特に蛍光画像の信号と可視光画像の信号との間の時間切り替えがない場合に、同時に実行されるという点でさらに改善することができる。
【0063】
本方法は、患者の足または手の指節間の組織に蛍光剤を注入することによって、蛍光剤が患者の腕または脚に投与されるという点で有利に改善される。
【0064】
第1の目的は、リンパ機能不全、特にリンパ浮腫の長期療法の方法であって、
患者に対して前述したリンパ機能不全、特にリンパ浮腫を診断する方法のステップを実行することによってリンパ機能不全、特にリンパ浮腫に関する診断を実行するステップと、
患者に対して療法を実行するステップであって、療法が、リンパ機能不全、特にリンパ浮腫に関する診断結果に応じて調整される、ステップと、
リンパ機能不全、特にリンパ浮腫を診断するステップと、患者に対して療法を実行するステップとを繰り返すステップであって、各反復において、療法が、リンパ機能不全、特にリンパ浮腫の診断、さらに特にリンパ機能不全、特にリンパ浮腫の重症度またはレベルに応じて調整される、ステップと、
を含む、方法によっても解決される。
【0065】
本発明の態様による長期療法の方法は、リンパ機能不全、特にリンパ浮腫の診断が、従来の方法とは対照的に、疾患の重症度に関する客観的な結果を提供するため、特に有用である。長期治療療法の成功は、客観的な観点から分析することができる。これにより、療法および療法の成功が大幅に向上する。
【0066】
第2の目的は、蛍光剤が添加された身体部分の組織における蛍光信号の測定に基づいてリスク予測値を提供する方法であって、蛍光剤が添加された組織が身体部分の一部を形成する、方法によって解決され、本方法は、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の少なくとも1つの蛍光画像を捕捉するステップと、
-蛍光画像の時系列を提供するために、蛍光画像を捕捉するステップを繰り返して、経時的に複数の蛍光画像を捕捉するステップと、
-蛍光画像のシーケンスの少なくとも1つの蛍光画像において少なくとも1つの計算領域を定義するステップと、
-計算領域内の信号強度から時間強度曲線を計算するステップと、
-少なくとも1つの係数を有するモデルによって時間強度曲線を近似し、時間強度曲線の少なくとも一部分に対するモデルの近似に関連する少なくとも1つの係数を決定するステップと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供するステップであって、プロセッサが、入力インターフェース、人工知能(AI)モデル、および出力インターフェースを含み、
-プロセッサが、少なくとも1つの係数をAIモデルに適用することによって、およびAIモデルの出力から、計算領域内の組織灌流を示すリスク予測値を出力インターフェースにおける出力データとして生成することによって推論動作を実行する、ステップと、
-ユーザインターフェースを介してリスク予測値を通信するステップと、
を含む。
【0067】
有利には、人工知能モデルは、時間強度曲線を近似するために適用されるモデルの係数の分析を向上させる。例えば、モデルは、時間強度曲線に適合される。したがって、モデルの係数は、時間強度曲線の形状に対するモデルの最良適合を説明する。モデルの係数は基礎となる生物学的プロセスに直接リンクされていないため、医療スタッフが、処置の成功または将来の治療手段などの医学的指標に関して意味を与えるようにこれらの係数を解釈することは、しばしば困難である。人工知能モデルは、医療スタッフにとって解釈が容易なリスク予測値を出力するように訓練することができる。
【0068】
この目的のために、例えばニューラルネットワークである人工知能モデルは、臨床転帰が既知である訓練データを使用して訓練することができる。訓練データは、患者記録から導出することができる。ニューラルネットワークは、教師あり学習において訓練され、分類および回帰の両方の種類の教師あり学習を適用することができる。回帰は、典型的には、連続的な出力値を予測するために使用され、分類は、出力の特定のクラスを予測するために使用される。連続値およびクラスは、AIモデルの訓練に使用される患者データの臨床転帰にリンクされる。
【0069】
有利な態様によれば、本方法は、
-計算領域を定義するステップと、
-時間強度曲線を計算するステップと、
-モデルによって時間強度曲線を近似し、少なくとも1つの係数を決定するステップと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供するステップと、
-AIモデルに基づいて推論動作を実行し、リスク予測値を生成して出力するステップとは、
複数の計算領域に対して、特に蛍光画像のピクセルまたはボクセルごとに実行され、
本方法は、
-複数の計算領域にわたるリスク予測値をリスク予測値導出画像マップに変換するステップと、
-ユーザインターフェースを介してリスク予測値導出画像マップを出力するステップと、
をさらに含む。
【0070】
組織灌流が分析されるべき関心領域であり得る特定の計算領域を定義する可能性は、例えば、手術中または外科的処置後に、手術野の特定の重要な領域が分析され得るため、有利である。画素ベースでの分析を意味する蛍光画像の完全な分析は、最大限可能な情報を与えるが、計算能力に関して要求が厳しい可能性がある。リスク予測値を例えばカラースケールに変換することにより、リスク予測値導出画像マップである画像の解釈が容易になる。これは、手術野を示す可視光画像と組み合わせて出力または表示することができる。
【0071】
したがって、本方法は、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するステップであって、蛍光画像および可視光画像の視認方向および/または視点が、既知の関係を介してリンクされる、ステップと、
ユーザインターフェースを介してリスク予測値および可視光画像を出力するステップと、
をさらに含むという点でさらに改善することができる。
【0072】
さらに別の有利な態様では、本方法は、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するステップであって、蛍光画像および可視光画像の視認方向および/または視点が、既知の関係を介してリンクされる、ステップと、
-ユーザインターフェースを介して可視光画像とともにオーバーレイ画像としてリスク予測値導出画像マップを出力するステップと、
をさらに含む。
【0073】
有利には、可視光画像とリスク予測値およびリスク予測値導出画像マップとの間の直接的リンク関係をそれぞれ提供することができる。これにより、特定の所見、例えば特定のリスク予測値を、手術野内の特定の点または領域に割り当てることが簡単になる。
【0074】
さらに別の有利な態様によれば、蛍光画像を捕捉するステップおよび可視光画像を捕捉するステップは、同時に実行される。特に、画像は、蛍光画像の信号と可視光画像の信号との間の時間切り替えがない場合に取得される。画像の同時捕捉は、蛍光撮像と可視光撮像との間の直接的リンク関係、および蛍光画像から導出される値、特にリスク予測値を与える。画像は同じ時点で捕捉されるため、検査の非常に動的な領域も分析することができる。
【0075】
さらに別の有利な態様によれば、時間強度曲線を近似するために適用されるモデルは、単一組織コンパートメントモデル、特に組織均質性に対する断熱近似(AATH)モデルである。
【0076】
AATHモデルは、時間強度曲線を最もよく説明することが判明した。したがって、これは臨床転帰を予測するのに非常に適したモデルである。
【0077】
さらに、本発明の別の有利な実施形態によれば、人工知能(AI)モデルは、事前訓練されたニューラルネットワーク、特に、臨床患者データに基づいて教師あり訓練で訓練された事前訓練されたニューラルネットワークである。
【0078】
臨床患者データに基づくニューラルネットワークの訓練は、リスク予測値の信頼レベルに関して高い品質を有するAIモデルをもたらす。換言すれば、AIモデルの訓練は、リスク予測値の信頼度に関して重要である。
【0079】
本目的は、蛍光剤が添加された身体部分の組織における蛍光信号の測定に基づいてリスク予測値を提供するためのコンピュータベースの臨床意思決定支援システム(CDSS)であって、蛍光剤が添加された組織が、身体部分の一部を形成するCDSSによってさらに解決され、CDSSは、
-蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニットと、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の少なくとも1つの蛍光画像を捕捉するように構成された蛍光撮像ユニットであって、
-蛍光撮像ユニットが、蛍光画像の時系列を提供するために、経時的に複数の蛍光画像を捕捉するようにさらに構成される、蛍光撮像ユニットと、
処理デバイスであって、
-蛍光画像のシーケンスの少なくとも1つの蛍光画像内に少なくとも1つの計算領域を定義することと、
-計算領域内の信号強度から時間強度曲線を計算することと、
-少なくとも1つの係数を有するモデルによって時間強度曲線を近似し、時間強度曲線の少なくとも一部分に対するモデルの近似に関連する少なくとも1つの係数を決定することと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供することであって、処理デバイスが、入力インターフェース、人工知能(AI)モデル、および出力インターフェースをさらに含むプロセッサを含む、提供することと、を行うように構成され、
-プロセッサが、少なくとも1つの係数をAIモデルに適用することによって、および計算領域内の組織灌流を示すリスク予測値を出力インターフェースにおける出力データとしてAIモデルの出力から生成することによって推論動作を実行し、リスク予測値をユーザインターフェースに通信するように構成される、処理デバイスと、を含み、
-CDSSは、リスク予測値を表示するように構成されたユーザインターフェースをさらに含む。
【0080】
CDSSについては、予測値を提供する方法に関して上述した利点が、同じまたは同様の方法で適用される。このことを考慮して、それらは繰り返されない。
【0081】
CDSSは、処理デバイスが、
-計算領域を定義することと、
-時間強度曲線を計算することと、
-モデルによって時間強度曲線を近似し、少なくとも1つの係数を決定することと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供することと、
-推論動作を実行し、AIモデルに基づいてリスク予測値を生成して出力することであって、
複数の計算領域に対して、特に蛍光画像のピクセルまたはボクセルごとに、生成して出力することと、
を行うように構成され、
処理デバイスが、
-複数の計算領域にわたるリスク予測値をリスク予測値導出画像マップに変換することと、
-リスク予測値導出画像マップをユーザインターフェースに通信することであって、
ユーザインターフェースが、リスク予測値導出画像マップを表示するように構成される、通信することと、
を行うようにさらに構成される、という点でさらに改善することができる。
【0082】
さらに、別の有利な態様によれば、CDSSは、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するように構成された可視光撮像ユニットであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされ、
-処理デバイスが、リスク予測値および可視光画像をユーザインターフェースに出力するようにさらに構成され、
-ユーザインターフェースが、リスク予測値および可視光画像を表示するように構成される、
可視光撮像ユニットをさらに含む。
【0083】
CDSSは、本システムが、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するように構成された可視光撮像ユニットであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされ、
-処理デバイスが、リスク予測値導出画像マップおよび可視光画像をユーザインターフェースに出力するようにさらに構成され、
-ユーザインターフェースが、可視光画像とともにオーバーレイ画像としてリスク予測値導出画像マップを表示するように構成される、
可視光撮像ユニットをさらに含む、という点でさらに改善することができる。
【0084】
さらに、蛍光撮像ユニットおよび可視光撮像ユニットは、特に蛍光画像の信号と可視光画像の信号との間の時間切り替えがない場合に、蛍光画像および可視光画像を同時に捕捉するように構成することができる。
【0085】
さらに別の有利な態様によれば、蛍光撮像ユニットおよび可視光撮像ユニットは、蛍光画像および可視光画像を同時に捕捉するように構成される。特に、これらのユニットは、蛍光画像の信号と可視光画像の信号との間の時間切り替えがない場合にそれぞれの画像を捕捉するように構成される。
【0086】
本発明のさらに別の有利な態様によれば、処理デバイスは、単一組織コンパートメントモデル、特に、組織均質性に対する断熱近似(AATH)モデルである、時間強度曲線を近似するために適用されるモデルを含む。
【0087】
さらに、CDSSは、処理デバイスが、事前訓練されたニューラルネットワーク、特に臨床患者データに基づいて教師あり訓練で訓練された事前訓練されたニューラルネットワークである人工知能(AI)モデルを含むという点で改善することができる。
【0088】
第1および第2の目的は、組み合わせた方法、組み合わせた画像捕捉および処理デバイス、ならびにコンピュータベースの臨床意思決定支援システム(CDSS)によって解決される。
【0089】
本発明のさらに別の態様によれば、蛍光信号を測定する方法と、蛍光信号の測定に基づいてリスク予測値を提供する方法とを組み合わせた方法がある。この組み合わせた方法は、共通のステップであって、
-蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像するステップであって、蛍光剤が添加された組織が、身体部分の一部を形成する、ステップを含み、本方法は、共通のステップであって、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の少なくとも1つの蛍光画像を捕捉するステップと、
-検査領域内の身体部分の表面の少なくとも1つの可視光画像を捕捉するステップであって、蛍光画像および可視光画像の視認方向および/または視点が、既知の関係を介してリンクされる、ステップと、
-蛍光画像の時系列を提供するために、蛍光画像を捕捉するステップを繰り返して、経時的に複数の蛍光画像を捕捉するステップと、
-可視光画像の時系列を提供するために、特に、可視光画像を捕捉するステップを繰り返して、経時的に複数の可視光画像を捕捉するステップと、
をさらに含み、
さらに、組み合わせた方法は、ピーク頻度マップを決定するための以下のステップの第1のグループであって、
-蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定するステップであって、
関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
時間依存強度曲線内のピークを識別し、識別されたピークの頻度および/または識別されたピークの最大高さを決定するステップと、
少なくとも1つの画素についての決定された頻度および/または最大高さのグラフィック表現を生成し、グラフィック表現をピーク頻度マップに含めるステップと、
を実行することによって、決定するステップと、
-可視光画像および/または蛍光画像とともにピーク頻度マップを出力するステップと、
を含み、
さらに、組み合わせた方法は、リスク予測値を提供するための以下のステップの第2のグループであって、
-蛍光画像のシーケンスの少なくとも1つの蛍光画像において少なくとも1つの計算領域を定義するステップと、
-計算領域内の信号強度から時間強度曲線を計算するステップと、
-少なくとも1つの係数を有するモデルによって時間強度曲線を近似し、時間強度曲線の少なくとも一部分に対するモデルの近似に関連する少なくとも1つの係数を決定するステップと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供するステップであって、プロセッサが、入力インターフェース、人工知能(AI)モデル、および出力インターフェースを含み、
-プロセッサが、少なくとも1つの係数をAIモデルに適用することによって、およびAIモデルの出力から、計算領域内の組織灌流を示すリスク予測値を出力インターフェースにおける出力データとして生成することによって推論動作を実行する、ステップと、
-ユーザインターフェースを介してリスク予測値を通信するステップと、
を含む。
【0090】
本発明のさらなる態様によれば、ステップの第1のグループは、第1の目的を解決する実施形態として述べた方法ステップをさらに含むことができる。ステップの第2のグループは、第2の目的を解決する実施形態として述べた方法ステップをさらに含むことができる。
【0091】
本発明の別の態様では、組み合わせた画像捕捉および処理デバイスならびにコンピュータベースの臨床意思決定支援システム(CDSS)があり、
画像捕捉および処理デバイスは、蛍光剤が添加された身体部分の組織における蛍光信号を測定し、身体部分の表面を撮像するように構成され、蛍光剤が添加された組織が、身体部分の一部を形成し、画像捕捉および処理デバイスは、
-蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニットと、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の蛍光画像を捕捉するように構成された蛍光撮像ユニットと、
-検査領域内の身体部分の表面の可視光画像を捕捉するように構成された可視光撮像ユニットであって、蛍光画像および可視光画像の視認方向および/または視点が既知の関係を介してリンクされる、可視光撮像ユニットと、
を含む、画像捕捉デバイスを含み、
-蛍光撮像ユニットは、蛍光画像の時系列を提供するために、経時的に複数の蛍光画像を捕捉するようにさらに構成され、
-特に、可視光撮像ユニットは、可視光画像の時系列を提供するために、経時的に複数の可視光画像を捕捉するように構成され、
-画像捕捉および処理デバイスは、
-蛍光画像の時系列を分析することによって、蛍光画像内の関心領域のピーク頻度マップを決定するように構成されたピーク頻度マップユニットであって、ピーク頻度マップユニットが、
関心領域内の少なくとも1つの画素の時間依存強度曲線を決定するステップと、
時間依存強度曲線内のピークを識別し、前記識別されたピークの頻度および/または識別されたピークの最大高さを決定するステップと、
少なくとも1つの画素についての決定された頻度および/または最大高さのグラフィック表現を生成し、グラフィック表現をピーク頻度マップに含めるステップと、
を含む分析を実行するように構成される、ピーク頻度マップユニットと、
-可視光画像および/または蛍光画像とともにピーク頻度マップを出力するように構成された出力ユニットと、
を含む、処理デバイスをさらに含み、
蛍光剤が添加された身体部分の組織における蛍光信号の測定に基づいてリスク予測値を提供するためのコンピュータベースの臨床意思決定支援システム(CDSS)であって、蛍光剤が添加された組織が、身体部分の一部を形成する、CDSSは、
-蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニットと、
-蛍光画像を提供するために、蛍光剤の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、および発光された光の空間分解測定によって、検査領域内の少なくとも1つの蛍光画像を捕捉するように構成された蛍光撮像ユニットであって、
-蛍光撮像ユニットが、蛍光画像の時系列を提供するために、経時的に複数の蛍光画像を捕捉するようにさらに構成される、蛍光撮像ユニットと、
処理デバイスであって、
-蛍光画像のシーケンスの少なくとも1つの蛍光画像内に少なくとも1つの計算領域を定義することと、
-計算領域内の信号強度から時間強度曲線を計算することと、
-少なくとも1つの係数を有するモデルによって時間強度曲線を近似し、時間強度曲線の少なくとも一部分に対するモデルの近似に関連する少なくとも1つの係数を決定することと、
-少なくとも1つの係数をプロセッサの入力インターフェースに提供することであって、処理デバイスが、入力インターフェース、人工知能(AI)モデル、および出力インターフェースをさらに含むプロセッサを含む、提供することと、を行うように構成され、
-プロセッサが、少なくとも1つの係数をAIモデルに適用することによって、および計算領域内の組織灌流を示すリスク予測値を出力インターフェースにおける出力データとしてAIモデルの出力から生成することによって推論動作を実行し、リスク予測値をユーザインターフェースに通信するように構成される、処理デバイスと、を含み、
-CDSSは、リスク予測値を表示するように構成されたユーザインターフェースをさらに含む。
【0092】
組み合わせたシステムでは、画像捕捉および処理デバイスならびにCDSSは、類似または同一のユニット、例えば、照明ユニット、蛍光撮像ユニット、可視光ユニット、および処理デバイスのハードウェアを共有することができる。
【0093】
本発明のさらなる態様によれば、画像捕捉および処理デバイスは、第1の目的を解決する実施形態として述べた特徴をさらに含むことができる。CDSSは、第2の目的を解決する実施形態として述べた特徴をさらに含むことができる。
【0094】
第1および第2の目的に対する解決策は、両方とも身体部分の組織における灌流分析に対する改善された解決策を提供するという点でリンクされる。特に、リンパ液の改善された灌流分析を提供することができる。
【0095】
本発明のさらなる特徴は、特許請求の範囲および添付の図面とともに、本発明による実施形態の説明から明らかになるであろう。本発明による実施形態は、個々の特性またはいくつかの特性の組み合わせを実現することができる。
【0096】
本発明は、本発明の一般的な意図を制限することなく、例示的な実施形態に基づいて以下に説明され、本明細書でより詳細に説明されない本発明によるすべての詳細の開示に関して、図面が明示的に参照される。
【図面の簡単な説明】
【0097】
図1】画像捕捉および処理デバイスの概略図。
図2】画像捕捉デバイスと、画像捕捉および処理デバイスの処理ユニットとの概略図。
図3】時間依存強度曲線。
図4】可視光画像と頻度マップのオーバーレイ画像。
図5】擬似カラープロットにおける頻度マップ。
図6】可視光画像と最大値マップのオーバーレイ画像。
図7】擬似カラープロットにおける最大値マップ。
図8a)】可視光画像の一例。
図8b)】対応する蛍光画像。
図9図8a)および図8b)に示す可視光および蛍光画像から部分的に生成された大きなオーバーレイ画像。
図10】画像捕捉デバイスの内部プリズムアセンブリを示す概略図。
図11】画像捕捉デバイスを含む内視鏡または腹腔鏡の概略図。
図12】ステッチアルゴリズムのフローチャート。
図13】画像捕捉デバイスの別の内部プリズムアセンブリを示す概略図。
図14】蛍光信号の時間強度曲線。
図15】計算領域が定義された検査領域の概略図。
図16】蛍光信号の測定に基づいてリスク予測値を提供するためのコンピュータベースの臨床意思決定支援システム(CDSS)の概略図。
【発明を実施するための形態】
【0098】
図面では、同一もしくは類似の種類の要素またはそれぞれ対応する部分には、項目を再導入する必要がないようにするために、同一の参照番号が提供される。
【0099】
図1は、患者6の身体部分4の組織における蛍光信号を測定するように構成された画像捕捉および処理デバイス2を示す。単に一例として、検査される患者6の身体部分4は腕である。蛍光信号の測定は、患者6の他の身体部分4、例えば、脚、頭部の一部、首、背中、または身体の任意の他の部分に対して行うこともできる。この測定は、開腹手術中に行うこともできる。この適用シナリオでは、身体部分4は、例えば、患者6の内臓であり得る。蛍光信号の測定は、低侵襲手術中に行うこともできる。この適用シナリオの場合、画像捕捉および処理デバイス2は、例えば内視鏡または腹腔鏡に少なくとも部分的に統合される。例えば、内視鏡または腹腔鏡は、画像捕捉デバイス10を含む。内視鏡の詳細については以下でさらに説明する。
【0100】
最初に測定を開始する前に、患者の身体部分4の組織に蛍光剤8が投与、すなわち注入される。画像捕捉および処理デバイス2を示す図を参照するときにも説明する、身体部分4の組織における蛍光信号を測定する方法は、蛍光剤8を投与するステップを除外する。
【0101】
蛍光剤8は、例えばICGである。ICG(インドシアニングリーン)は、40年以上にわたって使用される緑色の医療用色素である。ICGは、600nm~800nmの波長を有する近赤外光で励起されると蛍光を発する。発光される蛍光は、750nm~950nmである。別の好適な蛍光剤8はメチレンブルーである。蛍光剤8は、2つの異なる医療用色素を含むことも可能である。例えば、蛍光剤8は、メチレンブルーとICGとの混合物であってもよい。
【0102】
蛍光剤8の投与に続いて、図1において右下を指す矢印によって示されるように、患者の身体部分4は、画像捕捉および処理デバイス2の一部を形成する画像捕捉デバイス10を用いて検査される。
【0103】
画像捕捉デバイス10は、身体部分4の表面11を撮像し、励起光による蛍光剤8の照明から生じる蛍光信号を検出するように構成される。画像捕捉デバイス10が手術に適用される場合、身体部分4の表面11は、例えば内臓の表面である。この場合、身体部分4の表面11は、蛍光剤8が投与された組織の表面と同一である。好適な励起波長を有する光の発光のために、画像捕捉デバイス10は照明ユニット16(図1には示されていない)を含む。
【0104】
捕捉された画像は、画像捕捉および処理デバイス2の一部も形成する処理デバイス12に通信される。分析の結果は出力され、例えば処理デバイス12のディスプレイ14に表示される。画像捕捉デバイス10は、医師3によって取り扱われることができる。
【0105】
図2は、画像捕捉および処理デバイス2の画像捕捉デバイス10および処理ユニット12をより詳細に示す概略図である。画像捕捉デバイス10は、蛍光剤8の発光を励起することによって蛍光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニット16を含む。照明ユニット16には、例えば複数のLEDが設けられる。
【0106】
画像捕捉デバイス10は、可視光および蛍光が捕捉される対物レンズ18をさらに含む。光は、対物レンズ18を通ってプリズムアセンブリ20に導かれる。プリズムアセンブリ20は、可視光画像をもたらす可視光から、特に750nm~950nmの波長範囲にある蛍光を分離するように構成される。蛍光は、例えばCCDまたはCMOSセンサに、必要に応じて追加の波長フィルタおよび電子機器を加えたものである蛍光撮像ユニット22に向けられる。蛍光撮像ユニット22は、蛍光画像を提供するために、発光された光、すなわち蛍光剤8の励起された発光の空間分解測定によって蛍光画像を捕捉するように構成される。さらに、可視光撮像ユニット24があり、これは、別のCCDまたはCMOSセンサに、必要に応じて追加の異なる波長フィルタおよび電子機器を加えたものであり得る。プリズムアセンブリ20は、可視光撮像ユニット24が患者の身体部分4の表面11の一部分の可視光画像を捕捉することを可能にするように、可視光撮像ユニットに可視光を向けるように構成される。同様に、プリズムアセンブリ20は、蛍光を蛍光撮像ユニット22に向けるように構成される。プリズムアセンブリ20、蛍光撮像ユニット22および可視光撮像ユニット24については以下でさらに詳細に説明する。画像データは、無線データリンクまたは有線データリンク、例えばデータケーブルであり得る好適なデータリンク26を介して、画像捕捉デバイス10から処理デバイス12に通信される。
【0107】
画像捕捉デバイス10は、蛍光撮像ユニット22および可視光撮像ユニット24を動作させて、可視光画像および蛍光画像を同時に捕捉するという点で構成される。特に、画像捕捉デバイス10は、蛍光画像の信号と可視光画像の信号との間で時間切り替えを行わない。換言すれば、蛍光撮像ユニット22および可視光撮像ユニット24のセンサは、それぞれの波長範囲における画像を捕捉するために専用に使用され、これは、撮像ユニット22、24のセンサが、IRスペクトルにおける蛍光画像を捕捉するために、または可視スペクトルにおける可視光画像を捕捉するために使用されることを意味する。センサ22、24は、両方の波長範囲で画像を捕捉するためには使用されない。これは顕著な利点をもたらす。例えば、センサは、焦点を合わせて正確に位置決めすることができ、これは、画像センサが両方の目的のために、すなわち、可視光および赤外光を捕捉するために使用されるときには、これらの異なる波長に対する焦点は、典型的に、位置が異なるため、不可能である。さらに、センサパラメータは、例えば、必要な露光時間またはセンサゲインに関して、個々に調整することができる。IR信号は典型的には可視光信号よりも低いため、個々の設定は有利である。
【0108】
蛍光撮像ユニット22および可視光撮像ユニット24は、互いに固定された空間的関係を有する。これは、これらのユニットが画像捕捉デバイス10の1つの単一の取付構造またはフレーム内に配置されているためである。さらに、蛍光撮像ユニット22および可視光撮像ユニット24は、それぞれ蛍光画像および可視光画像の撮像のために同じ対物レンズ18およびプリズムアセンブリ20を使用する。これらの対策により、蛍光撮像ユニット22および可視光撮像ユニット24は、蛍光画像および可視光画像の視認方向および視点が既知の一定の関係を介してリンクされるという点で構成される。所与の実施形態では、両方のユニット22、24が同じ対物レンズ18を介して撮像するため、2つの画像の視認方向は同一である。
【0109】
蛍光撮像ユニット22は、経時的に複数の蛍光画像を捕捉するようにさらに構成される。換言すれば、蛍光画像の時系列が捕捉される。蛍光画像のこの時系列は、続いてピーク頻度マップユニット60によって分析される。ピーク頻度マップユニット60は、処理デバイス12の一部である。ピーク頻度マップユニット60は、蛍光画像の時系列における関心領域内の画素の強度の時間依存変動を分析することによってピーク頻度マップを決定するように構成される。分析は、以下のステップを含む。
【0110】
まず、関心領域が蛍光画像内に画定される。この関心領域62は、蛍光画像の単一の画素からフル画像までの範囲であり得る。一例として、関心領域は、これらと2つの極値の中間である。図8b)では、矩形の関心領域62が示されている蛍光画像7がある。
【0111】
ピーク頻度マップユニット60は、関心領域62における蛍光信号の強度を分析する。関心領域62におけるすべての画素の強度を計算することができる。この情報に基づいて、ピーク頻度マップユニット60は、関心領域62におけるすべての画素の強度の経時的な変化を反映する時間依存強度曲線を決定する。
【0112】
図3は、関心領域62における1つの任意の画素についての時間依存強度曲線を示す。任意の単位の信号強度が、時間に等しいフレーム番号に対してプロットされる。単に一例として、時間依存強度曲線は、概ねフレーム番号100、フレーム番号450、フレーム番号1000、およびフレーム番号2000に位置する4つの主要なピークを示す。ピークは、傾斜分析によって識別することができる。特定の閾値を超えるすべての強度値をピークと見なすことも可能であり、例えば、50に等しい強度の閾値を超えるすべての値をピークと見なすことも可能である。ピークの正確な位置は、傾斜分析によって再び決定することができる。ピークは、それらの位置、この場合はピークが見出されるフレーム番号に関して、およびそれらの最大高さ、すなわち最大信号強度によって識別される。
【0113】
ピーク頻度マップユニット60は、単位時間あたりのピークの数の値である、識別されたピークの頻度を決定するようにさらに構成される。ピークの頻度は、例えば、100フレームあたりのピーク、1000フレームあたりのピーク、1秒あたりのピーク、または任意の他の好適な単位の値であり得る。この情報に基づいて、識別されたピークの頻度をグラフィック表現でプロットすることができる。
【0114】
図5は、擬似カラープロットにおける頻度マップの図を示す。この場合、関心領域は蛍光画像全体であり、上述のピーク分析は蛍光画像の画素ごとに行われた。単位時間あたりのピークの数を意味する、識別されたピークの頻度は、画素の色によってコード化される。頻度の値は、色の数を減らし、プロットの明瞭さを高めるために、いくつかのクラスまたはビンにビニングすることができる。同一または類似の値の画素は、1つのビンに分類され、1つのビン内の画素によって占有される連続領域は、それぞれの色を有するマージンラインによって囲むことができる。これを図5に示す。描写された画像の中央では、識別されたピークの高頻度が見出され得ることが明確に視認可能である。
【0115】
健康なリンパ系では、リンパ管におけるリンパ液の律動的な輸送がある。このプロセスは、蛍光画像における強度の振動につながる。血管の律動的な収縮が速い場合、これはピークの高頻度をもたらす。しかし、この強度振動は、図5で見ることができるように、蛍光画像の特定の領域でのみ見出すことができる。これらの領域は、リンパ管の位置に対応することが多い。
【0116】
決定された頻度のグラフィック表現、すなわち、擬似カラープロットとしての見出された頻度の表現(図5参照)は、ピーク頻度マップユニット60によって生成される。ピーク頻度マップは、出力ユニット64を介して出力され、例えばディスプレイ14に表示される。ピーク頻度マップは、可視光画像5(図8a参照)および/または蛍光画像7(図8b参照)とともに出力される。さらに、処理デバイス12は、ピーク/可視オーバーレイ画像を提供するために、ピーク頻度マップと可視光画像5とを重ね合わせるように構成された重ね合わせユニット66を含むことができる。このピーク/可視オーバーレイ画像を図4に示す。ピーク/可視オーバーレイ画像は、出力ユニット64によってディスプレイ14上に出力することもできる。重ね合わせユニット66は、ピーク頻度マップ(図5参照)と蛍光画像(図8b参照)との組み合わせであるオーバーレイ画像を計算するようにさらに構成され得る。
【0117】
図3図4、および図5を参照して説明した実施形態では、ピーク頻度マップは頻度マップである。図3図6、および図7を参照して説明するさらなる実施形態によれば、ピーク頻度マップは最大値マップである。
【0118】
最大値マップの決定のために、図3に示す時間依存強度曲線が、識別されたピークの最大高さまたは値に関して分析される。換言すれば、関心領域62内のすべての画素について、信号強度の最大値が決定される。ピークの最大高さに関するこの情報は、この場合はピーク頻度マップを表す最大値マップに含まれる。最大値マップは、図7の擬似カラープロットで示される。ピークの最大値は、蛍光画像内の画素のそれぞれ1つについて計算され、これは、関心領域62が完全な画像を含むことを意味する。最大値マップは、ピーク頻度マップユニット60によって算出される。これは、可視光画像5または蛍光画像7とともに出力ユニット64によって出力することができる。最大値マップも、頻度マップと同様に、重ね合わせユニット66によって可視光画像に重ね合わせることができる。これを図6に示す。別の実施形態によれば、最大値マップは、蛍光画像と重ね合わせることができる。
【0119】
画像捕捉デバイス10は、一連の蛍光画像および一連の可視光画像を提供するために、蛍光撮像ユニット22および可視光撮像ユニット24を動作させて、蛍光画像および可視光画像の捕捉を繰り返すようにさらに構成される。この動作は、処理デバイス12が蛍光撮像ユニット22の画像センサおよび可視光撮像ユニット24の画像センサを動作させることによって行うことができる。一連の画像は、典型的には、操作者または医師3(図1参照)が患者6の身体部分4の長手方向Lに沿って画像捕捉デバイス10を移動させる間に捕捉される。この移動は、一連の画像の後続の画像が重なり合う部分を含むという点で行うことができる。換言すれば、一連の画像の第1の画像に示される詳細は、一連の画像の後続の第2の画像にも示される。これは、その後のステッチプロセスにとって重要である。対応する特徴が後続の画像において見出され得ることを保護するために、画像取得の頻度は、十分に高い値に設定することができる。画像の捕捉は、例えば医師3によって手動で開始されることができ、または、画像の捕捉は、記載された必要条件が満たされるという点で画像捕捉デバイス10によって制御されることができる。
【0120】
画像捕捉デバイス10は、蛍光画像の時系列を捕捉するように構成される。この時系列は、四肢4の種々の部分を示す上述の一連の画像と混同されるべきではない。
【0121】
2つの一連の画像(すなわち、四肢4の種々の部分を示す第1の一連の可視光画像および第2の一連の蛍光画像)または一連の画像対(各画像対が蛍光画像および可視光画像を含む)が捕捉デバイス10によって捕捉され、処理デバイス12に受信されると、一連の可視光画像は、ステッチユニット28(図2参照)によって処理される。ステッチユニット28は、身体部分4の大きな可視光画像を生成するために、一連の可視光画像にステッチアルゴリズムを適用するように構成される。大きな画像は、単一の画像よりも、画像捕捉デバイス10で分析される患者6の身体部分4のより大きな部分を示すという点で「より大きい」。
【0122】
ステッチアルゴリズムは、可視光画像のステッチから開始する。ステッチアルゴリズムは、ステッチ操作を実行するときにステッチパラメータのセットを生成して適用する。ステッチユニット28の詳細な動作については以下でさらに説明する。ステッチユニット28は、大きな蛍光画像を生成するために、一連の可視光画像だけでなく一連の蛍光画像にもステッチアルゴリズムを適用するように構成される。蛍光画像では、蛍光画像の時系列が利用可能である。さらに、四肢4の種々の部分で捕捉された画像を含む一連の蛍光画像がある。蛍光画像のステッチでは、時系列から1つの蛍光画像のみまたは平均蛍光画像を選択し、この画像を後続のステッチプロセスに使用することが好適な手法であり得る。
【0123】
蛍光画像のステッチに適用されるステッチアルゴリズムは、可視光画像のステッチに使用されるものと同じアルゴリズムである。さらに、蛍光画像のステッチは、可視光画像のステッチを実行するときに決定されたステッチパラメータの同じセットを使用して実行される。これは、可視光画像および蛍光画像の視認方向および視点の間に固定された関係があるため、可能である。当然ながら、可視光画像および蛍光画像の視認方向および視点が同一でない場合、固定オフセットまたはステッチパラメータのシフトが適用されなければならない。これは、IRおよびVis画像センサと対応する光学系との間の既知の固定された空間的関係を考慮に入れる。
【0124】
ステッチに続いて、大きな可視光画像および大きな蛍光画像が出力される。この出力は、ピーク頻度マップの出力で補完される。例えば、画像およびピーク頻度マップは、ディスプレイ14に並べて表示される。従来の検査システムとは異なり、ディスプレイ14は、互いに対応する可視光画像および蛍光画像ならびにピーク頻度マップを示す。換言すれば、蛍光画像またはピーク頻度マップ上で見ることができる詳細、例えば、リンパ液の蓄積またはリンパ液の高い輸送を示す高い蛍光強度または頻度である。これが生じる患者の体内のそれぞれの位置は、可視光画像内に見出すことができる。これにより、医師3は、例えばリンパ液の蓄積が存在する領域を正確に見つけることができる。これは、例えば患者6の調整された特定の療法にとって非常に有益な情報である。
【0125】
可視光画像および蛍光画像、特に大きな可視光画像および大きな蛍光画像は、身体部分4のオーバーレイ画像、特に大きなオーバーレイ画像を提供するように重ね合わされることも可能である。これはまた、処理デバイス12の重ね合わせユニット30によって実行される。オーバーレイ画像は、ディスプレイ14を介して出力することもできる。
【0126】
図8a)は、患者6の身体部分4の表面11の一部が見える可視光画像5の例を示す。単に一例として、患者の脚の一部が示されている。図8b)は、患者の脚の組織に適用された蛍光剤8の蛍光信号を測定することによって決定された対応する蛍光画像7を示す。蛍光信号の高強度スポットまたは領域が見える。これは、ゆっくりとしたリンパ輸送および患者の脚におけるリンパ浮腫の可能性に起因するリンパの蓄積を強く示す。有利には、医師3は、蛍光画像7を可視光画像5と比較することによって、ゆっくりとしたリンパ輸送が生じる領域を位置特定することができる。図8b)では、関心領域62は、矩形によって示される。この領域62における時間依存蛍光強度の分析は、図3図7を参照して説明している。
【0127】
図9では、可視光画像5と蛍光画像7とのオーバーレイ画像9がある。図8a)および図8b)に示す画像に加えて、可視光画像5および蛍光画像7のステッチが実行されている。例示的な単一の可視光画像5および蛍光画像7も図9で見ることができ、これらはそれぞれ、大きなオーバーレイ画像9に示す直線の破線の間に投影される。可視光画像5と蛍光画像7とをつなぎ合わせることにより、患者6の身体部分4のほぼ全体を示す大きなオーバーレイ画像9を提供することができる。蛍光信号は、可視光画像5の特徴と明確に区別するために、擬似カラーで示すことができる。
【0128】
図10では、画像捕捉デバイス10のプリズムアセンブリ20の一実施形態がある。第1のプリズムP1は、ペンタプリズムである。可視光および蛍光である入射光ビームAは、入射面S1を介して第1のプリズムP1に入り、入射面S1に隣接しない2つの面のうちの1つである面S2で部分的に反射される。次に、反射ビームBは、入射面S1に隣接する面のうちの第1の面に対して反射される。反射角は、臨界角未満であり得るため、反射は内部ではない(隣接する面は、光の漏出を回避し、必要な対象の波長を反射するようにコーティングされ得る)。次いで、反射ビームCは、入射光ビームAと交差し、入射面S1に隣接する面のうちの第2の面を通って第1のプリズムP1を出て、センサD1に向かう。ビームAの一部は面S2を通過し、補償プリズムP2に入る。2つの非内部反射は、入射ビームAをビームBおよびCを介してセンサD1に向けるために使用することができる。さらに、プリズムP1とP2との間に空隙がなく、プリズムP3とP4との間に空隙がなく、プリズムP2とP3との間に空隙がない可能性がある。プリズムP2は、入射面S1からセンサD1~D5までの光路の個々の長さを調整するための補償器プリズムである。
【0129】
P2から、ビームDは第2のペンタプリズムP3に入る。プリズムP1と同様に、ビーム自体を交差させるために内向き反射が使用される。簡潔にするために、プリズムP3では、ビーム部分E、FおよびGが、プリズムP1におけるビーム部分A、BおよびCにそれぞれ対応することを述べることを除いて、ビームの説明は繰り返さない。プリズムP3はまた、内部反射を使用して入射ビームをセンサD2に向かって反射することができない。2つの非内部反射は、入射ビームEをビームFおよびGを介してセンサD2に向けるために使用することができる。
【0130】
プリズムP3の後に、別の補償プリズムP4がある。最後に、ビームHは、センサD3、D4およびD5をそれぞれ有するプリズムP5、P6およびP7を含むダイクロイックプリズムアセンブリに入る。ダイクロイックプリズムアセンブリは、赤色、緑色および青色成分の可視光をそれぞれのセンサD3、D4およびD5に向かって分割するためのものである。光は、ビームIを通ってプリズムアセンブリに入る。プリズムP5とP6との間には光学コーティングC1が配置され、プリズムP6とP7との間には別の光学コーティングC2が配置される。各光学コーティングC1およびC2は、異なる反射率および波長感度を有する。C1では、入射ビームIは、光が入ったのと同じプリズムの面に戻って部分的に反射される(ビームJ)。その同じ面で、ここでKとラベル付けされたビームは、もう一度センサD3に向かって反射される。JからKへの反射は内部反射である。このように、センサD3は、コーティングC1によって反射された光を受光し、同様に、センサD4は、コーティングC2によって反射されたビームLからの光(ビームMおよびN)を受光し、センサD5は、妨げられずにプリズムを横切ったビームOからの光を受光する。
【0131】
プリズムP4とプリズムP5との間には空隙がある。プリズムアセンブリ20では、以下の総経路長が、各終点チャネルに対して定義されることができる(チャネルの端部におけるセンサに関して定義される)。
センサD1(例えば、第1の近赤外線)経路:A+B+C
センサD2(例えば、第2の近赤外線)経路:A+D+E+F+G
センサD3(例えば、赤色)経路:A+D+E+H+I+J+K
センサD4(例えば、青色)経路:A+D+E+H+I+0
センサD5(例えば、緑色)経路:A+D+E+H+I+M+N
【0132】
経路長は、A+B+C=A+D+E+F+G=A+D+E+H+l+J+K=A+D+E+H+l+O=A+D+E+H+I+M+Nとなるように整合される。
【0133】
経路長の整合は、センサD1~D5において検出される波長の焦点面焦点位置差の調整を含むことができる。すなわち、例えば、青色(B)光用のセンサに向かう経路長は、赤色(R)光用のセンサに向かう経路長と正確に同じではない場合があり、その理由は、鮮明な合焦画像を生成するための理想的な距離は、光の波長にある程度依存するからである。プリズムは、これらの依存性を許容するように構成することができる。D+Hの長さは、補償器プリズムP2、P4の横方向変位によって調整することができ、波長シフトによる焦点補償器として機能することができる。
【0134】
経路Iにおけるより大きな空隙は、追加のフィルタのために使用され得るか、または焦点シフトおよび補償のためのガラス補償器で満たされ得る。ビームJからビームKへの経路における内部反射のために、赤色プリズムのその特定の底面に空隙が存在する必要がある。プリズム出力面とセンサD1~D5の各々との間に空間を確保して、追加のフィルタを提供することができ、またはそれに応じてガラス補償器で満たすべきである。
【0135】
センサD1およびD2は、蛍光画像7を捕捉するために構成されたIRセンサである。一例として、センサD1およびD2に加えて好適な電子機器は、蛍光撮像ユニット22の一部である。センサD3、D4、およびD5は、可視光画像5の3つの成分を捕捉するためのものである。一例として、センサD3、D4、およびD5に加えて好適な電子機器は、可視光撮像ユニット24の一部である。また、それぞれのユニット、すなわち蛍光撮像ユニット22および可視光撮像ユニット24の一部であるセンサに光ビームを向ける対応するプリズムを考慮することも可能である。
【0136】
図11は、本発明の一実施形態による内視鏡50または腹腔鏡を概略的に示す。本発明の態様を考慮すると、腹腔鏡と内視鏡との間の差異は比較的小さい。したがって、説明が内視鏡に言及する場合、腹腔鏡の構成も通常可能である。単に一例として、以下では、内視鏡50を参照する。
【0137】
内視鏡50は、上記でさらに詳細に説明した画像捕捉デバイス10を含む。画像捕捉デバイス10は、蛍光画像7および可視光画像5が捕捉される対物レンズ18を含む。対物レンズ18は、プリズムアセンブリ20の入射面S1から入射した光をセンサD1~D5に集光する。対物レンズ18は、プリズムのバック焦点距離に適合するように、内視鏡部分の最後の部分に一体化することもできる。
【0138】
内視鏡50は、光を内視鏡50に結合する光源54に接続された光ファイバ52を含む。光源54は、身体部分4の表面11の照明および可視光画像5の捕捉のために白色光を提供することができる。さらに、光源54は、蛍光剤として適用される蛍光色素を励起して蛍光を発するのに適した励起光を発するように構成することができる。換言すれば、光源54は、可視光とIRスペクトルの光の両方を発するように構成することができる。
【0139】
内視鏡50のシャフト56の内部で、光ファイバ52は、いくつかのファイバ51に分かれる。内視鏡50は、可撓性シャフト56または剛性シャフト56を有することができる。剛性シャフト56では、レンズ要素および/またはリレーロッドレンズからなるレンズシステムが、シャフト56を通って光を導くために使用することができる。内視鏡50が可撓性シャフト56を有する場合、ファイバ51は、光源54の光を内視鏡シャフト56の先端に導くために使用することができる。内視鏡シャフト56(図6には示されていない)の遠位先端からの、検査領域から来る光を、シャフト56の近位端にある画像捕捉デバイス10に導くために、内視鏡50のシャフト56内にファイバ束58が配置される。図に示されていない別の実施形態では、画像捕捉デバイス10全体は小型化され、内視鏡シャフト56の遠位先端または遠位端に配置されることができる。
【0140】
図12は、可視光画像および蛍光画像のステッチに使用することができる、ステッチアルゴリズムのフローチャートを示す。フローチャートは、多かれ少なかれ自明であり、非常に簡単に説明されている。まず、取得された一連の画像(S1)は、処理デバイス12のステッチユニット24に転送される。次に、アルゴリズムは、フレーム事前選択を実行する(ステップS2)。この事前選択ステップでは、ステッチに適したフレームが選択される。S3は、ステッチされる選択された画像を表し、これらの画像は次に、前処理を受ける(ステップS4)。前処理された画像(S5)では、特徴抽出が実行される(ステップS6)。画像特徴が抽出されると(S7)、S3から既知の画像とステップS7から抽出された特徴とを使用して画像マッチング(ステップS8)が実行される。選択された画像(S9)に基づいて、画像の変換が推定される(ステップS10)。ステッチパラメータとも呼ばれる、この画像変換(S11)の推定が適用される(ステップS12)。変換の適用は、変換された画像(S13)をもたらす。さらなる画像補正、例えば露出補正(ステップS14)が実行されることができる。変換され補正された画像(S15)は、継ぎ目、すなわち、画像がつなぎ合わされる線を位置特定する(ステップS16)ことによってつなぎ合わされる。継ぎ目の位置を示すデータ(S17)は、画像の合成を作成する(ステップS18)ために変換され補正された画像(S12)とともに使用される。所与の実施形態では、これは、ステッチ結果(S19)として、大きな可視光画像または大きな蛍光画像をもたらす。
【0141】
さらに、可視光画像5および蛍光画像7を捕捉するために適用される画像捕捉デバイス10は、処理デバイス12内に位置する測定ユニット32と通信する距離センサ33をさらに含むことができる。距離センサ33は、可視光画像5において捕捉される患者の身体部分4の表面11と画像捕捉デバイス10との間の距離d(図1参照)を測定するように構成される。測定ユニット32と通信する距離センサ33は、例えば、超音波センサ、レーザ距離センサ、または任意の他の好適な距離測定デバイスである。さらに、画像捕捉デバイス10は、測定された距離dを示す信号を出力するように構成される。例えば、画像捕捉デバイス10は、デバイス10の操作者に測定を実行するための最良の距離dに関する情報を与える光学信号または音響信号を出力する。一定の距離dで測定を実行するにより、特に均一な照明があるため、測定結果が大幅に向上する。
【0142】
図13には、画像捕捉デバイス10の別のプリズムアセンブリ20の実施形態がある。プリズムアセンブリ20は、プリズムP5、P6、およびP7を含んでおり、これらは、例えば、光をそれぞれのセンサD3、D4、およびD5に向かって赤色成分、緑色成分、および青色成分に分割するように構成される。さらなる実施形態によれば、プリズムアセンブリ20は、入射光を緑色成分、赤色/青色成分、および赤外線成分に分割し、これらをそれぞれのセンサD3、D4、およびD5に向けるように構成される。さらに別の実施形態によれば、プリズムアセンブリ20は、入射光を、赤色/緑色/青色センサ(RGBセンサ)に向けられる可視光成分、第1の波長または波長間隔の第1の赤外線成分、および第2の波長または波長間隔の第2の赤外線成分に分割し、これらをそれぞれのセンサD3、D4、およびD5に向けるように構成される。
【0143】
光は、示された矢印を通ってプリズムアセンブリ20に入る。P5とP6との間には、光学コーティングC1が配置され、プリズムP6とP7との間には、光学コーティングC2が配置され、各光学コーティングC1およびC2は、異なる反射率および波長感度を有する。C1では、入射ビームIは、光が入ったのと同じプリズムP5の面に部分的に反射される(ビームJ)。その同じ面では、ここでKとラベル付けされたビームは、もう一度フィルタF3およびセンサD3に向かって反射される。JからKへの反射は内部反射である。したがって、フィルタF3およびセンサD3は、コーティングC1によって反射された光を受光し、同様に、フィルタF4およびセンサD4は、コーティングC2によって反射されたビームLからの光(ビームMおよびN)を受光する。フィルタF5およびセンサD5は、プリズムを妨害されずに通過したビームOからの光を受光する。
【0144】
入射光が赤色成分、緑色成分および青色成分に分割される実施形態を参照する場合、コーティングおよびフィルタはそれに応じて選択される。
【0145】
入射光が緑色成分、赤色/青色成分、および赤外線成分に分離される実施形態では、フィルタF3は、パターン化されたフィルタ(赤色/青色)とすることができる。特に、赤と青のフィルタのアレイが交互のパターンで存在する。パターンは、1つの特定の色に対してフィルタリングされる2×2画素のグループからなることができる。フィルタF4は緑色フィルタとすることができ、これは、フィルタが緑色フィルタのみを含むことを意味する。単一の画素グリッドがあり、各画素で受光された光は緑色フィルタでフィルタリングされる。フィルタF5はIRフィルタであり得る。各画素はIRフィルタでフィルタリングされる。
【0146】
一般に、コーティングC1、C2は、フィルタF3、F4、F5に適合する必要がある。例えば、第1のコーティングC1は、IR光を反射しながら可視光を透過することができるため、IR光はIRフィルタF3に向かって導かれる。第2のコーティングC2は、赤色光および青色光を反射しながら緑色光に対して透明であり得るため、フィルタF4は赤色/青色パターン化フィルタである必要があり、F5は緑色フィルタ23である必要がある。
【0147】
入射光が可視光成分(RGB)、第1の赤外線成分、および第2の赤外線成分に分割されるさらなる実施形態によれば、コーティングC1、C2およびフィルタF3、F4、F5は、例えば、センサD4が3色すべての可視光画像を検出するためのカラーセンサ(RGBセンサ)であるという点で構成される。さらに、センサD3は、第1の波長の蛍光を検出するために構成することができ、センサD5は、第2の波長の蛍光を検出するために構成される。
【0148】
同様に、図10のプリズムアセンブリ20を参照する場合、センサD1、D2、D3、D4、およびD5のそれぞれ1つの前に配置された面S1、S2、S3、S4、コーティングC1、およびC2、ならびにフィルタF1、F2、F3、F4、およびF5は、最大4つの蛍光波長を検出することができるという点で構成することができる。例えば、センサD4は、3色すべての可視光画像を検出するためのカラーセンサである。センサD3は、第1の波長または波長間隔の蛍光を検出するためのものであり、センサD5は、第2の波長または波長間隔の蛍光を検出するためのものであり、センサD1は、第3の波長または波長間隔の蛍光を検出するためのものであり、センサD2は、第4の波長または波長間隔の蛍光を検出するためのものである。
【0149】
図1および図2に関連して上述した画像捕捉および処理デバイス2は、蛍光信号を測定するために適用することもでき、この蛍光信号から時間強度曲線を導出または計算することができる。
【0150】
以下では、蛍光信号の測定に基づいてリスク予測値を提供する方法について説明する。蛍光信号は、蛍光剤8が添加された身体部分4の組織において検出され、蛍光剤8が添加された組織は、身体部分4の一部を形成する。
【0151】
少なくとも1つの蛍光画像7が捕捉される。蛍光画像7は、蛍光剤8の励起された発光によって発光された光を生成するのに適した波長を有する励起光で組織を照明することによって、検査領域内で捕捉される。蛍光画像7を提供するために、発光された光の空間分解測定が行われる。蛍光画像7を捕捉するステップは、経時的に複数の蛍光画像7を捕捉し、蛍光画像7の時系列を提供するために繰り返される。少なくとも1つの計算領域80が、蛍光画像7のシーケンスの少なくとも1つの蛍光画像7において定義される。この計算領域80では、計算領域80内の信号強度から時間強度曲線が計算される。
【0152】
図14は、計算領域80における信号強度の時間強度曲線を示す。図15は、検査領域の概略図を示しており、その中には、特定の計算領域80が示されており、そのうちのいくつかのみに参照番号が与えられている。検査領域では、外科的処置が行われた例示的な臓器82がある。外科的処置のリスク評価のために、灌流測定が実行されるべき特定の計算領域80が定義される。換言すれば、図14に原理的に示されている少なくとも1つの時間強度曲線は、計算領域80のそれぞれ1つから計算することができる。
【0153】
時間強度曲線は、少なくとも1つの係数を有するモデルによって近似される。時間強度曲線の近似に適用されるモデルは、例えば、単一組織コンパートメントモデルである。特に、組織均質性に対する断熱近似(AATH)モデルは、時間強度曲線を近似するのに特に適していることが判明した。時間強度曲線のモデル化の結果は、少なくとも特定の領域またはセグメントにおける時間強度曲線の形状に対するモデルの最良適合である。この最良適合から、モデルの少なくとも1つの係数を決定することができる。
【0154】
モデルの少なくとも1つの係数は、処理デバイス92の一部を形成するプロセッサ84の入力インターフェースに提供される。処理デバイス92は、例えば、コンピュータ、医療デバイスであるか、またはコンピューティングクラウドに実装されることさえ可能であり、コンピュータベースの臨床意思決定支援システム(CDSS)の一部である。これは、図16に概略的に示されている。
【0155】
CDSS86は、図2において詳細に説明される画像捕捉デバイス10を含む。関連する入力特徴は、時間強度曲線に適合されるモデルの少なくとも1つの係数である。係数は、プロセッサ84の入力インターフェースに通信され、1番目~N番目の入力特徴は、時間強度曲線を適合させるために使用されるモデルの係数1~Nである。プロセッサ84は、AIモデル、例えばニューラルネットワークを保持する。プロセッサ84は、少なくとも1つの係数を入力特徴としてAIモデルに適用することによって推論動作を実行する。AIモデルの出力は、AIモデル推論動作から予測される出力を意味し、リスク予測値である。リスク予測値は、信頼スコアとともにユーザインターフェース88に通信することができる。
【0156】
ユーザインターフェース88には、特定の計算領域80についてのリスク予測値を表示することができる。さらに、例えば、臓器82、計算領域80、および関連するリスク値を示す可視光画像5を表示することができる。さらに、蛍光画像7の画素ごとにリスク予測値を計算することができる。この複数のリスク予測値は、予測値導出画像マップに変換することができる。この画像マップは、例えば可視光画像へのオーバーレイ画像として、ユーザインターフェース88を介して通信することもできる。
【0157】
特に、蛍光画像7および可視光画像5は、例えば、図10図11または図13に示すようなプリズム構成を含む画像捕捉デバイスを使用して、同時に捕捉され得る。
【0158】
AIモデルは、特に、事前に訓練されたニューラルネットワークである。このニューラルネットワークは、データベースから取得された患者記録90のデータを使用して訓練することができる。患者記録90は、例えば特定の手術の臨床転帰を含む。この基準によって、時間強度曲線およびリスク予測値は、特定の臨床転帰にリンクされる。これらの患者記録は、プロセッサ84内のAIモデルとして実装され得る、ニューラルネットワークの教師あり訓練のために使用されることができる。特に、処理デバイス92は、画像捕捉デバイス10およびユーザインターフェース88をさらに含むことができる。それはまた、患者記録90を含むデータベースを任意に含むことができる。
【0159】
図16には、推論時に供給される、時間強度曲線の近似に適用されるモデルの少なくとも1つの係数に基づいてリスク予測値を提供するように構成された例示的なコンピュータベースの臨床意思決定支援システム(CDSS)の概略図がある。様々な実施形態では、CDSS86は、患者に固有の少なくとも1つの係数を入力特徴として人工知能(AI)モデルに提供される入力インターフェースと、少なくとも1つの係数がAIモデルに適用されてリスク予測値を生成する推論動作を実行するプロセッサ84と、リスク予測値がユーザ、例えば臨床医に通信されるユーザインターフェース(UI)88とを含む。
【0160】
いくつかの実施形態では、入力インターフェースは、CDSS86と、入力特徴のうちの少なくともいくつかを生成する1つまたは複数の医療デバイス、例えば、画像捕捉デバイス10との間の直接データリンクであってもよい。例えば、入力インターフェースは、治療および/または診断医療処置中に入力特徴をCDSS86に直接送信することができる。加えてまたはあるいは、入力インターフェースは、ユーザとCDSS86との間の対話を容易にする古典的なユーザインターフェースであってもよい。例えば、入力インターフェース88は、ユーザが少なくとも1つの係数を手動で入力することができるユーザインターフェースを容易にすることができる。加えてまたはあるいは、入力インターフェースは、1つまたは複数の入力特徴が抽出され得る電子患者記録へのアクセスをCDSS86に提供することができる。これらの場合のいずれにおいても、入力インターフェースは、モデルの係数を評価するためにCDSS86が使用される時点またはその前に、特定の患者に関連する以下の入力特徴のうちの1つまたは複数を収集するように構成される。
【0161】
時間強度曲線は、記録中のフレームごとに各計算領域80内の平均画像強度を計算することによって、蛍光画像の記録から抽出することができる。時間強度曲線は、以下のパラメータによって特徴付けることができる。Time to Max(s):進入フェーズの開始から開始して信号がその最大強度に達するのに要する時間、Ingress(i/s):進入フェーズにおける信号曲線の平均勾配、Max Ingress(i/s):最大勾配を有する進入フェーズ内の値、Time to Max Ingress(s):進入フェーズの開始から最大進入勾配を有する時間までのタイムスタンプ、Average(i):平均信号強度、AUC(i・s):信号曲線の曲線下面積(AUC)、AUC10(i・s):進入フェーズの開始とその後の10秒間との間のAUC、AUC Ingress(i・s):進入フェーズにおける信号曲線のAUC。
【0162】
例えば図14に示す時間強度曲線は、単一組織コンパートメントモデルによって、特に、原則としてLawrence & Lee,1998,Elliot et.al.,2020に記載されている、組織均質性に対する断熱近似(AATH)モデルによって適合されることができる。他のフィッティングモデルは、Kangのモデル(Kang et.al.,2009)または双指数関数モデル(Gurfinkel et al.2000,Shinohara et al.1996)であり得る。
【0163】
各モデルは、臨床転帰を予測し得るいくつかの係数を含む。すべてのモデルに必要な追加の係数は、遅延とも呼ばれるトレーサの到着時間である。取得中の蛍光色素注入の瞬間が既知ではないため、この係数が適合される。単一組織コンパートメントモデルに適合される係数は、以下の通りである:K1(/min)、k2(/min)(追加のパラメータ:遅延(s))。AATHモデルに適合される係数は、以下の通りである:F(ml/min/100g)、kep(/min)、t(s);E(追加パラメータ:遅延(s))。
【0164】
モデルの各々の適合度は、調整されたRの2乗(R2adj)を計算することによって測定することができる。モデルのR統計量(決定の係数とも呼ばれる)は、モデルによって説明されるデータの分散の割合を示す値である。
【0165】
上記の係数は、1番目~N番目の入力特徴としてAIモデルに適用することができる。
【0166】
上記の入力特徴のうちの1つまたは複数に基づいて、プロセッサ84は、AIモデルを使用して推論動作を実行して、出力、すなわちリスク予測値を生成する。
【0167】
例えば、入力インターフェースは、関連する入力特徴のうちの1つまたは複数をAIモデルの入力層に配信することができ、このモデルは、これらの入力特徴を、AIモデルを通って出力層に伝搬する。AIモデルは、データの分析において見出されるパターンに基づいて推論を行うことによって、明示的にプログラムされることなく、タスクを実行する能力をコンピュータシステムに提供することができる。AIモデルは、既存のデータから学習し、新しいデータについて予測を行うことができるアルゴリズム(例えば、機械学習アルゴリズム)の研究および構築を探索する。このようなアルゴリズムは、出力または評価として表されるデータ駆動型予測または決定を行うために、例示的な訓練データからAIモデルを構築することによって動作する。
【0168】
機械学習(ML)には、教師ありMLおよび教師なしMLの2つの共通モードがある。教師ありMLは、事前知識(例えば、入力を出力または結果に相関させる例)を使用して、入力と出力との間の関係を学習する。教師ありMLの目標は、いくつかの訓練データが与えられた場合に、訓練入力と出力との間の関係を最良に近似する関数を学習することであり、その結果、MLモデルは、入力が与えられたときに同じ関係を実装して、対応する出力を生成することができる。教師なしMLは、分類もラベル付けもされていない情報を使用し、アルゴリズムがガイダンスなしにその情報に作用することを可能にするMLアルゴリズムの訓練である。教師なしMLは、データ内の構造を自動的に識別することができるため、探索的分析に有用である。
【0169】
教師ありMLの共通のタスクは、分類問題および回帰問題である。カテゴリ化問題とも呼ばれる分類問題は、項目をいくつかのカテゴリ値のうちの1つに分類すること(例えば、このオブジェクトはリンゴまたはオレンジであるか?)を目的とする。回帰アルゴリズムは、(例えば、ある入力の値にスコアを提供することによって)いくつかの項目を定量化することを目的とする。一般的に使用される教師ありMLアルゴリズムのいくつかの例は、ロジスティック回帰(LR)、ナイーブベイズ、ランダムフォレスト(RF)、ニューラルネットワーク(NN)、ディープニューラルネットワーク(DNN)、行列因子分解、およびサポートベクターマシン(SVM)である。
【0170】
教師なしMLのためのいくつかの共通のタスクには、クラスタリング、表現学習、および密度推定が含まれる。一般的に使用される教師なしMLアルゴリズムのいくつかの例は、K平均クラスタリング、主成分分析、およびオートエンコーダである。
【0171】
別の種類のMLは、データを交換することなく、ローカルデータを保持する複数の分散型デバイスにわたってアルゴリズムを訓練する(協調学習としても知られる)連合学習である。この手法は、すべてのローカルデータセットが1つのサーバにアップロードされる従来の集中型機械学習技術、ならびにローカルデータサンプルが同一に分散されることを仮定することが多い、より古典的な分散型手法とは対照的である。連合学習により、複数のアクタが、データを共有することなく、共通のロバストな機械学習モデルを構築することができ、したがって、データプライバシー、データセキュリティ、データアクセス権、および異種データへのアクセスなどの重大な問題に対処することを可能にする。
【0172】
所与の実施形態では、AIは、教師あり学習において訓練される。
【0173】
いくつかの例では、AIモデルは、プロセッサ84による推論動作の実行の前に連続的または周期的に訓練され得る。次いで、推論動作中に、AIモデルに提供される患者固有の入力特徴は、入力層から、1つまたは複数の隠れ層を通って、最終的にはリスク予測値に対応する出力層に伝搬され得る。
【0174】
図面のみから得られるものを含むすべての名付けられた特性、および他の特性と組み合わせて開示される個々の特性は、単独で、かつ組み合わせて、本発明にとって重要であると見なされる。本発明による実施形態は、個々の特性またはいくつかの特性の組み合わせによって実現することができる。「特に(in particular)」または「特に(especially)」という文言と組み合わされた特徴は、好ましい実施形態として扱われる。
【符号の説明】
【0175】
2 画像捕捉および処理デバイス
3 医師
4 身体部分
5 可視光画像
6 患者
7 蛍光画像
8 蛍光剤
9 オーバーレイ画像
10 画像捕捉デバイス
11 表面
12 処理デバイス
14 ディスプレイ
16 照明ユニット
18 対物レンズ
20 プリズムアセンブリ
22 蛍光撮像ユニット
24 可視光撮像ユニット
26 データリンク
28 ステッチユニット
30 重ね合わせユニット
32 測定ユニット
33 距離センサ
50 内視鏡
52 光ファイバ
51 ファイバ
54 光源
56 シャフト
58 ファイバ束
60 ピーク頻度マップユニット
62 関心領域
64 出力ユニット
66 重ね合わせユニット
80 計算領域
82 臓器
84 プロセッサ
86 CDSS
88 ユーザインターフェース
90 患者記録
92 処理デバイス
P1 第1のペンタプリズム
P2,P4 補償プリズム
P3 第2のペンタプリズム
P5,P6,P7 ダイクロイックプリズムアセンブリ
A 入射光ビーム
B..O 光ビーム
S1 入射面
D1..D5 センサ
C1,C2 コーティング
L 長手方向
d 距離
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
【外国語明細書】