知財求人 - 知財ポータルサイト「IP Force」
▶ クエスト・フォトニック・デバイシーズ・ビー．ブイ．の特許一覧
特開2024-72286蛍光信号と可視光画像の測定方法、画像取り込みおよび処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072286
(43)【公開日】2024-05-27
(54)【発明の名称】蛍光信号と可視光画像の測定方法、画像取り込みおよび処理装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20240520BHJP
A61B 1/00 20060101ALI20240520BHJP
【ＦＩ】
A61B1/045 610
A61B1/00 511
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023194561
(22)【出願日】2023-11-15
(31)【優先権主張番号】63/425,393
(32)【優先日】2022-11-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】23205166.4
(32)【優先日】2023-10-23
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】519207011
【氏名又は名称】クエスト・フォトニック・デバイシーズ・ビー．ブイ．
【氏名又は名称原語表記】ＱＵＥＳＴ ＰＨＯＴＯＮＩＣ ＤＥＶＩＣＥＳ Ｂ．Ｖ．
【住所又は居所原語表記】Ｉｎｄｕｓｔｒｉｅｗｅｇ ４１， １７７５ ＰＷ Ｍｉｄｄｅｎｍｅｅｒ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】トーマス コープマン
(72)【発明者】
【氏名】リシェル ヨハンナ マリア ホベリング
(72)【発明者】
【氏名】フェラン ソエブラタ
(72)【発明者】
【氏名】ティリク ヴェルテヴレーデン
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA24
4C161CC06
4C161LL03
4C161NN05
4C161QQ02
4C161QQ04
4C161WW04
4C161WW17
(57)【要約】
【課題】本発明の目的は、特に、改良された蛍光撮像出力を提供することができる、蛍光信号を測定する改良された方法、改良された画像取り込みおよび処理装置、ならびに改良された内視鏡または腹腔鏡を提供することである。さらに、本発明の目的は、リンパ浮腫を診断する改良された方法およびリンパ浮腫の長期療法の改良された方法を提供することである。
【解決手段】蛍光剤（８）を投与された身体部分（４）の組織における蛍光信号を測定し、身体部分（４）の表面（１１）を撮像するように構成された画像取り込みおよび処理装置（２）。装置（２）は、光照射部（１６）と、蛍光撮像部（２２）と、可視光撮像部（２４）とを備える。蛍光撮像部（２２）と可視光撮像部（２４）は、蛍光画像と可視光画像の視方向および／または視点が既知の関係でリンクされるように構成される。スティッチング部（２８）が、可視光画像におよび同様に蛍光画像にスティッチングアルゴリズムを適用して、大きな可視光画像および大きな蛍光画像を生成する。
【選択図】図１
【解決手段】蛍光剤（８）を投与された身体部分（４）の組織における蛍光信号を測定し、身体部分（４）の表面（１１）を撮像するように構成された画像取り込みおよび処理装置（２）。装置（２）は、光照射部（１６）と、蛍光撮像部（２２）と、可視光撮像部（２４）とを備える。蛍光撮像部（２２）と可視光撮像部（２４）は、蛍光画像と可視光画像の視方向および／または視点が既知の関係でリンクされるように構成される。スティッチング部（２８）が、可視光画像におよび同様に蛍光画像にスティッチングアルゴリズムを適用して、大きな可視光画像および大きな蛍光画像を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
蛍光剤（８）を投与された身体部分（４）の組織における蛍光信号を測定し、前記蛍光剤（８）を投与された前記組織が前記身体部分（４）の一部を形成する前記身体部分（４）の表面（１１）を撮像する方法であって、前記方法が、
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射することにより、および蛍光画像（７）を提供するように前記放出光の空間分解測定により、画像取り込み装置（１０）で前記蛍光画像（７）を取り込むステップと、
前記画像取り込み装置（１０）で前記身体部分（４）の表面（１１）の少なくとも一部分の可視光画像（５）を取り込むステップ、であって、
前記蛍光画像（７）と前記可視光画像（５）の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、を含み、
前記方法が、
前記蛍光画像（７）と前記可視光画像（５）の前記取り込みを繰り返して、一連の蛍光画像（７）と一連の可視光画像（５）を提供するステップと、
前記一連の可視光画像（７）にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するステップであって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用する、ステップと、
前記一連の蛍光画像（７）に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像（５）の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記大きな可視光画像と前記大きな蛍光画像を出力するステップと、をさらに含む、方法。
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射することにより、および蛍光画像（７）を提供するように前記放出光の空間分解測定により、画像取り込み装置（１０）で前記蛍光画像（７）を取り込むステップと、
前記画像取り込み装置（１０）で前記身体部分（４）の表面（１１）の少なくとも一部分の可視光画像（５）を取り込むステップ、であって、
前記蛍光画像（７）と前記可視光画像（５）の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、を含み、
前記方法が、
前記蛍光画像（７）と前記可視光画像（５）の前記取り込みを繰り返して、一連の蛍光画像（７）と一連の可視光画像（５）を提供するステップと、
前記一連の可視光画像（７）にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するステップであって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用する、ステップと、
前記一連の蛍光画像（７）に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像（５）の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記大きな可視光画像と前記大きな蛍光画像を出力するステップと、をさらに含む、方法。
【請求項2】
前記大きな可視光画像と前記大きな蛍光画像とを重畳させて前記身体部分（４）のオーバーレイ画像（９）を提供するステップと、
前記大きな可視光画像と前記大きな蛍光画像の前記出力として前記オーバーレイ画像（９）を出力するステップと、をさらに含む、
請求項１に記載の方法。
前記大きな可視光画像と前記大きな蛍光画像の前記出力として前記オーバーレイ画像（９）を出力するステップと、をさらに含む、
請求項１に記載の方法。
【請求項3】
前記蛍光画像と前記可視光画像の前記視方向および前記視点が同一であり、特に、前記蛍光画像と前記可視光画像が、まったく同一の対物レンズ（１８）を介して取り込まれる、先行請求項のいずれか１項に記載の方法。
【請求項4】
前記蛍光画像の取り込みと前記可視光画像の取り込みが、前記蛍光画像の信号と前記可視光画像の信号との間の時間スイッチングなしに同時に実行される、先行請求項のいずれか１項に記載の方法。
【請求項5】
前記蛍光画像を取り込むステップと、前記組織に励起光を照射するステップと、同時に前記可視光画像を取り込むステップとが、単一の画像取り込み装置によって実行される、先行請求項のいずれか１項に記載の方法。
【請求項6】
前記可視光画像で取り込まれる前記身体部分（４）の表面（１１）と、前記取り込み装置との間の距離（ｄ）を測定するステップをさらに含む、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記測定された距離（ｄ）を示す信号を前記画像取り込み装置（１０）によって出力するステップをさらに含む、請求項６に記載の方法。
【請求項8】
前記距離（ｄ）を測定しながら、前記身体部分（４）の前記表面（１１）の同じ部分の前記蛍光画像と前記可視光画像を繰り返し取り込むステップであって、蛍光画像と可視光画像の複数のセットが異なる距離（ｄ）で取り込まれる、ステップと、
画像品質に応じて前記画像セットを分析し、画像の最高品質をもたらす最良整合距離（ｄ＊）を決定するステップと、をさらに含む、
請求項６または７に記載の方法。
画像品質に応じて前記画像セットを分析し、画像の最高品質をもたらす最良整合距離（ｄ＊）を決定するステップと、をさらに含む、
請求項６または７に記載の方法。
【請求項9】
前記画像取り込み装置（１０）が、前記最良整合距離（ｄ＊）からの前記測定距離（ｄ）の偏差を示す信号を出力する、請求項７および８に記載の方法。
【請求項10】
前記蛍光信号の前記測定が、少なくとも第１および第２の蛍光剤（８）を投与された組織に対して実行され、前記蛍光画像を取り込む前記ステップが、
前記第１の蛍光剤（８）の第１の励起発光により放出光を生じさせるのに適した第１の波長を有する第１の励起光を前記組織に照射することにより生成される、第１の波長範囲の第１の蛍光画像を取り込むことと、
前記第２の蛍光剤（８）の第２の励起発光により放出光を生じさせるのに適した第２の波長を有する第２の励起光を前記組織に照射することにより生成される、第２の波長範囲の第２の蛍光画像を取り込むことと、を含み、前記方法が、
前記第１および前記第２の蛍光画像の前記取り込みを繰り返して、第１および第２の一連の蛍光画像を提供するステップと、
前記第１および第２の一連の蛍光画像に前記スティッチングアルゴリズムを適用して、第１および第２の大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像（５）の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記第１および前記第２の大きな蛍光画像を出力するステップと、をさらに含む、先行請求項のいずれか１項に記載の方法。
前記第１の蛍光剤（８）の第１の励起発光により放出光を生じさせるのに適した第１の波長を有する第１の励起光を前記組織に照射することにより生成される、第１の波長範囲の第１の蛍光画像を取り込むことと、
前記第２の蛍光剤（８）の第２の励起発光により放出光を生じさせるのに適した第２の波長を有する第２の励起光を前記組織に照射することにより生成される、第２の波長範囲の第２の蛍光画像を取り込むことと、を含み、前記方法が、
前記第１および前記第２の蛍光画像の前記取り込みを繰り返して、第１および第２の一連の蛍光画像を提供するステップと、
前記第１および第２の一連の蛍光画像に前記スティッチングアルゴリズムを適用して、第１および第２の大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像（５）の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記第１および前記第２の大きな蛍光画像を出力するステップと、をさらに含む、先行請求項のいずれか１項に記載の方法。
【請求項11】
蛍光剤（８）を投与された身体部分（４）の組織における蛍光信号を測定するように構成され、かつ前記蛍光剤（８）を投与された前記組織が前記身体部分（４）の一部を形成する前記身体部分（４）の表面（１１）を撮像するように構成された画像取り込みおよび処理装置（２）であって、前記画像取り込みおよび処理装置（２）が、
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射するように構成された光照射部（１６）と、
蛍光画像を提供するように前記放出光の空間分解測定により蛍光画像を取り込むように構成された蛍光撮像部（２２）と、
前記身体部分（４）の表面（１１）の一部分の可視光画像を取り込むように構成された可視光撮像部（２４）と、であって、
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するようにさらに構成される、蛍光撮像部と可視光撮像部と、をさらに含む、画像取り込み装置（１０）を含み、前記画像取り込みおよび処理装置（２）が、
前記一連の可視光画像にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するように構成されたスティッチング部（２８）であって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用し、
前記スティッチング部（２８）が、前記一連の蛍光画像に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するようにさらに構成され、前記スティッチングアルゴリズムが、前記可視光画像の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部（１２）と、
前記大きな可視光画像と前記大きな蛍光画像を出力するように構成された出力部と、を含む、画像取り込みおよび処理装置。
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射するように構成された光照射部（１６）と、
蛍光画像を提供するように前記放出光の空間分解測定により蛍光画像を取り込むように構成された蛍光撮像部（２２）と、
前記身体部分（４）の表面（１１）の一部分の可視光画像を取り込むように構成された可視光撮像部（２４）と、であって、
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するようにさらに構成される、蛍光撮像部と可視光撮像部と、をさらに含む、画像取り込み装置（１０）を含み、前記画像取り込みおよび処理装置（２）が、
前記一連の可視光画像にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するように構成されたスティッチング部（２８）であって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用し、
前記スティッチング部（２８）が、前記一連の蛍光画像に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するようにさらに構成され、前記スティッチングアルゴリズムが、前記可視光画像の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部（１２）と、
前記大きな可視光画像と前記大きな蛍光画像を出力するように構成された出力部と、を含む、画像取り込みおよび処理装置。
【請求項12】
前記大きな可視光画像と前記大きな蛍光画像とを重畳させて前記身体部分（４）のオーバーレイ画像を提供するように構成された重畳部をさらに備え、前記出力部が、前記大きな可視光画像と前記大きな蛍光画像の出力として前記オーバーレイ画像を出力するようにさらに構成される、
請求項１１に記載の装置。
請求項１１に記載の装置。
【請求項13】
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像の前記視方向および前記視点が同一であるように構成され、特に、前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像と前記可視光画像がまったく同一の対物レンズ（１８）を介して取り込まれるように構成される、請求項１１または１２に記載の装置（２）。
【請求項14】
前記蛍光撮像部（２２）と前記可視光撮像部（２４）が、前記蛍光画像の信号と前記可視光画像の信号との間の時間スイッチングなしに、前記蛍光画像と前記可視光画像を同時に取り込むように構成される、請求項１１～１３のいずれか１項に記載の装置（２）。
【請求項15】
前記画像取り込み装置（１０）が、入射面を介して蛍光と可視光を受光するように構成されたダイクロイックプリズムアセンブリを備え、ダイクロイックプリズムアセンブリが、第１のプリズム（Ｐ１）と、第２のプリズム（Ｐ３）と、前記第１のプリズム（Ｐ１）と前記第２のプリズム（Ｐ３）との間に配置された第１の補償器プリズム（Ｐ２）と、
前記可視光を３つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリ（Ｐ５、Ｐ６、Ｐ７）と、前記第２のプリズム（Ｐ３）と前記さらなるダイクロイックプリズムアセンブリ（Ｐ５、Ｐ６、Ｐ７）との間に配置された第２の補償器プリズム（Ｐ４）と、を備え、
前記第１のプリズム（Ｐ１）および前記第２のプリズム（Ｐ３）が各々、少なくとも５つの角を有する断面を有し、各角が少なくとも９０度の内角を有し、前記第１のプリズム（Ｐ１）および前記第２のプリズム（Ｐ３）の前記角が各々、個別の入射面（Ｓ１、Ｓ２）および個別の出射面を有し、そして各々が、前記入射面の法線に平行な方向に前記個別のプリズムの前記入射面に入射する入射ビームが、前記個別のプリズムの内部で２回反射され、前記出射面の法線に平行なその出射面を介して前記個別のプリズムを出射するように設計され、
前記個別のプリズムの前記入射面の前記法線と前記出射面の前記法線とが、互いに垂直であり、
光が前記入射面を通って前記第１のプリズム（Ｐ１）に入射すると、前記光が、前記第１のプリズム（Ｐ１）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第１のプリズム（Ｐ１）の前記出射面までの第１の経路長を進み、前記光が、前記第１の補償器プリズム（Ｐ２）を介して前記第２のプリズム（Ｐ３）に部分的に入射し、前記第２のプリズム（Ｐ３）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第２のプリズム（Ｐ３）の前記出射面までの第２の経路長を進み、
前記第１と前記第２の経路長とが同じになるように、前記第１のプリズム（Ｐ１）が、前記第２のプリズム（Ｐ３）よりも大きい、請求項１１～１４のいずれか１項に記載の装置（２）。
前記可視光を３つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリ（Ｐ５、Ｐ６、Ｐ７）と、前記第２のプリズム（Ｐ３）と前記さらなるダイクロイックプリズムアセンブリ（Ｐ５、Ｐ６、Ｐ７）との間に配置された第２の補償器プリズム（Ｐ４）と、を備え、
前記第１のプリズム（Ｐ１）および前記第２のプリズム（Ｐ３）が各々、少なくとも５つの角を有する断面を有し、各角が少なくとも９０度の内角を有し、前記第１のプリズム（Ｐ１）および前記第２のプリズム（Ｐ３）の前記角が各々、個別の入射面（Ｓ１、Ｓ２）および個別の出射面を有し、そして各々が、前記入射面の法線に平行な方向に前記個別のプリズムの前記入射面に入射する入射ビームが、前記個別のプリズムの内部で２回反射され、前記出射面の法線に平行なその出射面を介して前記個別のプリズムを出射するように設計され、
前記個別のプリズムの前記入射面の前記法線と前記出射面の前記法線とが、互いに垂直であり、
光が前記入射面を通って前記第１のプリズム（Ｐ１）に入射すると、前記光が、前記第１のプリズム（Ｐ１）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第１のプリズム（Ｐ１）の前記出射面までの第１の経路長を進み、前記光が、前記第１の補償器プリズム（Ｐ２）を介して前記第２のプリズム（Ｐ３）に部分的に入射し、前記第２のプリズム（Ｐ３）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第２のプリズム（Ｐ３）の前記出射面までの第２の経路長を進み、
前記第１と前記第２の経路長とが同じになるように、前記第１のプリズム（Ｐ１）が、前記第２のプリズム（Ｐ３）よりも大きい、請求項１１～１４のいずれか１項に記載の装置（２）。
【請求項16】
前記光照射部（１６）と、前記蛍光撮像部（２２）と、前記可視光撮像部（２４）とが、前記可視光画像で取り込まれる前記身体部分（４）の前記表面（１１）との距離（ｄ）を測定するように構成された測定部（３２）をさらに備える単一の画像取り込み装置（１０）内に配置される、請求項１１～１５のいずれか１項に記載の装置（２）。
【請求項17】
前記画像取り込み装置（１０）が、前記測定された距離（ｄ）を示す信号を出力するようにさらに構成される、請求項１６に記載の装置。
【請求項18】
請求項１１～１７のいずれか一項に記載の前記画像取り込みおよび処理装置（２）内の前記画像取り込み装置（１０）として構成される内視鏡または腹腔鏡。
【請求項19】
リンパ浮腫を診断する方法であって、
身体部分（４）に蛍光剤（８）を投与するステップと、
前記蛍光剤（８）を投与された前記身体部分（４）の組織内の蛍光信号を測定するステップと、
前記蛍光剤（８）を投与された前記組織が前記身体部分（４）の一部を形成する前記身体部分（４）の表面（１１）を撮像するステップと、
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射することにより、および前記蛍光画像を提供するように前記放出光の空間分解測定により蛍光画像を取り込むステップと、
前記身体部分（４）の表面（１１）の少なくとも一部分の可視光画像を取り込むステップ、であって、前記蛍光画像と前記可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、
前記蛍光画像と前記可視光画像を取り込む前記ステップを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
前記一連の可視光画像にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するステップであって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用する、ステップと、
前記一連の蛍光画像に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記大きな可視光画像と前記大きな蛍光画像を出力するステップと、
前記出力画像を分析することにより、リンパ浮腫の重症度に関連する診断結果を導き出すステップと、
を含む、方法。
身体部分（４）に蛍光剤（８）を投与するステップと、
前記蛍光剤（８）を投与された前記身体部分（４）の組織内の蛍光信号を測定するステップと、
前記蛍光剤（８）を投与された前記組織が前記身体部分（４）の一部を形成する前記身体部分（４）の表面（１１）を撮像するステップと、
前記蛍光剤（８）の励起発光により放出光を生じさせるのに適した波長を有する励起光を前記組織に照射することにより、および前記蛍光画像を提供するように前記放出光の空間分解測定により蛍光画像を取り込むステップと、
前記身体部分（４）の表面（１１）の少なくとも一部分の可視光画像を取り込むステップ、であって、前記蛍光画像と前記可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、
前記蛍光画像と前記可視光画像を取り込む前記ステップを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
前記一連の可視光画像にスティッチングアルゴリズムを適用して、前記身体部分（４）の大きな可視光画像を生成するステップであって、前記スティッチングアルゴリズムが、スティッチングパラメータのセットを決定して適用する、ステップと、
前記一連の蛍光画像に前記スティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、前記スティッチングアルゴリズムが、前記可視光画像の前記スティッチングを実行するときに決定された前記スティッチングパラメータのセットを適用する、ステップと、
前記大きな可視光画像と前記大きな蛍光画像を出力するステップと、
前記出力画像を分析することにより、リンパ浮腫の重症度に関連する診断結果を導き出すステップと、
を含む、方法。
【請求項20】
患者の足または手の趾節骨または指節骨間の組織に前記蛍光剤（８）を注射することによって、前記蛍光剤を前記患者の前記腕または脚に投与する、請求項１９に記載の方法。
【請求項21】
リンパ浮腫の長期療法の方法であって、
患者に対して請求項１９または２０に記載のステップを実行することによりリンパ浮腫の重症度を診断するステップと、
前記患者に対して療法を実行するステップであって、前記リンパ浮腫の重症度に対する前記診断結果に合わせて前記療法を調整する、ステップと、
前記リンパ浮腫の重症度を診断する前記ステップと、前記患者に対して療法を実行するステップとを繰り返すステップであって、各反復において、リンパ浮腫の前記検出された重症度に応じて前記療法を調整する、ステップと、を含む、方法。
患者に対して請求項１９または２０に記載のステップを実行することによりリンパ浮腫の重症度を診断するステップと、
前記患者に対して療法を実行するステップであって、前記リンパ浮腫の重症度に対する前記診断結果に合わせて前記療法を調整する、ステップと、
前記リンパ浮腫の重症度を診断する前記ステップと、前記患者に対して療法を実行するステップとを繰り返すステップであって、各反復において、リンパ浮腫の前記検出された重症度に応じて前記療法を調整する、ステップと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛍光剤を投与された身体部分の組織における蛍光信号を測定し、蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像する方法に関する。さらに、本発明は、蛍光剤を投与された身体部分の組織における蛍光信号を測定するように構成され、かつ蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像するように構成された画像取り込みおよび処理装置に関する。本発明はまた、このような画像取り込みおよび処理装置を備える内視鏡または腹腔鏡に関する。
【0002】
さらに、本発明は、リンパ浮腫を診断する方法およびリンパ浮腫の長期療法の方法に関する。
【背景技術】
【0003】
本方法ならびに画像取り込みおよび処理装置は、特にリンパ浮腫の診断、治療および／または予防を考慮した、特にリンパ機能の撮像および測定に関する。
【0004】
リンパ浮腫は、体の組織内のリンパ液の蓄積である。酸素化血液が動脈を介して心臓から組織に圧送される間、脱酸素化血液は静脈を介して心臓に戻る。動脈側の圧力レベルが静脈側よりもはるかに高いため、血液の無色の体液部分が細胞間の空間に押し込まれる。典型的には、静脈側で再吸収されるよりも多くの体液が押し出される。余分な体液は、リンパ毛細管によって輸送される。さらに、体液は、より大きなタンパク質および細胞残屑などの局所性および外来性物質を運び去る。一旦リンパ系に入ると、輸送される物質を含むこの体液は、リンパまたはリンパ液と呼ばれる。
【0005】
リンパ系は、リンパを次のリンパ節に輸送するための、静脈弁と同様の一方向弁を有するリンパ管を含む。リンパ節は、体液が血流に戻る前に、特定の物質の除去を実行し、体液を浄化する。
【0006】
リンパ流が遮断されているかまたは所望のレベルで実行されていないためにリンパ系が閉塞すると、リンパ液が組織細胞間の間質腔に蓄積する。この蓄積は、リンパ輸送の障害によるものであり、リンパ浮腫と呼ばれる。リンパの蓄積は、患部の周囲の細胞を損傷する炎症反応を引き起こす可能性がある。それは、患部組織の硬化に変化し得る線維症をさらに引き起こし得る。
【0007】
リンパ浮腫は、治療法または薬物療法が存在しない、生涯にわたる状態であるため、排液を改善し、体液量を減少させるための早期診断および適切な早期対策は、患者の健康および回復にとって非常に重要である。リンパマッサージおよび圧迫包帯などから手術までの可能な治療は重症度に応じて行われ、重症度は世界保健機関（ＷＨＯ）によって定義された以下のような４段階システムである。
１期：リンパ系における正常な流れ。徴候または症状なし。
２期：腫脹を伴う体液の蓄積。
３期：患肢または身体患部を持ち上げても解消しない持続的な腫脹。
４期：象皮病（大きな変形肢）、「いぼ状」のものの成長を伴う皮膚肥厚および広範な瘢痕化。
１期：リンパ系における正常な流れ。徴候または症状なし。
２期：腫脹を伴う体液の蓄積。
３期：患肢または身体患部を持ち上げても解消しない持続的な腫脹。
４期：象皮病（大きな変形肢）、「いぼ状」のものの成長を伴う皮膚肥厚および広範な瘢痕化。
【0008】
リンパ系の機能の診断のために、一般的に使用される技術は、医師による患肢または身体患部の手動検査である。既知の撮像技術は、リンパシンチグラフィーである。この技術では、放射線トレーサを身体患部の組織に注入し、続いてＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影法）、ＰＥＴ－ＣＴスキャン（陽電子放出断層撮影法）または超音波撮像を実行する。
【0009】
比較的新しい撮像技術は、蛍光色素、例えばＩＣＧ（インドシアニングリーン）を用いた赤外蛍光撮像である。ＩＣＧは、４０年以上にわたって使用されている緑色の医療用色素である。この色素は、６００ｎｍ～８００ｎｍの波長を有する近赤外光で励起されると蛍光を発する。この励起により、ＩＣＧは７５０ｎｍ～９５０ｎｍの間の蛍光を発する。ＩＣＧ色素の蛍光は、ＣＣＤまたはＣＭＯＳセンサまたはカメラを使用して検出することができる。患肢または身体患部の組織に蛍光色素を投与し、検出した蛍光に基づいて、リンパ液の濃度および流れを追跡することができる。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、特に、改良された蛍光撮像出力を提供することができる、蛍光信号を測定する改良された方法、改良された画像取り込みおよび処理装置、ならびに改良された内視鏡または腹腔鏡を提供することである。
【0011】
さらに、本発明の目的は、リンパ浮腫を診断する改良された方法およびリンパ浮腫の長期療法の改良された方法を提供することである。
【課題を解決するための手段】
【0012】
この目的は、蛍光剤を投与された身体部分の組織における蛍光信号を測定し、蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像する方法で解決され、この方法は、
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップ、であって、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、を含み、この方法は、
蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
大きな可視光画像と大きな蛍光画像を出力するステップと、をさらに含む。
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップ、であって、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、を含み、この方法は、
蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
大きな可視光画像と大きな蛍光画像を出力するステップと、をさらに含む。
【0013】
有利には、２つの画像、すなわち大きい可視光画像と大きな蛍光画像が出力され、従来の方法とは対照的に、これらの２つの画像は互いにリンクされている。換言すれば、２つの画像は共通の座標系を共有し、これは、一方の画像、例えば蛍光画像のうちの１つで見ることができるオブジェクトを、可視光画像の同じ位置で見つけることができることを意味する。可視光画像は、人間の目で観察することができる身体部分の表面を再現する。蛍光画像では、蛍光の強度が再現される。特に、両方の画像は、同じ画像スケール、画像配向を使用して表示され、身体部分の同じ関心領域を示す。これは、両方の画像が特に同一の視方向および同一の視野で取り込まれるという事実に起因する。提供された画像情報に基づいて、ユーザは、特定の蛍光現象が観察される点または位置を、実際の身体部分で正確にスポットする位置に設定される。これは、診断および療法に関して比類のない利点を提供する。
【0014】
本明細書の文脈内では、「蛍光画像」および「可視光画像」という用語は、２Ｄ画像に限定されない。本明細書の意味の範囲内の画像は、２Ｄ画像だけでなく、３Ｄ画像、または追加情報を含む２Ｄ画像であってもよい。２Ｄ画像は、専用のカメラ機器を使用して取り込むことができる。３Ｄ画像は、例えばステレオカメラ機器を使用して取り込むことができる。２Ｄまたは３Ｄ画像は、画像ラインスキャナを使用して取り込むことができるラインスキャンであってもよい。画像はまた、３Ｄ画像と同様に深度情報も含むＬＩＤＡＲスキャンであってもよい。ＬＩＤＡＲスキャナからのデータは、追加情報として２Ｄ画像に追加することができる。２Ｄ画像データとＬＩＤＡＲスキャンデータとの組合せは、２Ｄ画像データを対応する深度情報と組み合わせることができるので、３Ｄ画像と同様の情報をもたらす。また、「スティッチング」という用語は、２枚以上の２Ｄ画像の組合せに限定されない。スティッチングは、他の上述の画像データ、例えば３Ｄ画像データに基づいて実行することもできる。例えばＬＩＤＡＲスキャナによって取り込まれた深度情報などのさらなる情報も、スティッチングアルゴリズムを実行するときに考慮に入れることができる。
【0015】
２枚以上の２Ｄ画像に基づいてスティッチングを実行することができ、結果としてより大きな２Ｄ画像が得られる。複数の３Ｄ画像に基づいてスティッチングアルゴリズムを実行すると、結果として大きな３Ｄ画像が得られる。複数の（例えばＬＩＤＡＲスキャナ、飛行時間センサ、または同様の装置からの）追加情報付き２Ｄ画像を処理するというスティッチングのステップを実行することも可能であり、この結果として大きな３Ｄ画像が得られる。この場合、スティッチングのステップは、追加情報付き２Ｄ画像データからの３Ｄ画像の再構築を含む。画像のスティッチングは、互いに対応し、一体にスティッチングされなければならない２つの画像に示される固有の特別な特徴を識別するステップを含む。これは、スティッチングプロセスにおいて結合される２つの画像の視野が少なくともわずかにオーバーラップすることを必要とする。
【0016】
スティッチングプロセスのこの前提条件を考慮して、本発明の一実施形態によれば、蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップは、後続の画像の視野が少なくともわずかにオーバーラップするように、当該シーケンスの個々の後続の画像を取り込むように実行される。
【0017】
しかしながら、スティッチングプロセスに使用することができる前述の追加情報は、例えば２Ｄ画像内のすべての個々のピクセルに割り当てられる深度情報に限定されない。一連の蛍光画像と可視光画像の画像取得中に、画像取り込み装置は、さらなるデータとして、画像取り込み装置の空間的配向に関するデータを取得することも可能である。空間的配向は、例えば検査室の座標系における画像取得装置の配向とすることができる。この配向は、３つの空間座標ｘ、ｙ、およびｚと、視方向（例えば検査室の座標系におけるベクトル）および視方向に対する画像取り込み装置の傾斜角（例えば視方向に対する画像取り込み装置の回転角）と共によって特徴付けることができる。この情報は、一連の可視光画像と蛍光画像の単一の画像（または蛍光画像と可視光画像を含む画像対）ごとに取り込むことができる。スティッチングのステップを実行するとき、空間内の画像取り込み装置の配向を示すこの追加情報を使用することができる。特に、例えば検査室の座標系における画像取り込み装置の配向は、身体部分に対する画像取り込み装置の配向に再計算することができる。この情報は、スティッチングのステップ中に身体部分の３Ｄ再構築を実行するときに使用することができる。
【0018】
さらに、スティッチングアルゴリズムを、任意のその他の用途に適用して、大きな可視光画像および大きな蛍光画像を生成することもできる。換言すれば、この方法は特にリンパ系の評価に限定されない。評価は、例えば血管や血流、または器官や組織の灌流評価に対して実行することができる。評価は、特定の特徴を持つ組織（例えば腫瘍組織など）の位置の視覚的特定、腺（例えば副甲状腺など）および神経の位置の特定も含む。このリストは網羅的なものではない。
【0019】
スティッチングアルゴリズムは、直視下手術でまたは最小侵襲手術で得られる画像に適用することができる。最小侵襲手術中に取り込まれ、スティッチングされる画像は、例えば、剛性シャフトを有する内視鏡または可撓性シャフトを有する内視鏡などの内視鏡を使用して取得することができる。
【0020】
本発明のさらなる態様によれば、蛍光剤を投与された身体部分における蛍光信号を測定し、当該身体部分の表面を撮像する方法があり、この方法は、
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を身体部分に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップであって、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、蛍光画像と可視光画像を取り込むステップと、
蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を身体部分に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップであって、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、蛍光画像と可視光画像を取り込むステップと、
蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
【0021】
特に、この方法は、
大きな可視光画像と大きな蛍光画像を出力するステップをさらに含む。
大きな可視光画像と大きな蛍光画像を出力するステップをさらに含む。
【0022】
この方法は、特に蛍光剤および／または色素の使用に限定されない。この方法は、例えば副甲状腺や腸組織などの特定の組織の自己蛍光の効果を利用することにより、色素を使用せずに実行することができる。さらに、自己蛍光がないことを利用して、例えば病変を判定することもできる。
【0023】
本発明のこの態様によれば、身体部分の、または身体部分における組織内で自己蛍光信号を測定する方法が提供される。組織や身体部分に蛍光剤を投与または与える必要はない。この方法は、自己蛍光が測定される組織が身体部分の一部を形成する身体部分の表面を撮像するステップを含む。この方法はさらに、
組織または身体部分の励起自己蛍光発光により放出光を生じさせるのに適した波長を有する励起光を組織または身体部分に照射することにより、および自己蛍光画像を提供するように放出光の空間分解測定により自己蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップであって、自己蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、自己蛍光画像と可視光画像を取り込むステップと、
自己蛍光画像と可視光画像の取り込みを繰り返して、一連の自己蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の自己蛍光画像にスティッチングアルゴリズムを適用して、大きな自己蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
組織または身体部分の励起自己蛍光発光により放出光を生じさせるのに適した波長を有する励起光を組織または身体部分に照射することにより、および自己蛍光画像を提供するように放出光の空間分解測定により自己蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップであって、自己蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、自己蛍光画像と可視光画像を取り込むステップと、
自己蛍光画像と可視光画像の取り込みを繰り返して、一連の自己蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の自己蛍光画像にスティッチングアルゴリズムを適用して、大きな自己蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
【0024】
この方法は特に、大きな可視光画像と大きな自己蛍光画像を出力するステップをさらに含む。
【0025】
本発明のさらなる別の態様によれば、この方法は、
一連の蛍光または自己蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像または大きな自己蛍光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、蛍光または自己蛍光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
一連の蛍光または自己蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像または大きな自己蛍光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、蛍光または自己蛍光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、を含む。
【0026】
換言すれば、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを蛍光画像に適用することも、その逆も可能である。
【0027】
さらに、蛍光画像が実際には可視光スペクトルで検出される画像であることは、以上に説明した方法の範囲内である。例えば、パテントブルー、メチレンブルー、またはイソスルファンブルーを蛍光剤または色素として適用する場合、この物質の発光が肉眼で見えるため、これに該当する。
【0028】
本発明の有利な実施形態によれば、方法は、大きな可視光画像と大きな蛍光画像とを重畳させて身体部分のオーバーレイ画像を提供するステップと、大きな可視光画像と大きな蛍光画像の出力としてオーバーレイ画像を出力するステップと、をさらに含む。
【0029】
有利には、本発明の態様による方法は、例えばリンパ浮腫を患った身体部分の可視光画像と、患った身体部分の個別の領域におけるリンパの濃度を示す、対応する蛍光画像とを示すオーバーレイ画像を提供する。すなわち、オーバーレイ画像は、可視光画像と蛍光画像との組合せである。蛍光画像は、例えば蛍光の強度が疑似カラープロットとして示される画像とすることができる。オーバーレイ画像は、リンパ系の状況の分析を改良し単純化する。蛍光信号を検出するための従来の測定方法では、典型的には、蛍光画像と組み合わされる可視光画像は存在しない。しかしながら、これは、リンパ輸送の異常が検出される正確な位置を特定することを非常に困難にする。これは、例えば蛍光画像においてこれらは強度スポットとして見えるからである。この欠点は、異なる測定が異なる時点で、または異なるオペレータによって実行される場合、さらに顕著になる。可視光画像へのリンクがなければ、異なる時点または異なる人によって取得された蛍光測定値を比較することは非常に困難である。可視光画像が蛍光画像と組み合わされていないか、または蛍光画像にリンクされていない場合、患者のフォローアップを実行すること、または治療の進行を監視することは困難である。
【0030】
蛍光画像をスティッチングするステップは、有利には、３Ｄ画像への画像の再構築を含む。一連の蛍光画像のスティッチングは、以前に可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットに基づいて実行される。
【0031】
蛍光画像は、典型的には、スティッチングプロセスの実行に適した貴重かつ特別な特徴を提供する。可視光画像と蛍光画像が、視方向および／または視点に関して既知の一定の関係によってリンクされているので、可視光画像に使用されるスティッチングアルゴリズムのパラメータは、蛍光画像のスティッチングにも適用することができる。言い換えれば、可視光画像と蛍光画像が、光学的に整合されたセンサを介して取り込まれるという事実のために、可視光画像のスティッチングと蛍光画像のスティッチングに同一のスティッチングパラメータを使用することができる。これは、スティッチングプロセスを著しく改良し、結果としてより良い品質の大きな蛍光画像が得られる。
【0032】
蛍光剤は、例えばＩＣＧ（インドシアニングリーン）またはメチレンブルーである。本明細書の文脈内では、「蛍光色素」または「色素」（「蛍光クロム」または「蛍光団」とも呼ばれる）という用語は、分子を蛍光性にする分子の成分を指す。この成分は、特定の波長のエネルギーを吸収し、別の特定の波長でエネルギーを再放出する分子内の官能基である。様々な態様では、蛍光剤は、蛍光色素、その類似体、その誘導体、またはこれらの組合せを含む。適切な蛍光色素は、インドシアニングリーン（ＩＣＧ）、フルオレセイン、メチレンブルー、イソスルファンブルー、パテントブルー、シアニン５（Ｃｙ５）、シアニン５．５（Ｃｙ５．５）、シアニン７（Ｃｙ７）、シアニン７．５（Ｃｙ７．５）、シペート、シリコンローダミン、５－ＡＬＡ、ＩＲＤｙｅ７００、ＩＲＤｙｅ８００ＣＷ、ＩＲＤｙｅ８００ＲＳ、ＩＲＤｙｅ８００ＢＫ、ポルフィリン誘導体、Ｉｌｌｕｍｉｎａｒｅ－１、ＡＬＭ－４８８、ＧＣＰ－００２、ＧＣＰ－００３、ＬＵＭ－０１５、ＥＭＩ－１３７、ＳＧＭ－１０１、ＡＳＰ－１９２９、ＡＶＢ－６２０、ＯＴＬ－３８、ＶＧＴ－３０９、ＢＬＺ－１００、ＯＮＭ－１００、ＢＥＶＡ８００を含むが、これらに限定されない。
【0033】
蛍光が自己蛍光に由来する実施形態では、自己蛍光を生じさせる蛍光団または薬剤のうちの１つ以上は、組織内因性蛍光団（例えば、ＮＡＤＨ、甲状腺、副甲状腺など）であり得る。
【0034】
本発明の態様による方法は、異なる蛍光剤および色素を用いて実行することができる。基本的に、適切な色素と、適切なまたは整合する励起光源との任意の組合せを適用することができる。この方法は、特定の組織（例えば、副甲状腺など）または分子の自己蛍光の効果を利用して、色素を使用せずに実行することもできる。
【0035】
適用可能で主にリンパ系に使用される色素の例としては、例えば、インドシアニングリーン（ＩＣＧ）、メチレンブルー、イソスルファンブルー、またはパテントブルーが挙げられる。パテントブルーは肉眼でも見える。したがって、蛍光を必要とせずに、画像のスティッチングを実行することができる。
【0036】
スティッチングアルゴリズムは、例えば画像を分析して際立つ特別な特徴を抽出するパノラマスティッチングアルゴリズムである。そして、これらの特徴が複数の画像において互いにリンクされ、画像変換（例えばシフト、回転、１つ以上の軸に沿った伸長、またはキーストーン補正）が実行される。リンクされている特徴の位置は、スティッチングパラメータとも呼ばれる画像変換パラメータを決定するために使用される。画像配向に続いて、画像はマージされ、それによって一体に「スティッチング」される。この変換は、可視光画像と蛍光画像の両方について同様に実行することができる。最後に、２つの画像が出力される。この出力は、例えば画面上に画像を表示するステップを含むことができる。例えば２つの画像が並んで示される。上述の実施形態によれば、２つの画像はオーバーレイ画像に示される。
【0037】
前述したように、一連の画像のスティッチングを実行するステップは、２Ｄ画像のスティッチングに限定されない。スティッチングのステップはまた、例えば一連の３Ｄ画像に基づくか、または一連の追加情報付き２Ｄ画像に基づく３Ｄ画像の再構築を含むこともできる。
【0038】
多くの場合、リンパ系の機能は体の四肢において冒される。しかしながら、蛍光信号の測定方法は、四肢の検査に限定されない。この方法は通常、身体部分の検査を指し、身体部分は、患者の手足であってもよいが、体幹、頭部、頸部、背中または身体の任意の他の部分であってもよい。身体部分が器官であることも可能である。この場合、リンパ流の指標として蛍光信号を測定する方法は、直視下手術中に実行される。手術が内視鏡や腹腔鏡を用いて実行される低侵襲手術である場合も同様である。
【0039】
本明細書の文脈内では、「可視光画像」は、現実世界の状況の画像である。これは、人間の目に見えるものと同様の画像印象を再現する。人間の目とは異なり、可視光画像は、カラー画像、グレースケール画像、または疑似カラースケールプロットであってもよい。可視光画像は、蛍光剤を投与された組織を含む身体部分の表面を示す。組織が身体部分の表面に配置されている場合、身体部分の表面の撮像は、組織の表面の撮像を含む。
【0040】
別の有利な実施形態によれば、蛍光画像と可視光画像の視方向および視点は同一であり、特に、蛍光画像と可視光画像は、まったく同一の、特に単一の対物レンズを介して取り込まれる。
【0041】
有利には、蛍光画像と可視光画像は、プリズムアセンブリおよびそれに割り当てられた複数の画像センサを備える画像取り込み装置で取り込むことができる。蛍光および可視光は、共通の光束としてプリズムアセンブリのまったく同一の入射面を通ってプリズムアセンブリに入射する。プリズム構造は、可視波長範囲を、蛍光剤の励起発光が典型的に起こる赤外波長範囲から分離するためのフィルタを備える。異なる波長帯域、すなわち可視光（Ｖｉｓとも略される）と赤外光（ＩＲとも略される）は、異なるセンサに向けられる。たった１つの対物レンズを介して可視光画像と蛍光画像を取り込むことにより、２つの画像の視方向および視点の完全な整合が可能になる。特に、可視光画像と蛍光画像の視方向および視点は同一である。
【0042】
有利な実施形態では、蛍光画像の取り込みと可視光画像の取り込みは、蛍光画像の信号と可視光画像の信号との間の時間スイッチングなしに同時に実行される。
【0043】
有利には、本方法は、信号の時間スイッチングを不要にする。これは、蛍光画像である赤外画像と可視光画像が別々の画像センサを用いて正確に同時に取り込まれるため、有利である。したがって、画像を高フレームリピートレートで取り込むこともでき、これにより、信頼性の高い手と目の協調が必要な状況で本方法を適用することが可能になる。６０ｆｐｓ以上の高フレームレートが可能である。時間スイッチングが適用される場合、高フレームレートは通常達成することはできない。また、蛍光画像と可視光画像を個々のセンサで取り込むとき、センサは正確に焦点を合わせて配置することができる。さらに、センサの設定は、可視光画像と蛍光画像の画像取得のための個々の要件に合わせて調整することができる。これは、例えばセンサゲイン、ノイズ低減、露光時間などの調整に関係する。
【0044】
さらに別の有利な実施形態によれば、蛍光画像を取り込むステップと、組織に励起光を照射するステップと、同時に可視光画像を取り込むステップとは、単一の画像取り込み装置によって実行される。光照射と画像取得が１つの装置に統合されると、蛍光信号の測定および可視画像の同時取得の全体的なプロセスを改良することができる。
【0045】
この実施形態の有利な態様によれば、方法は、可視光画像で取り込まれる身体部分の表面と取り込み装置との間の距離を測定するステップと、特に、測定された距離を示す信号を画像取り込み装置によって出力するステップと、をさらに含む。光照射および画像取り込みを最適化して最良の画像取得条件を見つけるために、異なる距離での測定を実行することができる。次いで、この最良適合の距離を、後続の測定用の目標距離として撮像システムに記憶することができる。
【0046】
本発明の一実施形態によれば、本方法は、測定された距離を示す信号を画像取り込み装置によって出力するステップを含むという点でさらに改良することができる。例えば、視覚信号および／またはオーディオ信号を画像取り込み装置によって出力することができる。この信号は、画像取得が身体部分の表面に対して少なくともほぼ一定の距離で実行されるように、画像取り込み装置を扱うときにオペレータを案内することができる。画像取り込み装置における距離センサとユーザサポート出力（視覚または光学信号）との統合は、オペレータがより均一な光照射で画像を取り込むことを可能にする。これにより、蛍光信号の測定の品質が向上する。
【0047】
最良適合距離を決定するために、本方法は、距離を測定しながら身体部分の表面の同じ部分の蛍光画像と可視光画像を繰り返し取り込むステップをさらに含むことができる。異なる距離で複数セットの蛍光と可視光画像が取り込まれる。続いて、撮像品質に応じて画像セットの分析が実行され、最高品質の画像をもたらす最良整合距離が決定される。
【0048】
オーディオ信号または光学信号とすることができる出力信号は、最良整合距離からの測定された距離の偏差を示すこともできる。したがって、測定中に、特に光照射に関して最適な画像取り込み条件が適用されているか否かがオペレータに直接通知される。
【0049】
さらに、画像取り込みのステップは、ロボットまたは別の自動カメラホルダによって実行することができる。この実施形態では、出力信号は、最良整合距離に調整するために、ロボットまたは自動カメラホルダへの入力として使用される。この場合、信号出力を必要とせず、ロボットまたはカメラホルダは、保存されている最良整合距離に応じて自動的に移動する。
【0050】
本発明のさらなる別の実施形態によれば、蛍光信号の測定は、少なくとも第１および第２の蛍光剤を投与された組織に対して実行され、蛍光画像を取り込むステップは、
第１の蛍光剤の第１の励起発光により放出光を生じさせるのに適した第１の波長を有する第１の励起光を組織に照射することにより生成される、第１の波長範囲の第１の蛍光画像を取り込むことと、
第２の蛍光剤の第２の励起発光により放出光を生じさせるのに適した第２の波長を有する第２の励起光を組織に照射することにより生成される、第２の波長範囲の第２の蛍光画像を取り込むことと、を含み、方法は、
第１および第２の蛍光画像の取り込みを繰り返して、第１および第２の一連の蛍光画像を提供するステップと、第１および第２の一連の蛍光画像にスティッチングアルゴリズムを適用して、第１および第２の大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
第１および第２の大きな蛍光画像を出力するステップと、をさらに含む。
第１の蛍光剤の第１の励起発光により放出光を生じさせるのに適した第１の波長を有する第１の励起光を組織に照射することにより生成される、第１の波長範囲の第１の蛍光画像を取り込むことと、
第２の蛍光剤の第２の励起発光により放出光を生じさせるのに適した第２の波長を有する第２の励起光を組織に照射することにより生成される、第２の波長範囲の第２の蛍光画像を取り込むことと、を含み、方法は、
第１および第２の蛍光画像の取り込みを繰り返して、第１および第２の一連の蛍光画像を提供するステップと、第１および第２の一連の蛍光画像にスティッチングアルゴリズムを適用して、第１および第２の大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
第１および第２の大きな蛍光画像を出力するステップと、をさらに含む。
【0051】
上記の実施形態によれば、蛍光剤は、第１および第２の蛍光色素を含む。第１の蛍光色素は、例えばメチレンブルーであってもよく、第２の色素はＩＣＧであってもよい。この実施形態によれば、蛍光画像を取り込むステップは、第１の蛍光色素によって放出される蛍光の第１の蛍光画像を取り込むステップと、第２の蛍光色素によって放出される蛍光の第２の蛍光画像を取り込むステップと、を含む。２つの画像の取り込みは、特に時間スイッチングなしに実行される。第１の蛍光画像は、第１の蛍光色素としてメチレンブルーを使用する場合、７００ｎｍ～８００ｎｍの波長範囲で画像を取り込むことができる。第２の蛍光画像は、第２の蛍光色素としてＩＣＧを使用する場合、８００ｎｍ～９００ｎｍの波長範囲で画像を取り込むことができる。２つの異なる蛍光剤に基づく蛍光撮像は、測定および診断の新しい可能性を提供する。
【0052】
この目的は、蛍光剤を投与された身体部分の組織における蛍光信号を測定するように構成され、かつ蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像するように構成された画像取り込みおよび処理装置によってさらに解決され、画像取り込みおよび処理装置は、
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射するように構成された光照射部と、
蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むように構成された蛍光撮像部と、身体部分の表面の一部分の可視光画像を取り込むように構成された可視光撮像部と、であって、蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するようにさらに構成される、蛍光撮像部と可視光撮像部と、をさらに含む、撮像部を含み、画像取り込みおよび処理装置は、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するように構成されたスティッチング部であって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用し、
スティッチング部が、一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するようにさらに構成され、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部と、
大きな可視光画像と大きな蛍光画像を出力するように構成された出力部と、を含む。
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射するように構成された光照射部と、
蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むように構成された蛍光撮像部と、身体部分の表面の一部分の可視光画像を取り込むように構成された可視光撮像部と、であって、蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するようにさらに構成される、蛍光撮像部と可視光撮像部と、をさらに含む、撮像部を含み、画像取り込みおよび処理装置は、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するように構成されたスティッチング部であって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用し、
スティッチング部が、一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するようにさらに構成され、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部と、
大きな可視光画像と大きな蛍光画像を出力するように構成された出力部と、を含む。
【0053】
蛍光信号を測定する方法に関して述べたのと同じまたは類似の利点および有利な態様は、同じまたは類似の方法で画像取り込みおよび処理装置に適用されるので、ここでは繰り返さない。
【0054】
装置は、スティッチング部が、可視光画像のスティッチングと蛍光画像のスティッチングに同じスティッチングアルゴリズムを適用するように構成されるように構成される。スティッチングアルゴリズムは、蛍光画像のスティッチングに、可視画像のスティッチング用に決定され、使用された同じスティッチングパラメータを使用する。装置はまた、スティッチング部が、蛍光画像のスティッチング用に決定され、使用された同じスティッチングパラメータを可視光画像のスティッチングに適用するようなスティッチングアルゴリズムを適用するように構成されるように構成される。前述したように、スティッチングは、２Ｄ画像のスティッチングに限定されない。３Ｄ画像に基づいてスティッチングを実行することも可能である。さらに、スティッチングは、３Ｄ画像の画像再構築を含むことができる。これもまた、スティッチング部によって実行することができる。スティッチング部は、例えば３Ｄ再構築の実行のために追加の情報を考慮に入れるようにさらに構成することができる。この追加情報は、例えば画像取り込み装置の配向、または３Ｄ画像の一部を形成するか、または走査手順の結果である深度情報とすることができる。本発明の一実施形態によれば、画像取り込み装置は、身体部分の表面を走査するためのスキャナ、例えばＬＩＤＡＲスキャナ、飛行時間カメラ、または任意の他の同等の装置を備える。
【0055】
この装置は特にリンパ系の評価に限定されない。この装置は、例えば血管や血流の評価、または器官や組織の灌流評価を実行するように構成することができる。評価は、特定の特徴を持つ組織（例えば腫瘍組織など）の位置の視覚的特定、腺（例えば副甲状腺など）および神経の位置の特定も含むことができる。このリストは網羅的なものではない。
【0056】
さらに、装置は蛍光剤および／または色素の使用に限定されない。この装置は、例えば副甲状腺などの特定の組織の自己蛍光の効果を利用することにより、色素を使用せずに動作することができる。したがって、本発明のさらなる態様によれば、身体部分の、または身体部分上の組織内の自己蛍光信号を測定するように構成された画像取り込みおよび処理装置があり、この画像取り込みおよび処理装置は、組織が身体部分の一部を形成する身体部分の表面を撮像するようにさらに構成され、この画像取り込みおよび処理装置は、
励起自己発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射するように構成された光照射部と、
自己蛍光画像を提供するように放出光の空間分解測定により自己蛍光画像を取り込むように構成された蛍光撮像部と、
身体部分の表面の一部分の可視光画像を取り込むように構成された可視光撮像部であって、蛍光撮像部と可視光撮像部が、自己蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
蛍光撮像部と可視光撮像部が、自己蛍光画像と可視光画像の取り込みを繰り返して、一連の自己蛍光画像と一連の可視光画像を提供するようにさらに構成される、可視光撮像部と、をさらに含む、撮像部を含み、画像取り込みおよび処理装置は、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するように構成されたスティッチング部であって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用し、
スティッチング部が、一連の自己蛍光画像にスティッチングアルゴリズムを適用して、大きな自己蛍光画像を生成するようにさらに構成され、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部と、
大きな可視光画像と大きな自己蛍光画像を出力するように構成された出力部と、を含む。
励起自己発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射するように構成された光照射部と、
自己蛍光画像を提供するように放出光の空間分解測定により自己蛍光画像を取り込むように構成された蛍光撮像部と、
身体部分の表面の一部分の可視光画像を取り込むように構成された可視光撮像部であって、蛍光撮像部と可視光撮像部が、自己蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされるように構成され、
蛍光撮像部と可視光撮像部が、自己蛍光画像と可視光画像の取り込みを繰り返して、一連の自己蛍光画像と一連の可視光画像を提供するようにさらに構成される、可視光撮像部と、をさらに含む、撮像部を含み、画像取り込みおよび処理装置は、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するように構成されたスティッチング部であって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用し、
スティッチング部が、一連の自己蛍光画像にスティッチングアルゴリズムを適用して、大きな自己蛍光画像を生成するようにさらに構成され、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、スティッチング部、をさらに含む、処理部と、
大きな可視光画像と大きな自己蛍光画像を出力するように構成された出力部と、を含む。
【0057】
別の実施形態によれば、画像取り込みおよび処理装置は、大きな可視光画像と大きな蛍光画像とを重畳させて身体部分のオーバーレイ画像を提供するように構成された重畳部をさらに備え、出力部は、大きな可視光画像と大きな蛍光画像の出力としてオーバーレイ画像を出力するようにさらに構成されるという点でさらに改良される。
【0058】
さらに別の有利な実施形態によれば、装置は、蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像の視方向および視点が同一であるように構成され、特に、蛍光撮像部と可視光撮像部が、蛍光画像と可視光画像がまったく同一の対物レンズを介して取り込まれるように構成されるという点でさらに改良される。
【0059】
さらに、装置は、蛍光撮像部と可視光撮像部が、蛍光画像の信号と可視光画像の信号との間の時間スイッチングなしに、蛍光画像と可視光画像を同時に取り込むように構成されるという点で改良される。
【0060】
さらに、蛍光撮像部および可視光撮像部を備える画像取り込み装置は、入射面を介して蛍光および可視光を受光するように構成されたダイクロイックプリズムアセンブリをさらに備え、ダイクロイックプリズムアセンブリは、第１のプリズムと、第２のプリズムと、第１のプリズムと第２のプリズムとの間に配置された第１の補償器プリズムと、
可視光を３つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリと、第２のプリズムとさらなるダイクロイックプリズムアセンブリとの間に配置された第２の補償器プリズムと、を備え、
第１のプリズムおよび第２のプリズムは各々、少なくとも５つの角を有する断面を有し、各角は少なくとも９０度の内角を有し、第１のプリズムおよび第２のプリズムの角は各々、個別の入射面および個別の出射面を有し、そして各々が、当該入射面の法線に平行な方向に個別のプリズムの入射面に入射する入射ビームが、個別のプリズムの内部で２回反射され、当該出射面の法線に平行なその出射面を介して個別のプリズムを出射するように設計され、
個別のプリズムの入射面の法線と出射面の法線とは、互いに垂直であり、
光が入射面を通って第１のプリズムに入射すると、光は、第１のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第１のプリズムの出射面までの第１の経路長を進み、光は、第１の補償器プリズムを介して第２のプリズムに部分的に入射し、第２のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第２のプリズムの出射面までの第２の経路長を進み、
第１と第２の経路長とが同じになるように、第１のプリズムは、第２のプリズムよりも大きい。
可視光を３つの光成分に分割するためのさらなるダイクロイックプリズムアセンブリと、第２のプリズムとさらなるダイクロイックプリズムアセンブリとの間に配置された第２の補償器プリズムと、を備え、
第１のプリズムおよび第２のプリズムは各々、少なくとも５つの角を有する断面を有し、各角は少なくとも９０度の内角を有し、第１のプリズムおよび第２のプリズムの角は各々、個別の入射面および個別の出射面を有し、そして各々が、当該入射面の法線に平行な方向に個別のプリズムの入射面に入射する入射ビームが、個別のプリズムの内部で２回反射され、当該出射面の法線に平行なその出射面を介して個別のプリズムを出射するように設計され、
個別のプリズムの入射面の法線と出射面の法線とは、互いに垂直であり、
光が入射面を通って第１のプリズムに入射すると、光は、第１のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第１のプリズムの出射面までの第１の経路長を進み、光は、第１の補償器プリズムを介して第２のプリズムに部分的に入射し、第２のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第２のプリズムの出射面までの第２の経路長を進み、
第１と第２の経路長とが同じになるように、第１のプリズムは、第２のプリズムよりも大きい。
【0061】
有利には、上記の５つのプリズムアセンブリは、２つの蛍光撮像波長および可視光撮像用の３つの色、例えば赤、青および緑を取り込むことを可能にする。５つのプリズムアセンブリは、入射面からセンサのそれぞれ１つに進む光の光路が同じ長さを有するという点で有利である。したがって、すべてのセンサの焦点が合っており、さらに、センサの信号間にタイミングギャップがない。有利には、装置は、受信信号の時間スイッチングを必要としない。これにより、高フレームレートで高画質の画像取り込みが可能となる。
【0062】
さらなる別の態様によれば、蛍光撮像部と可視光撮像部を備える画像取り込み装置は、第１、第２および第３のセンサに蛍光および可視光をそれぞれ向けるための第１、第２および第３の光路を画定し、画像取り込み装置は、入射面を介して蛍光および可視光を受光するように構成されたダイクロイックプリズムアセンブリをさらに備え、ダイクロイックプリズムアセンブリは、第１のプリズムと、第２のプリズムと、第３のプリズムと、を含み、各プリズムは、それぞれ第１、第２および第３の出射面を有し、第１の出射面に第１のセンサが設けられ、第２の出射面に第２のセンサが設けられ、第３の出射面に第３のセンサが設けられ、特に、第１の光路に第１のフィルタが設けられ、第２の光路に第２のフィルタが設けられ、第３の光路に第３のフィルタが設けられ、
第１、第２、および第３のフィルタは、任意の順序で、緑色フィルタと、赤外線フィルタと、赤色／青色のパターンフィルタであって、赤色／青色のパターンフィルタは、赤色／青色のパターンフィルタが受光する光の半分が青色のフィルタを通過し、赤色／青色のパターンフィルタが受光する光の半分が赤色のフィルタを通過するように、交互のパターンで赤色および青色のフィルタを含む。
第１、第２、および第３のフィルタは、任意の順序で、緑色フィルタと、赤外線フィルタと、赤色／青色のパターンフィルタであって、赤色／青色のパターンフィルタは、赤色／青色のパターンフィルタが受光する光の半分が青色のフィルタを通過し、赤色／青色のパターンフィルタが受光する光の半分が赤色のフィルタを通過するように、交互のパターンで赤色および青色のフィルタを含む。
【0063】
さらに、別の態様によれば、第１、第２、および第３のフィルタは、任意の順序で、赤色／緑色／青色のパターンフィルタ（ＲＧＢフィルタ）、第１の赤外線フィルタ、第２の赤外線フィルタ、であり、特に、第１と第２の赤外線フィルタが異なる光透過波長を有する。
【0064】
換言すれば、第１と第２の赤外線フィルタは、異なるＩＲ波長間隔における、例えば典型的な蛍光色素が第１の蛍光ピークを発する第１のＩＲ帯域と、典型的な蛍光色素が第２の蛍光ピークを発する第２のＩＲ帯域と、におけるＩＲ光をフィルタリングするためのものである。典型的に、第１のＩＲ帯域に比べて、第２のＩＲ帯域がより高い波長に位置する。第１と第２の赤外線フィルタは、異なる蛍光剤の発光帯域に合わせて調整することもできる。したがって、例えば第１の蛍光剤の発光は、第１のフィルタを通過し（特に第２のフィルタによってブロックされ）、対応する第１のセンサで検出することができ、第２の蛍光剤の発光は、第２のフィルタを通過し（特に第１のフィルタによってブロックされ）、対応する第２のセンサで検出することができる。例えば、第１のフィルタはメチレンブルーの蛍光発光を測定するように構成することができ、第２のフィルタは、ＩＣＧの蛍光発光を測定するように構成することができる。
【0065】
画像取り込みおよび処理装置はまた、光照射部と、蛍光撮像部と、可視光撮像部とが単一の画像取り込み装置内に配置され、画像取り込み装置が、可視光画像で取り込まれる身体部分の表面との距離を測定するように構成された測定部をさらに備え、特に、画像取り込み装置が、測定された距離を示す信号を出力するように構成されるという点でさらに改良することができる。
【0066】
また、実施形態に関して、蛍光信号を測定する方法に関して述べたのと同じまたは同様の利点および有利な態様が適用される。
【0067】
この目的は、前述の実施形態のうちの１つ以上に係る画像取り込みおよび処理装置における画像取り込み装置として構成される内視鏡または腹腔鏡によってさらに解決される。有利には、画像取り込みおよび処理用の装置は、直視下手術において、ならびに内視鏡または腹腔鏡を用いる手術中に使用することができる。方法および／または装置に関して述べたのと同じまたは類似の利点は、同じまたは類似の方法で内視鏡または腹腔鏡に適用される。
【0068】
この目的は、リンパ浮腫を診断する方法によってさらに解決され、この方法は、
身体部分に蛍光剤を投与するステップと、
蛍光剤を投与された身体部分の組織内の蛍光信号を測定するステップと、蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像するステップと、
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップ、であって、
蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、
蛍光画像と可視光画像を取り込むステップを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
大きな可視光画像と大きな蛍光画像を出力するステップと、
出力画像を分析することにより、リンパ浮腫の重症度に関連する診断結果を導き出すステップと、を含む。
身体部分に蛍光剤を投与するステップと、
蛍光剤を投与された身体部分の組織内の蛍光信号を測定するステップと、蛍光剤を投与された組織が身体部分の一部を形成する身体部分の表面を撮像するステップと、
蛍光剤の励起発光により放出光を生じさせるのに適した波長を有する励起光を組織に照射することにより、および蛍光画像を提供するように放出光の空間分解測定により蛍光画像を取り込むステップと、
身体部分の表面の少なくとも一部分の可視光画像を取り込むステップ、であって、
蛍光画像と可視光画像の視方向および／または視点が既知の関係を介してリンクされる、可視光画像を取り込むステップと、
蛍光画像と可視光画像を取り込むステップを繰り返して、一連の蛍光画像と一連の可視光画像を提供するステップと、
一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分の大きな可視光画像を生成するステップであって、スティッチングアルゴリズムは、スティッチングパラメータのセットを決定して適用する、ステップと、
一連の蛍光画像にスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するステップであって、スティッチングアルゴリズムは、可視光画像のスティッチングを実行するときに決定されたスティッチングパラメータのセットを適用する、ステップと、
大きな可視光画像と大きな蛍光画像を出力するステップと、
出力画像を分析することにより、リンパ浮腫の重症度に関連する診断結果を導き出すステップと、を含む。
【0069】
リンパ浮腫を診断する方法は、より高い精度および信頼性で有利に実行することができ、したがって、より良好な結果を提供する。このまったく新しいアプローチは、リンパ浮腫を診断する古典的な方法を有利に置き換えることができる。リンパ浮腫を診断する伝統的な方法は、医師による身体患部の手動検査である。しかしながら、診断を実行するこの方法は、必然的に、医師の個人的な経験および資質に起因する、再現不能でランダムな要素を含む。さらに、リンパ浮腫を診断する方法は、蛍光信号を測定する方法に関して前述したのと同じまたは類似の利点を含む。
【0070】
リンパ浮腫を診断する方法は、患者の足または手の趾節骨または指節骨間の組織に蛍光剤を注射することによって、蛍光剤を患者の腕または脚に投与するという点でさらに改良される。典型的に、腕および／または脚がリンパ浮腫に罹患する。したがって、これらの肢に関して実行される際に、リンパ浮腫を診断する新規で成功した方法の適用が特に有用である。
【0071】
目的はまた、患者のリンパ浮腫を診断する前述の方法に従ったステップを実行することによってリンパ浮腫の重症度を診断するステップを含む、リンパ浮腫の長期療法の方法によっても解決される。さらに、長期療法の方法は、
患者に対して療法を実行するステップであって、リンパ浮腫の重症度に対する診断結果に合わせて療法を調整するステップと、
リンパ浮腫の重症度を診断するステップと、患者に対して療法を実行するステップとを繰り返すステップであって、各反復において、リンパ浮腫の検出された重症度に応じて療法を調整する、ステップと、を含む。
患者に対して療法を実行するステップであって、リンパ浮腫の重症度に対する診断結果に合わせて療法を調整するステップと、
リンパ浮腫の重症度を診断するステップと、患者に対して療法を実行するステップとを繰り返すステップであって、各反復において、リンパ浮腫の検出された重症度に応じて療法を調整する、ステップと、を含む。
【0072】
本発明の態様による長期療法の方法は、リンパ浮腫の診断が、従来の方法とは対照的に、疾患の重症度に関する客観的結果を提供するので、特に有用である。長期療法の成功は、客観的な観点から分析することができる。したがって、療法の成功を考察する際に、分析および診断はさらに役立つ。
【0073】
本発明のさらなる特徴は、特許請求の範囲および含まれる添付図面と共に本発明に係る実施形態を説明することから明らかになるであろう。本発明に係る実施形態は、個々の特性またはいくつかの特性の組合せを満たすことができる。
【0074】
本発明は、例示的な実施形態に基づいて、本発明の一般的な意図を制限することなく以下に説明される。本文では詳細に説明されていない本発明によるすべての詳細の開示に関して、図面を明示的に参照する。
【図面の簡単な説明】
【0075】
【図1】画像取り込みおよび処理装置の概略図を示す。
【図2】画像取り込みおよび処理装置の画像取り込み装置および処理部の概略図を示す。
【図3a】可視光画像の一例を示す。
【図5】画像取り込み装置の内部プリズムアセンブリを示す概略図を示す。
【図6】画像取り込み装置を含む内視鏡または腹腔鏡の概略図を示す。
【図7】スティッチングアルゴリズムのフローチャートを示す。
【図8】画像取り込み装置の別の内部プリズムアセンブリを示す概略図を示す。
【発明を実施するための形態】
【0076】
図面において、項目を再度紹介する必要がないように、同じまたは類似の種類の要素または対応する部分には、同じ参照番号が付されている。
【0077】
図１は、患者６の身体部分４の組織内の蛍光信号を測定するように構成された画像取り込みおよび処理装置２を示す。単なる一例として、検査される患者６の身体部分４は腕である。蛍光信号の測定は、患者６の他の身体部分４、例えば脚、頭の一部、首、背中、または身体の任意の他の部分に対して実行することもできる。この測定は、直視下手術中に実行することもできる。この適用シナリオでは、身体部分４は、例えば患者６の内部器官とすることができる。蛍光信号の測定は、低侵襲手術中に実行することもできる。この応用シナリオでは、画像取り込みおよび処理装置２は、例えば内視鏡または腹腔鏡に少なくとも部分的に組み込まれる。例えば、内視鏡または腹腔鏡は、画像取り込み装置１０を備える。
【0078】
最初に測定を開始する前に、蛍光剤８が患者の身体部分４の組織に投与される、すなわち注射される。画像取り込みおよび処理装置２を示す図を参照して説明する場合もあるが、身体部分４の組織における蛍光信号の測定方法は、蛍光剤８を投与するステップを除外する。
【0079】
蛍光剤８は、例えばＩＣＧである。ＩＣＧ（インドシアニングリーン）は、４０年以上にわたって使用されている緑色の医療用色素である。ＩＣＧは、６００ｎｍ～８００ｎｍの波長を有する近赤外光で励起されると蛍光を発する。放出される蛍光は、７５０ｎｍ～９５０ｎｍである。蛍光剤８が２つの異なる医療用色素を含むことも可能である。例えば、蛍光剤８は、メチレンブルーとＩＣＧとの混合物であってもよい。
【0080】
蛍光剤８の投与後、図１に矢印で示すように、画像取り込みおよび処理装置２の一部を構成する画像取り込み装置１０を用いて患者の身体部分４を検査する。
【0081】
画像取り込み装置１０は、身体部分４の表面１１を撮像し、蛍光剤８への励起光の照射から生じる蛍光信号を検出するように構成される。画像取り込み装置１０が手術に適用される場合、身体部分４の表面１１は、例えば内部器官の表面である。この場合、身体部分４の表面１１は、蛍光剤８を投与された組織の表面と同一である。適切な励起波長を有する光を放出させるために、画像取り込み装置１０は、光照射部１６（図１には示されていない）を備える。
【0082】
取り込まれた画像は、同様に画像取り込みおよび処理装置２の一部を形成する処理部１２に通信される。分析の結果は出力され、例えば処理部１２のディスプレイ１４に表示される。画像取り込み装置１０は、医師３が操作することができる。
【0083】
図２は、画像取り込みおよび処理装置２の画像取り込み装置１０および処理部１２をより詳細に示す概略図である。画像取り込み装置１０は、蛍光剤８の発光を励起することによって蛍光を生じさせるのに適した波長を有する励起光を組織に照射するように構成された光照射部１６を備える。例えば、光照射部１６には、複数のＬＥＤが設けられている。
【0084】
画像取り込み装置１０は、可視光と蛍光を取り込む対物レンズ１８をさらに備える。光は、対物レンズ１８を通ってプリズムアセンブリ２０に導かれる。プリズムアセンブリ２０は、可視光画像をもたらす可視光から、特に７５０ｎｍ～９５０ｎｍの波長範囲にある蛍光を分離するように構成される。蛍光は、例えば必要に応じた追加の波長フィルタおよび電子部品付きのＣＣＤまたはＣＭＯＳセンサである蛍光撮像部２２に向けられる。蛍光撮像部２２は、蛍光画像を提供するように、放出光、すなわち蛍光剤８の励起発光の空間分解測定によって蛍光画像を取り込むように構成される。さらに、可視光撮像部２４があり、これは、必要に応じた追加の波長フィルタおよび電子部品付きの別のＣＣＤまたはＣＭＯＳセンサであってもよい。プリズムアセンブリ２０は、可視光撮像部２４が患者の身体部分４の表面１１の一部分の可視光画像を取り込むことを可能にするように、可視光撮像部に可視光を向けるように構成される。同様に、プリズムアセンブリ２０は、蛍光撮像部２２に蛍光を向けるように構成される。プリズムアセンブリ２０、蛍光撮像部２２および可視光撮像部２４については、以下でさらに詳細に説明する。
【0085】
一実施形態では、画像取り込み装置１０は、走査部、例えば画像ライン走査部またはＬＩＤＡＲ走査部である。画像取り込み装置１０はまた、深度情報を含む３Ｄ画像を計算することができる一対の立体画像を取り込むのに適した３Ｄカメラであってもよい。もちろん、画像取り込み装置１０は、これらの組合せであってもよい。
【0086】
画像データは、ワイヤレスデータリンクまたはワイヤードデータリンク、例えばデータケーブルとすることができる適切なデータリンク２６を介して画像取り込み装置１０から処理部１２に通信される。
【0087】
画像取り込み装置１０は、蛍光撮像部２２と可視光撮像部２４を動作させて、可視光画像と蛍光画像を同時に取り込むように構成される。特に、画像取り込み装置１０は、蛍光画像の信号と可視光画像の信号との間で時間スイッチングを実行しない。換言すれば、蛍光撮像部２２と可視光撮像部２４のセンサは、それぞれの波長範囲の画像を取り込むために排他的に使用され、すなわち、撮像部２２、２４のセンサは、ＩＲスペクトルの蛍光画像を取り込むために使用されるか、可視スペクトルの可視光画像を取り込むために使用される。センサ２２、２４は、両方の波長範囲の画像を取り込むために使用されない。これは大きな利点をもたらす。例えば、センサは、正確に焦点を合わせて配置することができるが、これは、画像センサが両方の目的、すなわち可視光と赤外光を取り込むために使用される場合には不可能である。これは、これらの異なる波長の焦点の位置が通常異なるためである。さらに、センサパラメータは、例えば必要な露光時間またはセンサゲインに関して個別に調整することができる。ＩＲ信号は通常、可視光信号よりも低いため、個々の設定は有利である。
【0088】
蛍光撮像部２２と可視光撮像部２４とは、互いの空間的な関係が固定される。これは、各部が画像取り込み装置１０の単一の取付構造またはフレーム内に配置されているためである。また、蛍光撮像部２２と可視光撮像部２４は、それぞれ、蛍光画像と可視光画像の撮像に同一の対物レンズ１８およびプリズムアセンブリ２０を用いる。これらの対策により、蛍光撮像部２２と可視光撮像部２４は、蛍光画像と可視光画像の視方向および視点が既知の一定の関係でリンクされるように構成される。所与の実施形態では、部２２、２４の両方が同じ対物レンズ１８を介して撮像するので、２つの画像の視方向は同一である。
【0089】
画像取り込み装置１０は、蛍光撮像部２２と可視光撮像部２４を動作させて、蛍光画像と可視光画像の取り込みを繰り返して、一連の蛍光画像と一連の可視光画像を提供するようにさらに構成される。この動作は、処理部１２が、蛍光撮像部２２の画像センサと可視光撮像部２４の画像センサを動作させることにより実行することができる。一連の画像は、典型的には、オペレータまたは医師３（図１参照）が患者６の身体部分４の長手方向Ｌに沿って画像取り込み装置１０を移動させている間に取り込まれる。この移動は、一連の画像の後続の画像がオーバーラップ部分を含むように実行することができる。言い換えれば、一連の画像の第１の画像に示される詳細は、一連の後続の第２の画像にも示される。これは、後続のスティッチングプロセスにとって重要である。対応する特徴を後続の画像で見つけられることを保証するために、画像取得の頻度を十分に高い値に設定することができる。画像の取り込みは、例えば医師３によって手動で開始することができ、または画像の取り込みは、記載の前提条件が満たされているので、画像取り込み装置１０によって制御することができる。
【0090】
画像取り込み装置１０は、この移動中に画像取り込み装置１０の位置および配向を取得するようにさらに構成することができる。例えば、検査室の基準系または患者６の基準系における画像取り込み装置１０の位置および配向は、取り込まれた画像または画像対ごとに決定することができる。この情報は、画像または可視画像と蛍光画像を含む画像対と共に記憶および通信することができる。この情報は、一連の２Ｄ画像から３Ｄ画像を生成するための、その後の画像の再構築に役立つことができる。
【0091】
二連の画像（すなわち、第１の一連の可視光画像と第２の一連の蛍光画像）または一連の画像対（各画像対は蛍光画像と可視光画像を含む）が取り込み装置１０によって取り込まれ、処理部１２に受信されると、一連の可視光画像は、スティッチング部２８によって処理される（図２を参照）。スティッチング部２８は、一連の可視光画像にスティッチングアルゴリズムを適用して、身体部分４の大きな可視光画像を生成するように構成される。大きな画像は、画像取り込み装置１０で分析される患者６の身体部分４のより大きな部分を単一の画像で示すという点で、「より大きい」。
【0092】
本明細書の文脈内では、「スティッチング」という用語は、スティッチングのプロセスが２つ以上の２Ｄ画像の組合せに限定されると理解されるべきではない。３Ｄ画像に基づいてスティッチングを実行することもでき、この処理の結果、より大きな３Ｄ画像となる。スティッチングのプロセスは、２Ｄ画像が取り込まれる視界方向に関する追加情報付きの２Ｄ画像に基づいて実行することもできる。画像取り込み装置１０の位置に関するさらなる情報も考慮に入れることができる。前述したように、これらのデータセットに基づいて、より大きな３Ｄ画像を生成することができ、すなわち、画像取り込み装置１０の位置および配向に関する情報付きの一連の２Ｄ画像から、より大きな３Ｄ画像に一体にスティッチングすることができる。例えばＬＩＤＡＲセンサからの３Ｄ走査データを２Ｄ画像情報と組み合わせることも可能である。この場合でもまた、スティッチング処理の結果は、より大きな３Ｄ画像となる。
【0093】
すべての用途において、スティッチングアルゴリズムは、可視光画像のスティッチングから始まる。スティッチングアルゴリズムは、スティッチング動作を実行するときにスティッチングパラメータのセットを生成して適用する。スティッチング部２８の詳細な動作については、以下でさらに説明する。スティッチング部２８は、一連の可視光画像だけでなく、一連の蛍光画像に対してもスティッチングアルゴリズムを適用して、大きな蛍光画像を生成するように構成される。この場合でもまた、スティッチングのプロセスは、２枚以上の２Ｄ画像の組合せに限定されない。可視光画像について上述したのと同様の方法で３Ｄ蛍光画像を生成することも可能である。
【0094】
蛍光画像のスティッチングに適用されるスティッチングアルゴリズムは、可視光画像のスティッチングに使用されるアルゴリズムと同じである。さらに、一連の蛍光画像のスティッチングは、可視光画像のスティッチングを実行するときに決定された同じスティッチングパラメータのセットに基づいて実行される。これは、可視光画像と蛍光画像の視方向および視点の間に固定された関係があるために可能である。もちろん、可視光画像と蛍光画像の視方向および視点が同一でない場合、固定オフセットまたはスティッチングパラメータのシフトを適用する必要がある。これは、ＩＲとＶｉｓ画像センサとの間、および対応する光学系の間の既知の固定された空間的関係を考慮に入れる。
【0095】
スティッチングに続いて、大きな可視光画像と大きな蛍光画像が出力される。例えば、ディスプレイ１４に画像が並べて表示される。従来の検査システムとは異なり、ディスプレイ１４は、互いに対応する可視光画像と蛍光画像を示す。言い換えれば、蛍光画像上で見ることができる詳細、例えば、リンパ液の蓄積を示す高い蛍光強度は、可視光画像に示される、患者の身体部分４の対応する位置で正確に見出すことができる。これにより、医師３は、リンパ液の蓄積が存在する領域を正確に特定することができる。これは、例えば、患者６のカスタマイズされた特定の療法にとって非常に価値のある情報である。
【0096】
可視光画像と蛍光画像、特に大きな可視光画像と大きな蛍光画像とを重畳させて、特に大きなオーバーレイ画像において、身体部分４のオーバーレイ画像を提供することも可能である。これは、処理部１２の重畳部３０により実行される。オーバーレイ画像は、ディスプレイ１４を介して出力することもできる。
【0097】
図３ａ）は、患者６の身体部分４の表面１１の一部分が見える可視光画像５の一例を示す。単なる一例として、患者の脚の一部分が示されている。図３ｂ）は、患者の脚の組織に投与された蛍光剤８の蛍光信号を測定することによって決定された対応する蛍光画像７を示す。蛍光信号の高強度のスポットまたは領域が見える。これは、患者の脚における遅いリンパ輸送およびリンパ浮腫の可能性に起因するリンパ液の蓄積を強く示唆する。有利には、ここで、医師３は、蛍光画像７を可視光画像５と比較することによって、遅いリンパ輸送が起こる領域の位置を特定することができる。
【0098】
【0099】
例示的な単一の可視光画像５と蛍光画像７も図４に見ることができ、それぞれ大きなオーバーレイ画像９に示される破線の間に投影される。可視光画像５と蛍光画像７とを一体にスティッチングすることにより、患者６の身体部分４のほぼ全体を示す大きなオーバーレイ画像９を提供することができる。蛍光信号は、可視光画像５の特徴と明確に区別するために疑似カラーで示すことができる。
【0100】
図５は、画像取り込み装置１０のプリズムアセンブリ２０の一実施形態である。第１のプリズムＰ１は、五角プリズムである。可視光と蛍光である入射光ビームＡは、入射面Ｓ１を介して第１のプリズムＰ１に入射し、入射面Ｓ１に隣接しない２つの面のうちの一方である面Ｓ２で部分的に反射される。次いで、反射ビームＢは、入射面Ｓ１に隣接する面のうちの第１の面に対して反射される。反射の角度は、反射が内部的なものにならないように、臨界角未満とすることができる（隣接する面は、光の漏れを回避し、必要な対象波長を反射するようにコーティングすることができる）。次いで、反射ビームＣは、入射光ビームＡと交差し、入射面Ｓ１に隣接する面のうちの第２の面からセンサＤ１に向けて第１のプリズムＰ１を出射する。ビームＡの一部は、面Ｓ２を通過して補償プリズムＰ２に入射する。２つの非内部反射を使用して、ビームＢおよびＣを介して入射ビームＡをセンサＤ１に向けることができる。さらに、プリズムＰ１とＰ２との間にエアギャップがなく、プリズムＰ３とＰ４との間にエアギャップがなく、プリズムＰ２とＰ３との間にエアギャップがなくてもよい。プリズムＰ２は、入射面Ｓ１からセンサＤ１～Ｄ５までの光路の個々の長さを調整するための補償器プリズムである。
【0101】
ビームＤは、Ｐ２から第２の五角プリズムＰ３に入射する。プリズムＰ１におけるのと同様に、ビーム自体を交差させるために内向き反射が使用される。簡潔にするために、ビームの説明は、プリズムＰ３において、ビーム部分Ｅ、Ｆ、およびＧがそれぞれ、プリズムＰ１におけるビーム部分Ａ、Ｂ、およびＣに対応すると述べることを除いて繰り返さない。プリズムＰ３はまた、入射ビームをセンサＤ２に向けて反射するために内部反射を使用しないこともできる。２つの非内部反射を使用して、ビームＦおよびＧを介して入射ビームＥをセンサＤ２に向けることができる。
【0102】
プリズムＰ３の後に、別の補償プリズムＰ４がある。最後に、ビームＨは、センサＤ３、Ｄ４およびＤ５をそれぞれ有するプリズムＰ５、Ｐ６およびＰ７を備えるダイクロイックプリズムアセンブリに入射する。ダイクロイックプリズムアセンブリは、それぞれのセンサＤ３、Ｄ４、およびＤ５に向けて可視光を赤、緑、および青の成分に分割するためのものである。光は、ビームＩを介してプリズムアセンブリに入射する。Ｐ５とＰ６との間に光学コーティングＣ１が配置され、プリズムＰ６とＰ７との間に別の光学コーティングＣ２が配置される。各光学コーティングＣ１およびＣ２は、異なる反射率および波長感度を有する。Ｃ１において、入射ビームＩは、光が入射したプリズムの同じ面に部分的に反射されて戻る（ビームＪ）。同じ面で、ここでは再び、Ｋとラベル付けされたビームがセンサＤ３に向かって反射される。ＪからＫへの反射は内部反射である。したがって、センサＤ３は、コーティングＣ１によって反射される光を受光し、センサＤ４は、コーティングＳ２によって反射されるビームＬからの光（ビームＭおよびＮ）をアナログ的に受光し、センサＤ５は、妨げられずにプリズムを横断するビームＯからの光を受光する。
【0103】
プリズムＰ４とプリズムＰ５との間にはエアギャップが存在する。プリズムアセンブリ２０では、各端点チャネルに対して（チャネルの端部にあるセンサに関して定義される）以下の総経路長を定義することができる。
センサＤ１（例えば、第１の近赤外）経路：Ａ＋Ｂ＋Ｃ
センサＤ２（例えば、第２の近赤外）経路：Ａ＋Ｄ＋Ｅ＋Ｆ＋Ｇ
センサＤ３（例えば、赤色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｊ＋Ｋ
センサＤ４（例えば、青色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｏ
センサＤ５（例えば、緑色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｍ＋Ｎ
センサＤ１（例えば、第１の近赤外）経路：Ａ＋Ｂ＋Ｃ
センサＤ２（例えば、第２の近赤外）経路：Ａ＋Ｄ＋Ｅ＋Ｆ＋Ｇ
センサＤ３（例えば、赤色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｊ＋Ｋ
センサＤ４（例えば、青色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｏ
センサＤ５（例えば、緑色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｍ＋Ｎ
【0104】
経路長が整合するため、Ａ＋Ｂ＋Ｃ＝Ａ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋ｌ＋Ｊ＋Ｋ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋ｌ＋Ｏ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｍ＋Ｎである。
【0105】
経路長の整合は、センサＤ１～Ｄ５で検出される波長の焦点面の焦点位置の差の調整を含むことができる。すなわち、例えば、青色（Ｂ）光のセンサに向かう経路長は、赤色（Ｒ）光のセンサに向かう経路長と正確に同じではない場合がある。なぜなら、鮮明な合焦画像を形成するための理想的な距離は、光の波長にある程度依存するからである。プリズムは、これらの依存関係を可能にするように構成することができる。Ｄ＋Ｈの長さは、補償器プリズムＰ２、Ｐ４の横方向の変位による波長シフトの結果として調整されて、焦点補償器として機能することができる。
【0106】
焦点シフトおよび補償用に、経路Ｉ内のより大きなエアギャップを、追加のフィルタに使用するか、またはそれをガラス補償器で埋めることができる。ビームＪからビームＫへの経路内の内部反射のために、赤色プリズムのその特定の底面にエアギャップが存在する必要がある。プリズム出力面とセンサＤ１～Ｄ５の各々との間に、追加のフィルタを設けるか、またはガラス補償器で適宜に埋めるための空間を確保する必要がある。
【0107】
センサＤ１およびＤ２は、蛍光画像７を取り込むために構成されたＩＲセンサである。一例として、適切な電子部品付きのセンサＤ１およびＤ２が、蛍光撮像部２２の一部である。センサＤ３、Ｄ４およびＤ５は、可視光画像５の３つの成分を取り込むためのものである。一例として、適切な電子部品付きのセンサＤ３、Ｄ４およびＤ５が、可視光撮像部２４の一部である。それぞれの部、すなわち、蛍光撮像部２２および可視光撮像部２４のそれぞれの一部であるセンサに光ビームを向ける対応するプリズムを考えることもできる。
【0108】
図６は、本発明の一実施形態に係る内視鏡５０または腹腔鏡を概略的に示す。本発明の態様を考慮する際に、腹腔鏡と内視鏡との間の違いは比較的小さい。したがって、説明が内視鏡に言及する場合、腹腔鏡構成も通常可能である。単なる一例として、以下では、内視鏡５０について言及する。
【0109】
内視鏡５０は、上でかなり詳細に説明した画像取り込み装置１０を備える。画像取り込み装置１０は、蛍光画像７と可視光画像５を取り込む対物レンズ１８を備える。対物レンズ１８は、プリズムアセンブリ２０の入射面Ｓ１を介した入射光をセンサＤ１～Ｄ５に合焦させる。対物レンズ１８はまた、プリズム後方焦点距離に整合するように内視鏡部の最後の部分に一体化されてもよい。
【0110】
内視鏡５０は、内視鏡５０に光を結合する光源５４に接続された光ファイバ５２を備える。光源５４は、身体部分４の表面１１の照明および可視光画像５の取り込みのために白色光を提供することができる。さらに、光源５４は、蛍光剤として投与された蛍光色素を励起して蛍光を発させるのに適した励起光を発するように構成することができる。言い換えると、光源５４は、可視光とＩＲスペクトルの光の両方を発するように構成することができる。
【0111】
内視鏡５０のシャフト５６の内部で、光ファイバ５２はいくつかのファイバ５１に分割される。内視鏡５０は、可撓性シャフト５６または剛性シャフト５６を有することができる。剛性シャフト５６では、レンズ素子および／またはリレーロッドレンズからなるレンズ系を使用して、シャフト５６を通して光を導くことができる。内視鏡５０が可撓性シャフト５６を有する場合、ファイバ束５１は、光源５４の光を内視鏡シャフト５６の先端部に導くために使用することができる。検査現場から来る内視鏡シャフト５６の遠位端（図６には示されていない）からの光をシャフト５６の近位端の画像取り込み装置１０に導くために、内視鏡５０のシャフト５６内にファイバ束５８が配置される。図示されていない別の実施形態では、画像取り込み装置１０全体を小型化し、内視鏡シャフト５６の遠位端または端部に配置することができる。
【0112】
図７は、可視光画像と蛍光画像のスティッチングに使用できるスティッチングアルゴリズムのフローチャートを示す。フローチャートは、多かれ少なかれ自明であり、かなり簡潔に説明する。第１に、取得された一連の画像（Ｓ１）は、処理部１２のスティッチング部２８に転送される。次に、アルゴリズムは、フレーム予備選択を実行する（ステップＳ２）。この予備選択ステップでは、スティッチングに適したフレームが選択される。Ｓ３は、スティッチングされるべき選択された画像を表し、次いで、それらは前処理を受ける（ステップＳ４）。前処理された画像（Ｓ５）内で、特徴抽出が実行される（ステップＳ６）。画像特徴が抽出されると（Ｓ７）、Ｓ３からの既知の画像と、ステップＳ７から抽出された特徴とを用いて、画像マッチング（ステップＳ８）が実行される。選択された画像に基づいて（Ｓ９）、画像の変換が推定される（ステップＳ１０）。スティッチングパラメータとも呼ばれる画像変換のこの推定値（Ｓ１１）が適用される（ステップＳ１２）。変換を適用すると、画像が変換される（Ｓ１３）。さらなる画像補正、例えば露出補正を実行することができる（ステップＳ１４）。変換および補正された画像（Ｓ１５）は、継ぎ目、すなわち画像が一体に結合される線の位置を特定すること（ステップＳ１６）によって一体にスティッチングされる。継ぎ目の位置を示すデータ（Ｓ１７）は、変換および補正された画像（Ｓ１２）と共に使用されて、画像の合成を作成する（ステップＳ１８）。所与の実施形態では、これは、スティッチング結果として大きな可視光画像または大きな蛍光画像をもたらす（Ｓ１９）。
【0113】
可視光画像５と蛍光画像７を取り込むために適用される画像取り込み装置１０は、可視光画像５で取り込まれる患者の身体部分４の表面１１と画像取り込み装置１０との間の距離ｄ（図１参照）を測定するように構成された測定部３２をさらに備えることができる。測定部３２と通信する距離センサ３３は、例えば、超音波センサ、レーザ距離センサ、または任意の他の適切な測距装置である。さらに、画像取り込み装置１０は、測定された距離ｄを示す信号を出力するように構成される。例えば、画像取り込み装置１０は、測定を実行するための最良の距離ｄに関する情報を装置１０のオペレータに与える光信号または音響信号を出力する。一定の距離ｄで測定を実行すると、とりわけ均一な照明があるため、測定結果が大幅に向上する。
【0114】
距離センサ３３に加えて、画像取り込み装置１０は、ピッチ回転、ヨー回転、およびロール回転に関するデータ、ならびに３つの空間軸（ｘ、ｙおよびｚ）の加速度データを収集するために使用できる内部測定部（ＩＭＵ）を含むことができる。ＩＭＵのこの情報は、スティッチングアルゴリズムの性能を向上させるために追加データとして使用することができ、またはカメラを位置決めおよび回転させるようにオペレータにフィードバックを提供し、スティッチングアルゴリズムにより良い画像を提供するために使用することができる。
【0115】
図８には、画像取り込み装置１０の別のプリズムアセンブリ２０の一実施形態がある。プリズムアセンブリ２０は、例えば、それぞれのセンサＤ３、Ｄ４、およびＤ５に向けて光を赤色と、緑色と、青色との成分に分割するように構成されたプリズムＰ５、Ｐ６、およびＰ７を含む。さらなる実施形態によれば、プリズムアセンブリ２０は、入射光を緑色成分と、赤色／青色成分と、赤外線成分と、に分割し、それらをそれぞれのセンサＤ３、Ｄ４、およびＤ５に向けるように構成される。さらなる別の実施形態によれば、プリズムアセンブリ２０は、入射光を、赤色／緑色／青色センサ（ＲＧＢセンサ）に向けられる可視光成分と、第１の波長または波長間隔の第１の赤外線成分と、第２の波長または波長間隔の第２の赤外線成分と、に分割し、それらをそれぞれのセンサＤ３、Ｄ４、およびＤ５に向けるように構成される。
【0116】
光は、矢印で示すようにプリズムアセンブリ２０に入射する。Ｐ５とＰ６との間に光学コーティングＣ１が配置され、プリズムＰ６とＰ７との間に光学コーティングＣ２が配置され、各光学コーティングＣ１とＣ２は、異なる反射率および波長感度を有する。Ｃ１において、入射ビームＩは、光が入射したプリズムＰ５の同じ面に部分的に反射されて戻る（ビームＪ）。同じ面で、ここでは再び、Ｋとラベル付けされたビームがフィルタＦ３およびセンサＤ３に向かって反射される。ＪからＫへの反射は内部反射である。したがって、フィルタＦ３およびセンサＤ３は、コーティングＣ１によって反射される光を受光し、フィルタＦ４およびセンサＤ４も同様に、コーティングＳ２によって反射されるビームＬからの光（ビームＭおよびＮ）を受光する。フィルタＦ５およびセンサＤ５は、妨げられずにプリズムを横断するビームＯからの光を受光する。
【0117】
入射光が赤色、緑色、青色の成分に分割される実施形態を参照すると、コーティングおよびフィルタは対応して選択される。
【0118】
入射光が緑色成分と、赤色／青色成分と、赤外線成分と、に分離される実施形態では、フィルタＦ３はパターンフィルタ（赤色／青色）であることができる。特に、赤色と青色のフィルタが交互のパターンの配列になされている。このパターンは、特定の１つの色が得られるようにフィルタリングされる２×２ピクセルのグループで構成することができる。フィルタＦ４は、緑色フィルタのみを含むフィルタを意味する緑色フィルタとすることができる。各ピクセルで受光する光が緑色のフィルタでフィルタリングされる単一のピクセルグリッドがある。フィルタＦ５はＩＲフィルタとすることができる。各ピクセルはＩＲフィルタでフィルタリングされる。
【0119】
コーティングＣ１、Ｃ２は通常、フィルタＦ３、Ｆ４、Ｆ５と整合する必要がある。例えば、第１のコーティングＣ１は、ＩＲ光がＩＲフィルタＦ３に向かって導かれるように、ＩＲ光を反射すると同時に可視光を透過させ得る。第２のコーティングＣ２は、フィルタＦ４が、赤色／青色のパターンフィルタであり、Ｆ５が、緑色のフィルタ２３であるように、赤色および青色の光を反射すると同時に、緑色の光に対しては透明であり得る。
【0120】
入射光が可視光成分（ＲＧＢ）と、第１の赤外線成分と、第２の赤外線成分と、に分割されるさらなる実施形態によれば、コーティングＣ１、Ｃ２およびフィルタＦ３、Ｆ４、Ｆ５は、例えばセンサＤ４が３色すべての可視光画像を検出する色センサ（ＲＧＢセンサ）であるように構成される。さらに、センサＤ３は、第１の波長の蛍光を検出するように構成することができ、センサＤ５は、第２の波長の蛍光を検出するように構成される。
【0121】
同様に、図５のプリズムアセンブリ２０を参照すると、センサＤ１、Ｄ２、Ｄ３、Ｄ４、およびＤ５のそれぞれの１つの前に配置されているコーティングＳ１、Ｓ２、Ｓ３、Ｓ４、Ｃ１およびＣ２、ならびにフィルタＦ１、Ｆ２、Ｆ３、Ｆ４およびＦ５は、最大４つの蛍光波長を検出できるように構成することができる。例えば、センサＤ４は、３色すべての可視光画像を検出するための色センサである。センサＤ３は、第１の波長または波長間隔の蛍光を検出するためのものであり、センサＤ５は、第２の波長または波長間隔の蛍光を検出するためのものであり、センサＤ１は、第３の波長または波長間隔の蛍光を検出するためのものであり、そしてセンサＤ２は、第４の波長または波長間隔の蛍光を検出するためのものである。
【0122】
図面のみから得られたものを含むすべての指定される特性、および他の特性と組み合わせて開示される個々の特性は、単独としても組合せとしても本発明にとって重要であると考えられる。本発明に係る実施形態は、個々の特性またはいくつかの特性の組合せを通じて実現することができる。「特に」または「特別に」という表現と組み合わされる特徴は、好ましい実施形態として扱われるべきである。
【符号の説明】
【0123】
２ 画像取り込みおよび処理装置
３ 医師
４ 身体部分
５ 可視光画像
６ 患者
７ 蛍光画像
８ 蛍光剤
９ オーバーレイ画像
１０ 画像取り込み装置
１１ 表面
１２ 処理部
１４ ディスプレイ
１６ 光照射部
１８ 対物レンズ
２０ プリズムアセンブリ
２２ 蛍光撮像部
２４ 可視光撮像部
２６ データリンク
２８ スティッチング部
３０ 重畳部
３２ 測定部
３３ 距離センサ
５０ 内視鏡
５２ 光ファイバ
５１ ファイバ
５４ 光源
５６ シャフト
５８ ファイバ束
Ｐ１ 第１の五角プリズム
Ｐ２、Ｐ４ 補償プリズム
Ｐ３ 第２の五角プリズム
Ｐ５、Ｐ６、Ｐ７ ダイクロイックプリズムアセンブリ
Ａ 入射光ビーム
Ｂ．．Ｏ 光ビーム
Ｓ１ 入射面
Ｄ１．．Ｄ５ センサ
Ｃ１、Ｃ２ コーティング
Ｆ１．．Ｆ５ フィルタ
Ｌ 長手方向
ｄ 距離
３ 医師
４ 身体部分
５ 可視光画像
６ 患者
７ 蛍光画像
８ 蛍光剤
９ オーバーレイ画像
１０ 画像取り込み装置
１１ 表面
１２ 処理部
１４ ディスプレイ
１６ 光照射部
１８ 対物レンズ
２０ プリズムアセンブリ
２２ 蛍光撮像部
２４ 可視光撮像部
２６ データリンク
２８ スティッチング部
３０ 重畳部
３２ 測定部
３３ 距離センサ
５０ 内視鏡
５２ 光ファイバ
５１ ファイバ
５４ 光源
５６ シャフト
５８ ファイバ束
Ｐ１ 第１の五角プリズム
Ｐ２、Ｐ４ 補償プリズム
Ｐ３ 第２の五角プリズム
Ｐ５、Ｐ６、Ｐ７ ダイクロイックプリズムアセンブリ
Ａ 入射光ビーム
Ｂ．．Ｏ 光ビーム
Ｓ１ 入射面
Ｄ１．．Ｄ５ センサ
Ｃ１、Ｃ２ コーティング
Ｆ１．．Ｆ５ フィルタ
Ｌ 長手方向
ｄ 距離
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【外国語明細書】