特開 2024-72287 リンパ浮腫誘発蛍光パターンの分類を決定するためのコンピュータベースの臨床意思決定支援システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072287

(43)【公開日】2024-05-27

(54)【発明の名称】リンパ浮腫誘発蛍光パターンの分類を決定するためのコンピュータベースの臨床意思決定支援システム及び方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240520BHJP

【ＦＩ】

A61B10/00 E

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023194562

(22)【出願日】2023-11-15

(31)【優先権主張番号】63/425,411

(32)【優先日】2022-11-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】23205167.2

(32)【優先日】2023-10-23

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】519207011

【氏名又は名称】クエスト・フォトニック・デバイシーズ・ビー．ブイ．

【氏名又は名称原語表記】ＱＵＥＳＴ ＰＨＯＴＯＮＩＣ ＤＥＶＩＣＥＳ Ｂ．Ｖ．

【住所又は居所原語表記】Ｉｎｄｕｓｔｒｉｅｗｅｇ ４１， １７７５ ＰＷ Ｍｉｄｄｅｎｍｅｅｒ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】リシェル ヨハンナ マリア ホベリング

(72)【発明者】

【氏名】トーマス コープマン

(72)【発明者】

【氏名】リチャード ヨハネス コルネリス ミースター

(57)【要約】

【課題】リンパ浮腫誘発蛍光パターンの分類の決定を強化するためのコンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）、及びリンパ浮腫誘発蛍光パターンの分類の決定を強化するコンピュータ実装方法を提供すること。
【解決手段】リンパ浮腫誘発蛍光パターンの分類を決定するためのコンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）６２及び方法。蛍光画像７は、蛍光剤８が添加された身体部分４の組織における蛍光信号の測定から決定される。ＣＤＳＳ６２は、患者６に固有の蛍光画像７が入力特徴として人工知能（ＡＩ）モデル６８に提供される入力インターフェース６４と、蛍光画像７がＡＩモデル６８に適用されてリンパ浮腫誘発蛍光パターンの分類を生成する推論動作を実施するプロセッサ６６と、リンパ浮腫誘発蛍光パターンの分類がユーザに通信されるユーザインターフェース（ＵＩ）１４と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

蛍光剤（８）が添加された身体部分（４）の組織における蛍光信号の測定から決定される蛍光画像（７）に基づいてリンパ浮腫誘発蛍光パターンの分類を出力するように構成されたコンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）（６２）であって、前記ＣＤＳＳ（６２）は、
患者（６）に固有の前記蛍光画像（７）を入力特徴として人工知能（ＡＩ）モデル（６８）に提供する入力インターフェース（６４）と、
前記蛍光画像（７）が前記ＡＩモデル（６８）に適用されてリンパ浮腫誘発蛍光パターンの前記分類を生成する推論動作を実施するプロセッサ（６６）と、
前記リンパ浮腫誘発蛍光パターンの前記分類がユーザに通信されるユーザインターフェース（ＵＩ）（１４）と、
を備える、コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）（６２）。

【請求項2】

リンパ浮腫誘発蛍光パターンの前記分類は、リンパ浮腫の重症度のステージ及び／又は前記蛍光パターンの臨床タイプである、請求項１に記載のＣＤＳＳ（６２）。

【請求項3】

前記蛍光画像（７）及び対応する可視光画像（５）は、前記入力インターフェースを通じて前記人工インテリジェンス（ＡＩ）モデルへの入力特徴として提供される、請求項１又は２に記載のＣＤＳＳ（６２）。

【請求項4】

前記入力インターフェース（６４）は、前記身体部分（４）の前記組織内の前記蛍光信号を測定するように構成され、前記身体部分（４）の表面（１１）を撮像するように構成された画像捕捉処理デバイス（２）への直接リンクであり、前記蛍光剤（８）が添加された前記組織は、前記身体部分（４）の一部を形成し、前記画像捕捉処理デバイス（２）は、画像捕捉デバイス（１０）を備え、前記画像捕捉デバイス（１０）は、
前記蛍光剤（８）の励起放出によって放出光を生成するのに適した波長を有する励起光で前記組織を照明するように構成された照明ユニット（１６）と、
前記蛍光画像を提供するために、前記放出光の空間分解測定によって前記蛍光画像を捕捉するように構成された蛍光撮像ユニット（２２）と、
前記身体部分（４）の表面（１１）の一部の前記対応する可視光画像を捕捉するように構成された可視光撮像ユニット（２４）であって、前記蛍光撮像ユニット（２２）及び前記可視光撮像ユニット（２４）は、前記蛍光画像及び前記対応する可視光画像の視認方向及び／又は視点が既知の関係を介してリンクされるように構成される、可視光撮像ユニット（２４）と、
を備える、請求項３に記載のＣＤＳＳ（６２）。

【請求項5】

大きな蛍光画像及び対応する大きな可視光画像は、前記入力インターフェース（６４）を通じて前記人工知能（ＡＩ）モデル（６８）への入力特徴として提供され、
前記蛍光撮像ユニット（２２）及び前記可視光撮像ユニット（２４）は、前記蛍光画像及び前記可視光画像の捕捉を繰り返して、一連の蛍光画像及び一連の可視光画像を提供するように更に構成され、
前記画像捕捉処理デバイス（２）は、処理デバイス（１２）を更に備え、前記処理デバイス（１２）は、
前記身体部分（４）の前記大きな可視光画像を生成するために、前記一連の可視光画像に対してスティッチングアルゴリズムを適用するように構成されたスティッチングユニット（２８）であって、前記スティッチングアルゴリズムは、スティッチングパラメータのセットを決定し、適用する、スティッチングユニット（２８）を備え、
前記スティッチングユニット（２８）は、前記大きな蛍光画像を生成するために前記一連の蛍光画像（７）に対して前記スティッチングアルゴリズムを適用するように更に構成されており、前記スティッチングアルゴリズムは、前記可視光画像（５）の前記スティッチングを実施するときに決定されたスティッチングパラメータの前記セットを適用する、請求項４に記載のＣＤＳＳ（６２）。

【請求項6】

前記画像捕捉デバイス（２）は、入射面を介して蛍光及び可視光を受光するように構成されたダイクロイックプリズムアセンブリを備え、前記プリズムアセンブリは、第１のプリズム（Ｐ１）と、第２のプリズム（Ｐ３）と、前記第１のプリズム（Ｐ１）と前記第２のプリズム（Ｐ３）との間に位置する第１の補償器プリズム（Ｐ２）と、前記可視光を３つの光成分に分割するための更なるダイクロイックプリズムアセンブリ（Ｐ５，Ｐ６，Ｐ７）と、前記第２のプリズム（Ｐ３）と前記更なるダイクロイックプリズムアセンブリ（Ｐ５，Ｐ６，Ｐ７）との間に位置する第２の補償器プリズム（Ｐ４）と、を備え、
前記第１のプリズム（Ｐ１）及び前記第２のプリズム（Ｐ３）はそれぞれ、少なくとも５つの角部を有する断面を有し、各角部は少なくとも９０度の内角部を有し、前記第１のプリズム（Ｐ１）及び前記第２のプリズム（Ｐ３）の前記角部はそれぞれ、それぞれの入射面（Ｓ１，Ｓ２）及びそれぞれの出射面を有し、前記入射面の法線に平行な方向で前記それぞれのプリズムの前記入射面に入射する入射ビームが、前記それぞれのプリズムの内部で２回反射され、前記出射面の法線に平行な出射面を通って前記それぞれのプリズムから出射するようにそれぞれ設計され、
前記各プリズムの前記入射面の前記法線と前記出射面の前記法線とは、互いに垂直であり、
光が前記入射面を通って前記第１のプリズム（Ｐ１）に入射するとき、前記光は、前記第１のプリズム（Ｐ１）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第１のプリズム（Ｐ１）の前記出射面まで第１の経路長を進み、前記光は、前記第１の補償器プリズム（Ｐ２）を介して前記第２のプリズム（Ｐ３）に部分的に入射し、前記第２のプリズム（Ｐ３）の前記出射面に向かって部分的に反射され、それによって、前記第１のプリズム（Ｐ１）の前記入射面から前記第２のプリズム（Ｐ３）の前記出射面まで第２の経路長を進み、
前記第１のプリズム（Ｐ１）は、前記第１の経路長と前記第２の経路長とが同じになるように、前記第２のプリズム（Ｐ３）よりも大きい、請求項３から５のいずれか一項に記載のＣＤＳＳ（６２）。

【請求項7】

前記入力インターフェース（６４）は更に、電子患者記録への直接リンクであり、患者関連データ、特に前記患者の年齢、性別、身長、体重、ＢＭＩ（ボディマス指数）、脂肪量、筋肉量、１日の運動量、仕事の有無、皮膚の色、投薬状態、血管の病気、特に静脈瘤又は静脈性浮腫の有無、病気、特に透析又は糖尿の有無、血中アルブミンの量、腎機能、肝機能、心機能、血中ヘモグロビン（Ｈｂ）濃度、血中推定値、脂質代謝率、血中グルコースの濃度、尿素窒素、ＡＢＩ（足関節／上腕血圧比）値、リンパ浮腫の発生前の同じ位置（４０Ａ）でのリンパ機能の測定データ、内分泌情報、ホルモンレベルに関するデータは、前記人工知能（ＡＩ）モデル（６８）への更なる入力特徴として前記入力インターフェースを通じて提供される、請求項１から６のいずれか一項に記載のＣＤＳＳ（６２）。

【請求項8】

コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）（６２）を使用してリンパ浮腫誘発蛍光パターンの分類を決定するコンピュータ実装方法であって、前記分類は、蛍光剤（８）が添加された身体部分（４）の組織における蛍光信号を測定することによって決定される蛍光画像（７）に基づいており、前記方法は、
患者（６）に固有の前記蛍光画像（７）を、入力インターフェース（６４）を通じて、人工知能（ＡＩ）モデル（６８）の入力特徴として受信することと、
プロセッサ（６６）によって推論動作を実施することであって、前記蛍光画像（７）は、前記ＡＩモデル（６８）に適用されて、リンパ浮腫誘発蛍光パターンの前記分類を生成する、ことと、
リンパ浮腫誘発蛍光パターンの前記分類を、ユーザインターフェース（ＵＩ）（１４）を通じてユーザに通信することと、
を含む、コンピュータ実装方法。

【請求項9】

リンパ浮腫誘発蛍光パターンの前記分類は、リンパ浮腫の重症度のステージ及び／又は前記蛍光パターンの臨床型である、請求項８に記載の方法。

【請求項10】

前記蛍光画像（７）及び対応する可視光画像（５）は、前記入力インターフェースを通じて、入力特徴として前記人工知能（ＡＩ）モデル（６８）に提供される、請求項８又は９に記載の方法。

【請求項11】

前記入力インターフェースは、前記身体部分（４）の前記組織内の前記蛍光信号を測定するように構成され、前記身体部分（４）の表面（１１）を撮像するように構成された画像捕捉処理デバイス（２）への直接リンクを介して、前記蛍光画像（７）及び前記対応する可視光画像（５）を受信し、前記蛍光剤（８）が添加された前記組織は、前記身体部分（４）の一部を形成し、前記画像捕捉処理デバイス（２）は、照明ユニット（１６）、蛍光撮像ユニット（２２）及び可視光撮像ユニット（２４）を備える画像捕捉デバイス（１０）を備え、前記方法は、
前記蛍光剤（８）の励起放出によって放出光を生成するのに適した波長を有する励起光で、前記照明ユニット（１６）によって前記組織を照明する工程と、
前記蛍光画像を提供するために、前記放出光の空間分解測定によって前記蛍光撮像ユニット（２２）によって前記蛍光画像を捕捉する工程と、
前記身体部分（４）の表面（１１）の一部の前記対応する可視光画像を捕捉することによって、前記可視光撮像ユニット（２４）によって前記可視光画像を捕捉する工程であって、前記蛍光撮像ユニット（２２）及び前記可視光撮像ユニット（２４）は、前記蛍光画像及び前記対応する可視光画像の方向及び／又は視点が既知の関係を介してリンクされるように構成される、工程と、
を更に含む、請求項１０に記載の方法。

【請求項12】

大きな蛍光画像及び対応する大きな可視光画像は、前記入力インターフェース（６４）を通じて前記人工知能（ＡＩ）モデル（６８）への入力特徴として提供され、
前記蛍光撮像ユニット（２２）及び前記可視光撮像ユニット（２４）は、前記蛍光画像（７）及び前記可視光画像（５）の捕捉を繰り返して、一連の蛍光画像及び一連の可視光画像を提供し、
前記画像捕捉処理デバイス（２）は、スティッチングユニット（２８）を備える処理デバイスを更に備え、前記方法は、
前記身体部分（４）の前記大きな可視光画像を生成するために、前記スティッチングユニット（２８）によって前記一連の可視光画像（５）にスティッチングアルゴリズムを適用する工程であって、前記スティッチングアルゴリズムは、スティッチングパラメータのセットを決定し、適用する、工程と、
前記大きな蛍光画像を生成するために、前記スティッチングユニット（２８）によって前記一連の蛍光画像（７）に前記スティッチングアルゴリズムを更に適用する工程であって、前記スティッチングアルゴリズムは、前記可視光画像（５）の前記スティッチングを実施するときに決定された前記スティッチングパラメータのセットを適用する、工程と、
を更に含む、請求項１１に記載の方法。

【請求項13】

前記蛍光信号の前記測定は、少なくとも第１及び第２の蛍光剤（８）が添加された組織に対して実施され、前記蛍光画像を捕捉する前記工程は、
前記第１の蛍光剤（８）の第１の励起放出によって放出光を生成するのに適した第１の波長を有する第１の励起光で前記組織を照明することによって生成される、第１の波長範囲における第１の蛍光画像を捕捉することと、
前記第２の蛍光剤（８）の第２の励起放出によって放出光を生成するのに適した第２の波長を有する第２の励起光で前記組織を照明することによって生成される、第２の波長範囲内の第２の蛍光画像を捕捉することと、を含み、
前記第１及び前記第２の蛍光画像は、前記入力インターフェースを通じて入力特徴として前記人工知能（ＡＩ）モデルに提供され、
前記入力インターフェース（６４）は、前記第１及び前記第２の蛍光画像を前記人工知能（ＡＩ）モデル（６８）の入力特徴として受信し、
前記プロセッサ（６６）は、前記第１及び前記第２の蛍光画像を前記ＡＩモデル（６８）に適用することによって前記推論動作を実施して、前記リンパ浮腫誘発蛍光パターンの前記分類を生成する、請求項８から１２のいずれか一項に記載の方法。

【請求項14】

患者関連データ、特に前記患者の年齢、性別、身長、体重、ＢＭＩ（ボディマス指数）、脂肪量、筋肉量、１日の運動量、仕事の有無、皮膚の色、投薬状態、血管の病気、特に静脈瘤又は静脈性浮腫の有無、病気、特に透析又は糖尿の有無、血中アルブミンの量、腎機能、肝機能、心機能、血中ヘモグロビン（Ｈｂ）濃度、血中推定値、脂質代謝率、血中グルコースの濃度、尿素窒素、ＡＢＩ（足関節／上腕血圧比）値、リンパ浮腫の発生前の同じ位置（４０Ａ）でのリンパ機能の測定データ、内分泌情報、ホルモンレベルに関するデータは、電子患者記録への直接リンクを介して、前記人工知能（ＡＩ）モデル（６８）への更なる入力特徴として前記入力インターフェースを通じて提供される、請求項８から１３のいずれか一項に記載の方法。

【請求項15】

リンパ浮腫を診断する方法であって、
患者の身体部分（４）に蛍光剤（８）を投与する工程と、
コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）（６２）を使用してリンパ浮腫誘発蛍光パターンの分類を決定する工程であって、前記分類は、蛍光剤（８）が添加された前記身体部分（４）の組織における蛍光信号を測定することによって決定される蛍光画像（７）に基づく、工程と、を含み、前記方法は、
患者（６）に固有の前記蛍光画像（７）を、入力インターフェース（６４）を通じて、人工知能（ＡＩ）モデル（６８）の入力特徴として受信することと、
プロセッサ（６６）によって推論動作を実施することであって、前記蛍光画像（７）は、前記ＡＩモデル（６８）に適用されてリンパ浮腫誘発蛍光パターンの前記分類を生成する、ことと、
リンパ浮腫誘発蛍光パターンの前記分類から診断結果、特にリンパ浮腫のステージに関する診断結果を導出することと、
リンパ浮腫誘発蛍光パターンの前記分類及び前記診断結果を、ユーザインターフェース（ＵＩ）（１４）を通じてユーザに通信することと、
を更に含む、方法。

【請求項16】

リンパ浮腫の長期治療の方法であって、
患者に対して請求項１５に記載のリンパ浮腫を診断する方法を実施することによってリンパ浮腫の重症度を診断する工程と、
前記患者に対して治療を実施する工程であって、前記治療は、リンパ浮腫の前記重症度に対する前記診断結果に合わせてカスタマイズされる、工程と、
リンパ浮腫の前記重症度を診断する前記工程及び前記患者に対して前記治療を実施する前記工程を繰り返す工程であって、各反復において、前記治療は、リンパ浮腫の前記検出されたステージに、特にリンパ浮腫の前記検出されたステージに調整される、工程と、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、蛍光剤が添加された身体部分の組織における蛍光信号の測定から決定される蛍光画像に基づいてリンパ浮腫誘発蛍光パターンの分類を出力するように構成されたコンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）に関する。更に、本発明は、ＣＤＳＳを使用してリンパ浮腫誘発蛍光パターンの分類を決定するコンピュータ実装方法に関し、分類は、蛍光剤が添加された身体部分の組織内の蛍光信号を測定することによって決定される蛍光画像に基づく。

【0002】

更に、本発明は、リンパ浮腫を診断する方法及びリンパ浮腫の長期治療の方法に関する。

【背景技術】

【0003】

リンパ浮腫は、身体の組織におけるリンパ液の蓄積である。酸素化された血液は動脈を介して心臓から組織に送り出されるが、脱酸素化された血液は静脈を介して心臓に戻る。動脈側の圧力レベルは静脈側よりもはるかに高いため、血液の無色の流体部分が細胞間の空間に押し込まれる。典型的には、静脈側で再吸収されるよりも多くの流体が押し出される。過剰な流体は、リンパ管によって輸送される。更に、流体は、より大きなタンパク質及び細胞破片などの局所的な異物を運び去る。一旦リンパ系に入ると、輸送された物質を含むこの流体は、リンパ又はリンパ液と称される。

【0004】

リンパ系は、リンパ液を次のリンパ節に輸送するための静脈弁に類似した一方向弁を有するリンパ管を含む。リンパ節は、特定の物質の除去を行い、流体が血流に戻る前に流体を浄化する。

【0005】

リンパ流が妨げられたり、望ましいレベルで実施されなかったりしてリンパ系が閉塞すると、リンパ液は組織細胞間の間質空間に蓄積する。リンパ輸送の障害に起因するこの蓄積は、リンパ浮腫と称される。リンパ液の蓄積は、患部を取り囲む細胞を損傷する炎症反応を引き起こす可能性がある。それは更に、線維症を引き起こす可能性があり、該線維症は、罹患組織の硬化に変化する可能性がある。

【0006】

リンパ浮腫は、生涯続く疾患であり、治癒又は薬物療法が存在しないため、排液を改善し、流体負荷を低減するための早期診断及び適切な早期対抗策が、患者の健康及び回復にとって非常に重要である。手術までのリンパマッサージ及び圧迫包帯などの可能な治療は、重症度に依存しており、該重症度は、以下のように世界保健機関（ＷＨＯ）によって定義された４ステージシステムである。
ステージ１：リンパ系における正常な流れ。徴候又は症状なし。
ステージ２：腫脹を伴う液体の蓄積。
ステージ３：罹患した四肢又は身体部分を持ち上げても消散しない永続的な腫脹。
ステージ４：象皮病（四肢の大きな変形）、「いぼ状」の成長を伴う皮膚の肥厚、及び広範な瘢痕化。

【0007】

リンパ系の機能の診断のために一般的に使用されている技術は、医師による罹患した四肢又は身体部分の手動検査である。公知の撮像技術は、リンパシンチグラフィである。この技術では、放射性トレーサが罹患した身体部分の組織に注入され、続いてＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影法）、ＰＥＴ－ＣＴスキャン（陽電子放射断層撮影法）又は超音波画像法が実施される。

【0008】

比較的新しい撮像技術は、蛍光色素、例えばＩＣＧ（インドシアニングリーン）を使用する赤外蛍光撮像である。ＩＣＧは、４０年以上にわたって使用されている緑色の医療用色素である。色素は、６００ｎｍ～８００ｎｍの波長を有する近赤外光で励起されると蛍光を発する。この励起により、ＩＣＧは７５０ｎｍ～９５０ｎｍの蛍光を発する。ＩＣＧ色素の蛍光は、ＣＣＤ又はＣＭＯＳセンサ又はカメラを使用して検出することができる。蛍光色素は、罹患した四肢又は身体部分の組織に投与され、検出された蛍光に基づいてリンパ液の濃度及び流れを追跡することができる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の目的は、リンパ浮腫誘発蛍光パターンの分類の決定を強化するためのコンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）、及びリンパ浮腫誘発蛍光パターンの分類の決定を強化するコンピュータ実装方法を提供することである。

【0010】

更に、本発明の目的は、リンパ浮腫を診断する強化された方法、及びリンパ浮腫の長期治療の強化された方法を提供することである。

【課題を解決するための手段】

【0011】

この目的は、蛍光剤が添加された身体部分の組織における蛍光信号の測定から決定される蛍光画像に基づいてリンパ浮腫誘発蛍光パターンの分類を出力するように構成されたコンピュータベースの臨床意思決定支援システム（以下では「ＣＤＳＳ」と称される）によって解決され、ＣＤＳＳは、
患者に固有の蛍光画像を入力特徴として人工知能（ＡＩ）モデルに提供する入力インターフェースと、
蛍光画像がＡＩモデルに適用されてリンパ浮腫誘発蛍光パターンの分類を生成する推論動作を実施するプロセッサと、
リンパ浮腫誘発蛍光パターンの分類がユーザに通信されるユーザインターフェース（ＵＩ）と、
を備える。

【0012】

リンパ浮腫の治療及び予防を成功させるためには、早期診断及び適切な治療が重要である。この早期診断のためには、蛍光撮像が適切なアプローチである。蛍光撮像では、リンパ液とともに伝播する蛍光剤の分布及び該分布の進行が解析される。蛍光の測定を最初に開始する前に、医療検査を受ける患者の身体部分の組織に蛍光剤を投与する。健康なリンパ系では、蛍光剤はリンパ系によって（リンパ液とともに）迅速に取り込まれ、リンパ管内を迅速に輸送される。リンパ管の正常な律動的収縮は、時間分解蛍光画像で観察することができる。リンパ管内の一方向弁が流体の逆流を防止している間に、蛍光剤がどのように四肢を押し上げるかを見ることができる。

【0013】

リンパ浮腫の場合、リンパ液の閉塞は、リンパ管内の圧力の増加をもたらす。これにより、リンパ液は皮下組織に漏出する。リンパ浮腫が進行するにつれて、特徴的な逆流パターンを蛍光画像で見ることができる。

【0014】

蛍光画像は、典型的には、２つの時点において捕捉される。第１の画像は、初期過渡段階で捕捉され、少なくとも第２の画像は、後期プラトー段階で捕捉される。この手順では、患者は最初に数分間静止したままであり、一定量の蛍光剤が皮下注射される。注入の直後、いわゆる「過渡」段階において、観察可能な蛍光画像はリンパ流を示し、例えばリンパポンプ機能を測定することができる。これらの画像は、患者が静止している間に捕捉される。その後、患者を自由に移動させ、観察可能なパターンに基づいてリンパ循環を評価する。これらのパターンは、リンパ浮腫の重症度ステージ分類、例えば、ＷＨＯによって定義されるような上記の重症度ステージ分類を可能にする。患者の動きの程度に応じて、蛍光剤は、注射後約２時間でプラトー段階に達することができる。基本的に、注射後２～７２時間の間に、リンパ循環をある程度評価することができる。

【0015】

実施形態によるＣＤＳＳによって分析される蛍光画像は、常に、典型的なリンパ液逆流パターンが観察され得る後期プラトー段階の間に撮影される蛍光画像である。

【0016】

リンパ浮腫のステージに応じて、複数のタイプに臨床的に分類される特徴的な逆流パターンを蛍光画像で見ることができる。リンパ系が健康な状態にある場合、線状パターンを観察することができる。この線状パターンは、リンパ管又は静脈内のリンパ液の逆流を示す。リンパ浮腫の初期ステージでは、いわゆる「スプラッシュバック」パターンが観察され得る。リンパ浮腫が更に進行すると、いわゆる「スターバースト」パターンが生じる。リンパ浮腫の重症度ステージ及び高度ステージでは、リンパ液及びそれとともに蛍光剤が皮膚及び皮下組織全体に流れ込み、いわゆる「びまん性」パターンをもたらす。

【0017】

有利には、ＣＤＳＳは、リンパ浮腫誘発蛍光パターンの自動分類を実施し、それをユーザに通信する。これは、医療専門家がリンパ浮腫に関して正しい診断を見つけるのに大いに役立つ。

【0018】

有利な実施形態によれば、リンパ浮腫誘発蛍光パターンの分類は、リンパ浮腫の重症度のステージ及び／又は蛍光パターンの臨床タイプである。重症度のステージは、例えば、ＷＨＯの定義によるステージであり得る。臨床タイプは上述されている。識別され得る可能な臨床タイプは、例えば、線状パターン、スプラッシュパターン、スターダストパターン及びびまん性パターンである。

【0019】

臨床診療において、異なるタイプの蛍光パターンを区別することはしばしば困難である。更に、リンパ浮腫の特定のステージを特定の蛍光画像に割り当てることが困難な場合がある。有利には、ＣＤＳＳは、この決定プロセス中に臨床担当者を支援する。

【0020】

更なる有利な実施形態によれば、蛍光画像及び対応する可視光画像は、入力インターフェースを通じて入力特徴として人工知能モデルに提供される。換言すれば、蛍光画像及び／又は蛍光画像と可視光画像との組み合わせを、人工知能モデルへの入力として使用することができる。リンパ浮腫の臨床所見は、身体部分の表面、例えば外皮上に多かれ少なかれ見える特定の症状を伴うため、可視光画像から導出することができる情報は、蛍光パターンの分類を見つけるプロセスを支援し、それによって向上させることができる。

【0021】

本明細書の文脈内で、「画像」という用語は、２Ｄ画像に限定されるものとして解釈されるべきではない。画像は、再構成された３Ｄ画像であってもよい。画像は、例えば、立体撮像ユニットによって捕捉されることができるか、又は例えば、スキャナ若しくは任意の他の好適なデバイスによって捕捉され得る２Ｄ画像＋追加の深度情報から計算され得る。

【0022】

換言すれば、「蛍光画像」及び「可視光画像」という用語も、２Ｄ画像に限定されない。これらの画像は、追加の情報、例えば深度情報を含む３Ｄ画像又は２Ｄ画像とすることもできる。２Ｄ画像は、適切なカメラを使用して捕捉され得る。３Ｄ画像は、例えば、ステレオカメラを使用して捕捉され得る。２Ｄ画像又は３Ｄ画像は、画像ラインスキャナを使用して捕捉することができるラインスキャンであってもよい。画像は更に、３Ｄ画像と同様に深度情報も含むＬＩＤＡＲスキャン（及び、例えば２Ｄ画像から取られる追加の色情報）であり得る。ＬＩＤＡＲスキャナからのデータは、追加情報として２Ｄ画像に追加することができる。２Ｄ画像データとＬＩＤＡＲスキャンデータとの組み合わせは、２Ｄ画像データを対応する深度情報と組み合わせることができるため、３Ｄ画像と同様の情報をもたらす。

【0023】

別の有利な実施形態によれば、ＣＤＳＳは、入力インターフェースが、身体部分の組織内の蛍光信号を測定するように構成され、身体部分の表面を撮像するように構成された画像捕捉処理デバイスへの直接リンクであり、蛍光剤が添加された組織は、身体部分の一部を形成し、画像捕捉処理デバイスが、画像捕捉デバイスを備え、画像捕捉デバイスが、
蛍光剤の励起放出によって放出光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニットと、
蛍光画像を提供するために、放出光の空間分解測定によって蛍光画像を捕捉するように構成された蛍光撮像ユニットと、
身体部分の表面の一部の対応する可視光画像を捕捉するように構成された可視光撮像ユニットであって、蛍光撮像ユニット及び可視光撮像ユニットは、蛍光画像及び対応する可視光画像の視認方向及び／又は視点が既知の関係を介してリンクされるように構成される、可視光撮像ユニットと、
を備えるという点で更に強化される。

【0024】

有利には、画像捕捉処理デバイスは、内視鏡又は腹腔鏡の一部であり得る。

【0025】

蛍光画像及び可視光画像の視認方向及び／又は視点が既知の一定の関係を介してリンクされるように構成された蛍光撮像ユニット及び可視光撮像ユニットは、対応する画像を捕捉することができるという点で有利である。画像は、捕捉デバイスの既知の一定の空間的関係を介してリンクされる。これは、画像にスティッチングアルゴリズムを適用するときの成功率を著しく向上させ、スティッチングは、より大きな蛍光画像及びより大きな可視光画像をもたらす。より大きな画像は、それぞれ、単一の蛍光画像及び単一の可視光画像によって捕捉され得る身体の部分よりも大きい身体部分の部分を示すという点で、より大きい。

【0026】

一実施形態によれば、ＣＤＳＳは、大きな蛍光画像及び対応する大きな可視光画像が、入力特徴として入力インターフェースを通じて人工知能モデルに提供され、
蛍光撮像ユニット及び可視光撮像ユニットが、蛍光画像及び可視光画像の捕捉を繰り返して、一連の蛍光画像及び一連の可視光画像を提供するように更に構成され、
画像捕捉処理デバイスが、処理デバイスを更に備え、処理デバイスが、
身体部分の大きな可視光画像を生成するために、一連の可視光画像に対してスティッチングアルゴリズムを適用するように構成されたスティッチングユニットであって、スティッチングアルゴリズムが、スティッチングパラメータのセットを決定し、適用する、スティッチングユニットを備え、
スティッチングユニットが、大きな蛍光画像を生成するために一連の蛍光画像に対してスティッチングアルゴリズムを適用するように更に構成されており、スティッチングアルゴリズムが、可視光画像のスティッチングを実施するときに決定されたスティッチングパラメータのセットを適用するという点で更に強化される。

【0027】

本明細書の文脈内で、「スティッチング」という用語は、２つ以上の２Ｄ画像の組み合わせに限定されない。スティッチングは、他の画像データに基づいて、例えば３Ｄ画像データに基づいて実施することもできる。例えば、ＬＩＤＡＲスキャナによって捕捉される深度情報のような更なる情報が、スティッチングアルゴリズムを実行するときに考慮に入れることができる。

【0028】

スティッチングは、２つ以上の２Ｄ画像に基づいて実施することができ、より大きな２Ｄ画像をもたらす。スティッチングアルゴリズムが複数の３Ｄ画像に基づいて実行されるとき、結果は大きな３Ｄ画像である。複数の２Ｄ画像と追加情報（例えば、ＬＩＤＡＲスキャンからのデータ又は同様のデバイスからのデータ）が処理され、この結果が大きな３Ｄ画像であるという点で、スティッチングの工程を実施することも可能である。この場合、スティッチングの工程は、２Ｄ画像データ及び追加情報から３Ｄ画像を再構成することを含む。画像のスティッチングは、互いに対応し、一緒にスティッチングされる必要がある２つの画像において可視である一意の特別な特徴を識別する工程を含む。これは、スティッチング処理において結合される２つの画像の視野が部分的に重なり合うことを必要とする。

【0029】

スティッチングプロセスのためのこの必要条件を考慮して、一実施形態によれば、一連の蛍光画像及び一連の可視光画像を提供するために蛍光画像及び可視光画像の捕捉を繰り返す工程は、当該シーケンスの個々の後続の画像が捕捉され、後続の画像の視野が少なくともわずかに重なり合うように実行される。

【0030】

しかしながら、スティッチング処理のために使用され得る前述の追加情報は、例えば２Ｄ画像内の個々のピクセルごとに割り当てられる深度情報に限定されない。一連の蛍光画像及び可視光画像の画像取得中に、画像捕捉デバイスが、更なるデータ、すなわち追加情報として、画像捕捉デバイスの空間配向に関するデータを取得することも可能である。空間的な配向は、例えば、検査室の座標系における画像取得デバイスの配向であり得る。この配向は、視認方向（例えば、検査室の座標系におけるベクトル）及び視認方向の周りの画像捕捉デバイスの傾斜角（例えば、視認方向の周りの画像捕捉デバイスの回転角）とともに、３つのデカルト座標ｘ、ｙ及びｚによって特徴付けることができる。この情報は、一連の可視光画像及び蛍光画像の単一の画像（又は蛍光画像及び可視光画像を含む画像対）ごとに捕捉することができる。スティッチングの工程を実施するとき、空間内の画像捕捉デバイスの配向を示すこの追加情報を使用することができる。特に、例えば検査室の座標系において定義される画像捕捉デバイスの配向は、身体部分に対する画像捕捉デバイスの配向に再計算することができる。この情報は、スティッチングの工程中に身体部分の３Ｄ再構成を実施するときに使用することができる。

【0031】

有利には、一連の蛍光画像のスティッチングは、可視光画像のスティッチングを実施するときに以前に決定されたスティッチングパラメータのセットに基づいて実施される。蛍光画像は、典型的には、スティッチング処理の実施に適した稀少な特別な特徴を提供する。可視光画像及び蛍光画像は、視認方向及び／又は視点に関する既知の一定の関係によってリンクされているため、可視光画像に使用されるスティッチングアルゴリズムのパラメータは、蛍光画像のスティッチングにも適用することができる。これは、スティッチングプロセスを著しく向上させ、より良好な品質の大きな蛍光画像をもたらす。

【0032】

蛍光剤は、例えば、ＩＣＧ（インドシアニングリーン）又はメチレンブルーである。本明細書の文脈内で、「蛍光色素」又は「色素」（「蛍光色素」又は「フルオロフォア」とも称される）という用語は、分子を蛍光性にする分子の成分を指す。成分は、特定の波長のエネルギーを吸収し、異なる特定の波長でエネルギーを再放出する分子中の官能基である。種々の態様では、蛍光剤は、蛍光色素、その類似体、その誘導体、又はこれらの組み合わせを含む。適切な蛍光色素には、インドシアニングリーン（ＩＣＧ）、フルオレセイン、メチレンブルー、イソスルファンブルー、パテントブルー、シアニン５（Ｃｙ５）、シアニン５．５（Ｃｙ５．５）、シアニン７（Ｃｙ７）、シアニン７．５（Ｃｙ７．５）、シケート（ｃｙｐａｔｅ）、シリコンローダミン、５－ＡＬＡ、ＩＲＤｙｅ ７００、ＩＲＤｙｅ ８００ ＣＷ、ＩＲＤｙｅ ８００ ＲＳ、ＩＲＤｙｅ ８００ ＢＫ、ポルフィリン誘導体、Ｉｌｌｕｍｉｎａｒｅ－１、ＡＬＭ－４８８、ＧＣＰ－００２、ＧＣＰ－００３、ＬＵＭ－０１５、ＥＭＩ－１３７、ＳＧＭ－１０１、ＡＳＰ－１９２９、ＡＶＢ－６２０、ＯＴＬ－３８、ＶＧＴ－３０９、ＢＬＺ－１００、ＯＮＭ－１００、ＢＥＶＡ ８００が含まれるが、これらに限定されない。

【0033】

スティッチングアルゴリズムは、例えば、パノラマスティッチングアルゴリズムであり、このアルゴリズムでは、画像が分析されて、特別で特徴的な特徴が抽出される。次いで、これらの特徴は、複数の画像において互いにリンクされ、画像変換（例えば、シフト、回転、１又は複数の軸に沿った伸張、又はキーストーン補正）が実施される。リンクされた特徴の位置は、スティッチングパラメータとも称される画像変換パラメータを決定するために使用される。画像の配向に続いて、画像はマージされ、それによって一緒に「スティッチング」される。この変換は、可視光画像に対しても蛍光画像に対しても同様に実行することができる。最後に、２つの画像が出力される。この出力は、例えばスクリーン上に画像を表示する工程を含み得る。例えば、２つの画像は、並べて示されるか、又はオーバーレイ画像で示される。

【0034】

しばしば、リンパ系の機能は、身体の四肢において影響を受ける。しかしながら、ＣＤＳＳは、四肢の検査に限定されない。このシステムは、患者の四肢だけでなく、身体の体、頭、首、背中又は任意の他の部分であり得る一般的な身体部分の検査に適用することができる。身体部分が器官であることも可能である。ＣＤＳＳは、切開手術中に適用することができる。手術が、内視鏡又は腹腔鏡を使用して実施される低侵襲手術である状況も同様である。

【0035】

本明細書の文脈内で、「可視光画像」は、現実世界状況の画像である。これは、人間の目で見ることができるものと同様の画像印象を再現する。人間の目とは異なり、可視光画像は、カラー画像、グレースケール画像、又は更には疑似カラースケールプロットであり得る。可視光画像は、蛍光剤が投与された組織を含む身体部分の表面を示す。組織が身体部分の表面に配置される場合、身体部分の表面の撮像は、組織の表面の撮像を含む。

【0036】

別の有利な実施形態によれば、蛍光画像及び可視光画像の視認方向及び視野は同一であり、特に、蛍光画像及び可視光画像は、１つの同じ対物レンズを通して、特に１つの単一の対物レンズを通して捕捉される。対物レンズは、カメラレンズと同様であり、１又は複数のレンズを備える。

【0037】

有利には、蛍光画像及び可視光画像は、プリズムアセンブリと、それに割り当てられた複数のイメージセンサと、を備える撮像デバイスによって捕捉することができる。蛍光及び可視光は、共通の光束として、プリズムアセンブリの同一の入射面を通ってプリズムアセンブリに入射する。プリズム構造は、可視波長範囲を、蛍光剤の励起発光が典型的に起こる赤外波長範囲から分離するためのフィルタを含む。異なる波長帯域、すなわち可視光（Ｖｉｓとも略される）及び赤外光（ＩＲとも略される）は、異なるセンサに方向付けられる。１つの単一の対物レンズを通した可視光画像及び蛍光画像の捕捉は、２つの画像の視認方向及び遠近感の完全な位置合わせを可能にする。特に、可視光画像及び蛍光画像の視認方向及び視点は同一である。

【0038】

有利な実施形態では、蛍光画像の捕捉及び可視光画像の捕捉は、蛍光画像の信号と可視光画像の信号との間の時間切り替えがない状態で同時に実施される。

【0039】

有利には、本方法は、信号のタイムスイッチングを不要にする。これは、蛍光画像である赤外線画像と、可視光画像とが、別個のイメージセンサを使用して正確に同時に捕捉されるため、有利である。したがって、６０ｆｐｓ以上の高いフレーム繰り返しレートで画像を捕捉することもできる。タイムスイッチングが適用されるとき、通常、高いフレームレートを達成することができない。また、蛍光画像と可視光画像を別々のセンサで捕捉する場合には、焦点が合うようにセンサを配置することができる。これにより、画像の鮮鋭度が向上する。更に、センサの設定は、可視光画像及び蛍光画像の画像取得のための個々の要件に調整することができる。これは、例えば、センサ利得、ノイズ低減、露光時間などの調整に関する。

【0040】

更に別の有利な実施形態によれば、蛍光画像を捕捉する工程と、励起光で組織を照明する工程と、可視光画像を同時に捕捉する工程とは、単一の画像捕捉デバイスによって実施される。照明及び画像取得が１つのデバイスに統合されるとき、蛍光信号の測定及び可視画像の同時取得の全体的プロセスを向上させることができる。

【0041】

更に、別の有利な実施形態によれば、ＣＤＳＳは、画像捕捉デバイスが、入射面を介して蛍光及び可視光を受光するように構成されたダイクロイックプリズムアセンブリを備え、プリズムアセンブリは、第１のプリズムと、第２のプリズムと、第１のプリズムと第２のプリズムとの間に位置する第１の補償器プリズムと、可視光を３つの光成分に分割するための更なるダイクロイックプリズムアセンブリと、第２のプリズムと更なるダイクロイックプリズムアセンブリとの間に位置する第２の補償器プリズムと、を備え、
第１のプリズム及び第２のプリズムはそれぞれ、少なくとも５つの角部を有する断面を有し、各角部は少なくとも９０度の内角部を有し、第１のプリズム及び第２のプリズムの角部はそれぞれ、それぞれの入射面及びそれぞれの出射面を有し、入射面の法線に平行な方向でそれぞれのプリズムの当該入射面に入射する入射ビームが、それぞれのプリズムの内部で２回反射され、当該出射面の法線に平行な出射面を通ってそれぞれのプリズムから出射するようにそれぞれ設計され、
各プリズムの入射面の法線と出射面の法線とは、互いに垂直であり、
光が入射面を通って第１のプリズムに入射するとき、光は、第１のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第１のプリズムの出射面まで第１の経路長を進み、光は、第１の補償器プリズムを介して第２のプリズムに部分的に入射し、第２のプリズムの出射面に向かって部分的に反射され、それによって、第１のプリズムの入射面から第２のプリズムの出射面まで第２の経路長を進み、
第１のプリズムは、第１の経路長と第２の経路長とが同じになるように、第２のプリズムよりも大きい、という点で更に強化される。

【0042】

有利には、上述の５つのプリズムアセンブリは、２つの蛍光撮像波長と、可視光撮像のための３つの色、例えば、赤色、青色、及び緑色とを捕捉することを可能にする。５プリズムアセンブリは、入射面からセンサのそれぞれの１つに進む光の光路が同一の長さを有するという点で有利である。したがって、全てのセンサは焦点が合っており、更に、センサの信号間にタイミングギャップはない。有利には、デバイスは、受信信号のタイムスイッチングを必要としない。

【0043】

更に別の態様によれば、画像捕捉デバイスは、蛍光及び可視光を第１、第２、及び第３のセンサにそれぞれ方向付けるための第１、第２、及び第３の光路を定義し、画像捕捉デバイスは、入射面を通して蛍光及び可視光を受光するように構成されたダイクロイックプリズムアセンブリを更に備え、ダイクロイックプリズムアセンブリは、第１のプリズム、第２のプリズム、及び第３のプリズムを備え、各プリズムは、それぞれの第１、第２、及び第３の出射面を有し、第１の出射面には第１のセンサが設けられ、第２の出射面には第２のセンサが設けられ、第３の出射面には第３のセンサが設けられ、特に、第１の光路には第１のフィルタが設けられ、第２の光路には第２のフィルタが設けられ、第３の光路には第３のフィルタが設けられ、第１、第２、及び第３のフィルタは、任意の順序で、緑色フィルタ、赤外線フィルタ、並びに赤色／青色パターン化フィルタによって受光される光の半分が青色フィルタを通過し、赤色／青色パターン化フィルタによって受光される光の半分が赤色フィルタを通過するように交互パターンで赤色及び青色フィルタを備える赤色／青色パターン化フィルタである。

【0044】

更に、別の態様によれば、第１、第２、及び第３のフィルタは、任意の順序で、赤色／緑色／青色パターン化フィルタ（ＲＧＢフィルタ）、第１の赤外線フィルタ、及び第２の赤外線フィルタであり、特に、第１及び第２の赤外線フィルタは、異なる透過波長を有する。

【0045】

換言すれば、第１及び第２の赤外線フィルタは、異なるＩＲ波長間隔、例えば、典型的な蛍光色素が第１の蛍光ピークを発する第１のＩＲ帯域、及び典型的な蛍光色素が第２の蛍光ピークを発する第２のＩＲ帯域のＩＲ光をフィルタリングするためのものである。典型的には、第２のＩＲ帯域は、第１のＩＲ帯域と比較してより高い波長に位置する。第１及び第２の赤外線フィルタは、異なる蛍光剤の発光帯域に調整することもできる。したがって、例えば第１の蛍光剤の発光は、第１のフィルタを通過し（特に第２のフィルタによって遮断され）、対応する第１のセンサ上で検出することができ、第２の蛍光剤の発光は、第２のフィルタを通過し（特に第１のフィルタによって遮断され）、対応する第２のセンサ上で検出することができる。例えば、第１のフィルタは、メチレンブルーの蛍光発光を測定するように構成することができ、第２のフィルタは、ＩＣＧの蛍光発光を測定するように構成することができる。

【0046】

本発明の有利な態様によれば、ＣＤＳＳは、照明ユニット、蛍光撮像ユニット及び可視光撮像ユニットが単一の画像捕捉デバイスに配置され、この単一の画像捕捉デバイスが、可視光画像において捕捉される身体部分の表面間の距離を測定するように構成された測定ユニットを更に含むという点で更に強化される。更に、ＣＤＳＳは、画像捕捉デバイスが測定された距離を示す信号を出力するように更に構成されるという点で強化され得る。異なる距離での測定は、最良の画像取得条件を見出すために、照明及び画像捕捉を最適化するように実施され得る。この最良適合の距離は、次いで、後続の測定のための標的距離として、撮像システム内に記憶され得る。

【0047】

例えば、可視信号及び／又はオーディオ信号は、画像捕捉デバイスによって出力され得る。この信号は、画像取得が身体部分の表面に対して少なくともほぼ一定の距離で実施されるように、画像捕捉デバイスを操作するときにオペレータを導くことができる。画像捕捉デバイスにおける距離センサとユーザ支援出力（視覚的又は光学的信号）との統合は、オペレータがより均一な照明で画像を捕捉することを可能にする。これにより、蛍光信号の測定の質が向上する。

【0048】

最良適合距離の決定のために、画像捕捉デバイスは、距離を測定しながら、身体部分の表面の同じ部分の蛍光画像及び可視光画像を繰り返し捕捉することができる。蛍光及び可視光画像の複数のセットが、異なる距離で捕捉され得る。その後、撮像品質を考慮して画像のセットの分析を実施することができ、最高品質の画像をもたらす最良の整合距離を決定することができる。これを考慮して、音声信号又は光信号であり得る出力信号はまた、最良整合距離からの測定距離の偏差を示すことができる。これにより、測定中に特に照明に関して最適な捕捉条件が適用されているか否かをオペレータに直接的に知らせることができる。

【0049】

本発明の更に別の有利な実施形態によれば、ＣＤＳＳは、入力インターフェースが更に電子患者記録への直接リンクであり、患者関連データ、特に患者の年齢、性別、身長、体重、ＢＭＩ（ボディマス指数）、脂肪量、筋肉量、１日の運動量、仕事の有無、皮膚の色、投薬状態、血管の病気、特に静脈瘤又は静脈性浮腫の有無、病気、特に透析又は糖尿の有無、血中アルブミンの量、腎機能、肝機能、心機能、血中ヘモグロビン（Ｈｂ）濃度、血中推定値、脂質代謝率、血中グルコースの濃度、尿素窒素（血中ＢＵＮ、ＵＮの量）、ＡＢＩ（足関節／上腕血圧比）値、リンパ浮腫の発生前の同じ位置（４０Ａ）でのリンパ機能の測定データ、内分泌情報、ホルモンレベルに関するデータが、人工知能モデルへの更なる入力特徴として入力インターフェースを通じて提供されるという点で更に強化される。この追加の入力情報を更に考慮に入れることによって、出力、すなわち蛍光パターンに対して誘発されたリンパ浮腫の分類を強化することができる。例えば、入力インターフェースは、ユーザが、データ、例えば、患者の年齢、性別、身長、体重、ＢＭＩ（ボディマス指数）、脂肪量、筋肉量、１日の運動量、仕事の有無、皮膚の色、投薬状態、血管の病気、特に静脈瘤又は静脈性浮腫の有無、病気、特に透析又は糖尿の有無、血中アルブミンの量、腎機能、肝機能、心機能、血中ヘモグロビン（Ｈｂ）濃度、血中推定値、脂質代謝率、血中グルコースの濃度、尿素窒素（血中ＢＵＮ、ＵＮの量）、ＡＢＩ（足関節／上腕血圧比）値、リンパ浮腫の発生前の同じ位置（４０Ａ）でのリンパ機能の測定データ、内分泌情報、ホルモンレベルに関するデータを手動で入力することを可能にする、ハードウェアの一部を備えることができる。電子患者記録からのこの情報のダウンロードは、利用可能であれば、このプロセスをスピードアップする。

【0050】

前述のように、ＡＩモデルの入力特徴は、２Ｄ画像又は３Ｄ画像のいずれかであることができ、蛍光画像は、可視光画像及び蛍光画像の組み合わせであり得る。更に、２つ以上の蛍光剤を使用することが可能である。例えば、ＩＣＧ（インドシアニングリーン）及びメチレンブルーのような蛍光剤を使用することができる。分析される画像は、単一の色素画像、組み合わされた蛍光画像、すなわち、可視光画像と更に組み合わせることができる２つ以上の色素であり得る。それは、スティッチングされた画像又は再構成された画像であり得る。例えば可視光画像及び蛍光画像を含むオーバーレイ画像を処理することも可能である。

【0051】

この情報に基づいて、ＡＩモデルは、ウォーターシェッド、閾値化、クラスタリング、ヒストグラムなどのようなアルゴリズムを用いて画像セグメンテーションを実施することができる。ユーザが定義した関心領域を定義すること、及び／又は画像内のリンパの詳細をセグメント化することも可能である。

【0052】

ＡＩモデルに基づいて干渉操作を実施するためのソフトウェアモジュールは、蛍光パターンを分類するための事前訓練されたＡＩモデルであり得る。ＡＩはまた、複数の事前訓練されたＡＩモデルを含み得る。次いで、ユーザは、異なるＡＩモデル又はシステムの間で選択し、ユーザのニーズに最も適したものを選択することができる。

【0053】

更に別の有利な実施形態によれば、入力インターフェースは、蛍光パターンの自動的に生成された分類を補正するためのユーザインターフェースを含み得る。これは、特に、蛍光パターンの重症度及び臨床タイプのステージの自動生成に適用される。補正された分類は、ＡＩモデルによる出力である分類に対する自動結果に加えて、蛍光画像及び患者関連データに関連して記憶されるか、又は割り当てられ得る。また、ＡＩ予測データを上書きすることも可能である。

【0054】

更に別の有利な実施形態によれば、ＡＩモデルは、ユーザ固有の訓練によってカスタマイズすることができる。ユーザは、訓練モードを選択し、グラウンドトゥルースとして自身の蛍光画像を意味する自身のデータを入力することができる。次いで、ユーザが訓練したＡＩモデルが、事前訓練されたモデルに加えて記憶される。ユーザは、どのＡＩモデルを使用するかを選択することができる。ユーザにより訓練されたＡＩモデルは、例えばリンパ浮腫の一般的なステージ分類システム、例えばＷＨＯの定義から逸脱する独自のステージ分類システムが使用される場合に特に有利であり得る。

【0055】

この目的は、コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）を使用してリンパ浮腫誘発蛍光パターンの分類を決定するコンピュータ実装方法によって更に解決され、分類は、蛍光剤が添加された身体部分の組織における蛍光信号を測定することによって決定される蛍光画像に基づいており、方法は、
患者に固有の蛍光画像を、入力インターフェースを通じて、人工知能（ＡＩ）モデルの入力特徴として受信することと、
プロセッサによって推論動作を実施することであって、蛍光画像は、ＡＩモデルに適用されて、リンパ浮腫誘発蛍光パターンの分類を生成する、ことと、
リンパ浮腫誘発蛍光パターンの分類を、ユーザインターフェース（ＵＩ）を通じてユーザに通信することと、
を含む。

【0056】

ＣＤＳＳに関して言及された同じ又は同様の利点は、同じ又は同様の方法でコンピュータ実装方法にも適用され、したがって繰り返されない。

【0057】

更に、本方法は、リンパ浮腫誘発蛍光パターンの分類がリンパ浮腫の重症度のステージ及び／又は蛍光パターンの臨床タイプであるという点で有利に強化することができる。

【0058】

更に、本方法は、蛍光画像及び対応する可視光画像が入力インターフェースを通じて入力特徴として人工知能（ＡＩ）モデルに提供されるという点で有利に強化される。

【0059】

更に別の有利な実施形態によれば、本方法は、入力インターフェースが、身体部分の組織内の蛍光信号を測定するように構成され、身体部分の表面を撮像するように構成された画像捕捉処理デバイスへの直接リンクを介して、蛍光画像及び対応する可視光画像を受信し、蛍光剤が添加された組織が、身体部分の一部を形成し、画像捕捉処理デバイスが、照明ユニット、蛍光撮像ユニット及び可視光撮像ユニットを備える画像捕捉デバイスを備え、方法が、
蛍光剤の励起放出によって放出光を生成するのに適した波長を有する励起光で、照明ユニットによって組織を照明する工程と、
蛍光画像を提供するために、放出光の空間分解測定によって蛍光撮像ユニットによって蛍光画像を捕捉する工程と、
身体部分の表面の一部の対応する可視光画像を捕捉することによって、可視光撮像ユニットによって可視光画像を捕捉する工程であって、蛍光撮像ユニット及び可視光撮像ユニットが、蛍光画像及び対応する可視光画像の視認方向及び／又は視点が既知の関係を介してリンクされるように構成される、工程と、
を更に含む、という点で強化される。

【0060】

更に、本方法は、大きな蛍光画像及び対応する大きな可視光画像が、入力インターフェースを通じて人工知能（ＡＩ）モデルへの入力特徴として提供され、
蛍光撮像ユニット及び可視光撮像ユニットが、蛍光画像及び可視光画像の捕捉を繰り返して、一連の蛍光画像及び一連の可視光画像を提供し
画像捕捉処理デバイスが、スティッチングユニットを備える処理デバイスを更に備え、方法が、
身体部分の大きな可視光画像を生成するために、スティッチングユニットによって一連の可視光画像にスティッチングアルゴリズムを適用する工程であって、スティッチングアルゴリズムが、スティッチングパラメータのセットを決定し、適用する、工程と、
大きな蛍光画像を生成するために、スティッチングユニットによって一連の蛍光画像にスティッチングアルゴリズムを更に適用する工程であって、スティッチングアルゴリズムが、可視光画像のスティッチングを実施するときに決定されたスティッチングパラメータのセットを適用する、工程と、
を更に含む、という点で、有利に強化することができる。

【0061】

蛍光画像及び可視光画像の視認方向及び視野が同一であれば、更に有利である。特に、蛍光画像及び可視光画像は、同じ対物レンズのうちの１つを通して捕捉される。

【0062】

更に、本方法は、蛍光画像の捕捉及び可視光画像の捕捉が、特に蛍光画像の信号と可視光画像のための信号との間の時間切り替えがない状態で、同時に実施されるという点で強化され得る。

【0063】

更に、有利な実施形態によれば、蛍光画像を捕捉する工程と、励起光で組織を照明する工程と、可視光画像を同時に捕捉する工程とは、単一の画像捕捉デバイスによって実施される。

【0064】

また、別の実施形態によれば、本方法は、可視光画像において捕捉される身体部分の表面と捕捉デバイスとの間の距離を測定する工程を更に含むことが有利である。更に、測定された距離を示す信号を撮像デバイスによって出力することができる。本方法は、距離を測定しながら、身体部分の表面の同じ部分の蛍光画像及び可視光画像を繰り返し捕捉する工程を更に含み得る。蛍光及び可視光画像の複数のセットは、異なる距離で捕捉され得る。画像のセットは、撮像品質を考慮して分析することができ、最良の整合距離を決定して、最高品質の画像を得ることができる。したがって、出力信号は、最良整合距離からの測定距離の偏差を示すことができる。

【0065】

更に別の有利な実施形態によれば、リンパ浮腫誘発蛍光パターンの分類を決定する方法は、蛍光信号の測定が、少なくとも第１及び第２の蛍光剤が添加された組織に対して実施され、蛍光画像を捕捉する工程が、
第１の蛍光剤の第１の励起放出によって放出光を生成するのに適した第１の波長を有する第１の励起光で組織を照明することによって生成される、第１の波長範囲における第１の蛍光画像を捕捉することと、
第２の蛍光剤の第２の励起放出によって放出光を生成するのに適した第２の波長を有する第２の励起光で組織を照明することによって生成される、第２の波長範囲内の第２の蛍光画像を捕捉することと、
を含み、
第１及び第２の蛍光画像が、入力インターフェースを通じて入力特徴として人工知能（ＡＩ）モデルに提供され、
入力インターフェースが、第１及び第２の蛍光画像を人工知能（ＡＩ）モデルの入力特徴として受信し、
プロセッサが、第１及び第２の蛍光画像をＡＩモデルに適用することによって推論動作を実施して、リンパ浮腫誘発蛍光パターンの分類を生成する、という点で更に強化することができる。

【0066】

更に、本方法は、患者関連データ、特に患者の性別、年齢又はＢＭＩに関するデータが、電子患者記録への直接リンクを介して、人工知能（ＡＩ）モデルへの更なる入力特徴として入力インターフェースを通じて提供されるという点で強化され得る。

【0067】

この目的は、リンパ浮腫を診断する方法であって、
患者の身体部分に蛍光剤を投与する工程と、
コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）を使用してリンパ浮腫誘発蛍光パターンの分類を決定する工程であって、分類が、蛍光剤が添加された身体部分の組織における蛍光信号を測定することによって決定される蛍光画像に基づく、工程と、
を含み、方法が、
患者に固有の蛍光画像を、入力インターフェースを通じて、人工知能（ＡＩ）モデルの入力特徴として受信することと、
プロセッサによって推論動作を実施することであって、蛍光画像が、ＡＩモデルに適用されてリンパ浮腫誘発蛍光パターンの分類を生成する、ことと、
リンパ浮腫誘発蛍光パターンの分類から診断結果、特にリンパ浮腫のステージに関する診断結果を導出することと、
リンパ浮腫誘発蛍光パターンの分類及び診断結果を、ユーザインターフェース（ＵＩ）を通じてユーザに通信することと、
を更に含む、方法によって更に解決される。

【0068】

リンパ浮腫を診断する方法は、有利には、より高いレベルの精度及び信頼性で実施することができる。この方法は、有利には、蛍光パターンを解釈する医療専門家の決定に依存しない。かかる決定は、医療関係者の個人的な経験から必然的に質が低下する。この方法は、より客観的であり、したがって正確である。

【0069】

この目的は、リンパ浮腫の長期治療の方法であって、
患者に対して上述の実施形態の１又は複数によるリンパ浮腫を診断する方法を実施することによってリンパ浮腫の重症度を診断する工程と、
患者に対して治療を実施する工程であって、治療がリンパ浮腫の重症度に関する診断結果に合わせてカスタマイズされる、工程と、
リンパ浮腫の重症度を診断する工程及び患者に対して治療を実施する工程を繰り返す工程であって、各反復において、治療がリンパ浮腫の検出されたステージに、特にリンパ浮腫の検出されたステージに調整される、工程と、
を含む方法によって更に解決される。

【0070】

本発明の態様による長期治療の方法は、リンパ浮腫の診断が、従来の方法とは対照的に、疾患の重症度に関する客観的な結果を提供するため、特に有用である。長期治療の成功は、客観的観点から分析することができる。

【0071】

ＣＤＳＳは、人工知能モデルを適用する。機械学習（ＭＬ）は、人工知能の一分野である。機械学習アルゴリズムは、そうするように明示的にプログラムされることなく、予測又は決定を行うために、訓練データとして知られるサンプルデータに基づいてモデルを構築する。

【0072】

機械学習（ＭＬ）には、教師ありＭＬと教師なしＭＬの２つの共通モードがある。教師ありＭＬは、入力と出力との間の関係を学習するために、事前知識（例えば、入力を出力又は結果に相関させる例）を使用する。教師ありＭＬの目標は、一部の訓練データが与えられた場合に、訓練入力と出力との間の関係を最もよく近似する関数を学習することであり、その結果、ＭＬモデルは、対応する出力を生成するために入力が与えられたときに同じ関係を実装することができる。教師なしＭＬは、分類もラベル付けもされていない情報を使用するＭＬアルゴリズムの訓練であり、アルゴリズムがガイダンスなしにその情報に作用することを可能にする。教師なしＭＬは、データ内の構造を自動的に識別することができるため、探索的分析において有用である。

【0073】

教師ありＭＬの一般的なタスクは、分類問題及び回帰問題である。カテゴリ化問題とも称される分類問題は、アイテムを複数のカテゴリ値のうちの１つに分類することを目的とする（例えば、この物体はリンゴかオレンジか？）。回帰アルゴリズムは、（例えば、ある入力の値にスコアを提供することによって）一部の項目を定量化することを目的とする。概して使用される教師ありＭＬアルゴリズムの一部の例は、ロジスティック回帰（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、行列因数分解、及びサポートベクターマシン（ＳＶＭ）である。

【0074】

教師なしＭＬのための一部の一般的なタスクは、クラスタリング、表現学習、及び密度推定を含む。概して使用される教師なしＭＬアルゴリズムの一部の例は、Ｋ平均クラスタリング、主成分分析、及びオートエンコーダである。

【0075】

別のタイプのＭＬは、データを交換することなく、ローカルデータを保持する複数の分散デバイスにわたってアルゴリズムを訓練する（協調学習としても知られる）フェデレーテッド学習である。この手法は、全てのローカルデータセットが１つのサーバにアップロードされる従来の集中型機械学習技術、並びにローカルデータサンプルが同一に分散されることをしばしば仮定するより古典的な分散型手法とは対照的である。フェデレーテッド学習は、複数のアクタが、データを共有することなく、共通のロバストな機械学習モデルを構築することを可能にし、したがって、データプライバシー、データセキュリティ、データアクセス権、及び異種データへのアクセスなどの重大な問題に対処することを可能にする。

【0076】

一部の例では、ＡＩモデルは、プロセッサによる推論動作の実施の前に連続的又は周期的に訓練され得る。次いで、推論動作中に、ＡＩモデルに提供される患者固有の入力特徴は、入力層から、１又は複数の隠れ層を通して、最終的に、リンパ浮腫誘発蛍光パターンの分類に対応する出力層に伝搬されてもよい。例えば、リンパ浮腫の重篤度又はレベルのステージ、及び／又は蛍光パターンの臨床タイプ、例えば、線状パターン、スプラッシュパターン、スターダストパターン又はびまん性パターンのうちの１つである。

【0077】

推論動作中及び／又は推論動作に続いて、リンパ浮腫誘発蛍光パターンの分類が、ユーザインターフェース（ＵＩ）を介してユーザに通信され得る。例えば、蛍光画像又はオーバーレイ画像は、リンパ浮腫誘発蛍光パターンに関する情報とともにディスプレイ上に表示することができる。これは、例えば、ＡＩが生成した信頼レベルに対応するリンパ浮腫のレベル又は蛍光パターンの臨床タイプを示すレポートであり得る。レポートはまた、提案された診断及び／又は治療オプションを含み得る。

【0078】

本発明の更なる特徴は、特許請求の範囲及び添付の図面とともに、本発明による実施形態の説明から明らかになるであろう。本発明による実施形態は、個々の特徴又は複数の特徴の組み合わせを満たすことができる。

【0079】

本発明は、本発明の一般的な意図を制限することなく、例示的な実施形態に基づいて以下に説明され、本明細書でより詳細に説明されない本発明による全ての詳細の開示に関して、図面が明示的に参照される。

【図面の簡単な説明】

【0080】

【図1】ＣＤＳＳの一部を形成する画像捕捉処理デバイスの概略図を示す。

【図2】画像捕捉デバイス及び画像捕捉処理デバイスの処理デバイスの概略図を示す。

【図3a】可視光画像の例を示す。

【図3b】対応する蛍光画像を示す。

【図4】図３ａ及び図３ｂに示される可視光画像及び蛍光画像から部分的に生成される大きなオーバーレイ画像を示す図である。

【図5】画像捕捉デバイスの内部プリズムアセンブリを示す。

【図6】画像捕捉デバイスを含む内視鏡又は腹腔鏡を概略的に示す。

【図7】スティッチングアルゴリズムのフローチャートを示す。

【図8】コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）を概略的に示す。

【図9A】蛍光パターンの例を示す。

【図9B】蛍光パターンの例を示す。

【図9C】蛍光パターンの例を示す。

【図9D】蛍光パターンの例を示す。

【図10】画像捕捉デバイスの別の内部プリズムアセンブリを概略的に示す。

【発明を実施するための形態】

【0081】

図面において、同一又は類似のタイプの要素又はそれぞれ対応する部分には、項目を再導入する必要がないようにするために、同一の参照番号が付されている。

【0082】

図１は、コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）への入力インターフェースとして機能することができる画像捕捉処理デバイス２を示している。ＣＤＳＳについては、図８を参照して説明する。まず、画像捕捉処理デバイス２によるデータ取得に着目する。

【0083】

画像捕捉処理デバイス２は、患者６の身体部分４の組織内の蛍光信号を測定するように構成されている。単なる例として、検査される患者６の身体部分４は腕である。蛍光信号の測定は、患者６の他の身体部分４、例えば、脚、頭部の一部、首、背中、又は身体の任意の他の部分に対して実施することもできる。測定は、切開手術中に実施することもできる。この適用シナリオにおいて、身体部分４は、例えば、患者６の内部器官であり得る。蛍光信号の測定は、低侵襲手術中に実施することもできる。この適用シナリオの場合、画像捕捉処理デバイス２は、例えば内視鏡又は腹腔鏡に少なくとも部分的に統合される。例えば、内視鏡又は腹腔鏡は、画像捕捉デバイス１０を備える。

【0084】

最初に測定を開始する前に、患者の身体部分４の組織に蛍光剤８が投与、すなわち注入される。身体部分４の組織内の画像捕捉処理デバイス２による蛍光信号の捕捉は、蛍光剤８を投与する工程を除外する。

【0085】

蛍光剤８は、例えばＩＣＧである。ＩＣＧ（インドシアニングリーン）は、４０年以上にわたって使用されている緑色の医療用色素である。ＩＣＧは、波長６００ｎｍ～８００ｎｍの近赤外光で励起されると蛍光を発する。発せされる蛍光は、７５０ｎｍ～９５０ｎｍである。蛍光剤８は、２つの異なる医療用色素を含むことも可能である。例えば、蛍光剤８は、メチレンブルーとＩＣＧとの混合物であってもよい。

【0086】

蛍光剤８の投与に続いて、図１の矢印によって示されるように、患者の身体部分４は、画像捕捉処理デバイス２の一部を形成する画像捕捉デバイス１０を使用して検査され得る。

【0087】

リンパ浮腫の蛍光撮像中、画像は、典型的には、２つの時点において捕捉される。第１の画像は、蛍光剤がリンパ系によって迅速に取り込まれる初期過渡段階で捕捉され、第２の時点では、後期プラトー段階で捕捉される。ＣＤＳＳによって処理される全ての蛍光画像は、この後期プラトー段階の間に捕捉されるものである。

【0088】

画像捕捉デバイス１０は、身体部分４の表面１１を撮像し、励起光による蛍光剤８の照明から生じる蛍光信号を検出するように構成される。画像捕捉デバイス１０が手術に適用される場合、身体部分４の表面１１は、例えば内部器官の表面である。この場合、身体部分４の表面１１は、蛍光剤８が投与された組織の表面と同一である。適切な励起波長を有する光の放出のために、画像捕捉デバイス１０は照明ユニット１６（図１には示さず）を備える。

【0089】

捕捉された画像は、ＣＤＳＳを実装することができる処理デバイス１２に通信される。ＣＤＳＳは、画像捕捉デバイス１０によって捕捉された蛍光画像に基づいて、リンパ浮腫誘発蛍光パターンの分類を出力するように構成されている。この実施形態によれば、画像捕捉処理デバイスの画像捕捉デバイスは、人工知能モデルへの入力インターフェースとして機能する。

【0090】

なお、入力インターフェースは、必ずしも画像捕捉処理デバイス２が備える必要はない。これについては、図８を参照して後述する。図１に示される実施形態では、入力インターフェースは、前述のように、画像捕捉デバイス１０によって提供される。それは、患者６に固有の蛍光画像を、処理デバイス１２に実装された人工知能（ＡＩ）モデルに提供する。処理デバイス１２のプロセッサは、蛍光画像がＡＩモデルに適用されてリンパ浮腫誘発蛍光パターンの分類を生成する干渉動作を実施する。典型的なリンパ浮腫誘発蛍光パターンが図７に示されており、これについては以下でより詳細に説明する。

【0091】

リンパ浮腫誘発蛍光パターンの分類は、ユーザに、所与の実施形態では医師３に通信される。出力は、ディスプレイ１４であり得るユーザインターフェースを介して実施される。ＡＩモデルの出力、すなわちリンパ浮腫誘発蛍光パターンの分類とともに、蛍光画像及び可視光画像をディスプレイ１４上に出力することができる。画像捕捉デバイス１０は、医師３によって取り扱われることができる。

【0092】

図２は、画像捕捉処理デバイス２の画像捕捉デバイス１０及び処理デバイス１２をより詳細に示している。画像捕捉デバイス１０は、蛍光剤８の発光を励起することによって蛍光を生成するのに適した波長を有する励起光で組織を照明するように構成された照明ユニット１６を備える。照明ユニット１６には、例えば複数のＬＥＤが設けられている。

【0093】

画像捕捉デバイス１０は、可視光及び蛍光を捕捉するための対物レンズ１８を更に備える。光は、対物レンズ１８を通ってプリズムアセンブリ２０に導かれる。プリズムアセンブリ２０は、可視光画像をもたらす可視光から、特に７５０ｎｍ～９５０ｎｍの波長範囲にある蛍光を分離するように構成される。蛍光は、例えばＣＣＤ又はＣＭＯＳセンサに、必要に応じて追加の波長フィルタ及び電子機器を加えたものである蛍光撮像ユニット２２に方向付けられる。蛍光撮像ユニット２２は、蛍光画像を提供するために、放出光、すなわち蛍光剤８の励起放出の空間分解測定によって蛍光画像を捕捉するように構成される。更に、可視光撮像ユニット２４があり、これは、別のＣＣＤ又はＣＭＯＳセンサに、必要に応じて追加の異なる波長フィルタ及び電子機器を加えたものであり得る。プリズムアセンブリ２０は、可視光撮像ユニット２４が患者の身体部分４の表面１１の一部の可視光画像を捕捉することを可能にするように、該ユニットに可視光を方向付けるように構成される。同様に、プリズムアセンブリ２０は、蛍光を蛍光撮像ユニット２２に方向付けるように構成される。なお、プリズムアセンブリ２０、蛍光撮像ユニット２２及び可視光撮像ユニット２４の詳細については後述する。

【0094】

画像捕捉デバイス１０は、スキャンユニット、例えば、画像ラインスキャンユニット又はＬＩＤＡＲスキャンユニットであってもよい。画像捕捉デバイス１０は、深度情報を含む３Ｄ画像を計算することができる一対の立体画像を捕捉するのに適した３Ｄカメラであってもよい。もちろん、画像捕捉デバイス１０は、これらのデバイスの組み合わせであってもよい。

【0095】

画像データは、無線データリンク又は有線データリンク、例えばデータケーブルとすることができる適切なデータリンク２６を介して、画像捕捉デバイス１０から処理デバイス１２に通信される。

【0096】

画像捕捉デバイス１０は、蛍光撮像ユニット２２及び可視光撮像ユニット２４を動作させて、可視光画像及び蛍光画像を同時に捕捉するように構成されている。特に、画像捕捉デバイス１０は、蛍光画像の信号と可視光画像の信号との間で時間切り替えを実施しない。換言すれば、蛍光撮像ユニット２２及び可視光撮像ユニット２４のセンサは、それぞれの波長範囲における画像を捕捉するために排他的に使用され、これは、撮像ユニット２２、２４のセンサが、ＩＲスペクトルにおける蛍光画像を捕捉するために、又は可視スペクトルにおける可視光画像を捕捉するために使用されることを意味する。撮像ユニット２２、２４は、両方の波長範囲で画像を捕捉するためには使用されない。これは重要な利点をもたらす。例えば、センサは、正確に焦点が合うように位置決めすることができ、これは、イメージセンサが両方の目的のために、すなわち、可視光及び赤外光を捕捉するために使用されるときには、これらの異なる波長に対する焦点の位置が通常異なるため、不可能である。更に、センサパラメータは、例えば、必要な露光時間又はセンサ利得に関して、個々に調整することができる。ＩＲ信号は典型的には可視光信号よりも低いため、個々の設定は有利である。

【0097】

蛍光撮像ユニット２２及び可視光撮像ユニット２４は、互いに固定された空間的関係を有する。これは、ユニットが画像捕捉デバイス１０の１つの単一の取り付け構造又はフレームに配置されているためである。更に、蛍光撮像ユニット２２及び可視光撮像ユニット２４は、それぞれ蛍光画像及び可視光画像の撮像のために同じ対物レンズ１８及びプリズムアセンブリ２０を使用する。これらの手段により、蛍光撮像ユニット２２及び可視光撮像ユニット２４は、蛍光画像及び可視光画像の視認方向及び視点が既知の一定の関係を介してリンクされるように構成される。所与の実施形態では、２つの画像の視認方向は同一であり、両方のユニット２２、２４は同じ対物レンズ１８を介して結像する。

【0098】

画像捕捉デバイス１０は、蛍光撮像ユニット２２及び可視光撮像ユニット２４を動作させて、蛍光画像及び可視光画像の捕捉を繰り返して、一連の蛍光画像及び一連の可視光画像を提供するように構成することができる。この動作は、処理デバイス１２が蛍光撮像ユニット２２のイメージセンサ及び可視光撮像ユニット２４のイメージセンサを動作させることにより実施することができる。一連の画像は、典型的には、オペレータ又は医師３（図１を参照）が患者６の身体部分４の長手方向Ｌに沿って画像捕捉デバイス１０を移動させる間に捕捉される。この移動は、一連の画像の後続の画像が重なり合う部分を含むように実施され得る。換言すれば、一連の画像の第１の画像に示される詳細は、一連の画像の後続の第２の画像にも示される。これは、その後の所望によるスティッチングプロセスにとって重要である。対応する特徴が後続の画像において見出され得ることを保護するために、画像取得の頻度は、十分に高い値に設定され得る。画像の捕捉は、例えば医師３によって手動で開始することができ、又は画像の捕捉は、記載された前提条件が満たされるように画像捕捉デバイス１０によって制御され得る。

【0099】

画像捕捉デバイス１０は、更に、この移動中の画像捕捉デバイス１０の位置及び配向を取得するように構成することができる。例えば、検査室の基準系又は患者６の基準系における画像捕捉デバイス１０の位置及び配向は、捕捉される各画像又は画像対ごとに決定することができる。この情報は、可視画像及び蛍光画像を含む画像又は画像対とともに記憶され、通信され得る。この情報は、一連の２Ｄ画像から３Ｄ画像を生成するように、その後の画像の再構成に有用であり得る。

【0100】

２つの一連の画像（すなわち、第１の一連の可視光画像及び第２の一連の蛍光画像）又は一連の画像対（各画像対は、蛍光画像及び可視光画像を含む）が、捕捉デバイス１０によって捕捉され、処理デバイス１２内に受信されると、一連の可視光画像は、スティッチングユニット２８（図２参照）によって処理され得る。スティッチングユニット２８は、身体部分４の大きな可視光画像を生成するために、一連の可視光画像に対してスティッチングアルゴリズムを適用するように構成される。大きな画像は、単一の画像と比較して患者６の身体部分４のより大きな部分を示すという点で「より大きい」。

【0101】

本明細書の文脈内で、「スティッチング」という用語は、スティッチングのプロセスが２つ以上の２Ｄ画像の組み合わせに限定されると理解されるべきではない。スティッチングは、３Ｄ画像に基づいて実施することもでき、このプロセスの結果は、より大きな３Ｄ画像である。スティッチングのプロセスは、２Ｄ画像と、２Ｄ画像が捕捉されたビューの方向に関する追加の情報とに基づいて実施することもできる。画像捕捉デバイス１０の位置に関する更なる情報も考慮に入れることができる。上述したように、これらのデータセットに基づいて、より大きな３Ｄ画像を生成することができ、すなわち、一連の２Ｄ画像に加えて画像捕捉デバイス１０の位置及び配向に関する情報から、より大きな３Ｄ画像を一緒にスティッチングすることができる。例えばＬＩＤＡＲセンサからの３Ｄスキャンデータを２Ｄ画像情報と組み合わせることも可能である。この場合も、スティッチング処理の結果は、より大きな３Ｄ画像である。スティッチングという用語は、特に、データセットから３Ｄ画像を再構成するプロセスを包含する。

【0102】

スティッチング中に処理されるデータの特定のタイプにかかわらず、スティッチングアルゴリズムは、可視光画像のスティッチングから開始する。スティッチングアルゴリズムは、スティッチング動作を実施するときにスティッチングパラメータのセットを生成して適用する。スティッチングユニット２８の詳細な動作については後述する。スティッチングユニット２８は、大きな蛍光画像を生成するために、一連の可視光画像だけでなく一連の蛍光画像にもスティッチングアルゴリズムを適用するように構成される。この場合も、スティッチングのプロセスは、２つ以上の２Ｄ画像の組み合わせに限定されない。可視光画像について上述したのと同様の方法で３Ｄ蛍光画像を生成することも可能である。

【0103】

蛍光画像のスティッチングに適用されるスティッチングアルゴリズムは、可視光画像のスティッチングに使用されるのと同じアルゴリズムである。更に、蛍光画像のスティッチングは、可視光画像のスティッチングを実施するときに決定されたスティッチングパラメータの同じセットを使用して実施される。これは、可視光画像及び蛍光画像の視認方向及び視野の間に固定された関係があるために可能である。当然ながら、可視光画像及び蛍光画像の視認方向及び視点が同一でない場合、固定オフセット又はスティッチングパラメータのシフトを適用する必要がある。これは、ＩＲ及びＶｉｓイメージセンサと対応する光学系との間の既知の固定された空間的関係を考慮に入れる。

【0104】

スティッチングに続いて、大きな可視光画像及び大きな蛍光画像が利用可能であり、ＡＩモデルへの入力として機能することができる。また、大きな可視光画像及び蛍光画像を出力することができる。例えば、画像は、ＡＩモデルの結果、すなわちリンパ浮腫誘発蛍光パターンの分類とともに、ディスプレイ１４上に並べて表示される。

【0105】

従来の検査システムとは異なり、ディスプレイ１４は、ＡＩモデルの結果とともに、互いに対応する可視光画像及び蛍光画像を示すことができる。蛍光画像で見ることができる詳細、例えばリンパ液の蓄積又はリンパ液の逆流の特徴的なパターンを示す高い蛍光強度は、患者の身体部分４において、可視光画像に示される対応する位置に正確に見出すことができる。これにより、医師３は、例えばリンパ液の蓄積が見出される領域を正確に見つけることができる。これは、例えば患者６の調整された特定の治療のための非常に有益な情報である。

【0106】

可視光画像及び蛍光画像、特に大きな可視光画像及び大きな蛍光画像は、身体部分４のオーバーレイ画像、特に大きいオーバーレイ画像を提供するように重畳させることも可能である。この処理は、処理デバイス１２の重畳ユニット３０によって実施することができる。オーバーレイ画像は、ディスプレイ１４を介して出力することもできる。

【0107】

図３ａは、患者６の身体部分４の表面１１の一部が見える可視光画像５の例を示している。単なる例として、患者の脚の一部が示されている。図３ｂは、患者の脚の組織に適用された蛍光剤８の蛍光信号を測定することによって決定された対応する蛍光画像７を示している。蛍光信号の高強度スポット又は領域が見えている。このタイプの蛍光画像は、典型的には、リンパ浮腫の後期又は重症度ステージを示すびまん性パターンに分類される。異なるタイプのリンパ浮腫誘発蛍光パターンは、以下で更に詳細に説明される。観察された蛍光パターンは、患者の脚における遅いリンパ輸送及びリンパ浮腫に起因するリンパの蓄積を強く示している。有利には、医師３は、蛍光画像７を可視光画像５と比較することによって、遅いリンパ輸送が実施される領域の位置を特定することができる。更に、医師には、例えばリンパ浮腫の重症度のステージ及び／又は蛍光パターンの臨床タイプであるＡＩモデルの出力が提供される。

【0108】

図４では、オーバーレイ画像９があり、図３ａ及び図３ｂに示される画像に加えて、可視光画像５及び蛍光画像７のスティッチングが実施されている。例示的な単一の可視光画像５及び蛍光画像７は、図４にも見ることができ、それぞれ、大きなオーバーレイ画像９に示される直線の破線の間に投影される。可視光画像５と蛍光画像７とをスティッチングすることにより、患者６の身体部分４のほぼ全体を示す大きなオーバーレイ画像９を提供することができる。蛍光信号は、可視光画像５の特徴と明確に区別するために、疑似カラーで示すことができる。また、オーバーレイ画像は、ＣＤＳＳのＡＩモデルへの入力として機能することができる。

【0109】

図５には、画像捕捉デバイス１０に実装され得るプリズムアセンブリ２０が示されている。第１のプリズムＰ１は、ペンタプリズムである。可視光及び蛍光である入射光ビームＡは、入射面Ｓ１を介して第１のプリズムＰ１に入射し、入射面Ｓ１に隣接しない２つの面のうちの１つである面Ｓ２で部分的に反射される。次に、反射ビームＢは、入射面Ｓ１に隣接する面のうちの第１の面に対して反射される。反射角は、反射が内部的ではないように、臨界角未満とすることができる（隣接する面は、光の漏れを回避し、必要な対象波長を反射するようにコーティングされ得る）。次いで、反射ビームＣは、入射光ビームＡと交差し、入射面Ｓ１に隣接する面のうちの第２の面を通って第１のプリズムＰ１を出て、センサＤ１に向かう。ビームＡの一部は面Ｓ２を通過し、補償プリズムＰ２に入射する。２つの非内部反射を使用して、入射ビームＡをビームＢ及びＣを介してセンサＤ１に方向付けることができる。更に、プリズムＰ１とＰ２との間に空隙がなくてもよく、プリズムＰ３とＰ４との間に空隙がなくてもよく、プリズムＰ２とＰ３との間に空隙がなくてもよい。プリズムＰ２は、入射面Ｓ１からセンサＤ１～Ｄ５までの光路の個々の長さを調整するための補償器プリズムである。

【0110】

Ｐ２から、ビームＤは第２のペンタプリズムＰ３に入射する。プリズムＰ１と同様に、ビーム自体を交差させるために内向き反射が使用される。簡潔にするために、プリズムＰ３において、ビーム部分Ｅ、Ｆ及びＧが、プリズムＰ１におけるビーム部分Ａ、Ｂ及びＣにそれぞれ対応することを述べることを除き、ビームの説明は繰り返さない。プリズムＰ３はまた、入射ビームをセンサＤ２に向けて反射するために内部反射を使用することができない。２つの非内部反射を使用して、入射ビームＥをビームＦ及びＧを介してセンサＤ２に方向付けることができる。

【0111】

プリズムＰ３の後に、別の補償プリズムＰ４がある。最後に、ビームＨは、センサＤ３、Ｄ４及びＤ５をそれぞれ有するプリズムＰ５、Ｐ６及びＰ７を含むダイクロイックプリズムアセンブリに入射する。ダイクロイックプリズムアセンブリは、可視光をそれぞれのセンサＤ３、Ｄ４及びＤ５に向けて赤色、緑色及び青色成分に分割するためのものである。光は、ビームＩを通ってプリズムアセンブリに入射する。プリズムＰ５とＰ６との間には光学コーティングＣ１が配置され、プリズムＰ６とＰ７との間には別の光学コーティングＣ２が配置される。各光学コーティングＣ１及びＣ２は、異なる反射率及び波長感度を有する。Ｃ１において、入射ビームＩは、光が入射したのと同じプリズムの面に部分的に反射される（ビームＪ）。その同じ面で、ここでＫとラベル付けされたビームは、もう一度センサＤ３に向かって反射される。ＪからＫへの反射は内部反射である。したがって、センサＤ３は、コーティングＣ１によって反射された光を受光し、アナログ方式で、センサＤ４は、コーティングＳ２によって反射されたビームＬからの光（ビームＭ及びＮ）を受光し、センサＤ５は、プリズムを妨げられずに横断したビームＯからの光を受光する。

【0112】

プリズムＰ４とプリズムＰ５との間には空隙がある。プリズムアセンブリ２０では、以下の総経路長が、各終点チャネルに対して定義され得る（チャネルの端部におけるセンサに関して定義される）。
センサＤ１（例えば、第１の近赤外線）経路：Ａ＋Ｂ＋Ｃ
センサＤ２（例えば、第２の近赤外線）経路：Ａ＋Ｄ＋Ｅ＋Ｆ＋Ｇ
センサＤ３（例えば、赤色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｊ＋Ｋ
センサＤ４（例えば、青色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋０
センサＤ５（例えば、緑色）経路：Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｍ＋Ｎ

【0113】

経路長は、Ａ＋Ｂ＋Ｃ＝Ａ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋ｌ＋Ｊ＋Ｋ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋ｌ＋Ｏ＝Ａ＋Ｄ＋Ｅ＋Ｈ＋Ｉ＋Ｍ＋Ｎとなるように整合される。

【0114】

経路長の整合は、センサＤ１～Ｄ５において検出される波長の焦点面焦点位置差の調整を含み得る。すなわち、例えば、青色（Ｂ）光用のセンサに向かう経路長は、赤色（Ｒ）光用のセンサに向かう経路長と正確に同じではない場合がある。その理由は、鮮明な合焦画像を生成するための理想的な距離は、光の波長にある程度依存するためである。プリズムは、これらの依存性を許容するように構成することができる。Ｄ＋Ｈの長さは、補償器プリズムＰ２、Ｐ４の横方向変位によって調整することができ、波長シフトに起因して焦点補償器として作用することができる。

【0115】

経路Ｉにおけるより大きな空隙は、追加のフィルタのために使用され得るか、又は焦点シフト及び補償のためのガラス補償器で充填され得る。ビームＪからビームＫへの経路における内部反射のために、赤色プリズムのその特定の底面に空隙が存在する必要がある。プリズム出力面とセンサＤ１～Ｄ５のそれぞれとの間に空間を確保して、追加のフィルタを提供することができ、又はそれに応じてガラス補償器によって満たされるべきである。

【0116】

センサＤ１及びＤ２は、蛍光画像７を捕捉するように構成されたＩＲセンサである。一例として、センサＤ１及びＤ２に加えて適切な電子機器は、蛍光撮像ユニット２２の一部である。センサＤ３、Ｄ４及びＤ５は、可視光画像５の３つの成分を捕捉するためのものである。一例として、センサＤ３、Ｄ４、及びＤ５に加えて適切な電子機器は、可視光撮像ユニット２４の一部である。また、それぞれのユニット、すなわち蛍光撮像ユニット２２及び可視光撮像ユニット２４の一部であるセンサに光ビームを方向付ける対応するプリズムを考慮することも可能である。

【0117】

図６は、内視鏡５０又は腹腔鏡を概略的に示している。本発明の態様を考慮すると、腹腔鏡と内視鏡との間の差異は比較的小さい。したがって、説明が内視鏡に言及する場合、腹腔鏡構成も通常可能である。単なる一例として、以下では、内視鏡５０を参照する。

【0118】

内視鏡５０は、ＣＤＳＳの入力インターフェースとして機能することができる。内視鏡５０は、上記で更に詳細に説明され、ＡＩモデルの入力特徴であり得る蛍光画像を捕捉する、画像捕捉デバイス１０を備える。画像捕捉デバイス１０は、蛍光画像７及び可視光画像５を捕捉する対物レンズ１８を備える。対物レンズ１８は、プリズムアセンブリ２０の入射面Ｓ１から入射した光をセンサＤ１～Ｄ５に集光する。対物レンズ１８は、プリズム後側焦点距離に適合するように、内視鏡部分の最後の部分に統合させることもできる。

【0119】

内視鏡５０は、光を内視鏡５０に結合する光源５４に接続された光ファイバ５２を備える。光源５４は、身体部分４の表面１１の照明及び可視光画像５の捕捉のために白色光を提供することができる。また、光源５４は、蛍光剤として適用される蛍光色素を励起して蛍光を発するのに適した励起光を発するように構成することができる。換言すれば、光源５４は、可視光とＩＲスペクトルの光の両方を発するように構成することができる。

【0120】

内視鏡５０のシャフト５６の内部で、光ファイバ５２は、複数のファイバ５１に分かれる。内視鏡５０は、可撓性シャフト５６又は剛性シャフト５６を有することができる。剛性シャフト５６では、レンズ要素及び／又はリレーロッドレンズからなるレンズシステムを使用して、シャフト５６を通して光を導くことができる。内視鏡５０が可撓性シャフト５６を有する場合、ファイバ束５１は、光源５４の光を内視鏡シャフト５６の先端に導くために使用することができる。内視鏡シャフト５６（図６には示さず）の遠位先端からの、検査領域から来る光を、シャフト５６の近位端にある画像捕捉デバイス１０に導くために、ファイバ束５８が、内視鏡５０のシャフト５６内に配置される。図示されていない別の実施形態では、画像捕捉デバイス１０全体を小型化し、内視鏡シャフト５６の遠位先端又は遠位端に配置することができる。

【0121】

図７は、可視光画像及び蛍光画像のスティッチングに使用することができる、スティッチングアルゴリズムのフローチャートを示している。フローチャートは、多かれ少なかれ自明であり、非常に簡単に説明される。最初に、取得された一連の画像（Ｓ１）は、処理デバイス１２のスティッチングユニット２８に転送される。次に、アルゴリズムは、フレーム事前選択を実施する（工程Ｓ２）。この事前選択工程では、スティッチングに適したフレームが選択される。Ｓ３は、スティッチングされる選択された画像を表しており、該画像は次いで、前処理に供される（工程Ｓ４）。前処理された画像（Ｓ５）において、特徴抽出が実施される（工程Ｓ６）。画像特徴が抽出されると（Ｓ７）、Ｓ３から既知の画像と工程Ｓ７から抽出された特徴とを使用して画像整合（工程Ｓ８）が実施される。選択された画像（Ｓ９）に基づいて、画像の変換が推定される（工程Ｓ１０）。この画像変換の推定（Ｓ１１）は、スティッチングパラメータとも称され、適用される（工程Ｓ１２）。変換の適用は、変換された画像をもたらす（Ｓ１３）。更なる画像補正、例えば露光補正を実施することができる（工程Ｓ１４）。変換され補正された画像（Ｓ１５）は、継ぎ目（すなわち、それに沿って画像がつなぎ合わされる線）の位置を特定することによってスティッチングされる（工程Ｓ１６）。継ぎ目の位置を示すデータ（Ｓ１７）は、変換され補正された画像（Ｓ１２）とともに使用されて、画像の合成を作成する（工程Ｓ１８）。所与の実施形態では、これは、スティッチングの結果として、大きな可視光画像又は大きな蛍光画像をもたらす（Ｓ１９）。

【0122】

更に、可視光画像５及び蛍光画像７を捕捉するために適用される画像捕捉デバイス１０は、可視光画像５において捕捉される患者の身体部分４の表面１１と画像捕捉デバイス１０との間の距離ｄ（図１を参照）を測定するように構成される測定ユニット３２を更に備えることができる。測定ユニット３２と通信する距離センサ３３は、例えば、超音波センサ、レーザ距離センサ、又は任意の他の適切な距離測定デバイスである。更に、画像捕捉デバイス１０は、測定された距離ｄを示す信号を出力するように構成される。例えば、画像捕捉デバイス１０は、デバイス１０のオペレータに測定を実施するための最良の距離ｄに関する情報を与える光学信号又は音響信号を出力する。一定の距離ｄで測定を実施すると、とりわけ均一な照明があるため、測定結果が大幅に向上する。

【0123】

距離センサ３３に加えて、画像捕捉デバイス１０は、内部測定ユニット（ＩＭＵ）３５を含むことができ、これは、ピッチ、ヨー、及びロールにおける回転に関するデータ、並びに３つの空間軸（ｘ、ｙ、及びｚ）における加速度データを収集するために使用され得る。ＩＭＵのこの情報は、スティッチングアルゴリズムの性能を向上させるために、又はカメラを位置決め及び回転させるためのフィードバックをオペレータに提供し、スティッチングアルゴリズムのためのより良好な画像を提供するために、追加のデータとして使用され得る。

【0124】

処理デバイス１２は、ＣＤＳＳを実装するＡＩユニット６０を更に備えることができる。図８は、コンピュータベースの臨床意思決定支援システム（ＣＤＳＳ）６２を概略的に示している。ＣＤＳＳは、入力インターフェース６４と、ＡＩモデル６８を実装するプロセッサ６６と、出力インターフェース７０と、を備える。入力インターフェース６４は、ＡＩモデル６８のための入力を提供する直接的なデータリンクとして機能する画像捕捉処理デバイス２に結合される。更に、入力インターフェース６４は、キーボード、タッチパッド、又はその目的に適した任意の他のデバイスとすることができるユーザ入力インターフェース７２に結合される。入力インターフェース６４は更に、患者関連データ、特に電子患者記録を保持するデータベース７４に結合される。出力インターフェース７０は、図１に示される画像捕捉処理デバイス２のディスプレイ１４と同一であり得るディスプレイ１４に結合される。

【0125】

例示的なＣＤＳＳ６２は、蛍光画像７に基づいてリンパ浮腫誘発蛍光パターンの分類を提供するように構成される。上記でも概説した種々の実施形態において、ＣＤＳＳ６２は、患者６に固有の蛍光画像７が入力特徴として人工知能（ＡＩ）モデル６８に提供される入力インターフェース６４として、画像捕捉処理デバイス２、特に画像捕捉デバイス１０を含む。プロセッサ６６は、蛍光画像７、大きな蛍光画像又はオーバーレイ画像９がＡＩモデル６８に適用されてリンパ浮腫誘発蛍光パターンの分類を生成する推論動作を実施する。リンパ浮腫誘発蛍光パターンの分類、例えばリンパ浮腫の重症度のステージ及び蛍光パターンの臨床タイプがユーザ、例えば臨床医に通信されるユーザインターフェース（ＵＩ）は、ディスプレイ１４であり得る。

【0126】

一部の実施形態では、入力インターフェース６４は、ＣＤＳＳ６２と、入力特徴の少なくとも一部を生成する１又は複数の医療デバイスとの間の直接データリンクであり得る。例えば、入力インターフェース６４は、治療及び／又は診断医療処置中に蛍光画像をＣＤＳＳ６２に直接送信することができる。これは、画像捕捉処理デバイス２によって実施することができる。追加的又は代替的に、入力インターフェース６４は、ユーザとＣＤＳＳ６２との間のインタラクションを容易にする古典的なユーザインターフェースであり得る。例えば、入力インターフェース６４は、ユーザが例えば性別、年齢又はボディマス指数のような更なる患者関連データを手動で入力可能なユーザ入力インターフェース７２を容易にすることができる。追加的又は代替的に、入力インターフェース６４は、１又は複数の入力特徴が抽出され得る電子患者記録へのアクセスをＣＤＳＳ６２に提供することができる。これは、それぞれの情報を保持するデータベース７４への直接リンクによって実施することができる。これらの場合のいずれにおいても、入力インターフェース６４は、リンパ浮腫のレベル又はステージを評価するためにＣＤＳＳ６２が使用される時間又はその前に、特定の患者６に関連する以下の入力特徴、すなわち蛍光画像７、大きな蛍光画像、オーバーレイ画像９、及び所望により、上述のような患者記録からの追加の情報のうちの１又は複数を収集するように構成される。

【0127】

上記の入力特徴の１又は複数に基づいて、プロセッサ６６は、ＡＩモデル６８を使用して推論動作を実施して、リンパ浮腫誘発蛍光パターンの分類を生成する。例えば、入力インターフェース６４は、蛍光画像７をＡＩモデル６８の入力層内に送達してもよく、これは、これらの入力特徴をＡＩモデル６８を通して出力層に伝搬する。ＡＩモデル６８は、データの分析において見出されるパターンに基づいて推論を実施することによって、明示的にプログラムされることなく、タスクを実施する能力をコンピュータシステムに提供することができる。ＡＩモデル６８は、既存のデータから学習し、新しいデータに関する予測を行うことができるアルゴリズム（例えば、機械学習アルゴリズム）の研究及び構築を探索する。かかるアルゴリズムは、出力又は評価として表されるデータ駆動型予測又は決定を行うために、例示的訓練データからＡＩモデルを構築することによって動作する。ＡＩモデルの強調及び訓練は、例えばリンパ浮腫の重症度の自動的に生成されたステージ又は蛍光パターンの臨床タイプを補正する手動のユーザ入力によって実施することもできる。

【0128】

ＡＩモデルの訓練は、種々の場所からのデータを使用してクラウド内で実施することもでき、その後、訓練されたネットワークをダウンロードして、それぞれの処置に使用することができる。訓練のためにクラウドを使用することは、ローカルシステムと比較してより高い性能を有するために特に有利である。

【0129】

図９には、蛍光パターンの臨床タイプの例がある。図９Ａは、典型的な線状パターンを示している。このパターンは、リンパ系が良好な状態にあり、蛍光剤８がリンパ液とともにリンパ管を上方に輸送されるときに観察することができる。この所見のステージ分類は、典型的にはステージ１であり、これは、正常なリンパ流及び徴候又は症状がないことを意味する。図９Ｂでは、リンパ流が部分的に閉塞される場合に観察され得るスプラッシュパターンがある。典型的には、ステージ２がこの所見に割り当てられ、これは、腫脹の可能性を伴うリンパ液の蓄積があることを意味する。図９Ｃは、リンパ浮腫が更に進行した場合に観察され得るスターダストパターンを示している。このパターンは、典型的には、身体部分４の永久的な腫脹も観察され得るステージ２又は３に割り当てられる。リンパ浮腫のステージ３では、この腫脹は、典型的には、罹患した身体部分４の上昇とともに消散しない。最後に、図９Ｄは、重症度のリンパ浮腫を示すびまん性パターンを示している。蛍光剤８は、リンパ液とともに、患者６の皮膚及び皮下組織全体に注がれる。この臨床所見は、典型的には、ステージ３又は４と特定され、これは、罹患した四肢４の成長及び変形を伴う皮膚の肥厚があることを意味する。図示されたパターンＡ～Ｄは、破線の矩形によって図９の右側に示されているように、患者６の身体又は四肢４上のどこにでも見出すことができる。

【0130】

図１０には、画像捕捉デバイス１０の別のプリズムアセンブリ２０の実施形態が示されている。プリズムアセンブリ２０は、プリズムＰ５、Ｐ６、及びＰ７を備え、これらは、例えば、光をそれぞれのセンサＤ３、Ｄ４、及びＤ５に向かって赤色成分、緑色成分、及び青色成分に分割するように構成される。更なる実施形態によれば、プリズムアセンブリ２０は、入射光を緑色成分、赤色／青色成分、及び赤外線成分に分割し、これらをそれぞれのセンサＤ３、Ｄ４、及びＤ５に方向付けるように構成される。更に別の実施形態によれば、プリズムアセンブリ２０は、入射光を、赤色／緑色／青色センサ（ＲＧＢセンサ）に方向付けられる可視光成分、第１の波長又は波長間隔の第１の赤外線成分、及び第２の波長又は波長間隔の第２の赤外線成分に分割し、これらをそれぞれのセンサＤ３、Ｄ４、及びＤ５に方向付けるように構成される。

【0131】

光は、示された矢印を通ってプリズムアセンブリ２０に入る。Ｐ５とＰ６との間には、光学コーティングＣ１が配置され、プリズムＰ６とＰ７との間には、光学コーティングＣ２が配置され、各光学コーティングＣ１及びＣ２は、異なる反射率及び波長感度を有する。Ｃ１において、入射ビームＩは、光が入射したのと同じプリズムＰ５の面に部分的に反射される（ビームＪ）。その同じ面で、ここでＫとラベル付けされたビームは、もう一度フィルタＦ３及びセンサＤ３に向かって反射される。ＪからＫへの反射は内部反射である。したがって、フィルタＦ３及びセンサＤ３は、コーティングＣ１によって反射された光を受光し、同様に、フィルタＦ４及びセンサＤ４は、コーティングＳ２によって反射されたビームＬからの光（ビームＭ及びＮ）を受光する。フィルタＦ５及びセンサＤ５は、プリズムを妨害されずに通過したビームＯからの光を受光する。

【0132】

入射光が赤色成分、緑色成分及び青色成分に分割される実施形態を参照する場合、コーティング及びフィルタはそれに応じて選択される。

【0133】

入射光が緑色成分、赤色／青色成分及び赤外線成分に分離される実施形態では、フィルタＦ３は、パターン化フィルタ（赤色／青色）とすることができる。特に、赤色と青色のフィルタのアレイが交互のパターンで存在する。パターンは、１つの特定の色に対してフィルタリングされる２×２ピクセルのグループからなることができる。フィルタＦ４は緑色フィルタとすることができ、これは、フィルタが緑色フィルタのみを含むことを意味する。単一のピクセルグリッドがあり、各ピクセルで受光された光は緑色フィルタでフィルタリングされる。フィルタＦ５はＩＲフィルタとすることができる。各ピクセルは、ＩＲフィルタでフィルタリングされる。

【0134】

概して、コーティングＣ１、Ｃ２は、フィルタＦ３、Ｆ４、Ｆ５に整合すべきである。例えば、第１のコーティングＣ１は、ＩＲ光がＩＲフィルタＦ３に向かって導かれるように、ＩＲ光を反射しながら可視光を透過することができる。第２のコーティングＣ２は、フィルタＦ４が赤色／青色パターン化フィルタであるべきであり、Ｆ５が緑色フィルタ２３であるべきであるように、緑色光に対して透明である一方、赤色光及び青色光を反射してもよい。

【0135】

入射光が可視光成分（ＲＧＢ）、第１の赤外線成分及び第２の赤外線成分に分割される更なる実施形態によれば、コーティングＣ１、Ｃ２及びフィルタＦ３、Ｆ４、Ｆ５は、例えば、センサＤ４が３色全ての可視光画像を検出するためのカラーセンサ（ＲＧＢセンサ）であるように構成される。更に、センサＤ３は、第１の波長の蛍光を検出するように構成されることができ、センサＤ５は、第２の波長の蛍光を検出するように構成される。

【0136】

同様に、図５のプリズムアセンブリ２０を参照すると、センサＤ１、Ｄ２、Ｄ３、Ｄ４、及びＤ５のそれぞれ１つの前に配置されたコーティングＳ１、Ｓ２、Ｓ３、Ｓ４、Ｃ１、及びＣ２、並びにフィルタＦ１、Ｆ２、Ｆ３、Ｆ４、及びＦ５は、最大４つの蛍光波長を検出することができるように構成することができる。例えば、センサＤ４は、３色全ての可視光画像を検出するカラーセンサである。センサＤ３は第１の波長の蛍光を検出するためのものであり、センサＤ５は第２の波長の蛍光を検出するためのものであり、センサＤ１は第３の波長の蛍光を検出するためのものであり、センサＤ２は第４の波長の蛍光を検出するためのものである。

【0137】

図面のみから得られるものを含む全ての指定された特徴、及び他の特徴と組み合わせて開示される個々の特徴は、単独で及び組み合わせて、本発明にとって重要であると考えられる。本発明による実施形態は、個々の特徴又は複数の特徴の組み合わせによって実現することができる。「特に（ｉｎ ｐａｒｔｉｃｕｌａｒ）」又は「特に（ｅｓｐｅｃｉａｌｌｙ）」という表現と組み合わされた特徴は、好ましい実施形態として扱われるべきである。

【符号の説明】

【0138】

２ 画像捕捉処理デバイス
３ 医師
４ 身体部分
５ 可視光画像
６ 患者
７ 蛍光画像
８ 蛍光剤
９ オーバーレイ画像
１０ 画像捕捉デバイス
１１ 表面
１２ 処理デバイス
１４ ディスプレイ
１６ 照明ユニット
１８ 対物レンズ
２０ プリズムアセンブリ
２２ 蛍光撮像ユニット
２４ 可視光撮像ユニット
２６ データリンク
２８ スティッチングユニット
３０ 重畳ユニット
３２ 測定ユニット
３３ 距離センサ
３５ 内部測定ユニット
５０ 内視鏡
５２ 光ファイバ
５１ ファイバ
５４ 光源
５６ シャフト
５８ ファイバ束
６０ ＡＩユニット
６２ ＣＤＳＳ
６４ 入力インターフェース
６６ プロセッサ
６８ ＡＩモデル
７０ 出力インターフェース
７２ ユーザ入力インターフェース
７４ データベース
Ｐ１ 第１のペンタプリズム
Ｐ２，Ｐ４ 補償プリズム
Ｐ３ 第２のペンタプリズム
Ｐ５，Ｐ６，Ｐ７ ダイクロイックプリズムアセンブリ
Ａ 入射光ビーム
Ｂ．光ビーム
Ｓ１ 入射面
Ｄ１．．Ｄ５ センサ
Ｃ１，Ｃ２ コーティング
Ｆ１．．Ｆ５ フィルタ Ｌ 長手方向
ｄ 距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】