特表 2023-519489 対応する補助画像内で識別される制限情報領域で処理された発光画像を用いた医療処置の支援

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-11

(54)【発明の名称】対応する補助画像内で識別される制限情報領域で処理された発光画像を用いた医療処置の支援

(51)【国際特許分類】

   G06T 7/174 20170101AFI20230501BHJP

   A61B 34/10 20160101ALI20230501BHJP

   G06T 7/00 20170101ALI20230501BHJP

【ＦＩ】

G06T7/174

A61B34/10

G06T7/00 350C

G06T7/00 612

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022549882

(86)(22)【出願日】2021-02-19

(85)【翻訳文提出日】2022-10-07

(86)【国際出願番号】 EP2021054162

(87)【国際公開番号】W WO2021165471

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】20158847.2

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】522166138

【氏名又は名称】サージビジョン・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＳｕｒｇＶｉｓｉｏｎ ＧｍｂＨ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100100479

【弁理士】

【氏名又は名称】竹内 三喜夫

(72)【発明者】

【氏名】ヴァルブーザ，ジョヴァンニ

(72)【発明者】

【氏名】タルティス，アドリアン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096CA05

5L096CA17

5L096DA01

5L096EA12

5L096EA33

5L096EA43

5L096FA02

5L096FA37

5L096GA30

5L096GA51

5L096HA01

5L096HA11

5L096JA11

5L096JA16

5L096KA04

(57)【要約】

医療処置を支援するための手法を提案する。対応する方法（４００）が、視野（１０３）の、発光（ルミネセンス）光に基づいて発光画像（２０５Ｆ）を取得し、この発光光とは異なる補助光に基づいて補助画像（２０５Ｒ）を取得する（４０６～４０８）ことを含む。視野（１０３）は、医療処置のターゲット本体（１１２）（発光物質を含む）を含む関心領域（１０９）と、１つ以上の異物（１１５～１２４）とを収容する。異物（１１５～１２４）なしの関心領域（１０９）を表現する補助情報領域（２１０Ｒｉ）は、その内容に従って補助画像（２０５Ｒ）内で識別され（４１０～４２４）、発光情報領域（２１０Ｆｉ）は、補助情報領域（２１０Ｒｉ）に従って発光画像（２０５Ｆ）内で識別される（４２８）。発光画像（２０５Ｆ）は、その中のターゲット本体（１１２）の表現の識別を容易にするために、発光情報領域（２１０Ｆｉ）に限定して処理される（４３２～４６６）。

【特許請求の範囲】

【請求項1】

患者（１０６）の医療処置を支援するための方法（４００）であって、該方法（４００）は、コンピュータ装置（１３０）の制御の下で、
コンピュータ装置（１３０）によって、患者（１０６）の医療処置のための関心領域（１０９）を含む視野（１０３）の発光画像（２０５Ｆ）を取得するステップ（４０６）であって、関心領域（１０９）は、発光物質を含む医療処置の少なくとも１つのターゲット本体（１１２）と、関心領域（１０９）とは異なる１つ以上の異物（１１５～１２４）とを含み、発光画像（２０５Ｆ）は、視野（１０３）の対応する発光場所で発光物質が発光する発光光を表現する複数の発光値を含む、ステップ（４０６）と、
コンピュータ装置（１３０）によって、視野（１０３）の補助画像（２０５Ｒ）を取得するステップ（４０８）であって、補助画像（２０５Ｒ）は、視野（１０３）の対応する補助場所から受信された、発光光とは異なる補助光を表現する複数の補助値を含む、ステップ（４０８）と、
コンピュータ装置（１３０）によって、補助画像（２０５Ｒ）の内容に従って、異物（１１５～１２４）なしの関心領域（１０９）を表現する補助画像（２０５Ｒ）の補助情報領域（２１０Ｒｉ）を識別するステップ（４１０～４２４）と、
コンピュータ装置（１３０）によって、補助情報領域（２１０Ｒｉ）に対応する発光画像（２０５Ｆ）の発光情報領域（２１０Ｆｉ）を識別するステップ（４２８）と、
コンピュータ装置（１３０）によって、発光情報領域（２１０Ｆｉ）に制限された発光画像（２０５Ｆ）を処理することによって、発光画像（２０５Ｆ）を生成するステップ（４３２～４６６）であって、発光画像（２０５Ｆ）の処理は、その中のターゲット本体（１１２）の表現の識別を容易にするために、発光情報領域（２１０Ｆｉ）の発光値に基づいている、ステップ（４３２～４６６）と、
コンピュータ装置（１３０）によって、処理された発光画像（２２０Ｆｉ，２２５Ｆｉ）に基づいて、出力画像を出力するステップ（４６８～４７０）と、を含む方法。

【請求項2】

方法（４００）は、患者（１０６）の外科的処置を支援するためのものであり、
出力画像を出力する前記ステップ（４６８～４７０）は、コンピュータ装置（１３０）によって、発光画像（２０５Ｆ）を取得するステップ（４０６）とほぼリアルタイムで出力画像を表示するステップ（４０６）を含む、請求項１に記載の方法（４００）。

【請求項3】

関心領域は、患者（１０６）の手術空洞（１０９）である、請求項２に記載の方法（４００）。

【請求項4】

異物（１１５～１２４）の少なくとも一部は、関心領域（１０９）と重なり合う、請求項１～３のいずれかに記載の方法（４００）。

【請求項5】

異物（１１５～１２４）は、１つ以上の医療器具（１１５）、１つ以上の手（１１８）、１つ以上の医療ツール（１２１）、医療処置にとって関心のない患者（１０６）の１つ以上の身体部分（１２４）、および／または、バックグラウンド材料（１２５）を含む、請求項１～４のいずれかに記載の方法（４００）。

【請求項6】

補助画像は、反射画像（２０５Ｒ）であり、
補助光は、可視光であり、
補助値は、白色光によって照明された視野（１０３）の対応する補助場所で反射した可視光を表現する、請求項１～５のいずれかに記載の方法（４００）。

【請求項7】

発光物質は、方法（４００）を実行する前に患者（１０６）に事前投与される発光剤である、請求項１～６のいずれかに記載の方法（４００）。

【請求項8】

補助情報領域（２１０Ｒｉ）を識別する前記ステップ（４１０～４２４）は、コンピュータ装置（１３０）によって、補助画像（２０５Ｒ）を、関心領域（１０９）の少なくとも１つの関心領域クラスに対応する補助情報領域（２１０Ｒｉ）と、異物（１１５～１２４）の１つ以上の異物クラスに対応する補助非情報領域（２１０Ｒｎ）とにセマンティック的に分割するステップ（４１４～４２４）を含む、請求項１～７のいずれかに記載の方法（４００）。

【請求項9】

補助画像（２０５Ｒ）を分割する前記ステップ（４１０～４２４）は、コンピュータ装置（１３０）によって、ニューラルネットワークを用いて補助画像（２０５Ｒ）をセマンティック的に分割するステップ（４２４）を含む、請求項８に記載の方法（４００）。

【請求項10】

補助画像（２０５Ｒ）を分割する前記ステップ（４１０～４２４）は、
コンピュータ装置（１３０）によって、補助画像（２０５Ｒ）の対応する特徴について１つ以上の特徴マップを決定し、特徴マップの各々は補助場所の対応する特徴値を含む、ステップ（４１８）と、
コンピュータ装置（１３０）によって、特徴マップの特徴値に分類アルゴリズムを適用することによって、補助画像（２０５Ｒ）をセマンティック的に分割するステップ（４２０～４２２）と、を含む請求項８に記載の方法（４００）。

【請求項11】

補助情報領域（２１０Ｒｉ）を識別する前記ステップ（４１０～４２４）は、
補助画像（２０５Ｒ）が、補助情報領域（２１０Ｒｉ）によって完全に包囲された１つ以上の切断された部分を含む場合、コンピュータ装置（１３０）によって、切断された部分を補助情報領域（２１０Ｒｉ）に割り当てるステップ（４２２）を含む、請求項１～１０のいずれかに記載の方法（４００）。

【請求項12】

補助情報領域（２１０Ｒｉ）を識別する前記ステップ（４１０～４２４）の前に、コンピュータ装置（１３０）によって、補助画像（２０５Ｒ）の輝度インジケータが、補助情報領域（２１０Ｒｉ）を識別する前記ステップ（４１０～４２４））の実行可能性を示す暗さ閾値と、暗さ閾値より高い明るさ閾値との間に含まれることに応答して、ヒストグラムイコライゼーションを補助画像（２０５Ｒ）に適用することによって補助画像（２０５Ｒ）を前処理するステップ（４１０）を含む、請求項１～１１のいずれかに記載の方法（４００）。

【請求項13】

補助情報領域（２１０Ｒｉ）を識別する前記ステップ（４１０～４２４）は、
コンピュータ装置（１３０）によって、発光画像（２０５Ｆ）の内容に従って、補助情報領域（２１０Ｒｉ）を識別するステップ（４１４～４２４）を含む、請求項１～１２のいずれかに記載の方法（４００）。

【請求項14】

処理された発光画像（２２０Ｆｉ，２２５Ｆｉ）を生成する前記ステップ（４３２～４６６）は、
コンピュータ装置（１３０）によって、発光情報領域（２１０Ｆｉ）の発光値に従って、発光情報領域（２１０Ｆｉ）のオートスケーリングを行うステップ（４３６～４４６）を含む、請求項１～１３のいずれかに記載の方法（４００）。

【請求項15】

発光情報領域（２１０Ｆｉ）のオートスケーリングを行う前記ステップ（４３６～４４６）は、
コンピュータ装置（１３０）によって、発光情報領域（２１０Ｆｉ）の発光値の発光範囲を決定するステップ（４３６）と、
コンピュータ装置（１３０）によって、発光範囲を、発光画像（２０５Ｆ）を表示するための表示範囲にマッピングするマッピング関数に従って、発光情報領域（２１０Ｆｉ）の発光値を変換するステップ（４３８～４４６）と、を含む請求項１４に記載の方法（４００）。

【請求項16】

処理された発光画像（２２０Ｆｉ，２２５Ｆｉ）を生成する前記ステップ（４３２～４６６）は、
コンピュータ装置（１３０）によって、発光情報領域（２１０Ｆｉ）の発光値に従って、発光情報領域（２１０Ｆｉ）を閾値処理し、これによりターゲット本体（１１２）を表現するターゲットセグメントと、ターゲット本体（１１２）とは異なる関心領域（１０９）の残りを表現する非ターゲットセグメントとに分割するステップ（４４８～４６４）を含み、
出力画像を出力する前記ステップ（４６８～４７０）は、
コンピュータ装置（１３０）によって、非ターゲットセグメントに対してターゲットセグメントを強調することによって、出力画像を出力するステップ（４７０）を含む、請求項１～１３のいずれかに記載の方法（４００）。

【請求項17】

発光情報領域（２１０Ｆｉ）を閾値処理する前記ステップ（４４８～４６４）は、
コンピュータ装置（１３０）によって、発光情報（２１０Ｆｉ）の発光値の統計分布に従って、閾値を決定するステップ（４４８）と、
コンピュータ装置（１３０）によって、対応する発光値と閾値との比較に従って、発光情報領域（２１０Ｆｉ）の発光場所の各々をターゲットセグメントまたは非ターゲットセグメントに割り当てるステップ（４５０～４６０）と、を含む請求項１６に記載の方法（４００）。

【請求項18】

発光情報領域（２１０Ｆｉ）を閾値処理する前記ステップ（４４８～４６４）は、
コンピュータ装置（１３０）によって、ターゲットセグメントの発光値の１つ以上のターゲット統計パラメータ、および／または、非ターゲットセグメントの発光値の１つ以上の非ターゲット統計パラメータを計算するステップ（４６２）と、
コンピュータ装置（１３０）によって、ターゲット統計パラメータおよび／または非ターゲット統計パラメータに従って、ターゲットセグメントの発光値を更新するステップ（４６４）と、を含む請求項１６または１７に記載の方法（４００）。

【請求項19】

方法（４００）は、
コンピュータ装置（１３０）によって、補助情報領域（２１０Ｒｉ）に制限された補助画像（２０５Ｆ）の補助場所について、発光光に関連する少なくとも１つの光学パラメータの対応する光学値を、その内容に従って決定するステップ（４２６）を含み、
処理された発光画像（２２０Ｆｉ，２２５Ｆｉ）を生成する前記ステップ（４３２～４６６）は、
コンピュータ装置（１３０）によって、光学値に従って、発光情報領域（２１０Ｆｉ）の発光値を均等化するステップ（４３２）を含む、請求項１～１８のいずれかに記載の方法（４００）。

【請求項20】

発光物質は、蛍光物質であり、
発光画像は、蛍光画像（２０５Ｆ）であり、
発光値は、その励起光により照射された対応する発光場所において蛍光物質が放出する蛍光を表現する、請求項１～１９のいずれかに記載の方法（４００）。

【請求項21】

コンピュータプログラム（３００）がコンピュータ装置（１３０）上で実行される場合、コンピュータ装置（１３０）に、請求項１～２０のいずれかに記載の方法（４００）を実行させるように構成されたコンピュータプログラム（３００）。

【請求項22】

読み取り可能な記憶媒体に集合的に記憶されたプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、プログラム命令は、コンピュータ装置によって読み取り可能であり、コンピュータ装置に、請求項１～２０のいずれかに記載の方法を実行させる、コンピュータプログラム製品。

【請求項23】

請求項１～２０のいずれかに記載の方法（４００）のステップを実行するように構成された手段（３００）を含むコンピュータ装置（１３０）。

【請求項24】

請求項２３に記載のコンピュータ装置（１３０）と、
発光物質を励起するのに適合した励起光を視野（１０３）に印加するための照明ユニット（１３３，１３９）と、
発光画像（２０５Ｆ）および補助画像（２０５Ｒ）を取得するための取得ユニット（１４５～１５７）と、を備えるイメージングシステム（１００）。

【請求項25】

請求項１～２０のいずれかに記載の方法（４００）に従って、患者の医療処置のための関心領域、および関心領域とは異なる１つ以上の異物を含む視野を撮像して、出力画像を出力するステップであって、関心領域は、発光物質を含む医療処置の少なくとも１つのターゲット本体を含む、ステップと、
出力画像の支援とともに医療処置を行うステップと、を含む患者の医療処置。

【請求項26】

医療処置は、発光物質を含む発光剤を患者に投与するステップを含む、請求項２５に記載の医療処置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、イメージング応用に関する。より詳細には、本開示は、医療処置を支援するための発光(luminescence)イメージングに関する。

【背景技術】

【0002】

本開示の背景は、その文脈に関する技術の議論とともに以下に導入される。しかしながら、この議論が文書、行為、アーチファクト等を参照した場合でも、議論された技術が先行技術の一部であることや、本開示に関連する分野における共通の一般的知識であることを示唆したり表現したりするものではない。

【0003】

発光イメージング、特に蛍光(fluorescence)イメージングが、それらが直接見えない場合でも、物体の視覚的表現を提供する画像を取得するために使用される特定のイメージング手法である。発光イメージングは、加熱とは異なる励起を受けた場合、発光物質による光の放出からなる発光現象をベースとしており、特に蛍光物質（蛍光色素分子と呼ばれる）において蛍光現象が発生する。これらは、照明された場合に光（蛍光）を放出する。

【0004】

医療処置を支援するために患者の身体部分（内部）を検査するために、イメージング手法が医療機器において一般に利用されている。例えば、蛍光ガイド手術（ＦＧＳ）（腫瘍に関連する場合は蛍光ガイド切除（ＦＧＲ）とも呼ばれる）では、蛍光剤（可能性として、腫瘍など、所望のターゲット本体の特定の分子に到達するように適合されており、そしてそこに固定状態になる）が患者に投与される。対応する蛍光画像における蛍光剤の可視化は、一般に、対応する反射画像上に重なり合い、外科医の手術、例えば、切除すべき腫瘍の認識を容易にする。

【0005】

しかしながら、撮像される視野がしばしば、実際の関心領域に加えて、関心のない幾つかの異物を含む。例えば、（蛍光）ガイド手術では、これは、手術空洞に加えて、手術器具、手、手術ツール、周囲の身体部分（例えば、手術空洞周りの皮膚またはその内部の無関係な器官）およびバックグラウンド材料の存在に起因することがある。異物は、医療処置のターゲット本体（議論中の例では腫瘍）に蓄積された蛍光剤が放出する実際に関心のある蛍光光に加えて、スプリアス光を発生する。特に、スプリアス光は、蛍光光を増加させることがある。例えば、これは、散乱および吸収現象に起因することがある。さらに、これは、それらとの（望ましくない）親和性のため、周囲の身体部分（特に皮膚）に蓄積する蛍光剤にも起因することがある。反対に、スプリアス光は、蛍光を異常にまたは人為的に減少させることがある。

【0006】

スプリアス光（全く非情報的である）は、腫瘍（またはいずれか他のターゲット本体）のイメージングにとって有害である。特に、スプリアス光は、蛍光画像の（蛍光）値の統計的分布を著しくバイアスする。これは、蛍光画像の次の処理に悪影響を及ぼす。例えば、蛍光値は、一般に、蛍光光の測定値によって与えられる（蛍光）範囲から、蛍光画像を表示するために使用されるモニタの表示ダイナミクスによって与えられる（表示）範囲へ変換される。

【0007】

従って、スプリアス光による蛍光値の統計的分布のバイアス（蛍光を増加させる場合）は、関心領域を表示するために使用される蛍光値の範囲を制限する。これにより、その腫瘍の表現が目立たなくなる。さらに、蛍光画像はしばしば、その蛍光値と閾値との比較に従って、蛍光画像の残りの部分から腫瘍を識別するために閾値処理される。閾値は、蛍光値に従って自動的に計算される。

【0008】

この場合も、スプリアス光による蛍光値の統計的分布のバイアス（蛍光を増加させても減少させていも）は、閾値に影響を与える。これは、蛍光値を誤って分類するリスクを伴う。その結果、腫瘍の過剰検出（偽陽性）、特に腫瘍の検出不足（偽陰性）が生ずる可能性がある。さらに、これにより腫瘍病巣の検出が阻害される。上記の全ては、患者の健康に関する重大な結果（例えば、腫瘍の不完全切除）を有することがある。

【0009】

スプリアス光の関与が、関心のある蛍光光から除去することが困難である（不可能でない場合）。実際、スプリアス光は統計的に容易に区別できないため、統計的手法は、この目的のためにまったく有効ではない。特に、スプリアス光が関心のある蛍光光の同じスペクトル特性を有する場合（例えば、皮膚に蓄積された蛍光剤の場合）、光フィルタリングもまったく有効ではない。さらに、スプリアス光の影響を制限するために医療機器の動作パラメータの手動調整（例えば、異物を非蛍光材料で覆うことを含む）は、更なる作業を追加する（可能性として、特定の訓練を必要とする専用オペレータを必要とする）。いずれの場合も、医療機器との相互作用は、特に滅菌の懸念のために、外科的処置の間は困難になることがある。

【0010】

国際公開第ＷＯ－Ａ－２０１３／０９６７６６号は、診断用途において病変を撮像するための手法を開示する。モル(mole)境界は、可視光画像内に配置される。可視光画像および蛍光画像は、それらの両方に位置決定基準を用いてアライメントされる。モル特徴は、１つまたは両方の画像から抽出される。

【0011】

国際公開第ＷＯ－Ａ－２０１９／２３２４７３号は、マイクロ流体デバイス内に設置された、セルまたはビーズなどのマイクロ物体を自動的に検出して特徴づける手法を開示する。照明された画像中の画素データは、マイクロ物体を検出するためにニューラルネットワークを用いて処理される。蛍光画像など、非照射画像中の各検出されたマイクロ物体の対応する境界内に位置する信号が、マイクロ物体の特性を測定するために使用される。

【0012】

国際公開第ＷＯ－Ａ－２０１７／０９８０１０号は、ＤＮＡ／ＲＮＡ配列決定において、ライブビーズをブランクビーズから区別するための手法を開示する。ビーズの位置は、白色光照明画像において決定される。こうして決定された位置にあるビーズは、蛍光化合物による電磁放射の放出に従って分類される。

【発明の概要】

【課題を解決するための手段】

【0013】

本開示の簡略化した要旨は、ここでは、その基本的な理解を提供するために提示している。しかしながら、この要旨の唯一の目的は、本開示のいくつかの概念を、下記のより詳細な説明の前置きとして簡略化した形態で導入することである。それは、そのキー要素の識別としてもその範囲の描写としても解釈されるべきでない。

【0014】

一般論として、本開示は、補助画像において識別される情報領域に制限された発光画像を処理するというアイデアをベースとしている。

【0015】

特に、一態様が、医療処置を支援する方法を提供する。この方法は、視野の発光画像（発光光に基づく）および補助画像（この発光光とは異なる補助光に基づく）を取得するステップを含む。視野は、医療処置のターゲット本体（発光物質を含む）を含む関心領域と、１つ以上の異物とを収容する。異物なしの関心領域を表現する補助情報領域が、その内容に従って補助画像内で識別され、発光情報領域が、補助情報領域に従って発光画像内で識別される。発光画像は、その中のターゲット本体の表現の識別を容易にするために、発光情報領域に限定されて処理される。

【0016】

更なる態様が、この方法を実装するためのコンピュータプログラムを提供する。

【0017】

更なる態様が、対応するコンピュータプログラム製品を提供する。

【0018】

更なる態様が、この方法を実行するためのコンピュータ装置を提供する。

【0019】

更なる態様が、このコンピュータ装置を含むイメージングシステムを提供する。

【0020】

更なる態様が、対応する医療処置を提供する。

【0021】

より詳細には、本開示の１つ以上の態様が独立請求項に記述され、その有利な特徴が従属請求項に記述されており、全ての請求項の言い回しは、参照により文字どおりにここに組み込まれている（他の全ての態様に準用される任意の特定の態様を参照して提供される任意の有利な特徴を備える）。

【図面の簡単な説明】

【0022】

本開示の手法、そしてその追加の特徴および利点は、下記詳細な説明を参照して、添付図面と関連して読まれる非限定的な表示を単に用いて、最善に理解されるであろう（ここで、簡略化のために、対応する要素は等しいまたは類似の参照符号が付与され、それらの説明は繰り返さず、各実体の名前は、一般にそのタイプおよびその属性（例えば、値、内容および表現）の両方を示すために使用される）。

【0023】

【図1】本開示の一実施形態に係る手法を実践するために使用できるイメージングシステムの概略ブロック図を示す。

【図2A】本開示の一実施形態に係る手法の様々な適用例を示す。

【図2B】本開示の一実施形態に係る手法の様々な適用例を示す。

【図2C】本開示の一実施形態に係る手法の様々な適用例を示す。

【図2D】本開示の一実施形態に係る手法の様々な適用例を示す。

【図2E】本開示の一実施形態に係る手法の様々な適用例を示す。

【図3】本開示の一実施形態に係る手法を実装するために使用できる主要なソフトウェアコンポーネントを示す。

【図4A】本開示の一実施形態に係る手法の実装に関連する動作の流れを記述する様々な動作図を示す。

【図4B】本開示の一実施形態に係る手法の実装に関連する動作の流れを記述する様々な動作図を示す。

【図5】本開示の一実施形態に係る手法の実装に関連する動作の流れを記述する様々な動作図を示す。

【発明を実施するための形態】

【0024】

特に図１を参照すると、本開示の実施形態に係る手法を実践するために使用できるイメージングシステム１００の概略ブロック図が示されている。

【0025】

イメージングシステム１００は、対応する視野１０３（イメージングシステム１００が感度を有する立体角内の世界の一部によって定義される）を撮像することを可能にする。特に、イメージングシステム１００は、外科医を支援するために手術用途（ＦＧＳ、特にＦＧＲ）で使用される。この特定の場合、視野１０３は、蛍光剤が投与された（例えば、腫瘍に蓄積するように適合した）外科的処置を受ける患者１０６に関連する。視野１０３は、手術空洞１０９（例えば、低侵襲手術での小さな皮膚切開部）を包含する。これは、患者１０６内で開放しており、外科的処置を受ける対応する身体部分を露出させる。

【0026】

特に、手術空洞１０９内に露出した身体部分は、ターゲット本体や、これに対して外科医が施術すべきもの、例えば、切除すべき腫瘍１１２を含む。視野１０３は、一般に、１つ以上の異物（手術空洞１０９とは異なる）を包含し、例えば、これらの異物は、１つ以上の手術器具１１５（例えば、手術メス）、１つ以上の手１１８（例えば、外科医の手）、１つ以上の手術ツール１２１（例えば、ガーゼ）、１つ以上の包囲する身体部分１２４（例えば、手術空洞１０９付近の皮膚）、および／または、１つ以上のバックグラウンド材料１２５（例えば、手術台）を含むことがある。

【0027】

イメージングシステム１００は、視野１０３の画像を取得するためのイメージングプローブ１２７と、その動作を制御するための中央ユニット１３０とを有する。

【0028】

イメージングプローブ１２７から開始すると、それは、照明ユニット（視野１０３を照明するため）と、下記コンポーネントを備える取得ユニット（視野１０３の画像を取得するため）とを有する。照明ユニットでは、励起光源１３３および白色光源１３６が励起光および白色光をそれぞれ発生する。励起光は、蛍光剤の蛍光色素分子を励起するのに適した波長およびエネルギー（例えば、近赤外線（またはＮＩＲ）タイプ）を有し、一方、白色光は、人間の眼にとって実質的に無色であるように見える（例えば、人間の眼にとって可視であるスペクトルの全ての波長を等しい強度で含む）。

【0029】

対応する伝送光学系１３９および伝送光学系１４２は、励起光および白色光を（同じ）視野１０３にそれぞれ伝送する。取得ユニットでは、収集光学系１４５は、視野１０３からの光を収集する（落射照明配置で）。収集された光は、視野内に存在する任意の蛍光色素分子（励起光によって照明される）によって放出される蛍光を含む。実際、蛍光色素分子は、励起光を吸収した場合に励起（電子）状態になり、励起状態は不安定であり、その結果、蛍光色素分子は、そこから極めて短時間で基底（電子）状態に減衰し、これにより照明された蛍光色素分子の量に依存した強度で（励起状態で熱として散逸されるエネルギーのために励起光のものより長い特性波長で）蛍光光を放出する（そして、他の要因は、視野および身体部分内の蛍光色素分子位置を含む）。

【0030】

さらに、収集された光は、視野内に存在する任意の物体（白色光によって照明される）によって反射される反射光（可視スペクトルにおける）を含む。ビームスプリッタ１４８が、収集された光を２つのチャネルに分割する。例えば、ビームスプリッタ１４８は、収集された光を、反射光のスペクトルと蛍光光のスペクトルとの間の閾値波長の上下の波長でそれぞれ透過し反射するダイクロイックミラーである（または逆も同様）。ビームスプリッタ１４８の（透過した）チャネルでは、そのスペクトル中の収集された光の一部によって規定される蛍光光を用いて、発光フィルタ１５１が、蛍光光をフィルタ処理して、励起／白色光（これは、視野によって反射されるかもしれない）および周囲光（固有の蛍光によって生成されるかもしれない）を除去する。

【0031】

蛍光カメラ１５４（例えば、ＥＭＣＣＤタイプ）が、発光フィルタ１５１からの蛍光光を受光し、視野１０３内の蛍光色素分子の分布を表す対応する蛍光（デジタル）画像を発生する。ビームスプリッタ１４８の他方の（反射した）チャンネルの他方では、そのスペクトルにおける集光された光の一部によって規定される反射光を備え、反射率または写真のカメラ１５７が、反射光を受光し、視野１０３内で見えるものを表す対応する反射（デジタル）画像を発生する。

【0032】

中央ユニット１３０に移動すると、それは、バス構造１６０を介して互いに接続されたいくつかのユニットを備える。特に、１つ以上のマイクロプロセッサ（μＰ）１６３が、中央ユニット１３０の論理能力を提供する。不揮発性メモリ（ＲＯＭ）１６６が、中央ユニット１３０のブートストラップのための基本コードを保存し、揮発性メモリ（ＲＡＭ）１６９が、マイクロプロセッサ１６３によって作業メモリとして使用される。中央ユニット１３０には、プログラムおよびデータを保存するための大容量メモリ１７２（例えば、半導体ディスクまたはＳＳＤ）が設けられる。

【0033】

さらに、中央ユニット１３０は、周辺機器または入力／出力（Ｉ／Ｏ）ユニットのための複数のコントローラ１７５を備える。特に、コントローラ１７５は、励起光源１３３、白色光源１３６、蛍光カメラ１５４およびイメージングプローブ１２７の反射カメラ１５７を制御し、さらに、コントローラ１７５は、更なる周辺機器（参照符号１７８で全体として示す）、例えば、画像表示のための１つ以上のモニタ、コマンド入力用のキーボード、モニタ上のポインタを移動するためのトラックボール、着脱可能なストレージユニット（例えば、ＵＳＢキー）を読み書きするための駆動装置、通信ネットワーク（例えば、ＬＡＮ）に接続するためのネットワークインタフェースカード（ＮＩＣ）を制御する。

【0034】

ここで図２Ａ～図２Ｅを参照して、本開示の一実施形態に係る手法の様々な応用例を示す。

【0035】

図２Ａから開始すると、一対の対応する反射画像２０５Ｒおよび蛍光画像２０５Ｆを示す。反射画像２０５Ｒおよび蛍光画像２０５Ｆは、同じ視野１０３の同時表現（それぞれ反射光および蛍光光の観点で）を提供する。特に、視野１０３は、手術空洞１０９およびいくつかの異物を収容しており、後者は、この例では、手術器具１１５と、２つの外科医の手１１８と、周囲の皮膚１２４とからなる。異物１１５～１２４は、手術空洞１０９の周りに配置され（手術器具１１５の場合のように、外科医の手１１８および周囲の皮膚１２４の一部）、または手術空洞１０９と重なり合う（外科医の手１１８の一部の場合のように）ことがある。

【0036】

図２Ｂを参照して、本開示の一実施形態に係る手法では、反射画像２０５Ｒにおいて、その内容に応じて（反射）情報領域２１０Ｒｉが識別される。情報領域２１０Ｒｉは、異物（この場合、手術器具、外科医の手、周囲の皮膚）なしの手術空洞を表し、そして、実際に関心のある視野１０３の情報部分（即ち、関心領域またはＲＯＩ）を表す。反射画像２０５Ｒの残りは、異物を表す（反射率）非情報領域２１０Ｒｎを画定し、そして関心のない視野１０３の非情報部分を画定する。例えば、下記に詳細に説明するように、この結果は、セマンティックセグメンテーション(semantic segmentation)手法（例えば、ニューラルネットワークの使用をベースとする）を用いて達成される。

【0037】

反射画像２０５Ｒにおける情報領域２１０Ｒｉ（非情報領域２１ＯＲｎも同様）の識別は、蛍光画像２０５Ｆに転送される。特に、情報領域２１０Ｒｉに対応する蛍光画像２０５Ｆにおいて、（蛍光）情報領域２１０Ｆｉが識別される。その結果、蛍光画像２０５Ｆの残りは、非情報領域２１０Ｒｎに対応する（蛍光）非情報領域２１０Ｆｎを画定する。

【0038】

下記に詳細に説明するように、その情報領域２１０Ｆｉに限定した蛍光画像２０５Ｆを処理することによって、処理画像が生成される。蛍光画像２０５Ｆの処理は、例えば、情報領域だけでの蛍光画像２０５Ｆの（蛍光）値、例えば、その分布（例えば、範囲、確率など）に基づいている。蛍光画像２０５Ｆのこの処理は、その中の腫瘍の表現の識別（例えば、情報領域２１０Ｆｉをオートスケーリング（自動拡大縮小）または閾値処理することによって）を容易にすることを目的とする。

【0039】

その結果、蛍光画像２０５Ｆにおける手術空洞の（情報）表現だけを考慮することが可能であり、その代わりに異物（周囲および／または重なり合う）の（非情報）表現を無視できる。これにより手術空洞のイメージングにおける異物の悪影響を回避する（または少なくとも実質的に減少させる）。特に、蛍光画像２０５Ｆの処理に基づいた蛍光値の統計的分布はバイアスなしである（非情報領域２１０Ｆｎでの蛍光値はそれに寄与しないためである）。

【0040】

例えば、図２Ｃは、蛍光画像全体およびその情報領域だけの蛍光値の対応する確率関数をそれぞれ表す曲線２１５ｗおよび曲線２１５ｉを示す。確率関数２１５ｗ，２１５ｉは、横軸上の蛍光値と縦軸上の頻度をプロットした定性図において、蛍光値の対応するヒストグラムを近似している。図から判るように、確率関数２１５ｉは、確率関数２１５ｗよりはるかに狭い。従って、情報領域に限定された蛍光画像の処理は、その蛍光値のより狭い確率分布から利益を受ける。

【0041】

特に、図２Ｄは、オートスケール（蛍光）画像２２０Ｆｗと呼ばれる、蛍光画像全体をオートスケーリングすることによって生成された処理画像を示す。オートスケール画像２２０Ｆｗは、これらを、蛍光光の測定分解能で与えられる（蛍光）範囲から、それを表示するために使用されるモニタの表示ダイナミクスによって与えられる（表示）範囲に変換するために、蛍光画像の全ての蛍光値にマッピング関数を適用することによって得られた（例えば、対数法則に基づいて、バランスのとれたコントラストを備えた画像が得られる）。

【0042】

図はまた、その情報領域２１０Ｆｉに限定された蛍光画像をオートスケーリングすることによって生成された処理画像を示す。（そして、その非情報領域２１０Ｆｎに限定された蛍光画像をさらにオートスケーリングすることによって）、オートスケーリング（蛍光）画像２２０Ｆｉと呼ばれる。特に、オートスケール画像２２０Ｆｉは、情報領域２１０Ｆｉ内の蛍光値および非情報領域２１０Ｆｎ内の蛍光値に、対応するマッピング関数を別個に適用することによって得られた（非情報領域２１０Ｆｎ内の蛍光値は、その内容をマスクするためのスケーリング係数によって減少する）。

【0043】

オートスケール画像２２０Ｆｗでは、その蛍光値の幅広い統計的分布は、情報領域２１０Ｆｉ内の蛍光値をマッピングするための表示範囲内で利用可能な蛍光値の範囲を制限する（それらのより狭い統計的分布のため）。これは、情報領域２１０Ｆｉ内の蛍光値の差を減少させ、それにより切除すべき腫瘍を表す蛍光剤のより高い濃度でその部分を識別することを極めて困難にする（もし不可能でなくても）。

【0044】

オートスケール画像２２０Ｆｉでは、その代わりに情報領域２１０Ｆｉ内の蛍光値をマッピングするために全表示範囲が利用可能である。これにより情報領域２１０Ｆｉ内の蛍光値の差を増加させ、腫瘍１１２の表現がより顕著になる。

【0045】

図２Ｅを参照すると、蛍光画像全体を閾値処理することによって生成された異なる処理画像を示しており、閾値処理（蛍光）画像２２５Ｆｗと称される。特に、閾値処理画像２２５Ｆｗは、蛍光画像を、（前景）ターゲットセグメントおよび（背景）非ターゲットセグメントに区分することによって得られ、その蛍光値は、蛍光値に従って計算される閾値（例えば、級間分散を最小化する）の上下にあり、そして、腫瘍を表すターゲットセグメントは、腫瘍とは異なる手術空洞の残りの部分を表す非ターゲットセグメント（例えば、白と黒）に対して強調される（例えば、着色）。

【0046】

図はまた、情報領域２１０Ｆｉだけを閾値処理することによって同様に生成された処理画像を示しており、閾値処理（蛍光）画像２２５Ｆｉと称される。閾値処理画像２３０Ｆｗでは、その蛍光値の幅広い統計的分布は、閾値を上昇させる（そのより高い蛍光値のため）。これにより情報領域２１０Ｆｉ内の蛍光値を非ターゲットセグメントに分類し、これにより腫瘍を消滅させる。閾値処理画像２２５Ｆｉでは、その代わりに情報領域２１０Ｆｉ内の蛍光値は、低い閾値に起因してより正確に分類される（それらのより狭い統計的分布のため）。これにより情報領域２１０Ｆｉ内の腫瘍１１２を識別することができる。

【0047】

上記の手法は、腫瘍（または他の任意のターゲット本体）の識別を容易にする。例えば、腫瘍の過剰検出（偽陽性）のリスク、特に腫瘍の検出不足（偽陰性）のリスクが著しく低減される。これにより健康な組織の過剰な除去、特に腫瘍の不完全な切除を回避し（または少なくとも著しく減少させ）、さらに、これにより腫瘍病巣の検出を著しく改善する。上記の全ては、患者の健康に有益な効果を有する。

【0048】

ここで図３を参照すると、本開示の実施形態に係る手法を実装するために使用できる主要ソフトウェアコンポーネントを示している。

【0049】

全てのソフトウェアコンポーネント（プログラムおよびデータ）は、全体として参照３００で示している。ソフトウェアコンポーネント３００は、典型的には、大容量メモリに保存され、プログラムが実行する場合、オペレーティングシステムおよび本開示の手法に直接に関係しない他のアプリケーションプログラム（簡素化のために図では省略）とともに、イメージングシステムの中央ユニットのワーキングメモリに（少なくとも部分的に）ロードされる。プログラムは、例えば、リムーバブルストレージユニットから、または通信ネットワークから大容量メモリに最初にインストールされる。この点に関して、各プログラムは、コードのモジュール、セグメントまたは一部でもよく、これは、特定の論理機能を実装するための１つ以上の実行可能命令を含む。

【0050】

蛍光駆動部(drive)３０５が、この目的のために適切に照明された視野の蛍光画像を取得するために専用のイメージングシステムの蛍光ユニット（励起光源および蛍光カメラを含む）を駆動する。蛍光駆動部３０５は、蛍光画像リポジトリ（貯蔵庫）３１０に（ライト(write)モードで）アクセスし、これは、進行中のイメージングプロセス中に連続して取得される一連の蛍光画像を保存する（対応する手術処置を支援するために）。

【0051】

各蛍光画像は、セルのマトリクス（例えば、５１２行および５１２列）を含むビットマップによって定義される、各々が画素の（蛍光）値、即ち、視野の（蛍光）場所に対応する基本画素の（蛍光）値をそれぞれ保存する。各画素値は、その場所によって放出された蛍光光の強度の関数として、さらにそこに存在する蛍光剤の量の関数として、画素の輝度(brightness)を定義する（例えば、蛍光剤が存在しない場合の黒から、蛍光剤の量が増加するにつれて白になる）。

【0052】

同様に、反射駆動部３１５は、この目的のために適切に照明された視野の反射画像を取得するために専用のイメージングシステムの反射ユニット（白色光源および反射カメラを含む）を駆動する。反射駆動部３１５は、反射画像リポジトリ（貯蔵庫）３２０に（ライトモードで）アクセスし、これは、同じイメージング処理中に連続して取得される一連の反射画像を保存する（対応するリポジトリ３１０内の蛍光画像と同期される）。

【0053】

各反射画像は、（反射画像に対して同じ又は異なるサイズを備える）セルのマトリクスを含むビットマップによって定義され、それぞれが視野の（反射）場所に対応する画素の（反射）値を保存する各画素値は、その場所によって反射される可視光（例えば、そのＲＧＢ成分）を定義する。プリパレータ(preparator)３２５が、必要に応じて反射画像を前処理して、その中の情報領域の次の識別のためにそれらを準備する。

【0054】

プリパレータ３２５は、反射画像リポジトリ３２０および（任意に）蛍光画像リポジトリ３１０に（リード(read)モードで）アクセスし、調製済反射画像リポジトリ３３０に（ライトモードで）アクセスする。調製済反射画像リポジトリ３３０は、対応するリポジトリ３２０内の各反射画像のためのエントリ(entry)を備える。エントリは、反射画像が情報領域を識別するのに適している場合は、対応する調製済反射画像を保存し、そうでない場合は、ヌル(null)値を保存する。

【0055】

調製済反射画像は、反射画像に対して同じ又は異なるサイズを備えるセルのマトリクスによって形成され、各々が、対応する画素（調製された）値を保存する。セグメンタ(segmenter)３３５が、調製済反射画像をそれらの情報領域および非情報領域に（セマンティック的に）分割する。各調製済反射画像は、その内容に従って、そして可能ならば対応する蛍光画像の内容にも従って分割される（これは、セマンティック的に貧弱であっても、潜在的に有用である追加情報を提供できる）。

【0056】

セグメンタ３３５は、調製済反射画像リポジトリ３３０および（必要に応じて）蛍光画像リポジトリ３１０に（リードモードで）アクセスし、反射セグメンテーションマスクリポジトリ３４０に（ライトモードで）アクセスする。反射セグメンテーションマスクリポジトリ３４０は、調製済反射画像リポジトリ３３０内の各１つのためのエントリを備える。エントリは、調製済反射画像のための対応する反射率セグメンテーションマスクを保存し、そうでない場合は、ヌル値を保存する。

【0057】

反射セグメンテーションマスクは、調製済反射画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、対応する画素の分類を示すラベルを保存し、このケースでは、２つのクラス（情報領域および非情報領域について情報クラスおよび非情報クラス）を備える。ラベルは、バイナリ値であり、例えば、これは、画素が情報領域に属する場合にはアサート（アクティブ化）され（例えば、論理値１）、画素が非情報領域に属する場合にはデアサート（非アクティブ化）される（例えば、論理値０）。

【0058】

イコライザ３４５は、それらの情報領域に限定された調製済反射画像に現れる材料の蛍光光に関する光学特性を決定する。イコライザ３４５は、調製済反射画像リポジトリ３３０および反射セグメンテーションマスクリポジトリ３４０に（リードモードで）アクセスし、そして反射イコライゼーションマップリポジトリ３５０に（ライトモードで）アクセスする。反射イコライゼーションマップリポジトリ３５０は、調製済反射画像リポジトリ３３０内の各１つのためのエントリを備える。エントリは、調製済反射画像のための対応する反射イコライゼーションマップを保存し、そうでない場合は、ヌル値を保存する。

【0059】

反射イコライゼーションマップは、調製済反射画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、対応する画素に現れる材料の蛍光光に関する光学パラメータ（または複数）の（光学）値（例えば、その反射率、吸収など）を保存する。アダプタ３５５が、必要に応じて反射セグメンテーションマスクおよび反射イコライゼーションマップを蛍光画像に適応させ、それらのサイズを等しくし、それらを同期させる。

【0060】

アダプタ３５５は、反射セグメンテーションマスクリポジトリ３４０、反射イコライゼーションマップリポジトリ３５０、および蛍光画像リポジトリ３１０に（リードモードで）アクセスし、それは、蛍光セグメンテーションマスクリポジトリ３６０および蛍光イコライゼーションマップリポジトリ３６５に（リード／ライトモードで）アクセスする。
蛍光セグメンテーションマスクリポジトリ３６０は、対応するリポジトリ３１０内の各蛍光画像のための蛍光セグメンテーションマスクを備える。

【0061】

蛍光セグメンテーションマスクは、蛍光画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、上述のような対応する画素のラベル（即ち、画素が情報領域または非情報領域に属する場合にアサートすなわちデアサートされる）を保存する。蛍光イコライゼーションマップリポジトリ３６５は、対応するリポジトリ３１０内の各蛍光画像についての蛍光イコライゼーションマップを備える。蛍光イコライゼーションマップは、蛍光画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、対応する画素の光学値を保存する。

【0062】

プロセッサ３７０が、その中の腫瘍の表現の識別を容易にするためにそれらの情報領域に限定された蛍光画像を（後）処理する（例えば、それらをオートスケーリングおよび／または閾値処理することによって）。プロセッサ３７０は、蛍光画像リポジトリ３１０、蛍光セグメンテーションマスクリポジトリ３６０、および蛍光イコライゼーションマップリポジトリ３６５に（リードモードで）アクセスし、処理済蛍光画像リポジトリ３７５に（ライトモードで）アクセスする。処理済蛍光画像リポジトリ３７５は、対応するリポジトリ３１０内の各蛍光画像について処理済蛍光画像を備える。例えば、処理済蛍光画像は、オートスケーリング済蛍光画像（オートスケーリングの場合）または閾値処理済蛍光画像である（閾値処理の場合）。

【0063】

処理済蛍光画像は、蛍光画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、対応する画素（処理済、即ち、自動スケーリング／閾値処理された）値を保存する。視覚化装置(visualizer)３８０が、その視覚化のために、処理済蛍光画像に基づいて出力画像を生成する。視覚化装置３８０が、処理済蛍光画像リポジトリ３７５および（必要に応じて）蛍光マスクリポジトリ３６０および反射画像リポジトリ３２０に（リードモードで）アクセスし、出力画像リポジトリ３８５に（ライトモードで）アクセスする。出力画像リポジトリ３８５は、対応するリポジトリ３７５２内の各処理済蛍光画像についての出力画像を備える。例えば、出力画像は、処理済蛍光画像だけ、または対応する反射画像上に重ね合わせされた処理済蛍光画像に等しい。モニタ駆動部３９０が、イメージングシステムのモニタを駆動して、出力画像を表示する（外科的処置中にほぼリアルタイムで）。モニタ駆動部３９０は、出力画像リポジトリ３８５に（リードモードで）アクセスする。

【0064】

ここで図４Ａ～図４Ｂおよび図５を参照すると、本開示の一実施形態による手法の実装に関連する動作の流れを記述する様々な動作図を示す。この点に関して、各ブロックは、対応するコンピュータ装置上で特定の論理機能を実装するための１つ以上の実行可能命令に対応することがある。

【0065】

図４Ａ～図４Ｂから開始すると、これらの動作図は、方法４００を用いて患者を撮像するために使用できる例示的なプロセスを表現する。このプロセスは、患者の外科的処置の際にイメージングシステムの中央ユニット上で実行される。本開示の一実施形態による手法（反射画像中の情報領域の識別は、対応する蛍光画像に転送され、そこでの腫瘍の識別を容易にする）は、無差別に（常に）または選択的に（例えば、対応するコマンド（例えば、イメージングシステムの専用ボタンを押すことによって入力される）に応答して、それを活性化／非活性化することによって）適用できる。

【0066】

外科的処置の前（例えば、その数日前）に、健康管理オペレータ（例えば、看護師）は、蛍光剤を患者に投与する。蛍光剤（例えば、インドシアニングリーン、メチレンブルー等）は、特定の（生物学的）ターゲット本体、例えば、切除対象の腫瘍に到達するのに適している。この結果は、非ターゲット化蛍光剤（例えば、受動(passive)蓄積など、特定の相互作用なしにターゲット本体に蓄積するように適合される）、またはターゲット化蛍光剤（特定の相互作用を用いてターゲット本体に付着するように適合される、例えば、様々な組織、血管特性、代謝特性などと相互作用するように適合された化学結合特性および／または物理的構造に基づいて、ターゲット特異的リガンドを蛍光剤の処方中に組み込むことによって）のいずれかを使用することによって達成できる。

【0067】

蛍光剤は、ボーラス（シリンジを用いて）として静脈内に患者に投与され、その結果、蛍光剤は、腫瘍に到達するまで患者の血管系内を循環し、それに結合する。代わりに、残りの（未結合）蛍光剤は、血液プールからクリアされる（対応する半減期に従って）。蛍光剤が腫瘍に蓄積し、患者の他の身体部分から洗い流される待機時間（例えば、数分から２４～７２時間まで）の後、外科的処置は開始できる。この時点で、オペレータは、手術空洞が外科医によって開放される患者の領域にイメージングプローブを接近させ、そしてオペレータは、イメージングシステム（例えば、そのキーボード）に開始コマンドを入力する。

【0068】

これに応答して、イメージングプロセスは、黒い開始円４０２からブロック４０４に進むことによって開始する。この時点で、蛍光駆動部および反射駆動部は、視野を照明するために励起光源および白色光源をそれぞれ点灯させる。そして、動作の流れは、同時に実施される２つの動作に分岐する。特に、ブロック４０６において蛍光駆動部は、（新しい）蛍光画像を取得し、それを対応するリポジトリに追加する。同時に、ブロック４０８において反射駆動部は、（新しい）反射画像を取得し、それを対応するリポジトリに追加する。こうして蛍光画像および反射画像は、ほぼ同時に取得され、それらは、空間的にコヒーレントである同じ視野の異なる表現（それぞれ蛍光および可視光の意味で）を提供する。（即ち、予測可能な相関は、これらの画素の間に存在し、完全同一性にまで達する）。

【0069】

ブロック４０６およびブロック４０８からブロック４１０において、動作の流れは再び合流し、プリパレータは、対応するリポジトリに直ぐに追加された反射画像を検索し、必要に応じて、その中の情報領域の次の識別の準備のためにそれを前処理する。例えば、プリパレータは、反射画像が情報領域を識別するのに適しているか否かを検証できる。この目的のために、その画素値の平均および／または分散が計算できる。

【0070】

平均が、ある（暗い）閾値より低い（可能ならば厳密に）場合（反射画像が暗すぎることを意味する）、および／または、分散が、ある（不鮮明な）閾値より高い（可能ならば厳密に）場合（反射画像が不鮮明すぎることを意味する）、反射画像の品質が、情報領域の有意義な識別情報を提供することが許容できるとはみなされない。このケースでは、プリパレータは、調製済反射画像リポジトリにヌル値を追加することによって、その反射画像を無視する。

【0071】

逆に（反射画像の品質が許容でき、そこの情報領域の識別が可能であることを意味する）、プリパレータは、１つ以上のフィルタを適用して、反射画像の品質をさらに改善できる（例えば、色の正規化、ノイズの低減、照明の補正、歪みの低減、反射の除去など）。特に、平均が、暗い閾値よりも高く（可能ならば厳密に）、より高い（輝度）閾値より低い場合（反射画像がとても明るくないことを意味する）、例えば、１．２～１．５に等しい場合、プリパレータは、反射画像にヒストグラムイコライゼーション（均等化）を適用できる（最も頻繁な画素値を広げることによって、そのほぼ平坦なヒストグラムが得られる）。実際、実験結果は、このケースではヒストグラムイコライゼーションが性能を改善するが、一方、それ以外に性能を劣化させる可能性があることを示している。

【0072】

追加または代替として、プリパレータは、反射画像を縮小(downscale)して、計算の複雑性を減少させてもよい（例えば、ローパスフィルタ処理に続いてサブサンプリングを行う）。追加または代替として、プリパレータは、反射画像の画素を、そのほぼ均質なグループにグループ化してもよく、その各々は、対応する画素値に基づいたグループ値で表現され、情報領域の識別を簡素化にする（例えば、クラスタリング、グラフ方式(graph-based)、ランダムウォーク、分水界エッジ検出(watershed edge detection)および類似のアルゴリズムの適用による）。

【0073】

追加または代替として、プリパレータは、動き補償アルゴリズムを適用してもよく（反射画像を蛍光画像と位置合わせするために）、および／または、ワーピングアルゴリズムを適用してもよい（蛍光画像に対して反射画像の歪みを補正するために）。いずれの場合も、プリパレータは、そうして得られた調製済反射画像（可能ならば、対応する反射画像に等しい）を、対応するリポジトリに追加する。

【0074】

動作の流れは、ブロック４１２において、調製済反射画像リポジトリに直ちに追加されたエントリの内容に従って分岐する。エントリが（調製済）反射画像を含む場合、セグメンタは、ブロック４１４において、この反射画像をそのセマンティックセグメンテーションのための対応するリポジトリから抽出する。コンピュータ映像において、セマンティックセグメンテーションとは、特定のタイプのセグメンテーション（一般に、ある画像を、ほぼ均質な特性を備えたばらばらな部分またはセグメントに区分することを目的とする）であり、セグメントは、対応する意味を有する様々なクラスに属するエンティティ(entities)を表現する（即ち、その複数のインスタンスの共通の特性を抽象化する概念）。この特定のケースは、セマンティックセグメンテーションは、反射画像を、異物なしの手術空洞を表す情報領域と、異物（即ち、手術器具、手、手術ツール、周囲の身体部分および／または背景材料）を表す非情報領域とに区分することを目的とする。そして動作の流れは、ブロック４１６において、セグメンタの実装に従って分岐する。特に、セグメンタが分類アルゴリズムをベースとしている場合、ブロック４１８～４２２が実行され、一方、セグメンタが深層学習手法をベースとしている場合、ブロック４２４が実行される。

【0075】

ここで、ブロック４１８（分類アルゴリズム）を参照すると、セグメンタは、反射画像から、可能ならば対応する蛍光画像からも（後述するように、この目的に最も適していると事前判断されている）１つ以上の特徴を抽出するための特徴抽出ステップを実行する。各特徴は、反射／蛍光画像の独特な特徴を表す（測定可能な）特性である。これらの特徴の例は、彩度(saturation)、色相(hue)、輝度、配向勾配ヒストグラム（ＨＯＧ）、分散、Ｂａｇ Ｏｆ Ｖｉｓｔｅｒｍｓ（ＢＯＶ）、スケール不変特徴変換（ＳＩＦＴ）などである。

【0076】

より詳細には、セグメンタは、１つ以上の特徴マップを計算し、各特徴マップは、反射／蛍光画像と同じサイズを備えたセルのマトリクスによって形成され、各々が、対応する特徴の（特徴）値を保存する。この目的のために、セグメントは、対応するフィルタを反射／蛍光画像に適用する（例えば、スムージング（例えば、ガウシアンぼかし、クワハラ、異方性拡散など）、統計（例えば、平均、中央値、エントロピーなど）、エッジ検出器（例えば、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ、Ｃａｎｎｙなど）、デリバティブ、ヘッセ行列、ラプラシアンなど）。各フィルタは、対応する画素値に従って各場所の特徴値を計算し、可能ならばその隣接画素の画素値を考慮する。

【0077】

セグメンタは、ブロック４２０において、特定の分類アルゴリズムを特徴マップに適用することによって、反射画像に対応する反射セグメンテーションマスクを計算し、そしてそれを、対応するリポジトリに追加する。例えば、分類アルゴリズムは、条件付きランダムフィールド（ＣＲＦ）アルゴリズムである。基本的に、ＣＲＦアルゴリズムは、画素が対応するクラスに属する事後確率を最大にするラベルの値を決定する推論ステップによって、各画素のラベルを計算する。事後確率は、画素の特徴値に依存するだけのノード（または単項）ポテンシャル、およびその隣接画素を考慮するエッジ（または一対）ポテンシャル（セグメント間の遷移を円滑化するこれらのラベル、または類似点をモデル化するこれらの特徴値のいずれか）をベースとしている。

【0078】

セグメンタは、ブロック４２２において、必要に応じて、こうして得られた反射セグメンテーションマスクを増強する。例えば、セグメンタは、フィルホール（孔充填）ステップを実施してもよく、そこでは非情報領域の任意の切断された部分、即ち、情報領域によって完全に包囲された部分は、情報領域に割り当てられる（異物が手術空洞によって完全に包囲されてないと仮定する）。追加または代替として、セグメンタは、隔離された誤分類画素を除去するために１つ以上のスムージングステップを実施できる（例えば、エロージョン、ダイレーション、ボックスフィルタコンボリューションおよび類似のアルゴリズムを適用することによって）。

【0079】

代わりにブロック４２４（深層学習）を参照すると、セグメンタは、（人工）ニューラルネットワークであり、例えば、Ｕ－Ｎｅｔ（後述するように、この目的のために適切に訓練されている）である。基本的には、深層学習は、特定のタイプの機械学習（特定のタスクを実施するために使用され、この場合は、明示的な命令を用いることなくセマンティック的に反射画像を分割するが、実施例からどのように自動的に行うかを推論する）であり、これは、ニューラルネットワークをベースとしている。

【0080】

ニューラルネットワークが、人間の脳の動作を近似するデータ処理システムである。ニューラルネットワークは、基本処理エレメント（ニューロン）を含み、これは、対応する重みに基づいて演算を実施する。ノードは、一方向チャネル（シナプス）を介して接続され、これはそれらの間でデータを転送する。ニューロンは、様々な演算を実施する層に編成されており、それぞれ入力データを受信し、出力データを提供するための入力層および出力層を常に含む（この場合、反射画像は、可能ならば対応する蛍光画像および対応する反射セグメンテーションマスクを備える）。

【0081】

ディープニューラルネットワーク（ＤＮＮ）が、入力層と出力層との間にある１つ以上の（隠れ）層を備えた特定のタイプのニューラルネットワークである。コンボリューション（畳込み）ニューラルネットワーク（ＣＮＮ）が、その層の１つ以上が（相互）コンボリューション演算を実施する特定のタイプの深層ニューラルネットワークである。特に、ＣＮＮは、対応する特徴マップを計算する１つ以上のコンボリューション層と、それらの分解能を減少させる１つ以上のプーリング層とを含み、１つ以上の完全接続された層は、これらの（低減された）特徴マップに従って蛍光画像を分割する。

【0082】

Ｕ－ｎｅｔが、特定のコンボリューションニューラルネットワークであり、収束経路（コンボリューション層およびプーリング層によって形成される）には拡張経路が続いており、逆に、拡張経路は、特徴マップの解像度を増加させる１つ以上のアップサンプリング層と、続いてそれらをアセンブルする１つ以上のコンボリューション層とを含み、完全接続された層は無い（収束経路に対してほぼ対称である拡張経路を備え、Ｕ字型アーキテクチャを提供する）。この場合、セグメンタ（反射／蛍光画像を受信する）は、反射セグメンテーションマスクを直接に生成し、それを対応するリポジトリに追加する。

【0083】

両方の場合、動作の流れは、ブロック４２２またはブロック４２４からブロック４２６で再び合体する。この時点で、イコライザは、そのリポジトリに直ぐに追加された反射セグメンテーションマスクおよび、その情報領域に制限された反射画像の光学的特性を決定するためにそのリポジトリから対応する（調製済）反射画像を検索する。

【0084】

このため、イコライザは、反射画像の各画素を考慮する。反射セグメンテーションマスクでの対応するラベルがアサートされている場合（画素が情報領域に属することを意味する）、イコライザは、対応する画素値で表される生体材料のタイプ（例えば、画素値の色に応じて、血液、筋肉、脂肪など）を決定し、その光学値（例えば、生体材料のタイプおよび画素値の輝度に応じて０から１の範囲）を反射イコライゼーションマップの対応するセルに追加する。一方、反射セグメンテーションマスクでの対応するラベルがデアサートされている場合（画素が非情報領域に属することを意味する）、イコライザは、反射イコライゼーションマップの対応するセルにヌル値を追加する。

【0085】

アダプタは、ブロック４２８において、対応するリポジトリに直ぐに追加された反射セグメンテーションマスクおよび反射イコライゼーションマップを検索し、必要に応じて、対応する蛍光画像（対応するリポジトリから）にそれらを適合させる。例えば、アダプタは、反射セグメンテーションマスクおよび反射イコライゼーションマップを縮小／拡大して、様々なサイズを有する場合に、それらを蛍光画像に適合させることができる（例えば、ローパスフィルタ処理、続いてサブサンプリング、あるいは、補間、続いて低域フィルタ処理を用いて）。いずれの場合も、アダプタは、蛍光セグメンテーションマスクおよび蛍光イコライゼーションマップ（それぞれ反射セグメンテーションマスクおよび反射イコライゼーションマップに等しく、可能ならば蛍光画像に適合している）を、対応するリポジトリに追加する。

【0086】

再びブロック４１２を参照すると、調製済反射画像リポジトリに直ぐに追加されたエントリがヌル値を含む場合、プロセスは、代わりにブロック４３０に下降する。この場合、アダプタは、１つ以上の先行する蛍光セグメンテーションマスクおよび蛍光イコライゼーションマップ（対応するリポジトリから抽出される）に従って、蛍光セグメンテーションマスクおよび欠落した（調製済）反射画像に対応する蛍光イコライゼーションマップを推定する。例えば、蛍光セグメンテーションマスクおよび蛍光イコライゼーションマップの各々は、単に先行するものと等しく設定されるか、または２つ以上の先行するものを補間することによって計算される。以上のように、アダプタは、こうした得られた蛍光セグメンテーションマスクおよび蛍光イコライゼーションマップを対応するリポジトリに追加する。

【0087】

いずれの場合も、動作の流れは、ブロック４２８またはブロック４３０からブロック４３２で再び合体する。この時点で、プロセッサは、その情報領域に制限された蛍光画像（可能ならば、その非情報領域に制限されたものも）を（後）処理するために、それらのリポジトリに直ぐに追加された蛍光セグメンテーションマスクおよび蛍光イコライゼーションマップ、そしてそのリポジトリから対応する蛍光画像を検索する。例えば、全てのプロセッサのうちの第１のものが、必要に応じて、反射画像の対応する光学特性に従って蛍光画像（その情報領域に限定される）を均等化する。

【0088】

この目的のために、イコライザは、蛍光画像の各画素を考慮して、蛍光セグメンテーションマスク内の対応するラベルがアサートされている場合（画素が情報領域に属することを意味する）、イコライザは、蛍光イコライゼーションマップ内の対応する光学値に従ってその画素値を更新する（例えば、光学値が、血液など、対応する生体材料が蛍光を著しく遮蔽することを示す場合には、それを増加させることによって）。

【0089】

こうして、取得した蛍光光での様々な生体材料の影響を補償することが可能である。特に、情報領域への演算の限定は、異物がその結果に悪影響を与えることを回避するだけである。動作の流れは、ブロック４３４において、（可能ならば均等化された）蛍光画像に適用される処理のタイプに従って分岐する。特に、オートスケーリングの場合には、ブロック４３６～４４６が実行され、一方、閾値処理の場合には、ブロック４４８～４６４が実行される。両方の場合、動作の流れはブロック４６６で再び合体する。

【0090】

ここで、ブロック４３６（オートスケーリング）を参照すると、プロセッサは、その最高画素値とその最低画素値との差として、情報領域の（情報）蛍光範囲、およびその最高画素値とその最低画素値との間の差として、非情報領域の（非情報）蛍光範囲を決定する。

【0091】

情報蛍光範囲およびモニタの予め定義された表示範囲（対応する構成変数から検索される）は、対応する情報マッピング関数を得るために、予め定義されたパラメトリック関数（例えば、対数型のもの）のパラメータとして使用される。同様に、非情報蛍光範囲および表示範囲は、対応する非情報マッピング関数を得るために、予め定義されたパラメトリック関数のパラメータとして使用される（上記のものと同じでも異なってもよく、例えば、非情報領域の内容をマスクするためのスケーリング係数の追加により）。

【0092】

そして、情報領域および非情報領域を別々にオートスケーリングするために、ループに入る。ループは、ブロック４３８で開始し、プロセッサは、蛍光画像の（現在の）画素を考慮する（任意の順序で最初のものから開始する）。プロセスは、ブロック４４０において蛍光セグメンテーションマスク内の対応するラベルに従って分岐する。ラベルがアサートされている場合（画素が情報領域に属することを意味する）、プロセッサは、ブロック４４２において、情報マッピング関数を適用することによって、対応する画素値を変換し、それを（新しい）オートスケール済の蛍光画像の同じセルに追加する（対応する一時的変数に）。

【0093】

逆に、ラベルがデアサートされている場合（画素が非情報領域に属することを意味する）、プロセッサは、ブロック４４４において、非情報マッピング関数を適用することによって、対応する画素値を変換し、それをオートスケール済の蛍光画像の同じセルに追加する。両方の場合には、プロセッサは、ブロック４４６において、蛍光画像の最後の画素が処理されたかどうかを検証する。そうでなければ、プロセスは、ブロック４３８に戻り、次の画素に対して同じ演算を繰り返す。逆に（いったん全ての画素が処理されると）、ループは、ブロック４６６内に下降することによって終了する。

【0094】

代わりにブロック４４８（閾値処理）を参照すると、プロセッサは、情報領域の画素値のみを用いて閾値を決定する（例えば、大津のアルゴリズムをこれに適用することによって）。そして、情報領域を閾値処理するためにループに入る。ループは、ブロック４５０で開始し、プロセッサは、蛍光画像の（現在の）画素を考慮する（任意の順序で最初のものから開始する）。

【0095】

プロセスは、蛍光セグメンテーションマスク内の対応するラベルに従ってブロック４５２において分岐する。ラベルがアサートされている場合（画素が情報領域に属することを意味する）、プロセッサは、ブロック４５４において、対応する画素値と閾値とを比較する。画素値が閾値よりも（可能ならば厳密に）高い場合（即ち、それがターゲットセグメントに属する）、プロセッサは、ブロック４５６において、それを（新しい）閾値処理済蛍光画像の同じセルにコピーする（対応する一時的変数に）。

【0096】

逆に、画素値が閾値よりも（可能ならば厳密に）低い場合（即ち、それが非ターゲットセグメントに属する）には、プロセッサは、ブロック４５８において、閾値処理済蛍光画像の同じセル内の画素値をゼロにリセットする（それをマスクする）。ラベルがデアサートされている場合（画素が非情報領域に属することを意味する）、ブロック４５２からも同じポイントに到達する。いずれの場合も、プロセスは、ブロック４５６またはブロック４５８のいずれかからブロック４６０に続く。この時点で、プロセッサは、蛍光画像の最後の画素が処理されたかどうかを検証する。そうでなければ、プロセスは、ブロック４５０に戻り、次の画素に対して同じ演算を繰り返す。

【0097】

逆に（いったん全ての画素が処理されると）、ループは、ブロック４６２に下降することによって終了する。代替として、プロセッサは、閾値処理マスクを生成する（蛍光画像と同じサイズを備えたセルのマトリクスによって形成され、各々がフラグを保存する）。蛍光画像の各画素値について、蛍光セグメンテーションマスク内の対応するラベルの両方がアサートされ、画素値が閾値よりも（可能ならば厳密に）高い場合には、プロセッサは、対応するフラグを（例えば、値１に）アサートし、そうでなければ、対応するフラグを（例えば、値０に）デアサートする。

【0098】

ここでブロック４６２を参照すると、プロセッサは、こうして得られた閾値処理済蛍光画像をさらに処理できる。例えば、プロセッサは、ターゲットセグメントの１つ以上の（ターゲット）統計パラメータおよび、閾値処理済蛍光画像の非ターゲットセグメントの１つ以上の（非ターゲット）統計パラメータを計算する（例えば、それらの平均および標準偏差）。

【0099】

この目的のために、閾値マスクを用いた場合を検討すると（それ以外に適用される類似の考察とともに）、プロセッサは、蛍光画像の各画素を考慮して、閾値マスク内の対応するフラグがアサートされている場合（画素がターゲットセグメントに属することを意味する）、プロセッサは、ターゲット統計パラメータの計算を増加させるために対応する画素値を使用し、一方、閾値マスク内の対応するフラグがデアサートされ、蛍光セグメンテーションマスク内のラベルがアサートされている場合（画素が非ターゲットセグメントに属することを意味する）、プロセッサは、非ターゲット統計パラメータの計算を増加させるために対応する画素値を使用する。

【0100】

プロセッサは、ブロック４６４において、ターゲット統計パラメータ、非ターゲット統計パラメータ、またはそれらの両方に従って、ターゲットセグメントの画素値を更新する。この目的のために、プロセッサは、閾値処理済蛍光画像の各画素を考慮して、例えば、閾値処理マスク内の対応するフラグがアサートされた場合（画素がターゲットセグメントに属することを意味する）、プロセッサは、対応する画素値から非ターゲットセグメントの平均を減算し、得られた結果または（元の）画素値を、ターゲットセグメントの標準偏差によって、非ターゲットセグメントの標準偏差によって、それらの組合せ（例えば、それらの和、差、平均など）によって除算する。そして、プロセスはブロック４６６内に下降する。

【0101】

ここでブロック４６６を参照すると、プロセッサは、そうして得られた処理済蛍光画像を、対応するリポジトリに追加する（そして、可能性のある対応する閾値処理マスクを他のリポジトリに追加する）。視覚化装置は、ブロック４６８において、対応するリポジトリに追加された処理済蛍光画像および、必要に応じて対応する蛍光セグメンテーションマスクおよび反射画像（および可能性のある対応する閾値処理マスク）をそれらのリポジトリから検索する。視覚化装置は、対応する出力画像を生成し（処理済蛍光画像に基づいて）、それを対応するリポジトリに追加する。例えば、視覚化装置は、処理済蛍光画像のみに単に等しい出力画像を設定してもよく（閾値処理マスクの場合、同じ結果は、閾値処理マスク内の対応するフラグがデアサートされている蛍光画像の画素値をマスクすることによって達成される）。

【0102】

追加または代替として、視覚化装置は（処理済蛍光画像または反射画像を再スケーリングし、必要に応じてそれらのサイズを均等化した後）、情報領域および非情報領域内の処理済蛍光画像および反射画像の画素値の画素値によって与えられる統合画像を生成してもよい。あるいは、処理済蛍光画像のゼロより高い（または、閾値処理マスク内のフラグがアサートされている）画素値および反射画像の画素値によって与えられる重ね合わせ画像を生成してもよい。いずれの場合も、モニタ駆動部３９０は、ブロック４７０において、対応するリポジトリに直ぐに追加された出力画像を表示する。こうして出力画像は、対応する蛍光／反射画像の取得と実質的にリアルタイムで（それらの生成に起因した短い遅延は別として）表示される。

【0103】

ここでブロック４７２を参照すると、イメージングプロセスがまだ進行中である場合、動作の流れはブロック４０６～４０８の前に戻り、同じ動作を連続的に繰り返す。逆に、イメージングプロセスが終了した場合、オペレータ（例えば、そのキーボードを用いて）によってイメージングシステムに入力された終了コマンドによって示されるように、プロセスは、同心の白／黒停止円４７４で終了する（対応する駆動部を介して励起光源および白色光源を消灯にした後）。

【0104】

図５に移行すると、その動作ダイヤグラムは、方法５００を用いてセグメンタを構成するために使用できる例示的プロセスを表す（イメージングシステムの開発中および可能ならばその次の検証の際に）。このプロセスは、構成（コンピューティング）システム、例えば、パーソナルコンピュータ（１つ以上のマイクロプロセッサ、不揮発性メモリ、揮発性メモリ、大容量メモリおよびその周辺機器用のコントローラを含む）上で実行される。
この目的のために、構成システムは、下記のソフトウェアコンポーネントを含む。
コンフィギュレータは、セグメンタを構成するために使用される。コンフィギュレータは、（基準）反射画像の複数の（画像）シーケンスを保存する反射画像リポジトリをアクセスし（リード／ライトモードで）、それは、対応する（サンプル）反射セグメンテーションマスクを保存する反射セグメンテーションマスクリポジトリにアクセスする（リード／ライトモードで）。

【0105】

プロセスは、黒開始円５０３で開始し、次にブロック５０６に進み、コンフィギュレータは、対応するイメージングシステム（例えば、数百個の画像シーケンスで、各々が数十個の反射画像）を介して異なる（サンプル）外科的処置の間に上述したように取得された反射画像の複数の画像シーケンスをアップロードし（例えば、取り外し可能なストレージユニットまたは通信ネットワークを介して）、それらを対応するリポジトリに追加する。ブロック５０９に続いて、各反射画像は、手動でその（反射）情報領域および（反射）非情報領域に分割される。例えば、この結果は、半自動アプローチで達成され、予備セグメンテーションが、自動的に実行され（例えば、ＳＩＯＸ(Simple Interactive Object eXtraction）アルゴリズムを適用することによって）、得られた結果は、可能性のある誤りを訂正するために手動で精製される。そうして得られた反射セグメンテーションマスクは、対応するリポジトリに追加される。

【0106】

コンフィギュレータは、ブロック５１２においてトレーニングセットを選択し、これは、利用可能な反射画像および対応する反射セグメンテーションマスクの（画像／マスク）ペアの一部によって形成される。例えば、トレーニングセットは、利用可能な画像／マスクペアをそれらの全ての間でランダムに無差別にサンプリングすることによって（そのため画像シーケンスが長いほど、より高いサンプリング頻度になる）、あるいは、画像シーケンス内で均一にサンプリングすることによって（そのため同じ数の画像／マスクペアが各画像シーケンスについて提供される）定義される。動作の流れは、セグメンタの実装に従ってブロック５１５において分岐する。特に、セグメンタが分類アルゴリズムをベースとする場合は、ブロック５１８～５２１が実行され、一方、セグメンタが深層学習手法をベースとする場合は、ブロック５２４が実行される。

【0107】

ここでブロック５１８（分類アルゴリズム）を参照すると、コンフィギュレータは、多数の可能性のある（候補）特徴(feature)の間でセグメンタの性能を最適化する特徴の（最適化）セットを決定する特徴選択ステップを実行する。例えば、特徴選択ステップは、最適化セットが分類アルゴリズムの反復最適化を用いて決定されるラッパー方法(wrapper method)をベースとしている。この目的のために、最適化セットを初期化するために、最初に力まかせ(brute force)手法が適用される。

【0108】

演算の計算複雑性を実際に実行可能にするために、最適化セットの初期化は、いくつかのユニット（例えば、≦３）の最大サイズに制限され、分類アルゴリズムの簡素化バージョンが使用される（例えば、ＣＲＦアルゴリズムの場合、それは、例えば、ナイーブベイズ(Naive Bayes)アルゴリズムをベースとする、デフォルトモデルを備えたノードポテンシャルに制限される。この目的のために、コンフィギュレータは、多くても最大サイズに等しい数で形成された候補特徴の全ての（特徴）組合せを考慮する。

【0109】

各特徴組合せについて、コンフィギュレータは、この特徴組合せを用いて分類アルゴリズムを適用することによって、トレーニングセットの反射画像に対応する反射セグメンテーションマスクをセグメンタに計算させる。コンフィギュレータは、特徴組合せによって提供されるセグメンテーションの品質を示す品質指標を計算する。

【0110】

この目的のために、コンフィギュレータは、そうして得られた各（計算済）反射セグメンテーションマスクおよびトレーニングセット内の対応する（基準）反射セグメンテーションマスクとの間の類似性を測定する類似性指標を計算する。例えば、類似性指数は、ソーレンセン－ダイス(Sorensen-Dice)係数によって、計算済／基準反射セグメンテーションマスクにおける同じラベルを有する画素の数の２倍を全画素数で除算したもの（類似度の増加する順に０から１までの範囲）として定義され、あるいは、ジャカード(Jaccard)、ブレイ－カーティス(Bray-Curtis)、チェカノウスキー(Czekanowski)、シュタインハウス(Steinhaus)、ピールー(Pielou),ヘリンガー(Hellinger)等の指標によって定義される。

【0111】

そして、セグメンタは、対応する基準反射率セグメンテーションマスクに対する計算済反射セグメンテーションマスクの全ての類似性指標の平均として品質指標を計算する。最適化されたセットは、最も高い品質指標を提供する特徴組合せに初期化される。そして、コンフィギュレータは、最適化されたセットを拡張する段階的アプローチを適用する。この目的のために、コンフィギュレータは、最適化されたセットに既に含まれていない全ての追加の候補特徴を考慮に入れる。

【0112】

各追加（候補）特徴について、コンフィギュレータは、セグメンタに、最適化されたセットの特徴とこの追加特徴を用いて分類アルゴリズムを適用することによって、トレーニングセットの反射画像に対応する反射セグメンテーションマスクを計算させ、そして、それは、上述の対応する品質指標を計算する。

【0113】

（最良の）追加特徴（最適化されたセットに追加された場合は最高の品質指標を提供する）が、著しい改善（例えば、最適化されたセットの品質指標および最良の追加特徴と、（オリジナルの）最適化されたセットの品質指標との差が、最小値、例えば、５～１０％よりも高い（可能ならば厳密に））を含む場合、コンフィギュレータは、最適化されたセットに最良の追加特徴を追加する。許容可能な品質指標が得られ、最良の追加特徴が著しい改善を提供しなくなり、あるいは、最適化されたセットが最大許容サイズ（例えば、１０～１５）に到達するまで、同じ演算が繰り返される。

【0114】

コンフィギュレータは、ブロック５２１において、必要に応じて、セグメンタの性能を最適化する分類アルゴリズムの１つ以上の演算パラメータを選択する。例えば、ＣＲＦアルゴリズムの場合、これは、ノードポテンシャルおよびエッジポテンシャルをそれぞれ計算するための最適化ノードモデルおよび最適化エッジモデルの選択と、（ノード）モデルパラメータおよび（エッジ）モデルパラメータの最適化された値の選択とを含む。

【0115】

演算の計算複雑性を実際に実行可能にするために、最適化ノード／エッジモデルの選択は、特徴選択ステップとは独立して（即ち、上述のように決定された最適化セットを使用することによって）経験的アプローチで実行される。例えば、最初にコンフィギュレータは、デフォルト値（例えば、ポッツ(Potts)モデル）に固定されたエッジモデルを維持し、ノード／エッジモデルパラメータのデフォルト値を使用することによって、複数の可能な（候補）ノードモデル（例えば、ナイーブベイズ(Naive Bayes)、ガウシアン混合モデル、ｋ－近傍法、人工ニューラルネットワーク、サポートベクトルマシンおよび類似のアルゴリズムをベースとして）の中から最適化ノードモデルを選択する。

【0116】

この目的のために、各候補ノードモデルについて、コンフィギュレータは、セグメンタに、この候補ノードモデルを用いて分類アルゴリズムを適用することによって、トレーニングセットの反射画像に対応する反射セグメンテーションマスクを計算させ、それは、上述のような対応する品質指標を計算する。コンフィギュレータは、最適化ノードモデルを、最高の品質指標を提供する候補ノードモデルに設定する。

【0117】

その後、コンフィギュレータは、ノード／エッジモデルパラメータのデフォルト値を用いて、複数の可能な（候補）エッジモデル（例えば、ポッツ(Potts)、コントラスト敏感ポッツ、事前確率および類似アルゴリズムを備えたコントラスト敏感ポッツモデルをベースとして）の中から、最適化エッジモデルを選択する（例えば、上記決定された最適化ノードモデルを用いて分類アルゴリズムのために）。この目的のために、各候補エッジモデルについて、コンフィギュレータは、セグメンタに、この候補エッジモデルを用いて分類アルゴリズムを適用することによって、トレーニングセットの反射画像に対応する反射セグメンテーションマスクを計算させ、それは、上述のような対応する品質指標を計算する。

【0118】

コンフィギュレータは、最適化エッジモデルを、最高の品質指標を提供する候補エッジモデルに設定する。最後に、コンフィギュレータは、上記決定された最適化ノードモデルおよび最適化エッジモデルについて、ノード／エッジモデルパラメータの最適化された値を探索する。この目的のために、コンフィギュレータは、セグメンタに、最適化ノード／エッジモデルを用いて分類アルゴリズムを適用し、そのモデルパラメータを変化させることによって、トレーニングセットの反射画像に対応する反射セグメンテーションマスクを計算させ、それは、上述のように対応する品質指標を計算する。演算は、許容可能な品質指標が得られるまで、最適化方法（例えば、パウエル(Powell)探索アルゴリズムを用いて）によって駆動される。

【0119】

代わりにブロック５２４（深層学習）を参照して、コンフィギュレータは、セグメンタの性能を最適化するその重みの（最適化された）値を見つけるために、トレーニングセットを用いてセグメンタのニューラルネットワークのトレーニングステップを実行する。
演算の計算複雑性を実際に実行可能にするために、トレーニングステップは、反復プロセスをベースとし、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムをベースとしている。この目的のために、最初に、コンフィギュレータは、ニューラルネットワークの重みを初期化する（例えば、ランダムに）。

【0120】

コンフィギュレータは、トレーニングセットの反射画像をニューラルネットワークに入力し、対応する反射セグメンテーションマスクを取得し、それは上述のように対応する品質指標を計算する。コンフィギュレータは、ニューラルネットワークの性能を改善すべき重みの変化を決定し、特にＳＧＤアルゴリズムにおいて、変化の方向および量は、重みに対する誤差関数の勾配によって与えられ、これは、逆伝播アルゴリズムで近似される。許容可能な品質指標が得られるか、または重みの変化が著しい改善を提供しなくなるまで（即ち、誤差関数の最小で少なくとも局所的または平坦な領域が見出されたことを意味する）、同じ演算が繰り返される。

【0121】

重みは、反復モード（全ての反射セグメンテーションマスクを取得した後）、またはバッチモード（全ての反射セグメンテーションマスクを取得した後）のいずれかで変更してもよい。いずれの場合も、ランダムノイズの追加を用いて重みが変更され、および／または、トレーニングステップが繰り返され、ニューラルネットワークの１つ以上の異なる初期化を用いて開始され、異なる（そして可能ならばより良い）極小値を見い出して、誤差関数の平坦な領域を識別する。こうして反射画像を分割するために使用される特徴（重みによって暗黙的に定義される）は、トレーニングステップ中に、その明示的な選択の必要性なしで自動的に決定される。

【0122】

両方の場合、動作の流れは、ブロック５２１またはブロック５２４からブロック５２７で合流する。この時点で、コンフィギュレータは、テストセットを選択し、これは、利用可能な画像／マスクペアを、それらの全ての間でランダムに無差別に、または画像シーケンス内で均質にサンプリングすることによって定義されたイメージ／マスクペアの一部によって形成される。コンフィギュレータは、ブロック５３０において、そうして得られたセグメンタに、テストセットの反射画像に対応する反射セグメンテーションマスクを計算させ、それは上述のように対応する品質指標を計算する。動作の流れは、品質指標に従ってブロック５３３で分岐する。

【0123】

品質指標が許容値よりも低い場合（可能ならば厳密に）、これは、セグメンタの一般化の能力（学習セットをベースとした構成からテストセットまで）が貧弱すぎることを意味し、この場合、プロセスはブロック５１２に戻り、異なるトレーニングセットを用いて同じ演算を繰り返す（あるいは反射画像の画像シーケンスを増強させるためにブロック５０６に戻る（不図示））。逆に、品質指標が許容値よりも高い場合（可能ならば厳密に）、これは、セグメンタの一般化の能力が満足していることを意味し、この場合、コンフィギュレータは、ブロック５３６において、セグメンタの構成を受け入れ、それを、イメージングシステムのバッチに展開する。そして、プロセスは、同心の白／黒停止円５３９で終了する。

【0124】

（変形例）
当然には、局所的および特定の要件を満たすために、当業者は、多くの論理的および／または物理的な変形および変更を本開示に適用できる。より詳細には、本開示は、その１つ以上の実施形態を参照して、ある程度の詳細さで説明しているが、形態、詳細そして他の実施形態における種々の省略、置換および変更が可能であることは理解すべきである。特に、本開示の様々な実施形態が、前述の説明に記載された特定の詳細（例えば、数値）なしで実施でき、より完全な理解を提供できるが、逆に、不必要な詳細についての説明を不明瞭にしないために、周知の特徴を省略または簡略化していることがある。さらに、本開示の任意の実施形態に関連して説明した特定の要素および／または方法ステップは、他の任意の実施形態において、一般的な設計選択の事項として組み込み可能であることを明確に意図している。さらに、同じグループおよび様々な実施形態、例または代替例で提示されるアイテムは、事実上互いに等価であると解釈されるべきではない（しかし、それらは別個で自律的な実体である）。いずれの場合も、各数値は、適用可能な許容誤差に従って修正されるものとして読むべきであり、特に他に示していない限り、用語「実質的に(substantially)」、「約(about)」、「おおよそ(approximately)」は、１０％の範囲内、好ましくは５％の範囲内、さらにより好ましくは１％の範囲内であると理解すべきである。さらに、数値の各範囲は、（その端点を含む）範囲内の連続体に沿った任意の可能な数を明示的に特定するものとして意図すべきである。序数または他の修飾子は、単に、同じ名前を備えた要素を区別するラベルとして使用しており、それ自体、優先度、優先権または順序を暗示していない。用語「含む(include)」、「備える(comprise)」、「有する(have」、「収容する(contain)」、「含む(involve)」等は、オープンで完全網羅でない意味を伴うと意図すべであり（即ち、記載したアイテムに限定されない）、用語「に基づいて(based on)」、「に応じて(dependent on)」、「に従って(according to)」、「に応じて(function of)」等は、完全網羅でない関係として意図すべきであり（即ち、可能性ある追加の変数が含まれる）、用語"a/an"は、１つ以上のアイテムとして意図すべきであり（他の明示していない限り）、用語「ための手段(means for)」（または任意のミーンズプラスファンクション形式）は、関連する機能を実行するように適応または構成される任意の構造として意図すべきである。

【0125】

例えば、一実施形態が、患者の医療処置を支援するための方法を提供する。しかしながら、この方法は、任意の患者（例えば、人間、動物など）の任意の医療処置（例えば、外科的処置、診断処置、治療処置など）を支援するために使用できる。また、対応するステップは、任意の方法（例えば、医療処置の際に継続的に、リクエスト時など）で実行してもよい。いずれの場合も、この方法は、医師のタスクを促進できるが、それは、医師を支援できる情報を提供するだけのデータ処理方法に留まり、医師自身によって常に行われる厳密な意味での医療行為ではない。

【0126】

一実施形態では、この方法は、コンピュータ装置の制御下で下記ステップを含む。しかしながら、コンピュータ装置は、任意のタイプのものでもよい（下記参照）。

【0127】

一実施形態では、この方法は、視野の発光画像を取得する（コンピュータ装置によって）ことを含む。しかしながら、発光画像は、任意の方法で取得できる（例えば、任意の頻度で、任意の励起光で、任意の取得ユニットを制御することによって直接取得され、取り外し可能なストレージユニットで転送され、ネットワークを介してアップロードされる等）。

【0128】

一実施形態では、視野は、患者の関心領域（医療処置のため）を含む。しかしながら、関心領域は、任意のタイプのものでもよい（例えば、外科的処置の手術空洞、内視鏡的処置の内部空洞、中空を介してアクセスされる開放タイプ、または切開を介してアクセスされる閉鎖タイプのいずれか等）。

【0129】

一実施形態では、関心領域は、医療処置の少なくとも１つのターゲット本体を含む。しかしながら、ターゲット本体は任意の数でもよく、任意のタイプでもよい（例えば、切除、識別、監視または処置すべき病変、例えば、腫瘍、ポリープ、炎症、血栓など、治療すべき身体部分、例えば、焼灼すべき出血血管、拡幅されるべき狭窄食道など、医師が施術すべき任意のアイテムを囲む構造など）。

【0130】

一実施形態では、ターゲット本体は、発光物質を含む。しかしながら、発光物質は、任意の外因性／内因性タイプのものでもよい（例えば、任意の発光（ルミネセンス）現象、例えば、蛍光、燐光、化学発光、バイオ発光、誘導ラマン放射などをベースとした任意の発光剤、任意の天然発光成分など）。

【0131】

一実施形態では、視野は、関心領域とは異なる１つ以上の異物を含む。しかしながら、異物は任意の数であってもよく、任意のタイプのものでもよい（例えば、器具、手、ツール、身体部分、バックグラウンド材料等）。

【0132】

一実施形態では、発光画像は、視野の対応する発光場所において発光物質によって放出される発光光を表現する複数の発光値を含む。しかしながら、発光画像は、任意のサイズおよび形状を有してもよく（マトリクス全体から、その１つ以上の部分まで）、任意のタイプの発光値、および任意の発光場所を含んでもよい（例えば、画素、ボクセル、そのグループについて、ＲＢＧ、ＹｃＢｃｒ、ＨＳＬ、ＣＩＥ－Ｌ＊ａ＊ｂ、Ｌａｂ ｃｏｌｏｒ、類似の表現におけるグレースケールまたはカラー値）。発光光は、任意のタイプのものでもよく（例えば、ＮＩＲ、赤外線（ＩＲ）、可視光等）、任意の方法（例えば、対応する励起光、またはより一般には加熱とは異なるいずれか他の励起に応答して）で放出されてもよい。

【0133】

一実施形態では、この方法は、視野の補助画像を取得することを含む（コンピュータ装置によって）。しかしながら、補助画像は、任意の方法（例えば、発光画像と同じまたは異なる方法、発光画像と同時に、または短い連続でなど）で取得してもよい。

【0134】

一実施形態では、補助画像は、視野の対応する補助場所から受信される補助光（発光光とは異なる）を表現する複数の補助値を含む。しかしながら、補助画像は、任意のサイズおよび形状を有してもよく、任意のタイプの補助値および任意の補助場所（発光画像と同じまたは異なる場所）を含んでもよい。補助光は、発光画像の発光光とは異なる任意のタイプのものでもよい（例えば、可視光、ＩＲ光、紫外線（ＵＶ）光、異なる波長の他の発光光など）。

【0135】

一実施形態では、この方法は、補助画像の内容に従って、異物なし関心領域を表現する補助画像の補助情報領域を識別する（コンピュータ装置によって）ことを含む。しかしながら、補助情報領域は、任意のタイプのものでもよい（例えば、単一領域、１つ以上のばらばらな領域、対応するマスクまたは補助画像内に直接に定義されるものなど）、それは、任意の方法で識別してもよい（例えば、補助画像を情報領域と非情報領域にセマンティック的／非セマンティック的に分割することによって、補助画像内の情報領域を探索することによってなど）。

【0136】

一実施形態では、この方法は、補助情報領域に対応する発光画像の発光情報領域を識別する（コンピュータ装置によって）ことを含む。しかしながら、発光情報領域は、任意の方法で識別してもよい（例えば、補助情報領域の識別を直接または任意の適応とともに転送することによってなど）。さらに、この演算は、無差別に実施してもよく、あるいは補助情報領域の識別の品質に対して条件付けしてもよい。例えば、品質メトリック（計量:metric）を計算することが可能であり、もし品質メトリックが対応する閾値に到達していない場合は、全ての発光場所を発光情報領域に割り当てることが可能である。

【0137】

一実施形態では、この方法は、処理済発光画像を生成する（コンピュータ装置によって）ことを含む。しかしながら、処理済発光画像は、任意のタイプのものでもよい（例えば、オートスケール済蛍光画像、閾値処理済蛍光画像、分割済蛍光画像など）。

【0138】

一実施形態では、処理済発光画像は、発光情報領域に制限された発光画像を処理することによって生成される。しかしながら、この結果は、任意の方法で達成してもよい（例えば、同じまたは異なる演算で情報発光領域および非情報発光領域を別個に処理することによって、非情報発光領域は不変のままにしたり、暗くしたり、キャンセルしたりするなどして情報発光領域のみを処理することによってなど）。

【0139】

一実施形態では、発光画像の処理は、その中のターゲット本体の表現の識別を容易にするために、発光情報領域の発光値をベースとしている。しかしながら、この処理は、任意の方法（例えば、それらの分布、範囲、確率など）でこれらの発光値をベースとしてもよく、この結果を任意の方法で達成できる（例えば、手動識別のためにターゲット本体の表現をより顕著にすることによって、ターゲット本体の表現を自動的に識別することによってなど）。

【0140】

一実施形態では、この方法は、処理済発光画像に基づいて出力画像を出力する（コンピュータ装置によって）ことを含む。しかしながら、出力画像は、任意のタイプのものでもよく（例えば、同じ処理済発光画像、反射画像と統合／重ね合わせした処理済発光画像など）、任意の方法で出力してもよい（例えば、遠隔的、リアルタイム、またはオフラインで表示、印刷、伝送されるなど）。

【0141】

更なる実施形態は、追加の有利な特徴を提供しており、基本的な実装では全部省略してもよい。

【0142】

特に、一実施形態では、この方法は、患者の外科的処置を支援するためのものである。しかしながら、外科的処置は、任意のタイプのものでもよい（例えば、治療目的のため、予防目的のため、標準的手術における審美的目的のため、腹腔鏡検査、関節鏡検査、血管形成術等の低侵襲手術のため）。

【0143】

一実施形態では、出力画像を出力する前記ステップは、発光画像を取得する前記ステップとほぼリアルタイムで出力画像を表示する（コンピュータ装置によって）ことを含む。しかしながら、出力画像は、任意の方法で表示してもよい（例えば、モニタ、仮想現実眼鏡等の任意のディスプレイユニットで、その生成に起因した任意の遅延を伴うなど）。

【0144】

一実施形態では、関心領域は、患者の手術空洞である。しかしながら、手術空洞は、任意のタイプのものでもよい（例えば、創傷、開口身体など）。

【0145】

一実施形態では、異物の少なくとも一部が、関心領域と重なり合う。しかしながら、異物は、任意の位置（例えば、関心領域を任意の程度に重なり合い、それを包囲し、そこから離間し、その任意の組合せなど）に配置してもよい。

【0146】

一実施形態では、異物は、１つ以上の医療機器、１つ以上の手、１つ以上の医療ツール、医療処置の対象外である患者の１つ以上の身体部分、および／または、１つ以上のバックグラウンド材料を含む。しかしながら、異物は、任意の数およびタイプの医療機器を含んでもよい（例えば、手術器具、外科用メス、鋏などの手術機器、マニピュレータ、サンプリングデバイス、ポリープ切除用スネアなどの内視鏡機器）、手（例えば、外科医、アシスタント、看護師の手など）、医療ツール（例えば、ガーゼ、リトラクタ、ドレープ、カバーなどの手術ツール、止血クリップ、灌注装置などの内視鏡ツールなど）、対象外である身体部分（例えば、関心領域を包囲する身体部分、筋肉、医療処置には無関係な臓器、例えば、肝臓など）、バックグラウンド材料（例えば、手術テーブル、壁、床など）、あるいは一般には部分的で異なる付加的なもの（例えば、医療処置を妨げる患者の生物学的材料、例えば、結腸内視鏡検査における糞便残渣、胃内視鏡検査胃における食品残渣など）。

【0147】

一実施形態では、補助画像は反射画像であり、補助光は可視光であり、補助値は白色光によって照明される視野の対応する補助場所で反射した可視光を表現する。しかしながらし、白色光（および対応する可視光）は、任意のタイプのものでもよい（例えば、発光物質に対して有意な発光現象を生じない非発光(non-luminescence)光）。

【0148】

一実施形態では、発光物質は、方法を実施する前に患者に事前投与されている発光剤である。しかしながら、発光剤は、任意のタイプのものでもよく（例えば、特異性または非特異性の相互作用に基づく任意のターゲット発光剤、非ターゲット発光剤など）、それは、任意の方法（例えば、シリンジ、注入ポンプなどを用いて）および任意の時間（例えば、事前に、方法を実施する直前に、その最中に連続的など）事前投与されてもよい。 いずれの場合も、これは、患者との相互作用とは独立して実施できるデータ処理方法である。さらに、発光剤は、非侵襲的な方法で（例えば、胃腸管を撮像するために経口的に、気道への噴霧器を介して、局所スプレー塗布または医療処置中の局所的な導入を介して）患者に投与してもよく、またはいずれの場合も、専門的な医療専門知識を必要とし、または彼／彼女の健康リスクを伴う患者への実質的な身体的介入（例えば、筋肉注射）なしである。

【0149】

一実施形態では、補助情報領域を識別する前記ステップは、補助画像をセマンティック的に分割することを含む。しかしながら、補助画像は、任意の方法（例えば、分類アルゴリズム、ニューラルネットワークなどを用いて）でセマンティック的に分割してもよい。

【0150】

一実施形態では、補助画像は、関心領域の少なくとも１つの関心領域クラスに対応する補助情報領域と、異物の１つ以上の異物クラスに対応する補助非情報領域とにセマンティック的に分割される。しかしながら、関心領域クラスおよび異物クラスは、任意の数でもよく、任意のタイプでもよい（例えば、関心領域全体についての単一の関心領域クラス、全ての異物についての単一の異物クラス、関心領域の対応する部分またはそのグループについての単一の異物クラス、対応する異物タイプまたはそのグループについての複数の異物クラスなど）。

【0151】

一実施形態では、補助画像を分割する前記ステップは、ニューラルネットワークを用いて補助画像をセマンティック的に分割すること（コンピュータ装置によって）を含む。しかしながら、ニューラルネットワークは、任意のタイプのものでもよい（例えば、Ｕ－Ｎｅｔ、畳み込みニューラルネットワーク、フィードフォワードニューラルネットワーク、放射基底関数(Radial Basis Function)ニューラルネットワーク、リカレントニューラルネットワーク、モジュラニューラルネットワークなど）。ニューラルネットワークは、任意の方法で（例えば、確率勾配降下、リアルタイムリカレント学習、高次勾配降下法、拡張カルマンフィルタリングおよび類似のアルゴリズムをベースとして）、任意の数およびタイプのトレーニングペア（例えば、ランダムに、均質に選択されたもの）を用いて訓練してもよい。

【0152】

一実施形態では、補助画像を分割するステップは、補助画像の対応する特徴について１つ以上の特徴マップを決定すること（コンピュータ装置によって）を含む。しかしながら、特徴は、任意の数で任意のタイプのものでもよい（例えば、任意のヒューリスティック（経験則）的、反復的、フィルタリングなどの方法で、部分的な異なる追加の候補の特徴の間で選択される）。

【0153】

一実施形態では、特徴マップの各々は、補助場所の対応する特徴値を含む。しかしながら、特徴値は、任意の方法で決定してもよい（例えば、任意のフィルタ、ニューラルネットワーク、エンコーダ、リダクターなどを用いて）。

【0154】

一実施形態では、方法は、特徴マップの特徴値に分類アルゴリズムを適用することによって、補助画像をセマンティック的に分割すること（コンピュータ装置によって）を含む。しかしながら、分類アルゴリズムは、任意のタイプのものでもよい（例えば、条件付きランダムフィールド、マルコフランダムフィールド、ＳＩＯＸ、ＧｒａｂＣｕｔ、決定木、ｋ－近傍法など）。分類アルゴリズムは、任意の方法（例えば、そのいずれかのパラメータについて、任意のヒューリスティック、反復、フィルタリングなどの方法を用いて）で構成してもよい。

【0155】

一実施形態では、補助情報領域を識別する前記ステップは、補助画像が補助情報領域によって完全に包囲された１つ以上の切断された部分を含む場合、切断された部分を補助情報領域に割り当てること（コンピュータ装置によって）を含む。しかしながら、このフィルホール（孔充填）ステップは、任意の方法で（例えば、無差別に、あるいは分類アルゴリズムまたは深層学習手法のいずれかについての閾値よりも大きい切断された部分についてのみ、補助画像または発光画像に対して）実施してもよい。

【0156】

一実施形態では、この方法は、補助情報領域を識別する前に、補助画像を前処理すること（コンピュータ装置によって）を含む。しかしながら、補助画像は、任意の数およびタイプの前処理ステップ（上述に対して部分的で異なる追加のもの）を対象としてもよい。

【0157】

一実施形態では、この方法は、補助画像にヒストグラムイコライゼーションを適用することによって、その分割の前に補助画像を前処理すること（コンピュータ装置によって）を含む。しかしながら、このヒストグラムイコライゼーションは、任意の方法で実施してもよい（例えば、通常のヒストグラムイコライゼーション、適応ヒストグラムイコライゼーション、コントラスト制限適応(contrastive limited adaptive)イコライゼーション、類似のアルゴリズム）。

【0158】

一実施形態では、ヒストグラムイコライゼーションは、暗閾値（補助情報領域を識別することの可能性を示す）と明閾値（暗閾値よりも高い）との間に含まれる補助画像の輝度インジケータに応答して実施される。しかしながら、輝度インジケータは、任意の方法で計算してもよく（例えば、平均、モード、中央値など）、暗／明閾値は、任意の値を有してもよく（例えば、予め定義され、動的に決定されるなど）、いずれの場合も、ヒストグラムイコライゼーションを無差別に（常に）実施する可能性は除外されず、決して除外されない。

【0159】

一実施形態では、補助情報領域を識別する前記ステップは、さらに発光画像に従って、補助情報領域を識別すること（コンピュータ装置によって）ことを含む。しかしながら、発光画像は、補助情報領域を識別するために任意の方法で使用してもよい（例えば、発光画像もニューラルネットワークに入力することによって、分類アルゴリズムによって１つ以上の追加的特徴マップを、使用のための発光画像から抽出することによって、直接的にまたは、発光画像の影響を制限する重み付けされてなど）。

【0160】

一実施形態では、処理済発光画像を生成する前記ステップは、発光情報領域の発光値に従って発光情報領域のオートスケーリングを行うこと（コンピュータ装置によって）を含む。しかしながら、発光情報領域は、任意の方法でオートスケーリングを行ってもよい（例えば、その発光値に対するマッピング、対数圧縮、飽和など）。

【0161】

一実施形態では、発光情報領域のオートスケーリングを行う前記ステップは、発光情報領域の発光値の発光範囲を決定すること（コンピュータ装置によって）を含む。
しかしながら、発光範囲は、任意の方法で決定してもよい（例えば、無差別に、異常値を無視することによってなど）。

【0162】

一実施形態では、発光情報領域のオートスケーリングを行う前記ステップは、発光範囲を、発光画像を表示するための表示範囲にマッピングするマッピング関数に従って、発光情報領域の発光値を変換すること（コンピュータ装置によって）を含む。しかしながら、マッピング関数は、任意のタイプのものでもよい（例えば、非線形、例えば、対数、指数関数など、線形など）のいずれであってもよい。

【0163】

一実施形態では、処理済発光画像を生成する前記ステップは、発光情報領域の発光値に従って、発光情報領域を閾値処理すること（コンピュータ装置によって）を含み、これにより発光情報領域を、ターゲット本体を表現するターゲットセグメントと、ターゲット本体とは異なる関心領域の残りを表現する非ターゲットセグメントとに分割する。しかしながら、発光情報領域は、任意の方法で閾値処理してもよい（例えば、バイナリ、マルチレベルまたはマルチバンドタイプの、統計的分布、エントロピー、クラスタリングまたはオブジェクト属性などをベースとして）。

【0164】

一実施形態では、出力画像を出力する前記ステップは、非ターゲットセグメントに対してターゲットセグメントを強調することによって、出力画像を出力すること（コンピュータ装置によって）を含む。しかしながら、ターゲットセグメントは、任意の方法で強調してもよい（例えば、非ターゲットセグメントをマスクすることによって、ターゲットセグメントをカラーで非ターゲットセグメントを白黒で表現することによって、ターゲットセグメントおよび非ターゲットセグメントの明度をそれぞれ増加および／または減少させることによってなど）。

【0165】

一実施形態では、発光情報領域を閾値処理する前記ステップは、発光情報領域の発光値の統計的分布に従って、閾値を決定すること（コンピュータ装置によって）を含む。しかしながら、閾値は、任意の方法で決定してもよい（例えば、双峰型、単峰型、多峰型などの統計的分布に作用する）。

【0166】

一実施形態では、発光情報領域を閾値処理する前記ステップは、対応する発光値と閾値との比較に従って、発光情報領域の発光場所の各々をターゲットセグメントまたは非ターゲットセグメントに割り当てること（コンピュータ装置によって）を含む。しかしながら、発光場所は、任意の方法で閾値に従ってターゲット／非ターゲットセグメントに割り当ててもよい（例えば、閾値がより高い、および／またはより低い場合に、閾値処理済発光画像または閾値処理マスクを生成することによってなど）。

【0167】

一実施形態では、発光情報領域を閾値処理する前記ステップは、ターゲットセグメントの発光値の１つ以上のターゲット統計パラメータ、および／または、非ターゲットセグメントの１つ以上の非ターゲット統計パラメータを計算すること（コンピュータ装置によって）を含む。しかしながら、ターゲット／非ターゲット統計パラメータは、任意の数でもよく、それらの１つについてはなしでもよく、任意のタイプのものでもよい（例えば、平均、中央値、モード、標準偏差、分散、歪度(skewness)）。

【0168】

一実施形態では、処理済発光画像を生成する前記ステップは、ターゲット統計パラメータおよび／または非ターゲット統計パラメータに従って、ターゲットセグメントの発光値を更新すること（コンピュータ装置によって）を含む。しかしながら、ターゲットセグメントは、これらの統計パラメータに従って任意の方法で処理してもよい（例えば、ターゲット統計パラメータだけに従って、非ターゲット統計パラメータだけに従って、これらの両方に従って、上述したものに対して部分的で異なる付加的な処理とともに、個別に、またはそれらの任意の組合せでなど）。

【0169】

一実施形態では、この方法は、補助情報領域に制限された補助画像の補助場所について、（発光光に関連する少なくとも１つの光学パラメータの）対応する光学値を、その内容に従って決定すること（コンピュータ装置によって）を含む。しかしながら、光学パラメータは、任意の数でも任意のタイプのものでもよく（例えば、上述したものに対して部分的で異なる付加的な光学パラメータなど）、対応する光学値は、任意の方法で決定してもよい（例えば、任意の分類アルゴリズム等を適用することによって、対応する補助値に従って個別に）。

【0170】

一実施形態では、処理済発光画像を生成する前記ステップは、光学値に従って、発光情報領域の発光値を均等化すること（コンピュータ装置によって）を含む。しかしながら、発光情報領域は、任意の時間で（例えば、それをオートスケーリング／閾値処理する前および／または後等）、任意の方法で均等化してもよい（例えば、各発光値を、対応する補助場所の光学値だけに従って均等化することによって、さらにその隣接する補助場所の光学値に従って、上述したものに対して部分的で異なる追加的な更なる処理、個別に、またはそれらの任意の組合せでなど）。

【0171】

一実施形態では、発光物質は、蛍光物質である（発光画像は蛍光画像であり、発光値は、その励起光によって照明された対応する発光場所において蛍光物質によって放出される蛍光光を表現する）。しかしながら、蛍光物質は、任意の外因性／内因性タイプのものでもよい（例えば、任意の病理組織、任意の健康組織などを撮像するために）。

【0172】

一般に、同じ手法が同等の方法で実装される場合、同様の検討が適用される（より多くのステップまたはその一部の同じ機能を備えた類似のステップを使用することによって、いくつかの非必須のステップを除去したり、または更なる任意のステップを追加することによって）。さらに、ステップは、異なる順序で、同時に、またはインターリーブ方式で実行してもよい（少なくとも部分的に）。

【0173】

一実施形態が、コンピュータプログラムがコンピュータ装置で実行される場合、コンピュータ装置に、上記の方法を実施させるように構成されたコンピュータプログラムを提供する。一実施形態が、コンピュータプログラム製品を提供し、これは、可読記憶媒体に集合的に保存されたプログラム命令を有する１つ以上のコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータ装置によって読み込み可能、コンピュータ装置に同じ方法を実施させる。しかしながら、コンピュータプログラムは、既存のソフトウェアプログラム（例えば、イメージングシステムのマネージャ）にとってスタンドアロンモジュールとして、プラグインとして、または後者では直接にでも実装してもよい。いずれの場合も、コンピュータプログラムが異なる方法で構成される場合、または追加のモジュールまたは機能が提供される場合、同様の検討が適用される。同様に、メモリ構造は、他のタイプのものでもよく、または同等のエンティティ（実体）（必ずしも物理的記憶媒体から構成されない）と置換してもよい。コンピュータプログラムは、任意のコンピュータ装置（下記参照）によって使用するのに適した任意の形態をとってもよく、それによりコンピュータ装置を所望の動作を実行するように構成できる。特に、コンピュータプログラムは、外部または常駐のソフトウェア、ファームウェアまたはマイクロコード（オブジェクトコードまたはソースコードのいずれか、例えば、コンパイル式またはインタープリ式で）の形態でもよい。さらに、任意のコンピュータ可読記憶媒体上にコンピュータプログラムを提供することが可能である。記憶媒体は、コンピュータ装置によって使用される命令を保持し保存できる任意の有形媒体（それ自体は一時的な信号とは異なる）である。例えば、記憶媒体は、電子、磁気、光学、電磁気、赤外線または半導の体タイプのものでもよい。こうした記憶媒体の例は、固定ディスク（プログラムがプリロードされてもよい）、取り外し可能なディスク、メモリキー（例えば、ＵＳＢタイプ）などである。コンピュータプログラムは、記憶媒体から、またはネットワーク（例えば、伝送ケーブル、光ファイバ、無線接続、ネットワークデバイスを含む、インターネット、ワイドエリアネットワーク、および／またはローカルエリアネットワーク）を介して、コンピュータ装置にダウンロードしてもよい。コンピュータ装置内の１つ以上のネットワークアダプタが、ネットワークからコンピュータプログラムを受信し、コンピュータ装置の１つ以上の記憶装置に保存用にそれを転送する。いずれの場合も、本開示の一実施形態に係る手法は、ハードウェア構造（例えば、半導体材料の１つ以上のチップ内に集積された電子回路、例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などによって）、または適切にプログラム設定されまたは他の方法で構成されたソフトウェアおよびハードウェアとの組合せで実装するのに役立つ。

【0174】

一実施形態が、コンピュータ装置を提供し、これは、上述の方法のステップを実施するように構成された手段を備える。一実施形態が、同じ方法の各ステップを実施するための回路（即ち、適切に構成された任意のハードウェア、例えば、ソフトウェアによって）を含むコンピュータ装置を提供する。しかしながら、コンピュータ装置は、任意のタイプのものでもよい（例えば、イメージングシステムの中央ユニット、別個のコンピュータなど）。

【0175】

一実施形態が、イメージングシステムを提供する。しかしながら、イメージングシステムは、任意のタイプのものでもよい（例えば、ガイド付き手術機器、内視鏡、腹腔鏡など）。

【0176】

一実施形態では、イメージングシステムは、上述のコンピュータ装置を備える。しかしながら、コンピュータ装置は、任意の方法でイメージングシステムに設けられてもよい（例えば、埋め込み式、任意の有線／無線接続を用いた接続など）。

【0177】

一実施形態では、イメージングシステムは、発光物質を励起するように適合した励起光を視野に印加するための照明ユニットを含む。しかしながら、照明ユニットは、任意のタイプのものでもよい（例えば、レーザ、ＬＥＤ、ＵＶ／ハロゲン／キセノンランプをベースとしたもの、白色光も提供し、または提供しないなど）。

【0178】

一実施形態では、イメージングシステムは、発光画像および補助画像を取得する取得ユニットを備える。しかしながら、取得ユニットは、任意のタイプのものでもよい（例えば、任意の数およびタイプのレンズ、導波路、ミラー、ＣＣＤ、ＩＣＣＤ、ＥＭＣＣＤ、ＣＭＯＳ、ＩｎＧａＡｓ、ＰＭＴセンサなど）。

【0179】

一般に、コンピュータ装置およびイメージングシステムがそれぞれ異なる構造を有し、または同等のコンポーネントを備える場合、または、それが他の動作特性を有する場合にも同様の検討が適用される。いずれの場合も、その全コンポーネントは、より多くのエレメントに分離してもよく、または２つ以上のコンポーネントが単一エレメントに統合されてもよい。さらに、各コンポーネントは、対応する動作の実行を並列的にサポートするように複製されてもよい。さらに、他に指定されない限り、異なるコンポーネント間の任意の相互作用は、一般に、連続的である必要はなく、１つ以上の仲介者を介して直接的または間接的でよい。

【0180】

一実施形態が、下記ステップを含む患者の医療処置を提供する。患者の医療処置のための関心領域（関心領域は、発光物質を含む医療処置の少なくとも１つのターゲット本体を含む）、および関心領域とは異なる１つ以上の異物を含む視野が、上記の方法に従って撮像され、出力画像を出力する。医療処置は、出力画像の支援とともに実施される。しかしながら、提案した方法は、任意の種類の医療処置においても適用可能である（上記を参照）。

【0181】

一実施形態では、医療処置は、発光物質を含む発光剤を患者に投与することを含む。しかしながら、発光剤は、任意の方法で投与してもよく（上記を参照）、あるいはこのステップは全て省略してもよい（発光剤が内因性である場合）。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3】

【図4A】

【図4B】

【図5】

【国際調査報告】