特開 2024-113663 処理方法、処理システム、及び不揮発性記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024113663

(43)【公開日】2024-08-22

(54)【発明の名称】処理方法、処理システム、及び不揮発性記憶媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240815BHJP

   A61B 1/00 20060101ALI20240815BHJP

【ＦＩ】

A61B1/045 610

A61B1/00 511

A61B1/045 614

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2024003444

(22)【出願日】2024-01-12

(31)【優先権主張番号】63/444,288

(32)【優先日】2023-02-09

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】516236908

【氏名又は名称】オリンパス・ヴィンター・ウント・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＯＬＹＭＰＵＳ ＷＩＮＴＥＲ ＆ ＩＢＥ ＧｍｂＨ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】ボルグ エンデルス

(72)【発明者】

【氏名】ステファン ハルムセン

(72)【発明者】

【氏名】傍島 秀雄

(72)【発明者】

【氏名】ヨルディ ホーガーフォルスト

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA24

4C161QQ04

4C161WW04

4C161WW08

4C161WW13

4C161WW17

(57)【要約】

【課題】蛍光画像を用いて観察に適した画像を生成すること。
【解決手段】処理システムは、イメージングデバイスと、白色光照明ならびに少なくとも１つの蛍光色素用の蛍光色素励起照明を生成する光源と、イメージングデバイスによって生成されて少なくとも１つの人工知能モデルに入力された蛍光画像内のそれらの蛍光色素放出によって１つ以上のタイプの構造を識別するように訓練された少なくとも１つの人工知能モデルを実行するコンピュータシステムと、少なくとも１つの人工知能モデルによって処理された蛍光画像を非蛍光画像の上にオーバーレイすることによって合成画像を生成するように設計された合成器とを備える。コンピュータシステムは、識別された１つ以上のタイプの構造に従って異なるタイプの構造に割り当てられた所定の偽色で蛍光画像の蛍光部分を着色することによって蛍光画像の色分けを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

蛍光画像を処理するための処理方法であって、
少なくとも１つの蛍光色素が存在する手術野の非蛍光画像および蛍光画像をイメージングデバイスで取り込むステップと、
輝度および着色に関して前記蛍光画像を処理するステップと、
前記非蛍光画像の上に前記蛍光画像をオーバーレイすることによって合成画像を生成するステップと、を備え、
前記蛍光画像を処理するステップでは、その蛍光色素放出によって１つ以上のタイプの構造を識別するために、蛍光静止画像および／または蛍光ビデオ画像で訓練された少なくとも１つの人工知能モデルに前記蛍光画像を入力し、
識別された前記１つ以上のタイプの構造に従って異なるタイプの構造に割り当てられた所定の偽色で前記蛍光画像の蛍光部分を着色することによって前記蛍光画像の色分けを実行する、処理方法。

【請求項2】

前記非蛍光画像が前記蛍光画像に結合されるように、前記少なくとも１つの人工知能モデルに前記非蛍光画像を入力するステップをさらに備え、
前記少なくとも１つの人工知能モデルは、前記１つ以上のタイプの構造を識別するための追加の入力として前記非蛍光画像を使用するように訓練されている、請求項１に記載の処理方法。

【請求項3】

前記少なくとも１つの人工知能モデルは、いくつかの異なる色素、いくつかの異なる構造、およびいくつかの異なる前記イメージングデバイスのうちの少なくとも１つについて訓練されている、請求項１に記載の処理方法。

【請求項4】

前記蛍光色素または色素のうちの少なくとも１つ、および前記イメージングデバイスに関する情報を、前記少なくとも１つの人工知能モデルへの入力として提供するステップをさらに含む、請求項１に記載の処理方法。

【請求項5】

前記蛍光画像内で識別される前記構造に使用される前記偽色の凡例を生成するステップと、前記合成画像に前記凡例を組み込むステップおよび前記合成画像とは別に前記凡例を表示するステップの一方と、をさらに含む、請求項１に記載の処理方法。

【請求項6】

前記蛍光画像内で識別される前記構造の色分けされたテキストラベルを生成するステップと、
前記合成画像に前記テキストラベルを組み込むステップと、をさらに含む、請求項１に記載の処理方法。

【請求項7】

術者の要求に応じていくつかの着色スキームのセットから前記所定の偽色を選択するステップをさらに含む、請求項１に記載の処理方法。

【請求項8】

蛍光画像を処理するための処理システムであって、
イメージングデバイスと、
白色光照明ならびに少なくとも１つの蛍光色素用の蛍光色素励起照明を生成する光源と、
前記イメージングデバイスによって生成されて少なくとも１つの人工知能モデルに入力された前記蛍光画像内のそれらの蛍光色素放出によって１つ以上のタイプの構造を識別するように訓練された前記少なくとも１つの人工知能モデルを実行するコンピュータシステムと、
前記少なくとも１つの人工知能モデルによって処理された前記蛍光画像を非蛍光画像の上にオーバーレイすることによって合成画像を生成するように設計された合成器と、を備え、
前記コンピュータシステムは、識別された前記１つ以上のタイプの構造に従って異なるタイプの構造に割り当てられた所定の偽色で前記蛍光画像の蛍光部分を着色することによって前記蛍光画像の色分けを実行する、処理システム。

【請求項9】

前記合成画像を表示するスクリーンをさらに備える、請求項８に記載の処理システム。

【請求項10】

前記イメージングデバイスは、ビデオ内視鏡またはビデオ外視鏡、もしくは内視鏡処置用の双眼鏡、外視鏡、およびカメラヘッドに取り外し可能に取り付けられたアタッチメントレンズのうちの１つの組み合わせである、請求項８に記載の処理システム。

【請求項11】

前記合成器は、前記少なくとも１つの人工知能モデル内、または前記１つ以上の人工知能モデルから前記識別されたタイプの構造に関する入力を受信する別個の命令セット内の一方に実装される、請求項８に記載の処理システム。

【請求項12】

前記コンピュータシステムは、前記非蛍光画像が前記蛍光画像に結合されるように、前記少なくとも１つの人工知能モデルに前記非蛍光画像を入力するように構成されており、前記少なくとも１つの人工知能モデルが、前記１つ以上のタイプの構造を識別するための追加の入力として前記非蛍光画像を使用するように訓練されている、請求項８に記載の処理システム。

【請求項13】

前記コンピュータシステムは、いくつかの異なる色素、いくつかの異なる構造、およびいくつかの異なる前記イメージングデバイスのうちの少なくとも１つについて訓練された前記少なくとも１つの人工知能モデルを実行するように構成されている、請求項８に記載の処理システム。

【請求項14】

前記コンピュータシステムは、前記蛍光色素または色素のうちの少なくとも１つ、および前記イメージングデバイスに関する情報を、前記少なくとも１つの人工知能モデルへの入力として提供するように構成されている、請求項８に記載の処理システム。

【請求項15】

前記コンピュータシステムは、前記蛍光画像内で識別される前記構造に使用される前記偽色の凡例を生成することと、前記合成画像に前記凡例を組み込むことおよび前記合成画像とは別に前記凡例を表示することの一方と、を行うように構成されている、請求項８に記載の処理システム。

【請求項16】

前記コンピュータシステムは、前記蛍光画像内で識別された前記構造の色分けされたテキストラベルを生成し、前記テキストラベルを前記合成画像に組み込むように構成されている、請求項８に記載の処理システム。

【請求項17】

前記コンピュータシステムは、術者の要求に応じて、いくつかの着色スキームのセットから前記所定の偽色を選択するように構成されている、請求項８に記載の処理システム。

【請求項18】

請求項１に記載の処理方法をコンピュータに実行させるように構成されたコンピュータ用の命令を備える、不揮発性記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、手術または診断をガイドする蛍光画像を処理する処理方法、処理システム、及び不揮発性記憶媒体に関する。

【背景技術】

【0002】

分子イメージングのサブタイプである医療用の蛍光イメージングは、手術及び診断をガイドする蛍光画像を取得する技術であって、手術または診断処置をガイドし、開放手術および内視鏡処置の両方、ならびに診断処置において、術者に手術野のリアルタイムの視覚化を提供する目的で蛍光物質を検出するために使用される医療イメージング技術である。手術及び診断をガイドする蛍光画像における異なる用途で一般に使用される蛍光色素（蛍光体）は、近赤外スペクトルで蛍光を発するインドシアニングリーン（ＩＣＧ）などを含むが、紫外もしくは遠赤外スペクトル、または画像プロセッサによって処理することができる任意の波長など、他の波長で蛍光を発する色素をも含むことができる。

【0003】

蛍光イメージングは、分子イメージングの一形態であり、これは一般に、分子イメージングに使用される特定の特性を有する分子の視覚化および／または追跡のためのイメージング方法を包含する。このような分子は、身体に内在する物質、または患者に注入される色素もしくは造影剤であり得る。したがって、例えばＭＲＩおよびＣＴもまた、「分子イメージング」という用語に含まれる。分子イメージングの変形としての蛍光イメージングは、特定の励起波長の光によって励起されると特定の波長の光を発する、特定の分子（蛍光体）の特性を使用する。

【0004】

蛍光イメージングの目的のために、システムのイメージングシステム、例えばカメラヘッドは、典型的に、可視スペクトルおよび近赤外スペクトルに反応するセンサを含むが、使用される色素に応じて他のスペクトルもカバーし得る。システムの照明光源ユニットは、白色光で手術領域を照明するための白色光用の光源、ならびに手術領域内に存在する少なくとも１つの蛍光色素を励起するように設計された少なくとも１つの励起光源を有する。励起光源は、レーザまたは発光ダイオードを含んでもよく、波長は、使用される色素内の蛍光を励起するように選択される。励起された後、色素は、励起光よりもわずかに長い波長で発光することによって、励起エネルギーを放出する。使用される色素のタイプに応じて、他の波長が励起波長として使用されてもよい。これは、可視スペクトルのさらに内側または可視スペクトルもしくは赤外スペクトルのさらに外側の波長を含むことができる。

【0005】

上記に基づいて、画像処理システムは、その周囲の中の蛍光領域の容易な位置特定のために、非蛍光画像の上への蛍光画像のオーバーレイで合成画像を生成し、これを画面上で外科医に表示する。白色光画像の上にオーバーレイされると、蛍光画像は通常、例えば色素としてＩＣＧの場合は薄緑色の偽色画像に変換され、これは、蛍光発光の強度を示す輝度とともに、白色光画像の赤色色相を理想的に対比させる。

【0006】

肺または結腸での使用のように、手術中に異なる構造を強調するために、または尿管などの構造に対して腫瘍を強調するために、異なる蛍光励起および発光スペクトルを含む異なる特性を有する様々な色素が利用可能である。色素情報は、例えばより良好な視認性のために提供度信号をより高い強度に引き上げることによって、少量の後処理で、イメージングセンサによって処理されるように画面上に示される。したがって、異なる感度の画像センサおよび異なる励起波長の励起光源を有するイメージングシステムのモニタに示される着色は、さらに色素およびその励起波長に応じて異なってもよい。

【0007】

その結果、合成画像内に表示される情報を正確に解釈するために、外科医は、色素の特定の制限および特性、ならびに特定のシステム上のそれらの着色に精通している必要がある。外科医は、色素をいつどのように適用するのが最良か、情報の上の単一の色素についてさえ情報を正確に解釈するために、複数の手順を必要とする。この課題は、例えば、尿管および腫瘍識別のための結腸手術において、異なる構造を強調するために手術中に２つ以上の色素が使用される場合、さらに増大する。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】XIAO, Anqi, [et al.]: Intraoperative glioma grading using neural architecture search and multi-modal imaging. IEEE transactions on medical imaging, Vol. 41, 2022, No. 10, S. 2570-2581.

【非特許文献2】SHEN, Biluo, [et al.]: Real-time intraoperative glioma diagnosis using fluorescence imaging and deep convolutional neural networks. European Journal of Nuclear Medicine and Molecular Imaging, Vol. 48, 2021,No. 11, S. 3482-3492.

【非特許文献3】STEWART, Hazel L.; BIRCH, David JS: Fluorescence guided surgery. Methods and Applications in Fluorescence, Vol. 9, 2021,No. 4, S. 042002.

【非特許文献4】OROSCO, Ryan K.; TSIEN, Roger Y.; NGUYEN, Quyen T: Fluorescence imaging in surgery. IEEE reviews in biomedical engineering, Vol. 6, 2013, S. 178-187.

【非特許文献5】WENDLER, Thomas, [et al.]: How molecular imaging will enable robotic precision surgery: The role of artificial intelligence, augmented reality, and navigation. European Journal of Nuclear Medicine and Molecular Imaging, 2021, 48. Jg., Nr. 13, S. 4201-4224.

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の目的は、蛍光画像を用いて観察に適した画像を生成する処理方法、処理システム、及び不揮発性記憶媒体を提供することである。

【課題を解決するための手段】

【0010】

このような目的は、蛍光画像を処理するための処理方法であって、少なくとも１つの蛍光色素が存在する手術野の非蛍光画像および蛍光画像をイメージングデバイスで取り込むステップと、輝度および着色に関して蛍光画像を処理するステップと、非蛍光画像の上に蛍光画像をオーバーレイすることによって合成画像を生成するステップと、を備え、蛍光画像を処理するステップでは、その蛍光色素放出によって１つ以上のタイプの構造を識別するために、蛍光静止画像および／または蛍光ビデオ画像で訓練された少なくとも１つの人工知能モデルに蛍光画像を入力し、識別された１つ以上のタイプの構造に従って異なるタイプの構造に割り当てられた所定の偽色で蛍光画像の蛍光部分を着色することによって蛍光画像の色分けを実行する、処理方法によって解決することができる。

【0011】

この処理方法では、異なる構造が異なるように所定の偽色で一貫して着色されるため、ビデオ内視鏡、カメラヘッドを有する内視鏡システム、または開放手術を観察するための外視鏡などの手術または診断イメージングデバイスで撮影された蛍光画像は、外科医による容易な理解のためにリアルタイムで処理される。構造およびそれらの構造化された着色の自動識別は、即座に認識可能かつ区別可能な視覚情報が外科医に提示されるので、手術をより安全にするのに役立つ。これは、新しい色素の使用、および色素使用の使用または目的のための外科医の学習曲線を低下させる。外科医は、所定の色のスキームに精通するだけでよく、これは、色スキームが教科書の色スキームに準拠するかまたはこれと同様である場合には既知でさえあり得、こうしてスキームを学習するのに費やされる時間をさらに削減する。これはまた、人工知能モデルによって生成された画像が外科医にとってより直感的となるので、データを誤って解釈するリスクを著しく低減する。

【0012】

適切にラベル付けされた訓練データ上で、画像データを処理することができる畳み込みニューラルネットまたは任意のＡＩアルゴリズムタイプであり得る少なくとも１つの人工知能モデルを訓練することにより、少なくとも１つのモデルは、その外観全体によって体内の蛍光色素でラベル付けされた構造を識別するように訓練される。これは、特定の構造に使用される色素の蛍光発光スペクトルの情報、ならびに同様の構造が共通しているそれらの形状および他のパラメータを含む。

【0013】

一実施形態では、処理方法は、非蛍光画像が蛍光画像に結合されるように、少なくとも１つの人工知能モデルに非蛍光画像を入力するステップをさらに備え、少なくとも１つの人工知能モデルは、１つ以上のタイプの構造を識別するための追加の入力として非蛍光画像を使用するように訓練されている。非蛍光画像を蛍光画像に結合し、人工知能モデルのさらなる入力として非蛍光画像を使用することで、蛍光色素によってマークされた異なるタイプの構造の識別の信頼性をさらに強化する。

【0014】

実施形態では、少なくとも１つの人工知能モデルは、異なる色素、異なる構造、および異なるイメージングデバイスのうちの少なくとも１つで訓練され、蛍光画像を処理し、それらの出力を組み合わせる。この種の特殊化は、各個別の人工知能モデルに必要とされる訓練の量を低減する。いくつかの、すなわち２つ以上の人工知能モデルのうちの１つ以上には、非蛍光画像ならびに追加の入力データが供給される。本開示の文脈内で、１つまたはいくつかの人工知能モデルは、異なる色素、異なる構造、および異なるイメージングデバイスのうちの１つのみ、もしくはこれらの任意の組み合わせのいずれかで訓練されてもよい。

【0015】

さらなる実施形態によれば、蛍光色素または色素のうちの少なくとも１つ、およびイメージングデバイスに関する情報が、少なくとも１つの人工知能モデルへの入力として提供される。この追加情報は、進行中の手術または診断処置の蛍光画像内で強調することができる異なるタイプの構造の範囲を絞り込むのに役立つ。

【0016】

さらなる実施形態では、処理方法は、蛍光画像内で識別される構造に使用される偽色の凡例を生成するステップと、合成画像に凡例を組み込むステップおよび合成画像とは別に凡例を表示するステップの一方と、をさらに含む。代替的にまたは追加で、処理方法は、蛍光画像内で識別される構造の色分けされたテキストラベルを生成するステップと、合成画像にテキストラベルを組み込むステップとを含んでもよい。これは、外科医が構造化された文脈に応じた着色に精通するのを助けるために、教育または訓練モードで実施され得る。

【0017】

別の実施形態によれば、処理方法は、外科医の要求に応じていくつかの着色スキームのセットから所定の偽色を選択するステップをさらに含む。このような着色スキームは、個人占有の着色スキームとして外科医によって個別に充填されてもよく、または既知の標準的な解剖学の教科書からの既知の着色スキームに準拠するように予めフォーマットされてもよく、こうしてこのような教科書を使用して解剖学を学んできた任意の外科医にとって着色を即座に認識可能にする。

【0018】

本発明の別の態様では、目的は、蛍光画像を処理するための処理システムであって、イメージングデバイスと、白色光照明ならびに少なくとも１つの蛍光色素用の蛍光色素励起照明を生成することができる光源と、イメージングデバイスによって生成されて少なくとも１つの人工知能モデルに入力された蛍光画像内のそれらの蛍光色素放出によって１つ以上のタイプの構造を識別するように訓練された少なくとも１つの人工知能モデルを実行するコンピュータシステムと、少なくとも１つの人工知能モデルによって処理された蛍光画像を非蛍光画像の上にオーバーレイすることによって合成画像を生成するように設計された合成器と、を備え、コンピュータシステムは、識別された１つ以上のタイプの構造に従って異なるタイプの構造に割り当てられた所定の偽色で蛍光画像の蛍光部分を着色することによって蛍光画像の色分けを実行する、処理システムによって解決することができる。処理システムは、手術中に合成画像を表示するために使用される主手術モニタなどのスクリーンを備えてもよい。

【0019】

処理システムおよびその構成要素は、上述の処理方法と同じ特徴、特性、概念、および利点を具現化する。

【0020】

非限定的な例として、イメージングデバイスは、ビデオ内視鏡またはビデオ外視鏡、もしくは内視鏡処置用の双眼鏡、外視鏡、およびカメラヘッドに取り外し可能に取り付けられたアタッチメントレンズのうちの１つの組み合わせであってもよい。「内視鏡」という用語は、腹腔鏡、小腸内視鏡、双眼鏡など、固定または変更可能な直線または横方向の視野を有する様々な種類の特殊な硬性または可撓性内視鏡器具を備えるものとして広く解釈されるべきであり、これは、遠位に配置された画像センサ、または入射光を器具の近位端に中継するためのリレーレンズシステムもしくは光ファイバなどの光学手段のいずれかを有してもよく、画像センサは、器具のハンドル部分、または器具に取り付けることができる別個のカメラヘッドのいずれかに配置される。同様に、「外視鏡」という用語は、その視野および焦点距離が開放手術における手術野を概観するために設定される硬性内視鏡、または同じ目的を有する同様のイメージングデバイスの短縮バージョンを意味し得る。

【0021】

コンピュータシステムは、グラフィカルプロセッサユニット（ＧＰＵ）と、少なくとも１つの人工知能モデルを実行し、色分けされた蛍光オーバーレイで非蛍光画像を合成するフレームグラバとを有してもよい。ＧＰＵおよびフレームグラバは、ＡＩ処理に適したプラットフォームである。しかしながら、ＣＰＵ、専用ＡＩチップなどのような任意の適切なハードウェア構成要素が、この目的のために使用され得る。

【0022】

実施形態では、合成器は、少なくとも１つの人工知能モデル内、または１つ以上の人工知能モデルから識別されたタイプの構造に関する入力を受信する別個の命令セット内の一方に実装される。

【0023】

コンピュータシステムは、非蛍光画像が蛍光画像に結合されるように、少なくとも１つの人工知能モデルに非蛍光画像を入力するように構成されてもよく、少なくとも１つの人工知能モデルが、１つ以上のタイプの構造を識別するための追加の入力として非蛍光画像を使用するように訓練されている。

【0024】

一実施形態では、コンピュータシステムは、いくつかの異なる色素、いくつかの異なる構造、およびいくつかの異なるイメージングデバイスのうちの少なくとも１つについて訓練された少なくとも１つの人工知能モデルを実行するように構成される。これらの人工知能モデルの一部または全部は、追加の入力として非蛍光画像を受信および処理するように訓練されてもよい。

【0025】

実施形態では、コンピュータシステムは、蛍光色素または色素のうちの少なくとも１つ、およびイメージングデバイスに関する情報を、少なくとも１つの人工知能モデルへの入力として提供するように構成される。

【0026】

さらに、コンピュータシステムは、蛍光画像内で識別される構造に使用される偽色の凡例を生成することと、合成画像に凡例を組み込むことおよび合成画像とは別に凡例を表示することの一方と、を行うように構成されてもよい。

【0027】

特に訓練目的のために、また例えば術者によって選択される表示オプションとして、コンピュータシステムは、蛍光画像内で識別された構造の色分けされたテキストラベルを生成し、テキストラベルを合成画像に組み込むように構成されてもよい。

【0028】

実施形態では、コンピュータシステムは、術者の要求に応じて、いくつかの着色スキームのセットから所定の色を選択するように構成される。

【0029】

本発明の別の態様では、本目的は、コンピュータに上述の処理方法を実行させるように構成されたコンピュータ用の命令を含む不揮発性記憶媒体によって解決することができる。本発明のこの態様は、先に記載された機能を実行する能力を有するコンピュータシステムを提供し、上述の処理方法と同じ特徴、特性、概念、および利点を具現化する。

【0030】

さらなる特徴は、特許請求の範囲および添付図面と共に、実施形態の説明から明らかとなるだろう。実施形態は、個々の特徴またはいくつかの特徴の組み合わせを満たすことができる。

【0031】

例示的な実施形態に基づいて、本発明の一般的な範囲を制限することなく、実施形態が以下に記載され、テキストでより詳細に説明されていない全ての詳細の本開示に関する図面が明示的に参照される。

【図面の簡単な説明】

【0032】

【図1】手術または診断をガイドする蛍光画像を処理するための処理システムの一実施形態を示す図である。

【図2】図１の処理システムのＡＩサブシステムの一実施形態を示す図である。

【図3A】多色素色分け蛍光画像の一実施形態を示す図である。

【図3B】多色素色分け蛍光画像の一実施形態を示す図である。

【図3C】多色素色分け蛍光画像の一実施形態を示す図である。

【図4】色分け蛍光画像の別の実施形態を示す図である。

【発明を実施するための形態】

【0033】

図中、同じまたは同様のタイプの要素またはそれぞれに対応する部分には、アイテムを再度紹介する必要がないように、同じ参照番号が提供される。

【0034】

図１は、手術または診断をガイドする蛍光画像を処理するための処理システム１０の一実施形態を示す。処理システム１０は、白色光画像（ＷＬＩ）、および１つの色素（「色素１」）、または任意選択的にいくつかの色素（「色素１」、「色素２」、「色素３」、…）に由来する蛍光画像をコンピュータシステム２２に提供する単一色素または多色素光源能力を有する画像プロセッサを有する手術または診断イメージングデバイス２０を備える。イメージングデバイス２０は、ビデオ内視鏡またはビデオ外視鏡、もしくは内視鏡処置用の双眼鏡、外視鏡、およびカメラヘッドに取り外し可能に取り付けられたアタッチメントレンズのうちの１つの組み合わせである。コンピュータシステム２２は、グラフィカル処理ユニット（ＧＰＵ）と、異なる蛍光色素に関して蛍光画像を別々に処理する人工知能（以下、ＡＩと記載）サブシステム１２、１４を実行するフレームグラバとを有するＰＣシステムである。各ＡＩサブシステム１２、１４には、参照用の非蛍光画像と、蛍光色素によって提供される視覚情報を担持する蛍光画像とが提供される。３つ以上の異なる色素が使用される場合、より多くのＡＩサブシステムがあってもよい。対照的に、異なる色素に複数のＡＩサブシステム１２、１４、…を使用する代わりに、手術中に使用される様々な色素およびイメージングシステムを処理するために、単一のＡＩサブシステム１２が訓練されてもよい。

【0035】

ＡＩサブシステム１２、１４は、非蛍光白色光画像と共に合成器１６に提供される、異なる色素および識別された構造のための標準的な色スキームに基づくオーバーレイ情報を提供する。合成器１６は、色分け蛍光画像が白色光画像の上にオーバーレイされた合成画像を提供する。合成画像は、処理システム１０の手術用プライマリモニタ２４に提供される。手術用プライマリモニタ２４は、本発明に係るスクリーンに相当する。

【0036】

図１の例示的な実施形態のような白色光画像の代わりに、単色照明または赤外線照明など、異なる照明が非蛍光画像のために選択されてもよい。

【0037】

図２は、蛍光色素でマークされ、蛍光画像３２におけるそれらの外観に基づいて識別される異なる構造を示す異なる色を有する色分けされた合成画像のためのオーバーレイ情報を提供するように構成された図１の処理システム１０のＡＩサブシステム１２の概略図としての例示的な実施形態を示す。様々な実施形態では、ＡＩサブシステム１２は、手術または診断イメージングデバイス２０によって生成された蛍光画像３２がＡＩモデル１２．２に適用されて、オーバーレイ情報を生成する推論動作を実行するＡＩモデル１２．２に入力特徴として提供される入力インターフェース１２．１と、オーバーレイ情報が図１の合成器１６に送られる出力インターフェース１２．３とを含む。

【0038】

ＡＩモデル１２．２は、本発明に係る人工知能モデルに相当する。このＡＩモデル１２．２は、いくつかの異なる色素、いくつかの異なる構造、およびいくつかの異なるイメージングデバイス２０のうちの少なくとも１つについて訓練されている。

【0039】

蛍光画像３２は、非蛍光画像３０と、場合により、色素の蛍光特徴、もしくは構造、色スキーム、および／または使用されるイメージングデバイス２０に関する情報など、データベース３４によって供給されるデータベース入力特徴３６として進行中の手術または診断処置に固有の他の情報とを伴ってもよい。

【0040】

いくつかの実施形態では、入力インターフェース１２．１は、ＡＩサブシステム１２と、１つ以上のイメージングデバイス２０および少なくともいくつかの入力特徴を生成するデータベース３４との間の直接データリンクであってもよい。例えば、入力インターフェース１２．１は、手術および／または診断医療処置中に蛍光画像３２を直接ＡＩサブシステム１２に送信してもよい。追加的または代替的に、入力インターフェース１２．１は、ユーザとコンピュータシステム２２との間の対話を容易にする古典的なユーザインターフェースであってもよく、これにより、ＡＩモデル１２．２への入力として使用され得る、術者による処置関連データの入力を容易にし得る。例えば、入力インターフェース１２．１は、ユーザが処置で使用される色素のタイプを手動で入力し得るユーザインターフェースで構成してもよい。これらの場合のいずれにおいても、入力インターフェース１２．１は、蛍光画像を評価するためにＡＩサブシステム１２が使用される時点またはその前に、手術または診断処置に関連する以下の入力特徴のうちの１つ以上を収集するように構成される。

【0041】

上記の入力特徴のうちの１つ以上に基づいて、ＡＩサブシステム１２は、蛍光画像３２、および該当する場合には非蛍光画像３０および他の入力データからの１つ以上の色素のための標準的な色スキームに基づいてオーバーレイ情報を生成するために、ＡＩモデル１２．２を使用して推論動作を実行する。例えば、入力インターフェース１２．１は、蛍光画像３２、および該当する場合には相関する非蛍光画像３０、および／または色素もしくは使用される色素などのさらなる入力データをＡＩモデル１２．２の入力層内に配信してもよく、これにより、ＡＩモデル１２．２を通って出力層までこれらの入力特徴を伝搬する。ＡＩモデル１２．２は、コンピュータシステム２２に、データの分析において見つかったパターンに基づいて推論を行うことによって、明示的にプログラムされることなく、タスクを実行する能力を提供することができる。ＡＩモデル１２．２は、既存のデータから学習して新しいデータに関する予測を行うことができるアルゴリズム（例えば、機械学習アルゴリズム）の研究および構築を探索する。このようなアルゴリズムは、出力または評価として表されるデータ駆動予測または決定を行うために、例示的な訓練データからＡＩモデルを構築することによって動作する。

【0042】

機械学習（以下、ＭＬと記載）には、教師ありＭＬと教師なしＭＬの２つの一般的なモードがある。教師ありＭＬは、事前知識（例えば、入力を出力もしくは結果に相関させる例）を使用して、入力と出力との間の関係を学習する。教師ありＭＬの目的は、いくつかの訓練データが与えられると、訓練入力と出力との間の関係に最も近似する関数を学習することであり、その結果、ＭＬモデルは、対応する出力を生成するために入力が与えられた場合に同じ関係を実装することができる。教師なしＭＬは、分類もラベル付けもされていない情報を使用し、アルゴリズムが案内なしにその情報に作用することを可能にするＭＬアルゴリズムの訓練である。教師なしＭＬは、データ内の構造を自動的に識別できるため、探索的分析に有用である。

【0043】

教師ありＭＬの一般的なタスクは、分類問題および回帰問題である。分類問題は、カテゴリ化問題とも呼ばれ、項目をいくつかのカテゴリ値のうちの１つに分類すること（この対象物はリンゴかオレンジか？など）を目的とする。回帰アルゴリズムは、（例えば、何らかの入力値にスコアを提供することによって）いくつかの項目を定量化することを目的とする。一般的に使用される教師ありＭＬアルゴリズムのいくつかの例は、ロジスティック回帰（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、行列因子分解、およびサポートベクターマシン（ＳＶＭ）である。

【0044】

教師なしＭＬのためのいくつかの一般的なタスクは、クラスタリング、表現学習、および密度推定を含む。一般的に使用される教師なしＭＬアルゴリズムのいくつかの例は、Ｋ平均クラスタリング、主成分分析、およびオートエンコーダである。

【0045】

別の種類のＭＬは、データを交換することなく、ローカルデータを保持する複数の非中央集権型デバイスにわたってアルゴリズムを訓練する（協調学習としても知られる）連合学習である。この手法は、全てのローカルデータセットが１つのサーバにアップロードされる従来の集中型機械学習技術、ならびにローカルデータサンプルが同一に分散されることを仮定することが多い古典的な非中央集権型手法とは対照的である。連合学習は、複数の当事者がデータを共有することなく共通の堅牢な機械学習モデルを構築することを可能にし、したがって、データプライバシー、データセキュリティ、データアクセス権、および異種データへのアクセスなどの重要な問題に対処することを可能にする。

【0046】

いくつかの例では、ＡＩモデル１２．２は、推論動作の実行に先立って継続的または定期的に訓練されてもよい。次に、推論動作中に、ＡＩモデル１２．２に提供された入力特徴は、入力層から１つ以上の隠れ層を通り、最終的に、異なる色素または構造のオーバーレイ情報に対応する出力層まで伝搬されてもよい。例えば、オーバーレイ情報は、蛍光画像３２内の特定のタイプの蛍光に関連付けられると識別された構造に従って蛍光を示す画素の各クラスタの色情報を含んでもよい。

【0047】

推論動作中、および／または推論動作に続いて、オーバーレイ情報は、合成器１６に蛍光画像３２および非蛍光画像３０の色分けされた結合を実行させてもよい。

【0048】

図３Ａから図３Ｃは、異なる構造に異なる蛍光色素を使用して取得された多色素色分け蛍光画像の実施形態を示す。図３Ａは、非蛍光背景画像の上で２つの異なる構造に２つの異なる色素を使用して得られた蛍光画像のオーバーレイをグレースケールで示す。２つの異なる色素は、一方ではリンパ節４０に、他方ではセンチネルリンパ節（センチネルＬＮ）４２に付いている。２つの異なる色素は、異なる蛍光を発する。フルカラー蛍光イメージングでは、リンパ節４０は偽緑色で表され、センチネルリンパ節４２は偽赤色で表される。図３Ｂおよび図３Ｃは、それぞれ図３Ａの緑色および赤色チャネルを示し、これにより、明確さのために互いに分離されて、リンパ節４０を緑色でオーバーレイし、センチネルリンパ節４２を赤色でオーバーレイして表示する。

【0049】

合成画像は、リンパ節４０およびセンチネルリンパ節４２について凡例テキスト４０．１、４２．１によってそれぞれさらに強調される。凡例テキスト４０．１、４２．１は、それぞれのオーバーレイに使用される色と同じ緑色および赤色で表示される。

【0050】

図４は、色分け蛍光画像の別の実施形態を示す。この場合、尿管４４は、蛍光画像３２で現れる特定の蛍光色素でマークされ、これが白色光画像３０にオーバーレイされ、尿管４４の隣の手術器具４６も示す。尿管４４を強調する蛍光構造は、解剖学の教科書において時々行われるように、黄色で描かれてもよい。これにより、黄色で尿管４４を強調することで、術者が尿管４４を即座に識別し、その近傍で動作するときにこれを損傷するのを回避するのに役立つ。

【0051】

上記に示された緑色、赤色、及び黄色の偽色は、術者の要求に応じていくつかの着色スキームのセットから選択される。

【0052】

本発明の実施形態と見なされるものを図示および記載してきたが、当然ながら、本発明の要旨から逸脱することなく、形態または詳細の様々な修正および変更が容易になされ得ることを理解されたい。したがって、本発明は、記載および図示された正確な形態に限定されるものではなく、添付の特許請求の範囲内に含まれ得る全ての修正を包含するように構築されるべきであることが意図される。

【符号の説明】

【0053】

１０ 処理システム
１２ ＡＩサブシステム
１２．１ 入力インターフェース
１２．２ ＡＩモデル
１２．３ 出力インターフェース
１４ ＡＩサブシステム
１６ 合成器
２０ イメージングデバイス
２２ コンピュータシステム
２４ 手術用プライマリモニタ
３０ ＷＬＩ画像
３２ 蛍光画像
３４ データベース
３６ データベース入力特徴
４０ リンパ節
４０．１ リンパ節凡例テキスト
４２ センチネルリンパ節
４２．１ センチネルリンパ節凡例テキスト
４４ 尿管
４６ 手術器具

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】