特許 7495994 医療光学系、データ処理システム、コンピュータプログラム、及び不揮発性コンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-28

(45)【発行日】2024-06-05

(54)【発明の名称】医療光学系、データ処理システム、コンピュータプログラム、及び不揮発性コンピュータ可読記憶媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240529BHJP

   A61B 1/00 20060101ALI20240529BHJP

   A61B 90/20 20160101ALI20240529BHJP

   G02B 21/36 20060101ALI20240529BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 622

A61B1/00 511

A61B1/00 621

A61B90/20

G02B21/36

【請求項の数】 14

(21)【出願番号】P 2022562839

(86)(22)【出願日】2021-04-22

(65)【公表番号】

(43)【公表日】2023-05-29

(86)【国際出願番号】 EP2021060482

(87)【国際公開番号】W WO2021219473

(87)【国際公開日】2021-11-04

【審査請求日】2022-12-09

(31)【優先権主張番号】102020111376.5

(32)【優先日】2020-04-27

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】502303382

【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100229264

【弁理士】

【氏名又は名称】清水 正一

(72)【発明者】

【氏名】クリストフ ハウガー

(72)【発明者】

【氏名】ステファン ザウアー

(72)【発明者】

【氏名】ヘラルド パニッツ

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】米国特許出願公開第２０１６／００３５０９３（ＵＳ，Ａ１）

【文献】特開平１０－３３３０５６（ＪＰ，Ａ）

【文献】特開平０９－２８１４０５（ＪＰ，Ａ）

【文献】AYACHE,N. et al.，Processing and Mosaicing of Fibered Confocal Images，Medical Image Computing and Computer-Assisted Intervention - MICCAI 2006, 9th International Conference，2006年10月，p.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ ９０／２０

Ｇ０２Ｂ ２１／００ － ２１／３６

(57)【特許請求の範囲】

【請求項1】

－腫瘍（２３）を有する巨視的組織領域（１５）の顕微鏡組織切片（１６）を各々表す複数の組織像を記録するための内視顕微鏡（３）と、
－訓練済みニューラルネットワークに基づいて、各ケースで少なくとも前記腫瘍（２３）を表す組織切片、又は健康な組織を表す組織切片として前記組織像内で表された前記顕微鏡組織切片（１６）を分類して、各々の分類された顕微鏡組織切片（１６）の分類結果を出力する分類装置（３１）を含み、
－前記分類結果を組み合わせることにより巨視的分類画像（４３）を生成する組み合わせ装置（３７）を特徴とし、前記分類画像が前記巨視的組織領域（１５）内の前記腫瘍（２３）の位置を表している医療光学系。

【請求項2】

前記組み合わせ装置が、前記分類結果に基づいて腫瘍の巨視的輪郭を導出すべく構成されていることを特徴とする、請求項１に記載の医療光学系。

【請求項3】

前記分類装置（３１）が以下の選択肢、すなわち
－各組織像内で表された前記顕微鏡組織切片（１６）の形態、
－各組織像内で表された前記顕微鏡組織切片（１６）により発せられた蛍光放射線の強度、
－各組織像内で表された前記顕微鏡組織切片（１６）により発せられた蛍光放射線の減衰挙動、
－各組織像内で表された前記顕微鏡組織切片（１６）のスペクトル反射特性の少なくとも１個に基づいて分類を実行すべく構成されていることを特徴とする、請求項１又は請求項２に記載の医療光学系。

【請求項4】

前記分類装置（３１）が、顕微鏡組織切片（１６）を多数のクラスに分類し、それらのうち一つのクラスが健康な組織を表し、残りのクラスが異なる種類の腫瘍組織を表すべく構成されていることを特徴とする、請求項１～３のいずれか１項に記載の医療光学系。

【請求項5】

前記巨視的組織領域（１５）の概観画像（４５）を生成する光学観察機器（１）と、重ね合わせ装置（１３５、１３７）とを含み、前記重ね合わせ装置（１３５、１３７）が前記分類画像（４３）を前記概観画像（４５）に重ね合わせるべく構成されていることを特徴とする、請求項１～４のいずれか１項に記載の医療光学系。

【請求項6】

前記分類装置（３１）が、分類目的で前記光学観察機器（１）により取得された画像からのデータも使用すべく設計されていることを特徴とする、請求項５に記載の医療光学系。

【請求項7】

組織の局部治療を行う治療システム（２５、４７）及び前記組織領域（１５）の特定の部位が治療されるように前記治療システム（２５）の位置合わせを行う位置合わせ装置（２７）を含み、前記位置合わせ装置（２７）が、前記分類画像（４３）に基づいて位置合わせを行うべく設計されていることを特徴とする、請求項１～６のいずれか１項に記載の医療光学系。

【請求項8】

前記治療システムが、判定された部位に狙いを定めて照射する照射システム（２５）を含み、前記位置合わせ装置（２７）が、前記照射システムの位置合わせを行う目的で前記分類画像に基づいて前記照射システム（２５）を前記組織領域の前記判定された部位に整列させるべく設計されていることを特徴とする、請求項７に記載の医療光学系。

【請求項9】

前記治療システムが、判定された部位の表面又は内部に治療用放射線を局部的に適用するアプリケータ（４７）を含み、前記位置合わせ装置がロボットにより前記アプリケータ（４７）を判定された部位へ誘導すべく設計されおり、前記誘導が前記分類画像（４３）に基づいて行われることを特徴とする、請求項７又は８に記載の医療光学系。

【請求項10】

前記巨視的組織領域（１５）の複数の顕微鏡組織切片（１６）の前記組織像を取得する目的で前記巨視的組織領域（１５）を前記内視顕微鏡（３）を用い走査する走査装置（１７）を含むことを特徴とする、請求項１～９のいずれか１項に記載の医療光学系。

【請求項11】

前記巨視的組織領域（１５）内における前記複数の顕微鏡組織切片（１６）の前記組織像の位置座標であるナビゲーションデータを提供するナビゲーションシステムを含むことを特徴とする、請求項１～１０のいずれか１項に記載の医療光学系。

【請求項12】

－腫瘍（２３）を有する巨視的組織領域（１５）の異なる顕微鏡組織切片（１６）を各々表す複数の組織像を受信するための受信インターフェース（３３）と、
－訓練済みニューラルネットワークに基づいて、前記組織像内で表された前記顕微鏡組織切片（１６）を、各ケースで前記腫瘍（２３）を表す組織切片又は健康な組織を表す組織切片として分類し、各々の分類された顕微鏡組織切片（１６）の分類結果を出力する分類装置（３１）と、
－前記分類結果を組み合わせることにより巨視的分類画像（４３）、すなわち前記巨視的組織領域（１５）内における前記腫瘍（２３）の位置を表す分類画像を生成する組み合わせ装置（３７）を含むデータ処理システム（５）。

【請求項13】

コンピュータ（５）で実行されたならば、前記コンピュータに、
－腫瘍（２３）を有する巨視的組織領域（１５）の異なる顕微鏡組織切片（１６）を各々表す複数の組織像を受信させ、
－訓練済みニューラルネットワークに基づいて、前記組織像内で表された前記顕微鏡組織切片（１６）を、各ケースで前記腫瘍を表す組織切片又は健康な組織を表す組織切片として分類させ、各々の分類された顕微鏡組織切片（１６）の分類結果を出力させて、
－前記分類結果を組み合わせることにより巨視的分類画像（４３）、すなわち前記巨視的組織領域（１５）内における前記腫瘍（２３）の位置を表す分類画像を生成させる複数の命令を含んでいるコンピュータプログラム。

【請求項14】

複数の命令が保存された不揮発性コンピュータ可読記憶媒体であって、前記命令がコンピュータ（５）で実行されたならば、前記コンピュータ（５）に、
－腫瘍（２３）を有する巨視的組織領域（１５）の異なる顕微鏡組織切片（１６）を各々表す複数の組織像を受信させ、
－訓練済みニューラルネットワークに基づいて、前記組織像内で表された前記顕微鏡組織切片（１６）を、各ケースで前記腫瘍を表す組織切片又は健康な組織を表す組織切片として分類させ、各々の分類された顕微鏡組織切片（１６）の分類結果を出力させて、
－前記分類結果を組み合わせることにより巨視的分類画像（４３）、すなわち前記巨視的組織領域（１５）内における前記腫瘍（２３）の位置を表す分類画像を生成させる不揮発性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生体組織の分類に用いる医療光学系に関する。また、本発明はデータ処理システム、コンピュータプログラム及び不揮発性コンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

腫瘍の治療に関して、腫瘍を除去すると共に腫瘍の周囲の組織の大部分を残すべく、腫瘍に狙いを定めて作用する試みがなされている。これはしかし、腫瘍に対する治療、例えば切除又は照射を実際に制限可能にするには組織領域内における腫瘍の位置をできるだけ正確に知る必要がある。更に、存在する腫瘍の種類に関する知識が治療にとって一般に重要であり、従って組織領域内における腫瘍の位置に関する知識に加えて腫瘍の種類に関する知識もまた重要である。

【0003】

現時点で、腫瘍組織と健康な組織を区別するために人工知能に基づくシステムも用いられており、前記システムは、結像された組織を腫瘍組織と健康な組織に分類して、画像に含まれる光学情報に基づいて腫瘍境界を検出することができる。例えば、米国特許第９，７５４，３７１Ｂ２号明細書に、外科用顕微鏡又は内視鏡から得られた組織領域の画像を人工知能が用いて組織を正常な組織又は異常な組織にリアルタイムに分類する方法が記述されている。

【0004】

例えば、腫瘍の境界は、米国特許出願公開第２０１８／０３３８８０２Ａ１号明細書等に記述されているように、組織領域内における蛍光放射線の減衰時間に基づいて検出することができる。蛍光放射線の減衰挙動に基づいて腫瘍組織と健康な組織を区別する方法は更に、Ｙ．Ｓｕｎ他による「Ｆｌｕｏｒｅｓｃｅｎｃｅ ｌｉｆｅｔｉｍｅ ｉｍａｇｉｎｇ ｍｉｃｒｏｓｃｏｐｙ ｆｏｒ ｂｒａｉｎ ｔｕｍｏｒ ｉｍａｇｅ－ｇｕｉｄｅｄ ｓｕｒｇｅｒｙ」（Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ １５（５），Ｓｅｐｔｅｍｂｅｒ／Ｏｃｔｏｂｅｒ ２０１０）にも記述されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

細胞構造が識別可能な０．５ｍｍ×０．５ｍｍのオーダーの小さい組織領域の画像は、走査結像方法に基づいて細胞レベルの分解能を可能にする内視顕微鏡を利用して記録することができる。例えば、このような内視顕微鏡は、文献米国特許第７，１６２，２９２Ｂ２号明細書及び国際公開第２０１８／１５２２４８Ａ１号パンフレットに記述されている。このような内視顕微鏡を用いて得られた画像は、画像に基づく病理学的検証を実施できる病理学者の利用に供される。更に、記録された画像の画像内容が病理学的評価に適しているか否かの検証が国際公開第２０１８／１５２２４８Ａ１号パンフレットでなされている。この検証は人工知能を利用して行われる。

【0006】

米国特許出願公開第２０１８／０１１４０８７Ａ１号明細書に、共焦点レーザー内視顕微鏡を用いて腫瘍の境界を表す組織領域の画像を記録する方法が開示されている。人工知能を用いて組織領域を分類し、当該分類は少なくとも、腫瘍組織を表すクラス又は健康な組織を表すクラスへの分類を含んでいる。分類結果は、手術中に記録された画像に重ね合わされる。次いで、腫瘍が除去され、依然として腫瘍組織が存在するか否かを確定すべく共焦点レーザー内視顕微鏡を用いる画像記録及び分類を繰り返す。この場合、更なる腫瘍組織が除去される。共焦点レーザー内視顕微鏡を用いて腫瘍の境界を狙い撃ちできるためには、当該方法の開始時点で組織領域内における腫瘍の位置が分かっている必要がある。

【課題を解決するための手段】

【0007】

上述の従来技術に関して、本発明の目的は、組織領域内における腫瘍の位置の判定及び更なる用途のため当該位置に関する情報の提供を可能にする医療光学系を提供することである。また、本発明の目的は、組織領域内における腫瘍の位置を判定及び更なる用途のため当該位置に関する情報を提供すべく利用可能なデータ処理システムを提供することである。更に、本発明の目的は、組織領域内における腫瘍の位置の判定及び更なる用途のため当該位置に関する情報の提供を容易にするコンピュータプログラム及び不揮発性コンピュータ可読記憶媒体を利用可能にすることである。

【0008】

第１の目的は請求項１に記載の医療光学系により実現され、第２の目的は請求項１２に記載のデータ処理システムにより実現される。第３の目的は請求項１３に記載のコンピュータプログラム及び請求項１４に記載の不揮発性コンピュータ可読記憶媒体により実現される。従属請求項は本発明の有利な構成を含んでいる。

【0009】

本発明の第１の態様によれば、医療光学系が利用可能になり、当該医療光学系は、腫瘍を有する巨視的組織領域の微視的組織切片を各々表す複数の組織像を記録するための内視顕微鏡を含んでいる。組織像はいずれの場合も辺長が１．０ｍｍ×１．０ｍｍ未満、典型的には０．５ｍｍ×０．５ｍｍ以下の組織領域の組織切片を示している。組織切片が組織像として結像される空間分解能は、２０μｍ以下、例えば１０μｍ、５μｍ、３μｍ、１μｍ以下である。フレームレートに関して、約０．５Ｈｚ～約１００Ｈｚの範囲のレートは内視顕微鏡により実現可能であり、少なくとも２０μｍの分解能を維持することができる。

【0010】

更に、本発明による医療光学系は、組織像内で表された微視的組織切片を、各ケースで腫瘍を表す組織領域又は健康な組織を表す組織領域として分類して、各々の分類された微視的組織切片の分類結果を出力する分類装置を含んでいる。分類は、特に訓練されたニューラルネットワークに基づく人工知能を利用して行うことができる。この場合、訓練は組織像に割り当てられた情報と共に多数の組織像を含む訓練データにより行うことができ、前記情報は各組織像を、腫瘍組織を示すクラス及び健康な組織を示すクラスに割り当てる。特に、分類装置はまた、微視的組織切片を、一つのクラスが健康な組織を表し、残りのクラスが異なる種類の腫瘍組織を表す多数のクラスに分類すべく構成されていてよい。各組織像に割り当てられた情報は次いで、訓練データに含まれる画像を、一つのクラスが健康な組織を表し、他のクラスが異なる種類の腫瘍組織を表す複数の画像のクラスに分ける。

【0011】

巨視的組織領域内における複数の微視的組織切片の組織像の取得は手動又は自動的に行うことができる。組織像の手動取得の場合、担当医師は、組織像が記録される部位を選択する。医師が組織像を記録する巨視的組織領域内におけるこれらの部位の座標はこの場合ナビゲーションシステムを利用して登録することができる。これにより画像を、当該画像が記録された微視的組織切片に更に割り当てることができる。

【0012】

組織像を自動的に取得する場合、医療光学系は巨視的組織領域を内視顕微鏡で走査する走査装置を含んでいてよい。特に、走査装置は、スキャン手順の実行中、画定された経路を辿ることができる。この走査装置を、走査結像方法により組織像を記録する役割を果たす内視顕微鏡の走査装置と混同してはならない。内視顕微鏡の走査装置は典型的に、１．０ｍｍ×１．０ｍｍの領域、特に０．５ｍｍ×０．５ｍｍの領域にわたり光ファイバを走査するのに対し、巨視的組織領域を走査する走査装置は内視顕微鏡の遠位端を、内視顕微鏡を用いて記録された画像の少なくとも辺長に典型的に対応する絶対値だけ変位させる。ナビゲーションシステムからのナビゲーションデータが、走査装置により内視顕微鏡の位置合わせを行う役割を果たし、ナビゲーションデータは巨視的組織領域に関して走査経路の位置を指定し、前記ナビゲーションデータを用いて走査経路の個々の位置に狙いを定めることが可能である。

【0013】

最後に、本発明による医療光学系は分類結果を組み合わせることにより巨視的分類画像を生成する組み合わせ装置を含み、分類画像は巨視的組織領域内における腫瘍の位置を表す。特に、組み合わせ装置はまた、分類結果に基づいて腫瘍の巨視的輪郭を導出すべく構成されていてよい。従って本発明による医療光学系を利用して、異なる点で取得された組織像に基づいて、腫瘍の位置、程度及び巨視的輪郭、特に腫瘍組織と健康な組織の境界の輪郭を導出することが可能である。内視顕微鏡の位置合わせを行う際に登録又は使用されるナビゲーションデータにより、分類結果を巨視的組織領域内におけるそれらの位置に割り当てることができる。

【0014】

次いでこの分類画像を更に広範な異なる仕方で利用することができる。例えば、分類画像を、概観画像内の腫瘍を強調すべく、且つ概観画像内における腫瘍組織と健康な組織の境界を表すべく巨視的組織領域の概観画像に重ね合わせることができる。次いで、重ね合せにおいて、分類画像内で個々の分類結果を表す画像領域が占める領域は腫瘍の領域を表し、分類画像内で個々の分類結果を表す画像領域が占める領域の縁が腫瘍の境界を表す。

【0015】

更に、分類画像に示す腫瘍の位置に基づいて腫瘍組織を治療する治療システムの位置合わせを行うことが可能である。本発明による医療光学系は従って、例えば腫瘍組織の切除又は腫瘍組織の照射等の治療の直前に、組織領域内における腫瘍の位置の正確な検出を容易にする。従って組織領域内における腫瘍組織の位置を事前に判定する必要がない。更に、手術前に判定された腫瘍の位置を検証する、且つ任意選択的に手術前に発見されなかった腫瘍領域を発見する任意選択的機能がある。

【0016】

特に、分類装置は、以下の選択肢の少なくとも１個に基づいて分類を実行すべく構成されていてよい。
－各組織像内で表された微視的組織切片の形態、
－各組織像内で表された微視的組織切片により発せられた蛍光放射線の強度、
－各組織像内で表された微視的組織切片により発せられた蛍光放射線の減衰挙動、
－各組織像内で表された微視的組織切片のスペクトル反射特性。

【0017】

これら全ての変形例は組織像に基づいて実現でき、腫瘍組織と健康な組織を区別するのに適している。これらの選択肢の二つ以上を分類目的で互いに組み合わせて用いれば特に有利である。選択肢に応じて、ニューラルネットワークは相応に訓練される。例えば、これが形態に基づく分類である場合、訓練データで用いる画像は例えば、腫瘍組織の識別に典型的な形態形式をニューラルネットワークが学習できる単純なグレースケール画像であってよい。蛍光放射線の強度に基づいて分類を実行する場合、訓練データは、いくつかが腫瘍組織の蛍光放射線の強度を示し、残りが健康な組織における蛍光放射線の強度を示す複数の画像を含んでいてよい。蛍光放射線の減衰挙動に基づく分類の場合、各ケースにおける訓練データは、腫瘍組織及び健康な組織の蛍光放射線特徴の時間輪郭を学習可能な特定の期間にわたる一連の画像を含んでいる。結像された組織のスペクトル反射特性に基づく分類の場合、訓練データセットは、ニューラルネットワークがスペクトルシグネチャに基づく腫瘍組織と健康な組織の区別を学習するように可能な最良のスペクトル分解能を有する画像を含んでいてよい。各ケースで画像には、腫瘍組織を表すクラス又は健康な組織を表すクラスに当該画像を割り当てる情報が割り当てられる。医療光学系の分類装置が微視的組織切片を、一つのクラスが健康な組織を表し、残りのクラスが異なる種類の腫瘍組織を表す多数のクラスに分類すべく構成されている場合、個々の種類の腫瘍をより良好に識別すべく、各組織像内で表された微視的組織切片を分類する上述の選択肢の二つ以上を用いることが有利な場合がある。

【0018】

医療光学系は、光学的観察機器、例えば巨視的組織領域の概観画像を生成する外科用顕微鏡と、重ね合わせ装置とを含んでいてよく、重ね合わせ装置は分類画像を概観画像に重ね合わせるべく構成されている。有利な特徴として位置的に正確な重ね合せを容易にすべく見当合わせ部が存在し、当該見当合わせ部は分類画像と概観画像の見当を互いに合わせものであり、例えば両方の画像で識別可能な特定の特徴を整列させることができる。特に、概観画像と分類画像の両方に見当合わせ目的で互いに整列されたマーカーが存在する状態で作業を行うことができる。共通の座標系で組織像を記録する場合に、組織領域に相対的な光学的観察機器の位置及び向きと、内視顕微鏡の位置及び向きの両方を取得し、且つ任意選択的に、見当合わせされた位置に基づいて分類画像及び概観画像の整列を可能にするナビゲーションシステムを用いてもよい。重ね合わされた分類画像を利用して、担当外科医が腫瘍領域だけに狙いを定めての治療を行えるように、治療対象の部位にマーク付けすることが可能である。

【0019】

光学的観察機器の存在により、光学的観察機器が分類目的で取得した画像からのデータも使用することが更に可能になる。例えば、光学的観察機器が取得した画像を用いて、組織像が記録された部位における蛍光放射線の強度又は蛍光放射線の減衰挙動を判定して、判定された蛍光強度又は判定された減衰挙動と、組織像に基づいて取得された形態情報との組み合わせに基づいて分類を行うことができる。

【0020】

医療光学系は、光学的観察機器に加え、又は代替的に、組織の局部治療を行う治療システム及び組織領域の判定された部位が治療されるように治療システムの位置合わせを行う位置合わせ装置を含み、位置合わせ装置は本発明の開発に際して、分類画像に基づく位置合わせを行うべく設計されている。例えば、治療システムは、放射線治療による特定の部位に狙いを定めて照射する照射システムを含んでいてよい。この場合、位置合わせ装置は、前記照射システムの位置合わせを行う目的で分類画像に基づいて照射システムを組織領域の判定された部位に整列させるべく設計されている。代替的に、治療システムは、判定された部位の表面又は内部に治療用放射線を局部的に適用するアプリケータを含んでいてよい。本発明の有利な開発において、位置合わせ装置は次いでロボットによりアプリケータを判定された部位へ誘導すべく設計されており、誘導は分類画像に基づいて行われる。このように、放射線治療による腫瘍への極めて精密な局部照射を行うことができる。しかし、当然ながら、治療システムには腫瘍組織のロボット誘導切除という用途もあり得る。

【0021】

更に、本発明によりデータ処理システムが利用可能になり、前記データ処理システムは、
－腫瘍を有する巨視的組織領域の異なる微視的組織切片を各々表す複数の組織像を受信するための受信インターフェースと、
－組織像内で表された微視的組織切片を、各ケースで腫瘍を表す組織領域又は健康な組織を表す組織領域として分類し、各々の分類された微視的組織切片の分類結果を出力する分類装置と、
－分類結果を組み合わせることにより巨視的分類画像、すなわち巨視的組織領域内における腫瘍の位置を表す分類画像を生成する組み合わせ装置を含んでいる。

【0022】

本発明によるデータ処理システムは、内視顕微鏡を用いて取得した画像に基づく分類画像の生成を可能にする。従って、内視顕微鏡と合わせて、データ処理システムは上述のように本発明による医療光学系を形成することができる。この場合、データ処理システムの分類装置は光学的観察機器の画像を分類目的に用いることもでき、前記画像は受信インターフェースを介して受信される。一方、本発明による医療光学系の分類装置との関連でなされた記述はデータ処理システムの分類装置にあてはまる。

【0023】

更に、本発明によりコンピュータプログラムも利用可能になる。コンピュータプログラムは、コンピュータで実行されたならば、当該コンピュータに、
－腫瘍を有する巨視的組織領域の異なる微視的組織切片を各々表す複数の組織像を受信させ、
－組織像内で表された微視的組織切片を、各ケースで腫瘍を表す組織領域又は健康な組織を表す組織領域として分類させ、各々の分類された微視的組織切片の分類結果を出力させて、
－分類結果を組み合わせることにより巨視的分類画像、すなわち巨視的組織領域内における腫瘍の位置を表す分類画像を生成させる複数の命令を含んでいる。

【0024】

本発明によるコンピュータプログラムにより、市販のコンピュータを本発明によるデータ処理システムとして構成することが可能になる。本発明によるコンピュータプログラムの開発は、本発明による医療光学系の開発から生じたものである。

【0025】

本発明によれば、不揮発性コンピュータ可読記憶媒体も利用可能になる。不揮発性コンピュータ可読記憶媒体は、コンピュータで実行されたならば、当該コンピュータに、腫瘍を有する巨視的組織領域の異なる微視的組織切片を各々が表す複数の組織像を受信させ、
－組織像内で表された微視的組織切片を、各ケースで腫瘍を表す組織切片又は健康な組織を表す組織切片として分類し、各々の分類された微視的組織切片の分類結果を出力させ、
－分類結果を組み合わせることにより巨視的分類画像、すなわち巨視的組織領域内における腫瘍の位置を表す分類画像を生成させる命令を当該媒体に保存された状態で含んでいる。

【0026】

不揮発性コンピュータ可読記憶媒体により、本発明によるコンピュータプログラムを市販のコンピュータにロードし、従って本発明によるデータ処理システムとして構成することができる。本発明による不揮発性コンピュータ可読記憶媒体の有利な開発は、本発明による医療光学系の有利な構成から生じる。

【0027】

更に、本発明の更なる態様により、医療セラピーシステムが利用可能になる。前記医療セラピーシステムは、腫瘍を有する組織領域の画像を記録する医療画像記録機器の少なくとも１個の要素を含んでいる。特に、医療画像記録機器は外科用顕微鏡と一体化されたカメラであってよい。しかし、純粋に画像記録目的で存在し、外科用顕微鏡とは一体化されていないカメラであってもよい。更に、医療画像記録機器は内視鏡と一体化されたカメラであり得る。医療セラピーシステムは更に、記録された画像の画像区画に表された組織領域の組織切片を、各ケースで腫瘍を表す組織切片又は健康な組織を表す組織切片として分類し、且つ各々の分類された組織切片の分類結果を出力する分類装置を含んでいる。医療セラピーシステムはまた、組織の局部治療を行う治療システム、及び腫瘍を表す組織切片として分類された組織切片だけが治療されるように治療システムの位置合わせを行う位置合わせ装置を含んでいる。この場合、分類装置は、本発明による医療光学系の分類装置と同様に設計することができ、当該分類装置は、組織像内で表された微視的組織切片の代わりに医療画像記録機器により取得された画像の組織切片を分類する。分類装置を訓練する訓練データは従って、医療画像記録機器により記録された画像に対応する画像を含んでいる。

【0028】

本発明による医療セラピーシステムにより、分類の直後に治療を行うことができる。特に治療システムと医療画像記録機器がユニットを形成する場合、例えば分類データを手術前に取得する必要がある場合のように、その過程で座標変換を行う必要がない。例えば、治療システムと医療画像記録機器の一要素を共に外科用顕微鏡又は内視鏡と一体化することができる。この場合、任選択的に、外科用顕微鏡又は内視鏡に判定された組織切片に狙いを定めた放射線医療を可能にする合焦可能な照射装置を設けることができる。しかし、任意選択的に、治療対象の組織切片へ、又はその内部まで照射源を誘導できるロボット誘導されたアプリケータを治療システムとして提供することもできる。腫瘍への狙いを定めた局部照射はこのように可能である。

【0029】

本発明の更なる特徴、特性及び利点は、添付の図面を参照しながら例示的な実施形態の以下の記述を精査することで明らかになろう。

【図面の簡単な説明】

【0030】

【図1】内視顕微鏡、外科用顕微鏡及び照射システムを有する医療光学系を示す。

【図2】外科用顕微鏡構造の模式図を示す。

【図3】外科用顕微鏡の代替的な構成を示す。

【図4】図１の医療光学系で用いるデータ処理システムの要素を示す。

【図5】分類画像を示す。

【図6】組織領域の概観画像を示す。

【図7】概観画像への分類画像の重ね合せを示す。

【図8】アプリケータを利用した腫瘍の照射を示す。

【発明を実施するための形態】

【0031】

説明目的のため、本発明について例示的な複数の実施形態に基づいて以下に詳細に述べる。この場合、図１に、外科用顕微鏡１の形式での光学的観察機器の要素、内視顕微鏡３及びデータ処理システムとしてのコンピュータ５を含む医療光学系の例示的な一実施形態を示す。

【0032】

図１に示す内視顕微鏡３は、第１の終端１１及び第２の終端１３を有する剛性又は可撓性の管９を含んでいる。第１の終端１１は、本例示的実施形態では腫瘍２３を有する巨視的組織領域１５である観察対象に対向し、走査装置１７に配置されていることにより、管９の第１の終端１１が観察対象１５に相対的に、以下でｘ方向及びｙ方向と称する水平面内の二方向に沿って移動することができる。例えば、走査装置１７は圧電アクチュエータにより実現することができる。

【0033】

光ファイバ（図示せず）が管９の内部に配置されていて、本例示的実施形態において微視的組織切片１６の組織像を記録すべく０．５ｍｍ×０．５ｍｍの巨視的組織領域１５の微視的組織切片１６をラスター方式での走査に用いることができる。本例示的実施形態において、走査は微小電子機械システム（ＭＥＭＳ）により行われる。例えば、微小電子機械システムにより走査は米国特許出願公開第２０１６／００５１１３１Ａ１号明細書に記述されている。組織像を取得するための走査に関して当該文書を参照する。組織像が記録された後で、管９の第１の終端１１は走査装置１７により、新たな微視的組織切片１６から特定の増分だけずらされ、前記新たな微視的組織切片は次いで更なる組織像を記録すべく光ファイバによりラスター方式で走査される。本例示的実施形態において増分は０．５ｍｍであり、従って組織像を記録する微視的組織切片１６は、以前に記録された組織像が記録された微視的画像断面１６に隣接している。しかし、増分はまた、微視的組織切片１６の横方向の長さより大きくても小さくても、すなわち本例示的実施形態では０．５ｍｍより大きくても小さくてもよい。増分が微視的組織切片１６の横方向の長さ未満の場合、組織像内で結像された微視的組織切片１６の重なりにつながり、これらがモザイク状に組み合わされてより大きい画像を形成すれば、重なり合う領域に基づいて組織像が互いに整列できるため有利である。対照的に、増分が微視的組織切片１６の横方向の長さより大きい場合、比較的大きい組織領域は素早く走査できる利点が得られる。この場合、組織像を組み合わせて比較的大きい画像を形成可能にすべく、各ケースで記録される微視的組織切片の位置を、例えばナビゲーションシステムを利用して見当合わせすることができ、その組み合わせは見当合わせされた位置に基づいて行うことができる。しかし、増分が微視的組織切片１６の横方向の長さよりも大きい場合、変化が生じる箇所を充分正確に判定可能にするには組織の変化が生じる得るスケールよりも大きくなってはならない。また、例えば医師が１個以上の切片を他のものよりも厳密に分類したい場合、任意選択的に巨視的組織領域１５の異なる区画で増分を異ならせることができる。

【0034】

本例示的実施形態に存在する走査装置１７が純粋に任意選択的であることに注意されたい。また、担当医師が任意選択的に組織像を記録する目的で内視顕微鏡３の位置合わせを手動で行うこともできる。この場合、医師が組織像を記録する位置をナビゲーションシステムにより登録して後で使用すべく保存することができる。

【0035】

管９の第２の終端１３は、光ファイバにより転送された光度エネルギーを捕捉可能にするセンサ１９に対向している。センサ１９は筐体２１内に配置されており、当該筐体は本例示的実施形態では別個のモジュールとして設計されているがハンドルとしても設計でき、更に、巨視的組織領域１５を照射するための照射光を生成する光源（図示せず）及び照射光を光ファイバに結合する入力結合装置が収納されている。特に、光源はレーザー光源であり得る。しかし、光源はまた、筐体２１の外部に配置して光導体により筐体に接続することができる。次いで、光導体の出力端は筐体２１内に位置する。この場合、入力結合装置は、光導体の出力端から出る光ファイバの照射光を入力結合する。照射光はブロードバンドスペクトルを有する白色光、又は一つ以上の狭帯域スペクトル範囲からなるスペクトルを有する光、特にスペクトル線、例えば巨視的組織領域１５に位置する蛍光色素の蛍光を励起させるのに適した一つ以上の狭帯域スペクトル範囲又はスペクトル線であってよい。例えば、蛍光代謝プロトポルフィリンＩＸ（ＰｐＩＸ）は適した蛍光色素である。

【0036】

光ファイバに入力結合された照射光は光ファイバを透過して管の第１の終端１１に至りそこで光ファイバから巨視的組織領域１５の方向に出現する。巨視的組織領域１５により反射された照射光、又は照射光により励起されて巨視的組織領域１５により発せられた光、例えば蛍光は次いで光ファイバに入って当該光ファイバにより管９の第２の終端１３まで導かれ、ここでセンサ１９の方向に出現する。更に、集光光学部が、光ファイバの両端に、又はその正面に配置されていてよく、これらを用いて光を巨視的組織領域１５の表面又はセンサ１９に合焦させることができる。

【0037】

特に、内視顕微鏡３は共焦内視顕微鏡として実装することができる。追加的又は代替的に、光干渉断層撮影（ＯＣＴ）を実行するための内視顕微鏡として実装することもできる。共焦顕微鏡検査及び光干渉断層撮影は公知の方法であって、例えば米国特許出願公開第２０１０／０１５７３０８Ａ１号明細書及び米国特許第９，９２１，４０６Ｂ２号明細書に記述されている。従って、共焦顕微鏡検査及び光干渉断層撮影に関する詳細な説明は本明細書の範囲内で省略する。代わりに米国特許出願公開第２０１０／０１５７３０８Ａ１号明細書及び米国特許第９，９２１，４０６Ｂ２号明細書を参照されたい。

【0038】

内視顕微鏡１を用いる組織像の記録は、本例示的実施形態のコンピュータ５を利用して制御される。しかし、制御はまた、専用の制御装置により行うこともできる。本例示的実施形態における制御に用いるコンピュータ５は、走査に用いる微小電子機械システムとセンサ１９の両方に接続されている。本例示的実施形態において、微小電子機械システムはコンピュータ５により微視的組織切片１６が複数の格子点で走査されるように制御される。各格子点において、照射光による格子点の照射、格子点により反射された照射光の記録、又は照射光による励起に起因して格子点により発せられた光の記録がある。次いで、コンピュータは、格子点により反射された照射光から、又は格子点により発せられた光から画像を生成し、走査中、格子に対応する前記画像のピクセル格子が用いられる。このように生成された画像の分解能は典型的に２０μｍ以下であり、好適には１０μｍ以下、例えば５μｍ、３μｍ、１μｍ、０．７μｍ、又は更に良好である。この場合、組織像は典型的に、１個のｍｍ^２以下、例えば０．５ｍｍ^２、０．２ｍｍ^２、０．１ｍｍ^２又は更に小さい組織切片を示す。本例示的実施形態において、光ファイバ、微小電子機械システム、センサ１９、及びコンピュータ５を組み合わせて、組織像を記録する、すなわち例えば画像内に示す組織の腫瘍細胞の割合又は酸素含有量、ｐＨ値、Ｈ_２Ｏ_２その他の酸素誘導体の濃度等の組織情報項目の決定を容易にする画像を記録する記録装置を形成する。例えば、腫瘍細胞は次いで、コントラストを高める染色手段を任意選択的に利用して、形態学的基準、例えば細胞構造、細胞核の大きさ等に基づいて組織像内で識別することができる。

【0039】

図２に、図１の医療光学系で使用可能な外科用顕微鏡１の可能な構造の模式図を示す。図３に可能な代替的構造を示す。

【0040】

図２に示す外科用顕微鏡１は、必須の要素として、観察対象すなわち本例示的実施形態では腫瘍２３を有する巨視的組織領域１５に対向する対物レンズ１０５を含み、当該対物レンズは特に無彩色又はアポクロマート対物レンズとして実装することができる。本例示的実施形態において、対物レンズ１０５は、互いに固定されて無彩色対物レンズを形成する２個の部分レンズを含んでいる。観察対象１５は、対物レンズ１０５により無限遠で結像されるように対物レンズ１０５の焦点面に配置されている。換言すれば、観察対象１５から発せられた発散ビーム１０７Ａ、１０７Ｂは、対物レンズ１０５を通過する間に平行ビーム１０９Ａ、１０９Ｂに変換される。

【0041】

倍率変更器１１１が対物レンズ１０５の観察者側に配置されていて、当該倍率変更器は例示的な実施形態のように連続的に可変な仕方で倍率を変更するズームシステム、又は段階的に倍率を変更するガリレイ変更器のいずれかとして実装することができる。例えば３個のレンズを有するレンズを組み合わせて構築されたズームシステムにおいて、２個の対象側レンズは、倍率を変化させるべく代替することができる。しかし実際には、ズームシステムはまた、３個以上のレンズ、例えば４個以上のレンズを有していてよく、その場合外側のレンズも固定的に配置さすることができる。ガリレイ変更器では対照的に、異なる倍率を表していて交互に光路に導入できる複数の固定されたレンズの組み合わせがある。ズームシステム及びガリレイ変更器は共に、対象側の平行ビームをビーム径が異なる観察者側の平行ビームに変換する。本例示的実施形態において、倍率変更器１１１は既に外科用顕微鏡１の双眼光路の一部である、すなわち外科用顕微鏡１の各立体視部分光路１０９Ａ、１０９Ｂの専用のレンズの組み合わせを有している。本例示的実施形態において、倍率は倍率変更器１１１により、倍率変更器１１１と合わせて倍率を調整する倍率変更部の一部であるモーター駆動アクチュエータを用いて調整される。

【0042】

倍率変更器１１１の観察者側に、外部機器を外科用顕微鏡１に接続可能であって本例示的実施形態ではビームスプリッタプリズム１１５Ａ、１１５Ｂを含んでいる光インターフェース構成１１３Ａ、１１３Ｂが配置されている。しかし、原理的に、他の種類のビームスプリッタ、例えば部分透過ミラーを用いてもよい。本例示的実施形態において、光インターフェース１１３Ａ、１１３Ｂは、外科用顕微鏡１（ビームスプリッタプリズム１１５Ｂ）の光路からビームを出力すると共に外科用顕微鏡１（ビームスプリッタプリズム１１５Ａ）の光路にビームを入力結合する役割を果たす。

【0043】

本例示的実施形態において、部分光路１０９Ａのビームスプリッタプリズム１１５Ａは、ビームスプリッタプリズム１１５Ａにより例えばデジタルミラー装置（ＤＭＤ）又は液晶ディスプレイ等のディスプレイ１３７及び付随する光学部１３９を利用して観察者向けの情報又はデータを外科用顕微鏡１の部分光路１０９Ａにミラーリングする役割を果たす。例えば、観察された巨視的組織領域１５内の腫瘍２３にラベル付けする彩色マーキングを、外科用顕微鏡１により取得された画像に重ね合わせることができる。カメラ１０３が固定されたカメラアダプタ１１９が他の部分光路１０９Ｂにおいて光インターフェース１１３Ｂに配置されており、前記カメラは電子画像センサ１２３、例えばＣＣＤセンサ又はＣＭＯＳセンサを備えている。カメラ１０３により電子画像、特に観察対象１５のデジタル画像を記録することができる。る画像センサはまた、特に、３個のスペクトルチャネル（例えば赤緑青）だけでなく、複数のスペクトルチャネルを含むマルチスペクトルセンサ又はハイパースペクトルセンサであってよい。

【0044】

光インターフェース１１３の観察者側に双眼管１２７が配置されている。双眼管１２７は、各々の平行ビーム１０９Ａ、１０９Ｂを中間画像平面１３１に合焦する、すなわち観察対象１５を各々の中間画像平面１３１Ａ、１３１Ｂ上で結像する２個の管対物レンズ１２９Ａ、１２９Ｂを有している。中間画像平面１３１Ａ、１３１Ｂにある中間画像は次いで観察者がリラックスした目で中間画像を観察できる接眼レンズ１３５Ａ、１３５Ｂにより最終的に無限遠で結像される。更に、双眼管内で二つの部分ビーム１０９Ａ、１０９Ｂの距離がミラーシステム又はプリズム１３３Ａ、１３３Ｂにより拡大されて、前記距離を観察者の眼間距離に適合させる。また、ミラーシステム又はプリズム１３３Ａ、１３３Ｂにより画像を直立させる。

【0045】

外科用顕微鏡１は更に、観察対象１５を照射光で照射できる照射装置を備えている。この目的のため、本例示的実施形態の照射装置は白色光源１４１、例えばハロゲンランプ又はガス放電ランプを有している。白色光源１４１から発せられた光は、前記対処を照射すべく屈折鏡１４３又は屈折プリズムを介して観察対象１５の方向に誘導される。更に、照射光学部１４５が照射装置内に存在し、前記照射光学部は観察された観察対象１５全体の均一な照射を保証する。

【0046】

照射は、図２に示す外科用顕微鏡１に影響され得る。例えば、光路にフィルタを導入することができ、前記フィルタは白色光源１４１の広いスペクトル幅、例えば観察対象１５にある蛍光色素の蛍光の励起を可能にするスペクトル範囲から狭いスペクトル範囲だけを透過させる。蛍光を観察すべく、観察部分光路にフィルタ１３７Ａ、１３７Ｂを導入することができ、前記フィルタは蛍光を観察可能にすべく蛍光の励起に用いるスペクトル範囲をフィルタリングして除去する。蛍光の励起に必要な照射光のスペクトル範囲だけを用いて観察対象１５を照射するのに、フィルタと協働して白色光源を用いるのではなく、任意選択的に狭帯域光源、例えば実質的に蛍光の励起に必要なスペクトル範囲内だけで発光するレーザー光源を用いてよい。特に、照射装置はまた、白色光源と狭帯域光源の入れ替えを可能にする装置を含んでいてよい。

【0047】

図２に示す照射光路が極めて模式的であり、必ずしも照射光路の実際の経路を再現する訳ではないという事実に注意されたい。原理的に、照射光路は図２の模式図に最も近い、所謂傾斜照射として実現できる。このような傾斜照射において、光路は対物レンズ５の光軸に対して比較的大きい角度（６°以上）で伸長し、図２に示すように、対物レンズの完全に外まで伸長することができる。しかし代替的に、傾斜照射の照射光路が対物レンズ１０５の周縁領域を貫通して伸長する可能性もある。照射光路の配置の更なる可能性は、照射光路が対物レンズ１０５を貫通して伸長し、観察対象１５の方向に対物レンズ１０５の光軸に沿って２個の部分光路１０９Ａ、１０９Ｂの間で対物レンズ１０５に入力結合される０°照射として知られるものである。最後に、第１の照射部分光路及び第２の照射部分光路が存在する同軸照射として知られるものとして照射光路を設計することも可能である。両方の部分光路は、照射が二つの観察部分光路に対して同軸的に伸長するように、観察部分光路１０９Ａ、１０９Ｂの光軸に平行な１個以上のビームスプリッタを介して外科用顕微鏡１に結合される。

【0048】

図２に示す外科用顕微鏡１の変型実施形態において、対物レンズ１０５は１個の無彩色レンズだけを含んでいる。しかし、複数のレンズ、特に外科用顕微鏡１の動作距離すなわち、正面焦点距離とも称する物体側焦点面と対物レンズ１０５の第１の物体側レンズ面の頂点の距離を変化させることが可能なバリオスコープ対物レンズとして知られるものを含む対物レンズ系を用いてもよい。焦点面に配置された観察対象１５はバリオスコープ対物レンズによっても無限遠で結像されるため、平行ビームが観察者側に存在する。

【0049】

図３に、デジタル外科用顕微鏡１４８の一例を模式的に示す。当該外科用顕微鏡において、主対物レンズ１０５、倍率変更器１１１、及び照射システム１４１、１４３、１４５は、図２に示す光学視認部を有する外科用顕微鏡１と異ならない。違いは、図３に示す外科用顕微鏡１４８が光学双眼管を含んでいないことである。図２の管対物レンズ１２９Ａ、１２９Ｂに代えて、図３の外科用顕微鏡１４８は、双眼観察光路１０９Ａ、１０９Ｂをデジタル画像センサ１６１Ａ、１６１Ｂに結像させる合焦レンズ１４９Ａ、１４９Ｂを含んでいる。ここで、デジタル画像センサ１６１Ａ、１６１Ｂは、例えばＣＣＤセンサ又はＣＭＯＳセンサであってよい。画像センサ１６１Ａ、１６１Ｂにより記録された画像は、ＬＥＤディスプレイ、ＬＣＤディスプレイ、又は有機発光ダイオード（ＯＬＥＤ）に基づくディスプレイとして実装されていてよいデジタルディスプレイ１６３Ａ、１６３Ｂへ送信される。本例におけるように、接眼レンズ１６５Ａ、１６５Ｂはディスプレイ１６３Ａ、１６３Ｂに割り当てることができ、当該レンズにより、ディスプレイ１６３Ａ、１６３Ｂに表示された画像が無限遠に結像されるため観察者がリラックスした眼で前記画像を観察することができる。ディスプレイ１６３Ａ、１６３Ｂ及び接眼レンズ１６５Ａ、１６５Ｂはデジタル双眼管の一部であってよいが、例えばスマート眼鏡等のヘッドマウントディスプレイ（ＨＭＤ）の一部であってもよい。当然ながら、画像センサ１６１Ａ、１６１Ｂにより記録された画像はモニタへも転送することができる。モニタに表示された画像の３次元的に観察すべく適当なシャッタ眼鏡を用いることができる。

【0050】

図１に示す例示的実施形態の医療光学系は更に、治療用放射線を発する放射光源２５及び位置合わせ装置２７を含んでいる。放射光源２５の光を用いて、且つ位置合わせ装置２７を利用して、巨視的組織領域１５の判定された部位を治療用放射線で照射することが可能である。この場合、照射光源２５は例えば、適当なレンズ又は適当なレンズ系により巨視的組織領域１５の部位に焦光可能な、治療用放射線を発するレーザー又は通常の光源であってよい。治療用放射線のビームは、位置合わせ装置２７により巨視的組織領域１５上で位置合わせを行うことができる。本例示的実施形態において、位置合わせ装置は、照射放射線の方向を適当に屈折させることができる検流計スキャナとして実現される。しかし、巨視的組織領域１５上で治療用放射線のビームの位置合わせを行う目的で、検流計スキャナの代わりに、任意選択的に照射光源２５の傾斜可能な台座を用いて移動可能なキャリッジ上に照射光源２５を配置することができる。

【0051】

腫瘍組織を実際に表す巨視的組織領域１５の組織切片だけを治療用放射線で放射するために、医療光学系は、内視顕微鏡３が組織像を記録した微視的組織切片１６を各ケースで二つのクラスの一方に分類する本例示的実施形態で用いる分類装置を含んでいる。この場合、一方のクラスは腫瘍組織（対応する微視的組織切片１６を図１でハッチング）を表す組織のクラスを表し、他方のクラスは健康な組織を表す組織のクラスを表す。分類装置は、本例示的実施形態ではコンピュータ５により実現されるデータ処理システム１９の一部である。コンピュータに実装されたデータ処理システム１９のソフトウェア要素を図４に模式的に示している。しかし、これらのソフトウェア要素はコンピュータ５ではなく、適当なＣＰＵ及び適当なメモリを備えていれば例えば外科用顕微鏡１に実装することもできる。最後に、任意選択的にデータ処理システムを専用装置として構成することができる。

【0052】

分類装置３１に加え、データ処理システム２９は、本例示的実施形態において内視顕微鏡３から組織像を受信する入力インターフェースとしての役割を果たす第１のインターフェース３３を含んでいる。更に、本例示的実施形態において外科用顕微鏡１とデータを交換する役割を果たす第２のインターフェース３５を含んでいる。しかし、２個の別々のインターフェースを用いるのではなく、外科用顕微鏡１及び内視顕微鏡３とのデータ交換を行える単一のインターフェースを代替的に用いることもできる。このようなインターフェースの例として、Ｂｌｕｅｔｏｏｔｈインターフェース、ＷＬＡＮインターフェース又はイーサネットインターフェースが含まれる。更に、データ処理システム２９は、組み合わせ装置３７及び選択装置２９を含み、それらの目的を以下で説明する。

【0053】

既に述べたように、分類装置３１は組織像に表された微視的組織切片１６を分類する役割を果たす。この目的のため、分類装置３１は、組織像内で結像された巨視的組織領域１５の微視的組織切片１６を分類すべく、内視顕微鏡３から第１のインターフェース３３を介して組織像を受信する。本例示的実施形態において、分類は少なくとも、健康な組織から腫瘍組織を区別できる基礎である形態学的基準に基づいて行われる。この目的のため、例示的な実施形態の分類装置３１は、複数の組織像及び、各組織像について健康な組織又は腫瘍組織のいずれを示すかの徴候を含む訓練データにより訓練された訓練済みニューラルネットワークを含んでいる。形態学的基準に基づいて健康な組織から腫瘍組織を区別可能になる仕方がこれらの訓練データに基づいてニューラルネットワークにより学習されている。代替的な例示的実施形態において分類を形態学的基準ではなく他の基準に基づいて実行する場合、ニューラルネットワークは異なる訓練データを用いて相応に訓練されている。例えば、訓練データは、蛍光強度に基づいて分類を実行する場合は微視的組織切片１６の蛍光強度を示す組織像を含み、スペクトル強度分布に基づいて分類を行う場合は微視的組織切片１６により反射された光のスペクトル強度分布を示す画像を含み、又は蛍光強度の減衰挙動に基づいて分類を行う場合は特定の期間にわたる一連の組織像を含み、各一連の組織像は、決定された期間にわたり微視的組織切片１６に対する蛍光強度の輪郭を示している。

【0054】

任意選択的に、組織像だけに基づくのではなく、追加的に外科用顕微鏡１を用いて記録された画像にも基づいて分類を実行することができる。組織像に基づいて決定された形態学的基準を分類に用いる本例示的実施形態において、外科用顕微鏡１を用いて記録された蛍光画像、すなわち巨視的組織領域１５により発せられた蛍光放射線の強度を再現する画像が追加的に分類に用いられる。この場合、選択装置３９は、組織像内で再現された微視的組織切片１６に対応する外科用顕微鏡１から受信された蛍光画像からこれらの画像部を選択して組織像に割り当てる。これを容易にすべく、本例示的実施形態において適当なデジタル又は物理的マーカー４１を利用して共通の座標系における内視顕微鏡３及び外科用顕微鏡１の遠位端９の位置及び向きを検出するナビゲーションシステムを用いる。このような仕方で最初に、組織像が記録された巨視的組織領域１５の位置及び蛍光画像が記録された外科用顕微鏡１の並びを判定することができる。外科用顕微鏡１の並びと、同様に直接又は間接的に（巨視的組織領域に接続された部位のマーカー）マーカー（図示せず）を備えた巨視的組織領域１５からの外科用顕微鏡１の距離を用いれば、組織像に示された微視的組織切片１６の外科用顕微鏡１を用いて記録された蛍光画像内の正確な位置を判定することが可能である。

【0055】

組織像及び蛍光画像から取得された蛍光強度に関するデータに基づいて分類を判定可能にすべく、ニューラルネットワークは従って、各組織像に示す組織について検出された蛍光強度が各組織像に割り当てられ、これらの割り当ての各々に健康な組織又は腫瘍組織のいずれかを示す情報を含む訓練データを用いて訓練される。

【0056】

蛍光強度が任意選択的に本例示的実施形態の組織像に示された微視的組織切片１６の分類に追加的に用いられたとしても、外科用顕微鏡１により取得された画像に由来し得る他の変数を追加的又は代替的に用いることができる。例えば、組織像が記録された又は記録される位置での蛍光放射線の減衰挙動は、外科用顕微鏡１により記録された画像連続から判定することができる。外科用顕微鏡１がマルチスペクトルセンサを備えていれば、任意選択的に外科用顕微鏡１により記録された画像を用いて組織像が分類目的で記録された又は記録される巨視的組織領域１５の位置でスペクトル強度分布を用いることができる。組織像に加えてどのデータを分類目的で用いるかに応じて、ニューラルネットワーク用の訓練データセットは適切な情報を含んでいる。

【0057】

更なる変型実施形態において、また任意選択的に、蛍光画像自体を組織像として記録し、その場合、各組織像内で結像された微視的組織切片１６の蛍光強度に基づいて、又は微視的組織切片１６の蛍光強度の減衰挙動に基づいて分類を実行することができる。後者の場合、特定の期間を表す一連の組織像が巨視的組織領域１５の各微視的組織切片１６について記録され、蛍光放射線の減衰挙動を前記一連の組織像から判定することができる。当然ながら、複数の蛍光画像又は一連の蛍光画像を含む訓練データはこの場合ニューラルネットワークの訓練に用いられる。

【0058】

特に、組織像内で結像された微視的組織切片１６の分類に用いる基準が１個だけでない場合、また任意選択的に、２個のクラスへの分類だけでなく、一方のクラスが健康な組織を表し、残りのクラスが異なる種類の腫瘍組織を表す複数のクラスへの分類も実行することができる。この場合、ニューラルネットワークの訓練に用いる訓練データは組織像又は任意選択的に組織像と蛍光強度、減衰時間、スペクトル強度分布等の組み合わせだけではなく、複数の画像又は組み合わせに割り当てられた情報も含み、前記情報は各々の画像又は各々の組み合わせが健康な組織又は腫瘍組織のいずれを表すかを指定するだけではなく、画像又は組み合わせが腫瘍組織を表す場合、腫瘍組織の種類も指定する。

【0059】

本発明による医療光学系は内視顕微鏡３を用いて巨視的組織領域１５を走査するために用いられ、各微視的組織切片１６の組織像が各走査点で記録されている。次いで、各組織像は、任意選択的に外科用顕微鏡１により記録された画像から取得された基準を用いて、訓練された基準に基づいて分類を実行して各組織像の分類結果を組み合わせ装置３７に出力する分類装置３１にインターフェース３３を介して送信される。組み合わせ装置３７は、図５に示すように、分類結果から分類画像４３を生成するコンピュータルーティンである。この目的のため、分類結果だけでなくナビゲーションデータも使用し、ナビゲーションデータを用いて各々の分類データの基礎をなす微視的組織切片１６が巨視的組織領域１５に存在する巨視的組織領域１５の部位を収集する。組み合わせ装置３７は次いで分類データとナビゲーションデータを用いて組み合わせ画像４３を生成し、その中で個々の分類結果を表す複数の画像領域４４が互いに、組織像に示された微視的組織切片１６の相対位置に対応する相対位置に配置されている。分類結果を表す画像領域４４はこの場合モザイクのように組み合わされて分類画像４３を形成する。個々の分類結果を表す画像領域４４が分類画像４３内で占める領域は従って腫瘍の領域を表し、分類画像４３内で占める当該領域の縁は腫瘍の境界を表す。従って、分類画像４３に占める領域の縁の輪郭は、腫瘍２３を有する組織領域１５内での腫瘍組織間と健康な組織の境界の輪郭を表す。

【0060】

本例示的実施形態において、分類画像４３内で分類結果を表す複数の画像領域４４は図５に示すように互いに隣接している。しかし、分類画像４３内で分類結果を表す複数の画像領域４４間の距離はまた、図５に示すものとは異なる場合がある。従って、分類画像４３内で分類結果を表す画像領域４４はまた、互いに重なり合っていても、又は互いに離れて配置されていてもよい。この場合、分類画像４３内で分類結果を表す複数の画像領域４４同士の距離は、組織像の基礎をなす微視的組織切片１６同士の距離に対応する。これらの組織切片１６が重なり合う場合、分類画像４３内で分類結果を表す複数の画像領域４４同士の重なりも存在する。対照的に、組織像が記録されなかった微視的組織切片１６のいくつか又は全部の間に隙間がある場合、分類画像４３もまた対応する隙間を有している。分類画像４３内で個々の分類結果を表す画像領域４４が占める領域の縁の輪郭を決定すべくこれらの隙間の補間を行うことができる。

【0061】

分類画像４３は、外科用顕微鏡１により取得された巨視的組織領域１５（図７）の概観画像４５（図６）に重ね合わされた重ね合せ画像としての役割を果たすことができる。健康な組織を表す分類結果は従って、例えば分類画像４３内で無彩色画像領域４４として表すことができるのに対し、腫瘍組織を表す分類結果を色付き画像領域４４として表すことができる。次いで分類画像４３が所与の透明度を有する概観画像４５に重ね合わされた場合、概観画像４５内での腫瘍のラベリングが得られ、そこから概観画像４５により表される巨視的組織領域１５内における腫瘍の位置及び広がり並びに腫瘍組織と健康な組織の境界を識別することが可能である。ナビゲーションデータ及び／又は画像見当合わせを用いて、分類画像４３を正しい位置、向き及び縮尺で概観画像に重ね合わせることができる。代替的に、重ね合わせられた画像内で健康な組織領域を強調すべく、健康な組織を有する微視的組織切片１６に対応する分類画像４３の画像領域４４に色付けすることができる。しかし、腫瘍組織を表す分類画像４３の画像領域４４を第１の色に着色し、健康な組織を表す分類画像４３の画像領域４４を第１の色とは異なる第２の色に着色すること、例えば腫瘍組織を表す分類画像４３の画像領域４４を赤で表し、健康な組織を表す分類画像４３の画像領域４４を緑で表すことも可能である。外科用顕微鏡１において、重ね合せは、共に重ね合せ装置としての役割を果たすビームスプリッタプリズム１３５及びディスプレイ１３７を利用して行うことができる。しかし、任意選択的に、重ね合せを電子的に実行して電子重ね合せの結果をモニタに表示することもできる。重ね合せを利用することにより、腫瘍２３の位置、拡がり及び健康な組織との境界に関する正確な情報を担当外科医に提供することができる。外科医は次いで治療を行う間、例えば腫瘍２３への精密な放射又は腫瘍組織の精密な切除を行うために当該情報を利用することができる。

【0062】

本例示的実施形態において、分類画像４３は、照射光源２５の治療用放射を介して、腫瘍組織を表す巨視的組織領域１５の区画への狙いを定めた照射に用途を見出すことができる。位置合わせ装置２７により照射光源２５の整列は、分類画像４３が重ね合わされた概観画像４５に基づいて外科医により手動で行うことも、又はロボットにより実行することができ、その際にナビゲーションデータが照射光源２５の位置合わせ及び／又はビーム整列に用いられる。

【0063】

本発明の代替的な構成において、任意選択的に、外科用顕微鏡１又は他の任意の適当な医療撮像装置により取得された画像に純粋に基づいて腫瘍組織と健康な組織の識別を実行することができる。例えば、概観画像４５は巨視的組織領域１５の蛍光強度を表していれば、巨視的組織領域１５の腫瘍組織を表している組織切片１１７を蛍光放射線の強度に基づいて識別することができる。蛍光強度に基づいて腫瘍組織を識別するのではなく、任意選択的に、組織のスペクトル反射に基づいて、又は蛍光放射線の減衰挙動に基づいて腫瘍領域を識別することができる。巨視的組織領域１５の腫瘍組織を表している組織切片１１７の識別に続いて、照射は次いで腫瘍組織として識別された巨視的組織領域１５の組織切片１１７に狙いを定めて行われる。上述のように、識別は人工ニューラルネットワークを利用して行うことができる。

【0064】

図１の照射光源２５に代えて、アプリケータ４７を用いて治療用放射線により腫瘍に放射することができ、前記アプリケータは腫瘍組織まで運ばれるか、又は図８に示すように、治療用放射線により腫瘍組織を局部的に照射すべく腫瘍組織内に挿入される。例えば、ＤＥ１０２０１８１２０７５０Ｂ３号明細書、ＤＥ１０２００８０３０５９０Ａ１号明細書、ＥＰ２３３５７７８Ａ１号明細書及び国際公開第０１／５８３４６Ａ１号パンフレットに記述されているように、手術中の放射線治療用のアプリケータの１個をアプリケータ４７として用いてよい。この場合、アプリケータ４７は腫瘍２３まで運ばれるか又は分類画像４３に基づいて、又は概観画像を利用して取得された巨視的組織領域１５内の腫瘍の位置に関する情報に基づいてロボットによりナビゲーションデータも使用しながら腫瘍２３に挿入される。例えば、この目的のためにロボットアームの用途を見出すことができる。

【0065】

本発明について、説明目的で複数の例示的な実施形態に基づいて詳述してきた。しかし、当業者には、本発明の範囲内にある例示的な実施形態からの逸脱があり得ることが認識されよう。従って、本発明は、例示的な実施形態による限定を意図しておらず、添付の請求項によってのみ限定されるものとする。

【符号の説明】

【0066】

１ 外科用顕微鏡
３ 内視顕微鏡
５ コンピュータ
９ 管
１１ 入力端
１３ 出力端
１５ 巨視的組織領域
１６ 微視的組織切片
１７ 走査装置
１９ センサ
２３ 腫瘍
２５ 照射光源
２７ 検流計スキャナ
２９ データ処理システム
３１ 分類装置
３３ インターフェース
３５ インターフェース
３７ 組み合わせ装置
３９ 選択装置
４１ マーカー
４３ 分類画像
４４ 画像領域
４５ 概観画像
４７ アプリケータ
１０３ カメラ
１０５ 対物レンズ
１０７ 発散ビーム
１０９ ビーム
１０９Ａ、Ｂ 立体視部分光路
１１１ 倍率変更器
１１３Ａ、Ｂ インターフェース構成
１１５Ａ、Ｂ ビームスプリッタプリズム
１１７ 組織切片
１１９ カメラアダプタ
１２３ 画像センサ
１２７ 双眼管
１２９Ａ、Ｂ 管対物レンズ
１３１Ａ、Ｂ 中間画像平面
１３３Ａ、Ｂ プリズム
１３５Ａ、Ｂ 接眼レンズ
１３７ ディスプレイ
１３９ 光学装置
１４１ 白色光源
１４３ 屈折鏡
１４５ 照射光学装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】