知財求人 - 知財ポータルサイト「IP Force」
▶ カール ツアイス メディテック アクチエンゲゼルシャフトの特許一覧
特開2024-25686マルチモーダル画像取得及び画像可視化のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025686
(43)【公開日】2024-02-26
(54)【発明の名称】マルチモーダル画像取得及び画像可視化のためのシステム及び方法
(51)【国際特許分類】
G02B 21/00 20060101AFI20240216BHJP
A61B 34/10 20160101ALI20240216BHJP
A61B 90/20 20160101ALI20240216BHJP
【ＦＩ】
G02B21/00
A61B34/10
A61B90/20
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023122429
(22)【出願日】2023-07-27
(31)【優先権主張番号】10 2022 120 201.1
(32)【優先日】2022-08-10
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100230514
【弁理士】
【氏名又は名称】泉 卓也
(72)【発明者】
【氏名】クリストフ ハウガー
(72)【発明者】
【氏名】ティルマン シュモール
(72)【発明者】
【氏名】ナンシー ヘッカー－デンシュラグ
(72)【発明者】
【氏名】ヨアヒム シュテッフェン
【テーマコード（参考）】
2H052
【Ｆターム（参考）】
2H052AF14
2H052AF25
(57)【要約】 （修正有）
【課題】マルチモーダル画像取得及び画像可視化のためのシステム及び方法を提供する。
【解決手段】マルチモーダル画像取得及び画像可視化のためのシステム１００であって、光学ユニット１１及び画像センサ１２を備え、サンプル１５の選択された撮像視野１４の時間分解画像信号１３を取得するように設計された手術用顕微鏡システム１０を含む。システム１００は、選択された撮像視野１４の時間分解ＯＣＴ信号２７を取得するように設計されるＯＣＴシステム２０をさらに含み、画像データ３１、３２の時間分解表示のために設計された表示手段３０及び制御ユニット４０を含み、制御ユニットは、取得された画像信号に対応するビデオ画像データを確認し、且つそれを表示手段上に提示し、提示されたビデオ画像データの部分に少なくとも対応する時間分解ＯＣＴ画像を、取得されたＯＣＴ信号に基づいて確認し、ＯＣＴ画像を表示手段上において部分の位置に提示する。
【選択図】図１
【解決手段】マルチモーダル画像取得及び画像可視化のためのシステム１００であって、光学ユニット１１及び画像センサ１２を備え、サンプル１５の選択された撮像視野１４の時間分解画像信号１３を取得するように設計された手術用顕微鏡システム１０を含む。システム１００は、選択された撮像視野１４の時間分解ＯＣＴ信号２７を取得するように設計されるＯＣＴシステム２０をさらに含み、画像データ３１、３２の時間分解表示のために設計された表示手段３０及び制御ユニット４０を含み、制御ユニットは、取得された画像信号に対応するビデオ画像データを確認し、且つそれを表示手段上に提示し、提示されたビデオ画像データの部分に少なくとも対応する時間分解ＯＣＴ画像を、取得されたＯＣＴ信号に基づいて確認し、ＯＣＴ画像を表示手段上において部分の位置に提示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
マルチモーダル画像取得及び画像可視化のためのシステム（１００）であって、
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を取得するように設計されている、光学ユニット（１１）及び画像センサ（１２）を備える手術用顕微鏡システム（１０）と、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）を取得するように設計されたＯＣＴシステム（２０）と、
画像データ（３１、３２）の時間分解表示のために設計された表示手段（３０）と、
前記取得された画像信号（１３）に対応するビデオ画像データ（３１）を確認し、且つそれを前記表示手段（３０）上に提示し、前記提示されたビデオ画像データ（３１）の部分（６０）に少なくとも対応する時間分解ＯＣＴ画像（３２）を、前記取得されたＯＣＴ信号（２７）に基づいて確認し、及び前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示するように構成される制御ユニット（４０）と
を含むシステム（１００）。
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を取得するように設計されている、光学ユニット（１１）及び画像センサ（１２）を備える手術用顕微鏡システム（１０）と、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）を取得するように設計されたＯＣＴシステム（２０）と、
画像データ（３１、３２）の時間分解表示のために設計された表示手段（３０）と、
前記取得された画像信号（１３）に対応するビデオ画像データ（３１）を確認し、且つそれを前記表示手段（３０）上に提示し、前記提示されたビデオ画像データ（３１）の部分（６０）に少なくとも対応する時間分解ＯＣＴ画像（３２）を、前記取得されたＯＣＴ信号（２７）に基づいて確認し、及び前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示するように構成される制御ユニット（４０）と
を含むシステム（１００）。
【請求項2】
前記手術用顕微鏡システム（１０）は、前記撮像視野（１４）の時間分解された第一の画像信号（１３１）を取得するための第一の画像センサ（１２１）と、前記撮像視野（１４）の時間分解された第二の画像信号（１３２）を取得するための第二の画像センサ（１２２）とを備えるステレオカメラ（１１、１２）を含み、及び前記表示手段（３０）は、立体画像データ（３１、３２）を提示するように設計される、請求項１に記載のシステム（１００）。
【請求項3】
前記制御ユニット（４０）は、
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを前記表示手段（３０）上に立体的に提示することと、
前記取得された時間分解ＯＣＴ信号（２７）に基づいて、前記提示された第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）を確認し、且つ前記提示された第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）を確認することと、
前記第一のＯＣＴ画像及び前記第二のＯＣＴ画像（３２１、３２２）を前記表示手段（３０）上において前記部分（６０）の位置に提示することと
を行うように構成される、請求項２に記載のシステム（１００）。
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを前記表示手段（３０）上に立体的に提示することと、
前記取得された時間分解ＯＣＴ信号（２７）に基づいて、前記提示された第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）を確認し、且つ前記提示された第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）を確認することと、
前記第一のＯＣＴ画像及び前記第二のＯＣＴ画像（３２１、３２２）を前記表示手段（３０）上において前記部分（６０）の位置に提示することと
を行うように構成される、請求項２に記載のシステム（１００）。
【請求項4】
前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含み、ＯＣＴ信号（２７）は、前記サンプル（１５）の体積要素（１５２）及び散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含み、前記表示手段（３０）は、複数のピクセル（３３）を含み、
ビデオ画像データ（３１）は、前記第一のタプル（１３３）及び前記表示手段（３０）の分解能に基づいて、特定のピクセル（３３）が特定の表面要素（１５１）を表示するような方法で確認され、
ＯＣＴ画像（３２）は、前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて、前記特定の表面要素（１５１）に対応する体積要素（１５２）が前記特定のピクセル（３３）上に提示されるような方法で確認される、請求項１～３の何れか一項に記載のシステム（１００）。
ビデオ画像データ（３１）は、前記第一のタプル（１３３）及び前記表示手段（３０）の分解能に基づいて、特定のピクセル（３３）が特定の表面要素（１５１）を表示するような方法で確認され、
ＯＣＴ画像（３２）は、前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて、前記特定の表面要素（１５１）に対応する体積要素（１５２）が前記特定のピクセル（３３）上に提示されるような方法で確認される、請求項１～３の何れか一項に記載のシステム（１００）。
【請求項5】
前記制御ユニット（４０）は、画像信号（１３）及びＯＣＴ信号（２７）を前記ＯＣＴシステム（２０）及び前記手術用顕微鏡システム（１０）の取得パラメータに基づいてローカルで照合し、且つ／又はビデオ画像データ（３１）及びＯＣＴ画像（３２）を画像分析によってローカルで照合するように構成される、請求項１～４の何れか一項に記載のシステム（１００）。
【請求項6】
前記制御ユニット（４０）は、前記ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）を前記表示手段（３０）上に同時に提示するように構成される、請求項１～５の何れか一項に記載のシステム（１００）。
【請求項7】
前記制御ユニット（４０）は、前記ビデオ画像データ（３１）を第一の透明性レベルで、且つ前記時間分解ＯＣＴ画像（３２）を第二の透明性レベルで提示するように構成される、請求項６に記載のシステム（１００）。
【請求項8】
前記制御ユニット（４０）は、前記ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）を前記表示手段（３０）上に逐次的に提示するように構成される、請求項１～７の何れか一項に記載のシステム（１００）。
【請求項9】
前記制御ユニット（４０）は、前記ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）を同じ倍率、同じ視点及び／又は同じステレオ角αで提示するように構成される、請求項３～８の何れか一項に記載のシステム（１００）。
【請求項10】
前記時間分解ＯＣＴ画像（３２）は、前記提示されたビデオ画像データ（３１）の部分（６０）に対応し、及び前記制御ユニット（４０）は、前記ＯＣＴ画像（３２）を前記部分（６０）に提示し、且つ前記ビデオ画像データ（３１）を前記表示手段（３０）の残りの部分に提示するように構成される、請求項１～９の何れか一項に記載のシステム（１００）。
【請求項11】
ユーザ入力を取得するためのインタフェース（５０）をさらに含み、前記制御ユニット（４０）は、取得されたユーザ入力に基づいて、ビデオ画像データ（３１）及び時間分解ＯＣＴ画像（３２）の前記提示の切り替えを開始するように構成される、請求項１～１０の何れか一項に記載のシステム（１００）。
【請求項12】
医療器具（７０）をさらに含み、前記制御ユニット（４０）は、前記医療器具（７０）の位置、種類及び／又は状態を確認し、且つ前記医療具（７０）の前記位置、前記種類及び／又は前記状態に基づいて、ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）の前記提示の切り替えを開始するように構成される、請求項１～１１の何れか一項に記載のシステム（１００）。
【請求項13】
前記制御ユニット（４０）は、前記手術用顕微鏡システム（１０）のズームレベルを確認し、且つ／又は行われている手術のフェーズを確認し、並びに前記ズームレベル及び／又は前記フェーズに基づいて、ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）の提示の変更を開始するように構成される、請求項１～１２の何れか一項に記載のシステム（１００）。
【請求項14】
マルチモーダル画像取得及び画像可視化の方法であって、
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を手術用顕微鏡システム（１０）によって取得する方法ステップ（Ｓ１００）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び前記表面要素（１５１）に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、方法ステップ（Ｓ１００）、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）をＯＣＴシステム（２０）によって取得する方法ステップ（Ｓ２００）であって、前記ＯＣＴ信号（２７）は、前記サンプル（１５）の体積要素（１５２）及び前記体積要素（１５２）に対応する散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、方法ステップ（Ｓ２００）、
ビデオ画像データ（３１）を、前記第一のタプル（１３３）及び複数のピクセル（３３）を有する表示手段（３０）の分解能に基づいて確認する方法ステップ（Ｓ３００）であって、前記ビデオ画像データ（３１）内の特定のピクセル（３３）は、特定の表面要素（１５１）に割り当てられる、方法ステップ（Ｓ３００）、
時間分解ＯＣＴ画像（３２）を前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて確認する方法ステップ（Ｓ４００）であって、前記特定の表面要素（１５１）に対応する体積要素（１５２）は、前記ＯＣＴ画像（３２）が前記ビデオ画像データ（３１）の部分（６０）に少なくとも対応するように、前記特定のピクセル（３３）に割り当てられる、方法ステップ（Ｓ４００）、
前記ビデオ画像データ（３１）を前記表示手段（３０）上に提示し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示する方法ステップ（Ｓ５００）
を含む方法。
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を手術用顕微鏡システム（１０）によって取得する方法ステップ（Ｓ１００）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び前記表面要素（１５１）に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、方法ステップ（Ｓ１００）、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）をＯＣＴシステム（２０）によって取得する方法ステップ（Ｓ２００）であって、前記ＯＣＴ信号（２７）は、前記サンプル（１５）の体積要素（１５２）及び前記体積要素（１５２）に対応する散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、方法ステップ（Ｓ２００）、
ビデオ画像データ（３１）を、前記第一のタプル（１３３）及び複数のピクセル（３３）を有する表示手段（３０）の分解能に基づいて確認する方法ステップ（Ｓ３００）であって、前記ビデオ画像データ（３１）内の特定のピクセル（３３）は、特定の表面要素（１５１）に割り当てられる、方法ステップ（Ｓ３００）、
時間分解ＯＣＴ画像（３２）を前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて確認する方法ステップ（Ｓ４００）であって、前記特定の表面要素（１５１）に対応する体積要素（１５２）は、前記ＯＣＴ画像（３２）が前記ビデオ画像データ（３１）の部分（６０）に少なくとも対応するように、前記特定のピクセル（３３）に割り当てられる、方法ステップ（Ｓ４００）、
前記ビデオ画像データ（３１）を前記表示手段（３０）上に提示し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示する方法ステップ（Ｓ５００）
を含む方法。
【請求項15】
前記撮像視野（１４）の時間分解された第一の画像信号（１３１）と、前記撮像視野（１４）の時間分解された第二の画像信号（１３２）とを取得する方法ステップ、
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）と、前記第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）、前記第二のビデオ画像データ（３１２）、前記時間分解された第一のＯＣＴ画像（３２１）及び前記時間分解された第二のＯＣＴ画像（３２２）を前記表示手段（３０）上に同じ倍率、同じ視点及び／又は同じステレオ角αで立体的に提示する方法ステップ
をさらに含む、請求項１４に記載の方法。
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）と、前記第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）、前記第二のビデオ画像データ（３１２）、前記時間分解された第一のＯＣＴ画像（３２１）及び前記時間分解された第二のＯＣＴ画像（３２２）を前記表示手段（３０）上に同じ倍率、同じ視点及び／又は同じステレオ角αで立体的に提示する方法ステップ
をさらに含む、請求項１４に記載の方法。
【請求項16】
請求項１～１３の何れか一項に記載のシステムの制御ユニットによって実行されると、請求項１～１３の何れか一項に記載のシステムに、請求項１４又は１５に記載の方法を実行させるコマンドを含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチモーダル画像取得、特にビデオ及び光干渉断層撮影法（ＯＣＴ）によって画像信号を取得することによる手術部位の時間分解画像取得並びにマルチモーダル画像データの最適化された提示のためのシステム及び方法に関する。マルチモーダル画像データは、特に立体画像データである。
【背景技術】
【0002】
技術的支援の利用は、現代の医療の重要部分である。これまで、撮像法及びロボットシステムは、当然のことながら、手術及び診断の両方で同等に使用されている。これに関して、撮像法の使用により、患者の体内の様々な構造の提示及び区別が可能となり、患者から取得された画像データは、診断並びに治療及び手術方法でも有利に使用され得る。
【0003】
例えば、患者からの画像データにより、外科医がよりよい外科的介入計画を立てることができるだけでなく、外科医によるその介入の施行も支援する。ロボット可視化システムは、外科的介入の施行時に外科医を支援するために使用され得る。前記システムは、一般に、手術対象領域の画像を記録するための少なくとも１つのカメラを含み、前記カメラは、関節構造を有するスタンドによって担持される。スタンドにより、カメラを並進及び／又は回転移動によって対象物に関して位置決めし、手術対象領域の所望の撮像視野（ＦＯＶ）の画像を取得することができる。これに関して、光学ステレオカメラを使用すると、３Ｄ画像データの取得が可能となる。
【0004】
所望の撮像視野から、例えば反射又は後方散乱可視光に基づいて表面情報を取得することに加えて、撮像視野から深度情報を取得する方法も一方で開発された。これらの方法は、光干渉断層撮影法（ＯＣＴ）を含み、これにより光学的に透過性及び／又は反射性の物体の三次元顕微鏡画像撮影及びしたがって観察される撮像視野内の生体組織の体積画像の記録が可能となる。光干渉断層撮影法（ＯＣＴ）は、基本的に、コヒーレンス長の短い広帯域光を用いる干渉計測方式である。したがって、ＯＣＴデータを取得するためのシステムは、干渉計及び中心波長の１％を超えるスペクトル幅の広帯域光源を含む。
【0005】
ＯＣＴデータは、逐次的又は並行して取得され得る。例えば、ＯＣＴデータの逐次的取得は、低コヒーレンス光源の光ビームがビームスプリッタでサンプルビーム及び参照ビームに分割され、これらが干渉計の２つのアームを通して送られ、参照ビーム経路に可動式の参照ミラーが配置され、検査対象物が物体ビーム経路内に配置されることによって行われる。物体ビーム及び参照ビームの経路の差並びにしたがって測定されるサンプルの深度は、参照ミラーを移動させることによって設定され得る。物体ビームは、物体ビーム経路内のミラーによってサンプル上で２次元に走査され、その結果、サンプルの３次元走査が可能となる。
【0006】
タイムドメインでのこのようなＯＣＴデータの取得（タイムドメインＯＣＴ－ＴＤ ＯＣＴ）に関して、光源のスペクトル幅Δλは、ＬＣ＝λ＊／Δλのコヒーレンス長ＬＣに対応する。ＯＣＴシステムの軸方向分解能は、利用される光のコヒーレンス長ＬＣに対応し、光軸に沿って少なくともコヒーレンス長の間隔を有する物体を分解する能力を示す。例えば、中心波長８００ｎｍ、スペクトル幅８０ｎｍの近赤外範囲の光源のコヒーレンス長は、７μｍであり、このような光源を有するＯＣＴシステムは、したがって、約１～１０μｍの軸方向分解能を有する。ＯＣＴシステムの横方向分解能は、物体ビーム経路内で使用される光学ユニットにより、特に光を検査対象の物体上に集束させる対物レンズによって決まる。
【0007】
ＯＣＴデータの逐次的取得は、周波数ドメイン（周波数ドメインＯＣＴ－ＦＤ ＯＣＴ）によっても可能であり、一般に、調整可能光源の使用（周波数走査型光源ＯＣＴ）の使用と、分散検出器（スペクトルドメインＯＣＴ－ＳＤ ＯＣＴ）の使用とは、区別される。周波数走査型光源ＯＣＴでは、多くの場合にレーザである励起光源の周波数が調整され、その結果、サンプルビームと参照ビームとの経路の差、したがって走査されるサンプルの深度を、可動式参照ミラーがなくても変化させることが可能となる。ＳＤ ＯＣＴの場合も広帯域光源が同様に使用されるが、検出前に干渉信号の周波数成分の分離が例えば光学格子によって行われる。
【0008】
生体組織のスライス及び体積データがＯＣＴによって取得可能であり、それにより外科医にとっての情報コンテンツを大幅に増やすことができる。その結果、所望の撮像視野の表面からのビデオデータと撮像視野の深度及び／又はスライス画像との両方を取得するために、手術用顕微鏡にＯＣＴを統合することが望ましい。しかしながら、手術用顕微鏡内で術中ＯＣＴ画像及び従来の（３Ｄ）画像を組み合わせて提示することは、複雑であり、外科医に新たな課題が提示される。手術システムは、これまで、体積ＯＣＴ画像を供給できなければならなかった一方、それらの記録時間は、比較的長く、さらに、レンダリングは、時間及びリソースの理由のため、後処理のみに限定されていた。したがって、手術中のリアルタイムでの体積撮像は、現在のところ不可能である。
【0009】
しかしながら、ＯＣＴ技術と、グラフィクスプロセッサ（ＧＰＵ）の能力及び速度とが進化するにつれて、術中撮像のためのより高速のＯＣＴ方式が利用可能となりつつある。しかしながら、欠点として、このようにして可能となるリアルタイムでのＯＣＴ体積画像の提示は、特にＯＣＴ及び従来のビデオデータが異なるスクリーン若しくは異なるスクリーン領域に提示される場合又はモダリティの切り替えが容易に可能でない場合、外科医を圧倒するか又はその気を散らす場合がある。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】“Ａ ｐｒａｃｔｉｃａｌ ｃｏｍｐａｒｉｓｏｎ ｂｅｔｗｅｅｎ Ｚｈａｎｇ’ｓ ａｎｄ Ｔｓａｉ’ｓ ｃａｌｉｂｒａｔｉｏｎ ａｐｐｒｏａｃｈｅｓ”，Ｌｉ ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ，Ｎｏｖｅｍｂｅｒ ２０１４ Ｐａｇｅｓ １６６－１７１，ＤＯＩ：１０．１１４５／２６８３４０５．２６８３４４３
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の目的は、先行技術の欠点を克服するか又は少なくとも軽減し、マルチモーダル画像取得及び画像可視化のための改良されたシステム及び改良された方法を提供することである。
【課題を解決するための手段】
【0012】
本発明による目的は、独立請求項の主題によって達成される。好ましい発展形態は、従属項の主題である。
【0013】
本開示の第一の態様は、マルチモーダル画像取得及び画像可視化、特に医療機器、例えば手術用顕微鏡によって画像を取得及び可視化するためのシステムに関する。
【0014】
本開示によるシステムは、特に、サンプルから反射又は後方散乱した光、例えば可視光を検出するための光学ユニットを有する手術用顕微鏡システムを含む。例えば、光学ユニットは、対物レンズ及びアイピースを含むが、これは、別のコンポーネント、特に別のレンズ素子、ミラー、ビームスプリッタ及び／又はその他をさらに含み得る。手術用顕微鏡システムは、サンプルの選択された撮像視野（関心対象領域 － ＲＯＩ）の時間分解画像信号を取得するように設計される画像センサをさらに含む。例えば、サンプルは、患者の手術部位、特に眼科手術の場合の眼である。しかしながら、サンプルは、他の何れの手術部位でもあり得、これは、例えば、脳手術の場合の脳組織、ＥＮＴ手術の場合のＥＮＴ領域内にある組織又は歯科手術の場合の歯肉、歯石若しくは歯神経である。サンプルは、同様に、他の何れの組織又は調合物（インビボ、インビトロ又はインサイチュ）でもあり得る。撮像対象視野は、使用者によって選択可能であることが好ましい。
【0015】
本開示によるシステムは、ＯＣＴシステムをさらに含む。ＯＣＴシステムは、好ましくは、広帯域光源、好ましくは波長可変（周波数走査型光源）レーザ、例えば広帯域レーザ、スーパコンティニュームレーザ及び／又は超短パルスレーザを含む。この場合、何れかの時点において、調整可能レーザは、狭バンド幅であるが、その中心周波数が時間によって選択的に変化可能な光源であり得るか、又は複数の狭バンド幅光源から形成され得る。しかしながら、他の何れの広帯域光源も使用され得、これは、例えば、例えばＦＤ－ＯＣＴにおけるスーパルミネセントダイオードである。ＯＣＴシステムは、好ましくは、干渉計、例えばマイケルソン、マッハ・ツェンダー又はＫｏｓｔｅｒ干渉計をさらに含む。干渉計は、好ましくは、広帯域光源の光からサンプル及び参照ビームを生成（及び重畳）するためのビームスプリッタ、参照ビーム経路及びサンプルビーム経路を含む。さらに好ましくは、干渉計は、検査されるサンプル深度を設定するための手段を含む。測定方法に応じて、これは、経路差を生成するための手段（例えば、ＳＤ－ＯＣＴの場合の参照ビーム内の可動式ミラー）、特定の経路差の光を分離する手段（例えば、ＦＤ－ＯＣＴの場合の光学格子）又は特定の経路差を有する光を生成するための手段（例えば、周波数走査型光源ＯＣＴの場合の波長可変光源）であり得る。ＯＣＴシステムは、好ましくは、サンプルビーム、特にサンプルビームをサンプル上で２次元に走査するための走査機構をさらに含む。走査機構は、好ましくは、走査ミラーであるが、他の走査機構、例えば光ファイバスキャナ、プリズムスキャナ、Ｐａｌｍｅｒスキャナ又はその他も使用され得る。走査機構は、全視野ＯＣＴのために構成されたＯＣＴシステムの場合にはなくてよい。ＯＣＴシステムは、選択された撮像視野の時間分解ＯＣＴ信号を取得するように設計され、好ましくはこの目的のための検出器を有する。例えば、検出器は、ライン検出器、２次元検出器アレイ、フォトディテクタ、分散型検出器、ＣＣＤ検出器及び／又はＣＭＯＳ検出器である。
【0016】
本開示によるシステムは、画像データの時間分解表示のために設計された表示手段をさらに含む。表示手段は、好ましくは、１つ又は複数のスクリーン、例えば手術用顕微鏡の少なくとも１つのスクリーン、手術室内に固定して設置されたスクリーン又はヘッドマウントディスプレイ（ＨＭＤ）、例えばビデオグラスである。スクリーンは、好ましくは、４Ｋ及び／若しくは８Ｋ対応スクリーン並びに／又は立体的に提示するように設計された３Ｄスクリーンである。
【0017】
本開示によるシステムは、手術用顕微鏡システムに接続された制御ユニット、ＯＣＴシステム及び特に一方向又は両方向データ伝送のための表示システムをさらに含む。制御ユニットは、取得された時間分解画像信号に対応するビデオ画像データを確認するように設計及び構成される。特に、時間分解画像信号は、サンプルの表面要素に割り当てられる複数の信号であり、これらは、サンプル表面の特定の走査について逐次的又は同時に取得され、その走査は、走査機構及び／又は画像センサによって特定される。さらに、時間分解画像信号は、クロック周波数（画像リフレッシュレート）を有し、これは、走査機構及び／又は画像センサによって特定される。この画像信号から、制御ユニットは、表示手段上での提示に適したラスタ（分解能）及び画像リフレッシュレートでビデオ画像データを生成する。制御ユニットは、表示手段によってビデオ画像データを表示するようにさらに構成される。
【0018】
制御ユニットは、時間分解ＯＣＴ画像をＯＣＴ信号に基づいて確認するようにさらに構成される。ＯＣＴ信号は、干渉信号であり、干渉信号のエンベロープの変調は、サンプルの反射特性を符号化する。走査機構により、サンプルを経路差によって設定されたサンプル深度において２次元で走査することができる。時間分解ＯＣＴ信号のクロック周波数（画像リフレッシュレート）も、利用される走査機構、経路差を選択又は生成するために利用される手段、例えば参照ビーム内の調節可能ミラー、検出器の上流の光学格子若しくは調整可能な広帯域光源及び検出器のリフレッシュレートから得られる。制御ユニットは、時間分解ＯＣＴ画像を、計算によるＯＣＴ信号に基づいて、例えばボリュームレンダリング、レイトレーシング及び／又はレイマーチングによって特定する。当業者は、時間分解ＯＣＴ信号から時間分解ＯＣＴ画像を生成する様々な方法に精通している。
【0019】
本開示によるシステムにおいて、制御ユニットは、生成された時間分解ＯＣＴ画像が、提示されるビデオ画像データの部分に少なくとも対応するようにＯＣＴ画像を生成する。好ましくは、ＯＣＴ信号は、撮像視野全体から取得され、撮像視野の少なくとも一部のＯＣＴ画像が作成される。同様に好ましくは、ＯＣＴ信号は、撮像視野の一部から取得され、撮像視野のその部分の少なくとも一部のＯＣＴ画像が作成される。ビデオ画像データとＯＣＴ画像との局所的対応は、本発明によれば、使用される測定法又は画像処理方法の何れかによって確保される。制御ユニットは、表示手段上においてビデオ画像データのその部分の位置に時間分解ＯＣＴ画像を表示するようにさらに設計される。好ましくは、撮像視野全体のビデオ画像データ及びＯＣＴ画像が作成され、各々が表示手段全体に提示される。同様に好ましくは、撮像視野の一部のＯＣＴ画像が生成され、表示手段上において、撮像視野のこの部分に対応するビデオデータの位置に表示される。換言すれば、サンプルの同じ部分に対応するビデオ画像データ及びＯＣＴ画像は、表示手段の同じ位置に提示される。その結果、本開示によるシステムでは、ビデオ画像データ及びＯＣＴ画像を表示手段上でシームレスに統合することができ、それにより、使用者は、マルチモーダル画像データを容易に見ることができる。これにより、マルチモーダル画像データは、頭部又は目を動かさずに見ることができ、これは、特に外科的介入中の撮像の場合、外科医の集中力に対して有利な影響を有する。
【0020】
本開示によるシステムの特に好ましい実施形態において、手術用顕微鏡システムは、ステレオカメラを含み、これは、言わば、立体時間分解画像信号を取得するように設計される。この目的のためのステレオカメラは、特に、撮像視野の時間分解された第一の画像信号を取得するための第一の画像センサと、撮像視野の時間分解された第二の画像信号を取得するための第二の画像センサとを含む。第一の画像センサは、第一の画像信号を好ましくは第一の光軸に沿って第一の光学ユニット、特に第一の対物レンズによって取得する。第二の画像センサは、第二の画像信号を好ましくは第二の光軸に沿って第二の光学ユニット、特に第二の対物レンズによって取得する。第一の光軸と第二の光軸とは、それらの間に角度をなす。光軸間のこの角度と、サンプルと対物レンズとの間の作動距離とは、立体画像取得のステレオ角を決める。この実施形態によれば、表示手段は、立体画像データを提示するように設計され、ステレオ角は、表示手段上での画像可視化中の奥行きの印象を決定する。
【0021】
さらに好ましくは、本発明によるシステムの制御ユニットは、それぞれ前述したように、第一の画像信号に対応する第一のビデオ画像信号と、第二の画像信号に対応する第二のビデオ画像データとを生成し、表示手段上にそれを立体的に提示するように構成される。表示手段は、その結果、画像データを立体的に提示するように設計される。表示手段は、好ましくは、偏光グラスと共に、異なる（例えば、直交する）偏光で画像データを表示するように設計された表示手段である。しかしながら、表示手段は、３Ｄスクリーン、例えば明視野モニタ又はその他でもあり得る。制御ユニットは、取得された時間分解ＯＣＴ信号から、時間分解された第一のＯＣＴ画像及び時間分解された第二のＯＣＴ画像を確認するようにさらに構成される。ＯＣＴシステムは、その結果、立体信号の取得を必要とすることなく立体画像データを生成する可能性を提供する。この好ましい実施形態によれば、それぞれ前述したように、第一のＯＣＴ画像は、提示された第一のビデオ画像データの部分に少なくとも対応し、第二のＯＣＴ画像は、提示された第二のビデオ画像データの同じ部分に少なくとも対応する。制御ユニットは、第一のＯＣＴ画像及び第二のＯＣＴ画像を表示手段上においてその部分の位置に立体的に提示するようにさらに設計される。これにより、また画像データの立体的な提示の一部として、最適化されたマルチモーダル画像可視化という本発明による利点が得られる。制御ユニットは、好ましくは、立体ＯＣＴ画像の生成中に手術用顕微鏡システムのステレオ角を考慮する。立体ビデオ画像データ及び立体ＯＣＴ画像の同じ奥行き印象は、このようにして有利に確保される。
【0022】
本開示によるシステムにおいて、画像信号は、好ましくは、複数の第一のタプルを含む。この場合、第一のタプルの各々は、サンプルの表面要素及び少なくとも１つのグレイスケール値を含む（又は表す）。この場合、サンプルの表面要素は、好ましくは、２つの横方向の空間座標（例えば、ｘ及びｙ）によって表現され、例えばサンプルピクセルとして解釈され得る。最終的に検出された強度から得られるグレイスケール値に加えて、第一のタプルの各々は、例えば、画像センサの上流に接続されたカラーフィルタによる異なる色に関する強度の検出中の色値もさらに含み得る。さらに、ＯＣＴ信号は、サンプルの体積要素及び散乱強度をそれぞれ含む（又は表す）複数の第二のタプルを含む。この場合、サンプルの体積要素は、好ましくは、３つの空間座標（例えば、ｘ、ｙ及びｚ）によって表現され、例えばサンプルボクセルとして解釈され得る。第二のタプルは、散乱強度に加えて、別の値を含み得る。この実施形態によれば、表示手段は、複数のピクセルを含み、制御ユニットは、ビデオ画像データを第一のタプルに基づいて且つ表示手段の分解能に基づいて、特定のピクセルが特定のサンプルの表面要素を表示するような方法でビデオ画像データを確認するように構成される。換言すれば、制御ユニットは、表示手段のピクセルとサンプルの表面要素との第一の割り当てを確認する。この場合、この割り当ては、別の設定、例えば手術用顕微鏡システムのズームレベルにも依存し得るが、好ましくはある設定について時間が経過しても一定である。この実施形態の制御ユニットは、ＯＣＴ画像を、第二のタプル並びに表示手段の分解能及び／又はビデオ画像データから、特定の表面要素に対応する体積要素が特定のピクセル上に提示されるような方法で確認するようにさらに構成される。換言すれば、制御ユニットは、表示手段のピクセルとサンプルの体積要素との第二の割り当てを確認し、それは、確認された第一の割り当てに対応する。したがって、制御ユニットは、表示手段のピクセルと画像信号（ビデオ画像データ）及びＯＣＴ信号（ＯＣＴ画像）との空間照合を実現する。
【0023】
さらに好ましくは、制御ユニットは、手術用顕微鏡システムによって取得された画像信号と、ＯＣＴシステムによって取得されたＯＣＴ信号とをＯＣＴシステム及び手術用顕微鏡システムの取得パラメータに基づいてローカルで照合するように構成される。これに関して、これらの信号のローカル照合は、これらの信号と参照座標系、例えば介入中の患者の座標系との正しい関連付けを指し、それにより患者空間の座標を信号空間の対応する座標に一意にマッピングすることが可能となる。信号の照合は、好ましくは、手術用顕微鏡システム及びＯＣＴシステムのキャリブレーションを必要とする。手術用顕微鏡システムの取得パラメータは、好ましくは、手術用顕微鏡システムのキャリブレーションパラメータ並びに／又は光学設定、例えば使用される光学系（カメラ）の焦点距離及び／若しくはズームレベルを含む。さらに、取得パラメータは、好ましくは、手術用顕微鏡システムの固有パラメータセットも含む。この場合、固有パラメータにより、画像信号の座標系と、関連する画像センサの座標系との関係が決まる。この場合、固有パラメータの種類は、特に使用される撮像センサの種類に依存し、撮像センサは、この場合、実際のセンサ及び利用される光学ユニットの両方を指す。固有パラメータは、例えば、当業者に知られているＴｓａｉのカメラキャリブレーションの場合、有効焦点距離、画像信号の画像主点（歪みの中心）の座標、第一のスケール係数及び／又は第一の半径方向のレンズ誤差係数（歪み係数）を含む。Ｔｓａｉのカメラキャリブレーションの上述の固有パラメータの代わりに、他の固有パラメータ、例えばＺｈａｎｇのカメラキャリブレーションも使用され得る（例えば、（非特許文献１）を参照されたい）。ＯＣＴシステムは、同様に、好ましくはキャリブレーションパラメータを含む取得パラメータを有する。ＯＣＴシステムの取得パラメータは、好ましくは、走査機構及び／又はＯＣＴシステムの検出器も考慮する。取得パラメータに基づくローカル照合を使用して、有利には、患者空間の所定の座標にある患者の構造をビデオ画像データの画像空間及びＯＣＴ画像の画像空間内の対応する座標において正しく提示することが可能である。
【0024】
本開示によるシステムの同様に好ましい実施形態において、制御ユニットは、代替的又は追加的に、ビデオ画像データ及びＯＣＴ画像を画像分析によってローカルで照合するように設計される。この場合、これらの画像データのローカル照合は、共通の画像座標系でのこれらの画像の正しい関連付けを指す。画像データに基づく照合により、結果的に、できるだけ合同の同じ構造の画像表現のための画像データの相対的な関連付けが可能となる。例えば、構造又は組織の境界は、ビデオ画像データ及びＯＣＴ画像内において、画像分析、例えばエッジ検出又はその他によって認識され、相互に比較され得る。これらの構造をディスプレイ上で並進移動、回転及び／又はスケーリングによって相互に重畳させることができる。画像データのローカル照合は、好ましくは、取得された信号のローカル照合に加えて実行される。
【0025】
システムの制御ユニットは、好ましくは、ビデオ画像データ及び時間分解ＯＣＴ画像を表示手段上に同時に提示するように構成される。これにより、特に有利には、使用者が両方の画像モダリティを同時に考慮することができる。それにも関わらず、異なる画像データを区別できるようにするために、制御ユニットは、好ましくは、ビデオ画像データを第一の透明性レベルで、且つ時間分解ＯＣＴ画像を第二の透明性レベルで提示するようにさらに構成される。この場合、第一及び第二の透明性レベルは、相互に異なることが好ましい。第一及び第二の透明性レベルは、同様に、時間によって変化する。例えば、画像信号は、最初に透明性０％で提示される一方、ＯＣＴ画像は、透明性１００％で提示される。時間の経過と共に、画像信号の透明性は、連続的に０％から１００％で調整される一方、ＯＣＴ画像の透明性は、同時に１００％から０％に調整される。その結果、これにより、ビデオ画像及びＯＣＴ画像の提示を継続的に移行させることが確実となる。
【0026】
本開示によるシステムの同様に好ましい実施形態において、制御ユニットは、ビデオ画像データ及び時間分解ＯＣＴ画像を表示手段上に逐次的に提示するように構成される。換言すれば、一度にビデオ画像データ及びＯＣＴ画像の一方のみが表示手段の少なくとも特定の位置に提示される。これにより、有利には、ビデオ画像データとＯＣＴデータとを明確に区別することができ、同様に有利には表示手段の異なる位置に様々な画像データを同時に提示することができる。
【0027】
特に好ましくは、制御ユニットは、ビデオ画像データ及び時間分解ＯＣＴ画像を同じ倍率、同じ視点及び／又は同じステレオ角で提示するように構成される。両方のビデオ画像データを表示手段の同じ位置に同時に提示する場合、これにより、好ましくは両方の画像データを完全に重畳させることができ、最適なコントラストでの提示が有利に可能となり得る。逐次的提示の場合、好ましくは、同じ倍率、同じ視点及び／又は同じステレオ角での提示は、ローカルで照合された画像データ間で推移する際に行われる。その結果、画像データの提示間に流体移行が起こる。ビデオ画像データの場合、表面の提示（トップビュー）のみが可能である。例えば、これは、「ｅｎ ｆａｃｅ」ＯＣＴ画像に対応する。ビデオ画像データからＯＣＴ画像に移行されると直ちに、使用者は、さらに好ましくは、倍率、視点及び／又はステレオ角を調整して、最適な奥行き認識の改善されたビューを有利に得ることができる。特に、使用者は、最初の「ｅｎ ｆａｃｅ」ビューから透視的な提示に例えば観察方向を連続的に推移させることにより、透視表現又はスライスビュー（ＯＣＴ Ｂスキャン）に切り替えることができる。その結果、有利には、様々なフェーズでの完璧なビューが確実に得られる。
【0028】
本開示によるシステムにおいて、時間分解ＯＣＴ画像は、好ましくは、提示されるビデオ画像データの一部に対応する。換言すれば、ＯＣＴ画像は、手術用顕微鏡システムによって観察される撮像視野の一部のみを提示する。例えば、サンプルの観察されている撮像視野の一部のみの時間分解ＯＣＴが取得され得る。この好ましい実施形態によれば、制御ユニットは、その部分にＯＣＴ画像を提示し、且つ表示手段の残りの部分にビデオ画像データを提示するように構成される。例えば、ビデオ画像データ及びＯＣＴ画像は、表示手段上に全体が同時に表示されるが、表示手段の特定の位置では逐次的に表示される。これにより、有利には、ビデオ画像データによるサンプル全体又は手術領域全体にわたる表示が可能となり、同時に一部又は詳細部、例えば手術器具の介入領域がＯＣＴ画像によって提示される。ＯＣＴ画像によって透視的な提示も可能となるため、この実施形態では、有利には、ビデオ画像データでのトップビューを透視ＯＣＴビューと組み合わせることも可能となる。
【0029】
特に好ましい実施形態において、本開示によるシステムは、ユーザ入力を取得するためのインタフェースをさらに含む。インタフェースは、好ましくは、ハンドスイッチ又はフットスイッチである。同様に好ましくは、インタフェースは、例えば、ビデオグラス又はヘッドマウントディスプレイＨＭＤに組み込まれた、頭部の動き及び／又は目の動きを認識するための手段である。インタフェースは、音声コマンドを捕捉するようにさらに設計され得、そのために少なくとも１つのマイクロフォンを含み得る。同様に好ましくは、インタフェースは、キーボード、ジョイステック、マウス、タッチスクリーン又はそれらの組合せである。この実施形態によれば、制御ユニットは、取得されたユーザ入力に基づいて、ビデオ画像データからＯＣＴ画像に又はＯＣＴ画像からビデオ画像データに提示の切り替えを開始するように構成される。
【0030】
本開示によるシステムの同様に特に好ましい実施形態において、これは、医療器具をさらに含み得る。例えば、医療器具は、プローブ、ポインタ、ピンセット、穿刺錐、フェイコチップ、内視鏡、内視鏡用ＬＥＤ又はその他である。
【0031】
この実施形態によれば、制御ユニットは、医療器具の位置、種類及び／又は状態を特定するようにさらに構成される。この場合、ある種類の医療器具は、好ましくは、医療器具を接続するためのインタフェースに基づいて且つ／又はユーザインタフェースを通した入力に基づいて実装され得る。同様に好ましくは、手術用顕微鏡システムの撮像視野中に導入される医療器具の種類は、ビデオ画像データの画像分析により、例えばセグメンテーション及び物体認識によって識別される。医療器具の位置は、好ましくは、マーカの検出に基づいて確認され、マーカは、医療器具上のラベル又は構造であり得る。マーカは、好ましくは、手術用顕微鏡システムにより、任意選択的に追加の光源（例えば、赤外ＬＥＤｓ）を使用し、且つ／又は医療器具の照合／キャリブレーション（例えば、医療器具の先端を所定の位置に位置付けることによる）後に検出される。
【0032】
手術用顕微鏡システムの撮像視野内に導入される医療器具の状態は、同様に好ましくは、ビデオ画像データの画像分析に基づいて特定される。例えば、ピンセットが開いているか又は閉じているかは、画像データに基づいて識別され得る。さらに、状態を変化させるためのユーザ入力は、制御ユニットによって読むことができ、例えばフェイコチップを作動させるためのユーザ入力は、その状態の変化を示す。さらに、医療器具に取り付けられたセンサは、その状態の変化、例えばピンセットが閉じられていることを検出し得、対応するセンサ信号を制御ユニットに送信し得る。
【0033】
この好ましい実施形態によれば、制御ユニットは、医療器具の位置、種類及び／又は状態に基づいて、ビデオ画像データから時間分解ＯＣＴ画像への又は時間分解ＯＣＴ画像からビデオ画像データへの提示の切り替えを開始するようにさらに構成される。特定の種類及び／又は特定の位置の医療器具の状態の変化は、好ましくは、動作の特定のフェーズを示す。その結果、医療器具の位置、種類及び／又は状態を認識することは、このフェーズの提示の最適な形態を選択するために使用され得る。これは、画像データを切り替えることだけでなく、任意選択的に画像データ内の提示パラメータ、例えばズームレベル、ステレオ角、観察方向、提示される深度及び／又は切断方向の変化も含む。
【0034】
同様に好ましくは、制御ユニットは、手術用顕微鏡システムのズームレベルを確認し、ズームレベルに基づいてビデオ画像データ及び時間分解ＯＣＴ画像の提示の切り替えを開始するように構成される。原則として、小さいズーム値は、大きい撮像視野に対応し、詳細部の提示は、一般的に、所望されない。したがって、好ましくは、小さいズームレベルに基づいて、ＯＣＴ画像の提示が所望されないと結論される。それに対して、大きいズーム値は、小さい観察視野に対応し、詳細な提示が所望されることが多い。したがって、好ましくは、大きいズームレベルに基づいて、ＯＣＴ画像の提示が所望されると結論される。
【0035】
さらに好ましくは、制御ユニットは、行われている手術のフェーズを確認するように構成される。このために、制御ユニットは、好ましくは、メモリに接続され、その中に訓練済み学習アルゴリズム、例えばニューラルネットワーク（ＣＮＮ）又はその他が保存される。このアルゴリズムは、好ましくは、複数のビデオ画像データ及び／若しくはＯＣＴ画像又は画像信号及び／若しくはＯＣＴ信号によって訓練されており、これらは、訓練中に分類として対応する手術フェーズに割り当てられている。したがって、訓練済みのアルゴリズムは、独立して、分類としての手術のフェーズをビデオ画像データ及び／若しくはＯＣＴ画像又は画像信号及び／若しくはＯＣＴ信号に基づいて認識することができる。この実施形態による制御ユニットは、好ましくは、確認された手術フェーズに基づいて、ビデオ画像データからＯＣＴ画像への又はＯＣＴ画像からビデオ画像データへの提示の切り替えを開始するように設計される。好ましくは、異なる手術フェーズに適した画像データがメモリに保存される。
【0036】
白内障手術の場合、手術フェーズは、例えば、安静状態、切開、眼科粘液手術装置（ＯＶＤ）の挿入、嚢切開、ハイドロディセクション、超音波水晶体乳化吸引術、すすぎ／吸引、眼内レンズの移植、切開創の閉鎖／湿潤化、手術中止を含み得る。屈折矯正手術の場合、手術フェーズは、例えば、アイドリング、ドッキング、圧平、眼／ＣＧ回転の適用、水晶体切開、水晶体サイドカット、フラップカット、フラップサイドカット、眼の露出、手術用顕微鏡への移行、手術用顕微鏡の位置決め、切開創開放、平面の画定、フラップベッドの切断、水晶体床部の切除、水晶体の摘出及び／又は検査、拭き取り、すすぎ、スリットランプ、反射鏡の取り出しを含み得る。歯科的介入の場合、手術フェーズは、例えば、アクセス、抜髄、デブライドメント、乾燥、根管充填、補綴を含み得る。これらのフェーズの全部又は一部のみが対応する手術の一部であり得、他の手術フェーズも存在し得、及び／又は幾つかのフェーズは、省かれ得ることに留意されたい。
【0037】
本発明による制御ユニットの機能は、電気又は電子デバイス又はコンポーネント（ハードウェア）により、ファームウェア（ＡＳＩＣ）により実装され得、且つ／又は適当なプログラム（ソフトウェア）を実行することにより実現され得る。好ましくは、本発明による制御ユニットの機能は、ハードウェア、ファームウェア及び／又はソフトウェアの組合せによって実現又は実装される。例えば、本発明による制御ユニットの個々のコンポーネントは、別々の集積回路であるか又は共通の集積回路上に配置される。
【0038】
本発明による制御ユニットの個々の機能は、さらに好ましくは、１つ又は複数の電子コンピュータ内の１つ又は複数のプロセッサ上で実行され、１つ又は複数のコンピュータプログラムを実行する際に生成される１つ又は複数のプロセスの形態である。この場合、制御ユニットは、他のコンポーネント、特に手術用顕微鏡システム、ＯＣＴシステム及び表示手段と協働して、本明細書に記載の本発明によるシステムの機能を実現するように設計される。さらに、複数のコンピュータの機能（データ処理デバイス、制御ユニット、コントローラ）は、組み合わされ得るか若しくは１つのデバイスで組み合わされ得ること又は特定のデータ処理デバイスの機能は、複数のデバイスに分散させることにより、本発明による制御ニットの機能を実現し得ることが当業者に明らかである。
【0039】
本発明によるシステムの特に好ましい実施形態において、これは、手術用顕微鏡に組み込まれる。この場合、手術用顕微鏡は、好ましくは、それぞれ前述のように、手術用顕微鏡システム及びＯＣＴシステムを含む。さらに好ましくは、手術用顕微鏡は、表示手段を含むか又はそれに接続される。画像センサ及び光学ユニットは、好ましくは、カメラ、特に手術用顕微鏡のメインオブザーバカメラ又はサラウンドカメラの一部である。手術用顕微鏡の制御ユニットは、好ましくは、本発明によるシステムの制御ユニットとして設計され、特に後述のように手術用顕微鏡の記憶ユニットに保存されたコマンドに基づいて本発明による方法を実行するように設計される。
【0040】
本開示の範囲内において、手術用顕微鏡は、最も広い意味において手術中の使用に適した顕微鏡を意味すると理解されたい。手術用顕微鏡は、好ましくは、外科医の頭部の動きとは関係なく手術部位の撮像を可能にするマウントを含む。さらに好ましくは、手術用顕微鏡は、少なくとも１つのビームスプリッタ及び少なくとも２つのアイピースを含む。代替的に、手術用顕微鏡は、アイピースを有しない純粋な「デジスコープ」である。同様に好ましくは、手術用顕微鏡は、少なくとも１つの撮像センサを含む。さらに好ましくは、手術用顕微鏡は、メインオブザーバカメラ及びサラウンドカメラを含む。手術用顕微鏡は、外科的介入を施行するための運動学的又はロボットによる支援手段を含み得る。代替形態として、手術用顕微鏡は、医療工学顕微鏡、医療用に承認された顕微鏡又は医用顕微鏡と呼ばれ得る。
【0041】
本開示の別の態様は、マルチモーダル画像取得及び画像可視化の方法に関する。これは、サンプルの選択された撮像視野の時間分解画像信号を手術用顕微鏡システムによって取得する方法ステップを含む。この場合、画像信号は、サンプルの表面要素及びその表面要素に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプルを含む。方法は、選択された撮像視野の時間分解ＯＣＴ信号をＯＣＴシステムによって取得するステップをさらに含む。この場合、ＯＣＴ信号は、サンプルの体積要素及びその体積要素に対応する散乱強度をそれぞれ表す複数の第二のタプルを含む。方法は、ビデオ画像データを確認するステップをさらに含み、ビデオ画像データは、第一のタプルに基づいて、且つ複数のピクセルを有する表示手段の分解能に基づいて、ビデオ画像データ内で特定されたピクセルがサンプルの特定の表面要素に割り当てられるような方法で確認される。方法は、時間分解ＯＣＴ画像を第二のタプルに基づいて且つ表示手段の分解能及び／又はビデオ画像データに基づいて確認するステップをさらに含む。ＯＣＴ画像において、特定の表面要素に対応する体積要素は、ここで、特定のピクセルに割り当てられる。その結果、ＯＣＴ画像は、ビデオ画像データの部分に少なくとも対応する。方法は、ビデオ画像データを表示手段上に提示し、ＯＣＴ画像を表示手段上において、具体的には表示手段のその部分の位置に提示するステップをさらに含む。本開示による方法は、本開示によるシステムと同じ利点を実現し、この点に関しては、前述の説明を参照されたい。
【0042】
本開示による方法の好ましい実装形態において、これは、撮像視野の時間分解された第一の画像信号及び撮像視野の時間分解された第二の画像信号を取得するステップをさらに含む。この取得は、好ましくは、ステレオカメラ又は立体画像信号を取得するように設計された他のカメラによって行われる。方法の好ましい実装形態は、第一の画像信号に対応する第一のビデオ画像データを確認するステップと、第二の画像信号に対応する第二のビデオ画像テータを確認するステップとをさらに含み、すなわち、これらは、立体ビデオ画像データである。第一のビデオ画像データの部分に少なくとも対応する時間分解された第一のＯＣＴ画像を確認するステップは、ＯＣＴ信号に基づいて、特に第二のタプルに基づいて且つ表示手段の分解能及び／又はビデオ画像データに基づいて行われる。さらに、第二のビデオ画像データのその部分に少なくとも対応する時間分解された第二のＯＣＴ画像を確認するステップは、ＯＣＴ信号に基づいて、特に第二のタプルに基づいて且つ表示手段の分解能及び／又はビデオ画像データに基づいて行われる。この実装形態によれば、第一のビデオ画像データ、第二のビデオ画像データ、時間分解された第一のＯＣＴ画像及び時間分解された第二のＯＣＴ画像の表示手段上での立体的な提示は、同じ倍率、同じ視点及び／又は同じステレオ角でさらに行われる。この実装形態による方法により、有利には、表示手段の同じ位置におけるビデオ画像データ及びＯＣＴ画像の立体的な同時又は逐次的提示が可能となる。
【0043】
本開示による方法のさらに好ましい実装形態は、本開示によるシステムのさらに好ましい実施形態に対応し、これらの実施形態と同じ利点を実現する。
【0044】
本開示の別の態様は、好ましくは、前述のような手術用顕微鏡の前述のような制御ユニットによって実行されると、前述のようなシステム又は手術用顕微鏡に、前述のような本発明による方法を実行させるコマンドを含むコンピュータプログラムに関する。コンピュータプログラムは、好ましくは、好ましくは手術用顕微鏡の前述のような制御ユニットによって実行されると、前述のようなシステム又は手術用顕微鏡に、前述のような好ましい実装形態の１つに従って本発明による方法を実行させるコマンドを含む。この場合、本発明によるコンピュータプログラムは、好ましくは、揮発性メモリ、例えばＲＡＭ素子又は不揮発性記憶媒体、例えばＣＤ－ＲＯＭ、フラッシュメモリ若しくはその他に保存される。
【0045】
本発明のさらに好ましい実施形態は、従属請求項に記載された他の特徴及び以下のような図面から明らかになるであろう。本願に記載の本発明の各種の実施形態は、有利には、特に別段の断りがない限り、相互に組み合わされ得る。
【0046】
以下では、下記の関連する図面を参照して本発明を例示的実施形態で説明する。
【図面の簡単な説明】
【0047】
【図1】第一の実施形態によるシステムの概略図を示す。
【図2】第二の実施形態によるシステムの概略図を示す。
【図3】サンプル及び第三の実施形態による表示手段の概略図を示す。
【図4】第四の実施形態による表示手段の概略図を示す。
【図5】第五の実施形態による表示手段の概略図を示す。
【図6】第五の実施形態による表示手段及び医療器具の概略図を示す。
【図7】ある実装形態による方法の概略的フローチャートを示す。
【発明を実施するための形態】
【0048】
図１は、第一の実施形態による、マルチモーダル画像取得及び画像可視化のためのシステム１００の概略図を示す。
【0049】
システム１００は、光学ユニット１１及び画像センサ１２を有するカメラ１９を備える手術用顕微鏡システム１０を含む。カメラは、サンプル１５の選択された撮像視野１４の時間分解画像信号１３を取得するように設計される。カメラ１９は、例えば、サラウンドカメラを追加的に含み得る手術用顕微鏡のメインオブザーバカメラである。同様に、手術用顕微鏡は、ビームスプリッタ１８によって生成される追加のビーム経路を含み得、観察者の目１６によるアイピース１７を通した観察が可能である。サンプル１５は、特に患者の手術部位である。
【0050】
システム１００は、広帯域光源２１、例えばスーパルミネセントダイオードを備えるＯＣＴシステム２０をさらに含む。光源２１からの光は、可動式ミラー２２及びビームスプリッタ２３を含む干渉計に供給される。光は、干渉計内でサンプルビーム２５及び参照ビーム２８に分割される。サンプルビーム２５は、走査ミラー２４によってサンプル１５上で走査され、サンプル１５の撮像視野１４の少なくとも一部が走査される。参照ビーム２８は、可動式ミラー２２に誘導され、それにより再びビームスプリッタ２３に反射される。サンプルビーム２５は、サンプル１５、特にサンプル１５の体積と相互作用し、それにより走査ミラー２４に後方散乱し、それがビームをビームスプリッタ２３に誘導する。後方散乱したサンプルビーム２５及び反射した参照ビーム２８は、そこで重畳され、重畳ビーム２５、２８間の経路差は、可動式ミラー２２によって設定される。このようにして生成された干渉パターン２９は、検出器２６、例えばＣＣＤ検出器又はＣＭＯＳ検出器によって捕捉される。
【0051】
このようにして得られた時間分解ＯＣＴ信号２７は、検出器２６から制御ユニット４０に伝送され、これは、同様に時間分解画像信号１３をカメラ１９から受信する。制御ユニット４０は、取得された画像信号１３に対応するビデオ画像データ３１と、取得された時間分解ＯＣＴ信号２７に対応し、且つビデオ画像データ３１の部分に少なくとも対応するＯＣＴ画像３２とを確認する。制御ユニット４０は、画像データ３１、３２の時間分解表示のために設計された表示手段３０上にビデオ画像データ３１を提示するように構成される。制御ユニットは、ＯＣＴ画像３２を表示手段３０上においてビデオ画像データ３１の少なくとも対応する部分６０の位置に表示するようにさらに設計される。説明のために、図３の画像を参照されたい。
【0052】
図３は、サンプル１５及び第三の実施形態による表示手段３０の概略図を示す。この場合、サンプル１５は、複数の表面要素１５１及び複数の体積要素１５２を含み、特定の体積要素１５２は、特定の表面要素１５１に対応する。表面要素１５１の例示的な選択は、ハッチングで描かれ、複数の体積要素１５２は、破線で描かれ、ハッチングされた表面要素１５１に対応する４つの体積要素１５２は、実線で描かれている。さらに、両方向矢印は、これらの体積要素１５２と、関連する表面要素１５１とを結ぶ。
【0053】
サンプル１５の表面は、特に、前記表面から反射又は後方散乱した長波長（可視）光が光学ユニット１１を介してカメラの画像センサ１２に再び投射されることにより、システム１００の手術用顕微鏡システム１０を用いて捕捉可能である。画像センサ１２によって取得された画像信号１３は、複数の第一のタプル１３３を含み、第一のタプル１３３の数は、例えば、画像センサ１２の分解能から決まる。ここで、第一のタプル１３３の各々は、提示された表面要素１５１の１つに対応し、画像センサ１２に再び投射される光の強度に対応するグレイスケール値ｇｉを有する。さらに、第一のタプル１３３の各々は、サンプル１５（患者）の座標系に関する画像センサ１２のキャリブレーション又は照合に基づいて、２つの横方向空間座標ｘｉ、ｙｉを割り当てられる。図の例において、第一のタプル１３３は、横方向の空間座標ｘ１、ｙ１及びグレイスケール値ｇ１を有する。
【0054】
システム１００のＯＣＴシステム２０は、それにより散乱されるサンプルビーム２５の短波長光が干渉計によって参照ビーム２８に走査ミラーを介して重畳されることにより、サンプル１５の特に体積を取得するために使用され得る。このようにして生成された、検出器２６によって時間分解ＯＣＴ信号２７として捕捉される干渉パターンは、複数の第二のタプル２７１を含み、第二のタプル２７１の数は、例えば、走査ミラー２４を用いて走査されるサンプル１５の点の数によって決まる。この場合、第二のタプル２７１の各々は、提示された体積要素１５２の１つに対応し、散乱強度値ｓｉの値を有する。さらに、第二のタプル２７１の各々は、サンプル１５（患者）の座標系に関するＯＣＴシステム２０のキャリブレーション又は照合に基づいて、３つの空間座標ｘｉ、ｙｉ、ｚｉを割り当てられる。図の例において、第二のタプル２７１は、空間座標ｘ１、ｙ１、ｚ１及び散乱強度値ｓ１を有する。
【0055】
同じく図３に示される表示手段３０は、複数のピクセル３３、特に４２のピクセルを含み、水平方向に７つのピクセル、垂直方向に６つのピクセルを有する。図の例において、画像センサ１２の分解能により、水平方向に７つの表面要素１５１及び垂直方向に３つの表面要素１５１を有する２１の表面要素１５１における画像信号１３により、サンプル表面の取得がなされた。そのため、ビデオ画像データ３１内において、１つのピクセル３３は、水平方向の１つの表面要素１５１に対応し、２つのピクセル３３は、垂直方向の１つの表面要素１５１に対応する。ハッチングを用いて描かれた表面要素１５１に対応するピクセル３３は、同様にハッチングを用いて描かれ、割り当ては、矢印によってさらに示されている。同様に矢印によって描かれているように、システム１００の制御ユニット４０は、表面要素１５１に対応する体積要素１５２の関連するＯＣＴ画像３２も生成し、それぞれのピクセル３３のＯＣＴ画像を、特定の表面要素１５１のビデオ画像データ３１が特定のピクセル３３上に描かれ、表面要素１５１に対応する体積要素１５２のＯＣＴ画像３２も同様に特定のピクセル３３上に描かれるように描いている。その結果、対応するビデオ画像データ３１及びＯＣＴ画像３２は、表示手段３０上の同じ位置に描かれる。
【0056】
図２は、第二の実施形態によるマルチモーダル画像取得及び画像可視化のためのシステム１００の概略図を示す。同じコンポーネントは、図１と同じ参照符号で示され、これらのコンポーネントに関する繰り返しの説明は、簡潔にするために省略される。
【0057】
図２のシステム１００と図１のものとの違いは、手術用顕微鏡システム１０が、第一の光学ユニット１１１及び第一の画像センサ１２１を備える第一のカメラ１９１と、第二の光学ユニット１１２及び第二の画像センサ１２２を備える第二のカメラ１９２とを含むことである。これらのカメラ１９１、１９２の各々は、サンプル１５の撮像視野１４を光軸に沿って取得するために使用され得、その結果、立体画像信号が取得され、これは、第一の画像信号１３１及び第二の画像信号１３２を有する。２つのカメラの光軸ＯＡ１、ＯＡ２間のステレオ角αは、立体画像信号１３１、１３２に基づいて作成された立体ビデオ画像データ３１の奥行き印象又は奥行き認識を画定する。この場合、立体ビデオ画像データ３１１、３１２は、第一の画像信号１３１に対応する第一のビデオ画像データ３１１と、第二の画像信号１３２に対応する第二のビデオ画像データ３１２とを含む。カメラの間隔に加えて、ステレオ角αは、カメラとサンプル１５との間の作動距離に依存する。
【0058】
図２のシステム１００において、時間分解ＯＣＴ信号２７は、図１に関して説明したものと同様に取得される。しかしながら、制御ユニット４０は、ＯＣＴ信号２７を用いて、第一のビデオ画像データ３１１に対応する第一のＯＣＴ画像３２１と、第二のビデオ画像データ３１２に対応する第二のＯＣＴ画像３２２とを確認する。この場合、第一のＯＣＴ画像３２１と第二のＯＣＴ画像３２２とは、例えば、これらが第一及び第二の画像信号１３１、１３２と同じステレオ角αで取得されたかのように生成される。しかしながら、ＯＣＴ画像３２１、３２２のステレオ角は、同様に、インタフェース５０によって取得されユーザ入力に基づいて異なるように設定することもできる。第一及び第二のビデオ画像データ３１１、３１２は、表示手段３０上に第一のＯＣＴ画像及び第二のＯＣＴ画像３２１、３２２と共に同時に又は逐次的に提示され、ＯＣＴ画像３２１、３２２とビデオ画像データ３１１、３１２との間の変化は、例えば、インタフェース５０による入力に基づいて行われる。
【0059】
第四の実施形態による表示手段３０の概略図が図４に示されている。図４（Ａ）は、図３に関して説明したような、表示手段３０のピクセル３３上でのサンプル１５に対応するビデオ画像データの提示を示す。特に、インタフェース５０、例えばフットスイッチによって行われるユーザ入力から、制御ユニット４０は、サンプル１５のビデオ画像データ３１からＯＣＴ画像３２への切り替えが所望されると推測する。このプロセスにおいて、制御ユニット４０は、ビデオ画像データ３１の透明性を連続的に増大させる一方、同時に表示手段３０のビデオ画像データ３１の位置において、透明性が減少するＯＣＴ画像３２を重畳させる。半透明のビデオ画像データ３１と半透明のＯＣＴ画像３２との同時の重ね合わせた提示の中間段階が図４（Ｂ）に示されている。最後に、図４（Ｃ）は、したがって、透明性が０％の、すなわち完全にカバーするＯＣＴ画像３２のみを示す。
【0060】
第五の実施形態による表示手段３０の概略図が図５に示されている。図５（Ａ）は、図３に関して説明した表示手段３０のピクセル３３上でのサンプルに対応するビデオ画像データの提示を示す。特に、インタフェース５０、例えば頭部及び目の動きを検出するセンサによって行われるユーザ入力から、制御ユニット４０は、提示の特定の位置においてサンプル１５のビデオ画像データ３１からＯＣＴ画像３２への切り替えが所望されると推測する。制御ユニット４０は、その結果として、ビデオ画像データ３１の部分６０に対応するＯＣＴ画像３２を確認し、ＯＣＴ画像３２を表示手段３０の部分６０の位置に表示する。このプロセスにおいて、ＯＣＴ画像３２は、最初に「ｅｎ ｆａｃｅ」提示で提示されて、トップビューで捕捉されるビデオ画像データ３１へのシームレスに移行が確実に行われるようにする。インタフェース５０によって行われる別のユーザ入力から、制御ユニット４０は、その後、部分６０のＯＣＴ画像３２の透視的な提示での提示が所望されると推測し、したがってＯＣＴ画像３２の観察方向を変更して、それが、図４（Ｃ）に示されるように透視体積画像として提示されるようにする。したがって、ＯＣＴ画像３２の位置には、それ以上のビデオ画像データ３１が表示されず、この点で、ＯＣＴ画像３２及びビデオ画像データ３１の表示は、逐次的である。しかしながら、ビデオ画像データ３１は、引き続き表示手段３０の、ＯＣＴ画像３２を取り囲む領域に表示され、この点で、画像データ３１、３２の表示は、同時に行われる。
【0061】
第六の実施形態による表示手段３０の概略図が図６に示されている。この場合、システム１００は、図２に示されるように、医療器具７０、特にピンセット７０をさらに含む。図６（Ａ）に示される、ピンセット７０がサンプル１５に近づけられるフェーズでは、開いたピンセット７０及びサンプル１５は、表示手段３０上において、図３に関して説明したようにビデオ画像データ３１の形態で提示される。制御ユニット４０が、センサの数値に基づいて且つ／又はビデオ画像データ３１に基づいて、ピンセット７０が閉じられ、ピンセット７０の先端とサンプル１５の表面との間の垂直距離が所定の限界値Δｚ１以下であることを認識すると直ちに、制御ユニット４０は、サンプル１５及び任意選択的にピンセット７０の表示手段３０上の提示を、図６（Ｂ）に示されるようにビデオ画像データ３１からＯＣＴ画像３２に変更する。図の例において、ピンセット７０は、サンプル１５の表面の一部を持ち上げるか又は除去するために使用される。制御ユニット４０が、センサの数値に基づいて且つ／又はビデオ画像データ３１に基づいて、ピンセット７０が閉じられ、ピンセット７０の先端と、サンプル１５の持ち上げられた又は除去された表面から離れた（例えば、最小値だけ横方向に離間された）サンプル１５の表面との間の垂直距離が所定の限界値Δｚ２以上であることを認識すると直ちに、制御ユニット４０は、ＯＣＴ画像３２の提示の観察方向又は視点を追加的に変化させ、その結果、それは、したがって、図６（Ｃ）に示されるように表示手段３０上に体積画像としての横方向の視点で表示される。このようにして、外科医と手術用顕微鏡とのやり取りは、取得された信号、特に画像信号１３及びＯＣＴ信号２７の有利な提示によって連続的且つ客観的に、ローカルで照合された提示された画像データ、すなわちビデオ画像データ３１若しくはＯＣＴ画像３２の自由選択を通して並びに／又は提示方法、例えば逐次的、同時及び／若しくは透視法の選択を通して改善される。
【0062】
図７は、ある実装形態による方法の概略的なフローチャートを示す。方法は、サンプル１５の選択された撮像視野１４の時間分解画像信号１３を手術用顕微鏡システム１０によって取得する第一の方法ステップＳ１００を含む。この場合、画像信号１３は、サンプル１５の表面要素１５１及びその表面要素１５１に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル１３３を含む。方法の第二のステップＳ２００では、選択された撮像視野１４の時間分解ＯＣＴ信号２７がＯＣＴシステム２０によって取得される。この場合、ＯＣＴ信号２７は、サンプル１５の体積要素１５２及びその体積要素１５２に対応する散乱強度をそれぞれ表す複数の第二のタプル２７１を含む。ステップＳ３００では、ビデオ画像データ３１は、第一のタプル１３３に基づいて、且つ複数のピクセル３３を有する表示手段３０の分解能に基づいて確認され、ビデオ画像データ３１内の特定のピクセル３３は、特定の表面要素１５１に割り当てられる。ステップＳ４００では、時間分解ＯＣＴ画像３２は、第二のタプル２７１に基づいて且つ表示手段３０の分解能及び／又はビデオ画像データ３１に基づいて確認される。これは、図７においてステップＳ４００を指す２つの矢印によって示されているが、矢印の一方のみを実現すればよい。この場合、特定の表面要素１５１に対応する体積要素１５２が特定のピクセル３３に割り当てられ、それにより、ＯＣＴ画像３２は、ビデオ画像データ３１の部分６０に少なくとも対応する。最後に、ステップＳ５００では、ビデオ画像データ３１は、表示手段３０上に提示され、ＯＣＴ画像３２は、表示手段３０の部分６０の位置に提示される。
【符号の説明】
【0063】
１０ 手術用顕微鏡システム
１１ 光学ユニット
１１１ 第一の光学ユニット
１１２ 第二の光学ユニット
１２ 画像センサ
１２１ 第一の画像センサ
１２２ 第二の画像センサ
１３ 時間分解画像信号
１３１ 第一の画像信号
１３２ 第二の画像信号
１３３ 第一のタプル
１４ 撮像視野
１５ サンプル
１５１ 表面要素
１５２ 体積要素
１６ 観察者の目
１７ アイピース
１８ ビームスプリッタ
１９ カメラ
１９１ 第一のカメラ
１９２ 第二のカメラ
ＯＡ１ 第一の光軸
ＯＡ２ 第二の光軸
２０ ＯＣＴシステム
２１ 広帯域光源
２２ 可動式ミラー（干渉計）
２３ ビームスプリッタ（干渉計）
２４ 走査機構（走査ミラー）
２５ サンプルビーム
２６ 検出器
２７ 時間分解ＯＣＴ信号
２７１ 第二のタプル
２８ 参照ビーム
２９ 干渉信号
３０ 表示手段
３１ ビデオ画像データ
３１１ 第一のビデオ画像データ
３１２ 第二のビデオ画像データ
３２ ＯＣＴ画像
３２１ 第一のＯＣＴ画像
３２２ 第二のＯＣＴ画像
３３ ピクセル
４０ 制御ユニット
５０ ユーザインタフェース
６０ 部分
７０ 医療器具
１１ 光学ユニット
１１１ 第一の光学ユニット
１１２ 第二の光学ユニット
１２ 画像センサ
１２１ 第一の画像センサ
１２２ 第二の画像センサ
１３ 時間分解画像信号
１３１ 第一の画像信号
１３２ 第二の画像信号
１３３ 第一のタプル
１４ 撮像視野
１５ サンプル
１５１ 表面要素
１５２ 体積要素
１６ 観察者の目
１７ アイピース
１８ ビームスプリッタ
１９ カメラ
１９１ 第一のカメラ
１９２ 第二のカメラ
ＯＡ１ 第一の光軸
ＯＡ２ 第二の光軸
２０ ＯＣＴシステム
２１ 広帯域光源
２２ 可動式ミラー（干渉計）
２３ ビームスプリッタ（干渉計）
２４ 走査機構（走査ミラー）
２５ サンプルビーム
２６ 検出器
２７ 時間分解ＯＣＴ信号
２７１ 第二のタプル
２８ 参照ビーム
２９ 干渉信号
３０ 表示手段
３１ ビデオ画像データ
３１１ 第一のビデオ画像データ
３１２ 第二のビデオ画像データ
３２ ＯＣＴ画像
３２１ 第一のＯＣＴ画像
３２２ 第二のＯＣＴ画像
３３ ピクセル
４０ 制御ユニット
５０ ユーザインタフェース
６０ 部分
７０ 医療器具
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-08-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マルチモーダル画像取得及び画像可視化の方法であって、
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を手術用顕微鏡システム（１０）によって取得する方法ステップ（Ｓ１００）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び前記表面要素（１５１）に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、方法ステップ（Ｓ１００）、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）をＯＣＴシステム（２０）によって取得する方法ステップ（Ｓ２００）であって、前記ＯＣＴ信号（２７）は、前記サンプル（１５）の体積要素（１５２）及び前記体積要素（１５２）に対応する散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、方法ステップ（Ｓ２００）、
ビデオ画像データ（３１）を、前記第一のタプル（１３３）及び複数のピクセル（３３）を有する表示手段（３０）の分解能に基づいて確認する方法ステップ（Ｓ３００）であって、前記ビデオ画像データ（３１）内の特定のピクセル（３３）は、特定の表面要素（１５１）に割り当てられる、方法ステップ（Ｓ３００）、
時間分解ＯＣＴ画像（３２）を前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて確認する方法ステップ（Ｓ４００）であって、前記特定の表面要素（１５１）に対応する体積要素（１５２）は、前記ＯＣＴ画像（３２）が前記ビデオ画像データ（３１）の部分（６０）に少なくとも対応するように、前記特定のピクセル（３３）に割り当てられる、方法ステップ（Ｓ４００）、
前記ビデオ画像データ（３１）を前記表示手段（３０）上に提示し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示する方法ステップ（Ｓ５００）
を含む方法。
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を手術用顕微鏡システム（１０）によって取得する方法ステップ（Ｓ１００）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び前記表面要素（１５１）に対応する少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、方法ステップ（Ｓ１００）、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）をＯＣＴシステム（２０）によって取得する方法ステップ（Ｓ２００）であって、前記ＯＣＴ信号（２７）は、前記サンプル（１５）の体積要素（１５２）及び前記体積要素（１５２）に対応する散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、方法ステップ（Ｓ２００）、
ビデオ画像データ（３１）を、前記第一のタプル（１３３）及び複数のピクセル（３３）を有する表示手段（３０）の分解能に基づいて確認する方法ステップ（Ｓ３００）であって、前記ビデオ画像データ（３１）内の特定のピクセル（３３）は、特定の表面要素（１５１）に割り当てられる、方法ステップ（Ｓ３００）、
時間分解ＯＣＴ画像（３２）を前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて確認する方法ステップ（Ｓ４００）であって、前記特定の表面要素（１５１）に対応する体積要素（１５２）は、前記ＯＣＴ画像（３２）が前記ビデオ画像データ（３１）の部分（６０）に少なくとも対応するように、前記特定のピクセル（３３）に割り当てられる、方法ステップ（Ｓ４００）、
前記ビデオ画像データ（３１）を前記表示手段（３０）上に提示し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示する方法ステップ（Ｓ５００）
を含む方法。
【請求項2】
前記撮像視野（１４）の時間分解された第一の画像信号（１３１）と、前記撮像視野（１４）の時間分解された第二の画像信号（１３２）とを取得する方法ステップ、
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）と、前記第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）、前記第二のビデオ画像データ（３１２）、前記時間分解された第一のＯＣＴ画像（３２１）及び前記時間分解された第二のＯＣＴ画像（３２２）を前記表示手段（３０）上に同じ倍率、同じ視点及び／又は同じステレオ角αで立体的に提示する方法ステップ
をさらに含む、請求項１に記載の方法。
前記第一の画像信号（１３１）に対応する第一のビデオ画像データ（３１１）と、前記第二の画像信号（１３２）に対応する第二のビデオ画像データ（３１２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）の部分（６０）に少なくとも対応する時間分解された第一のＯＣＴ画像（３２１）と、前記第二のビデオ画像データ（３１２）の前記部分（６０）に少なくとも対応する時間分解された第二のＯＣＴ画像（３２２）とを確認する方法ステップ、
前記第一のビデオ画像データ（３１１）、前記第二のビデオ画像データ（３１２）、前記時間分解された第一のＯＣＴ画像（３２１）及び前記時間分解された第二のＯＣＴ画像（３２２）を前記表示手段（３０）上に同じ倍率、同じ視点及び／又は同じステレオ角αで立体的に提示する方法ステップ
をさらに含む、請求項１に記載の方法。
【請求項3】
前記手術用顕微鏡システム（１０）は、前記撮像視野（１４）の前記時間分解された第一の画像信号（１３１）を取得するための第一の画像センサ（１２１）と、前記撮像視野（１４）の前記時間分解された第二の画像信号（１３２）を取得するための第二の画像センサ（１２２）とを備えるステレオカメラ（１１、１２）を含み、及び前記表示手段（３０）は、立体画像データ（３１、３２）を提示するように設計される、請求項２に記載の方法。
【請求項4】
前記第一のＯＣＴ画像及び前記第二のＯＣＴ画像（３２１、３２２）は、前記表示手段（３０）上において前記部分（６０）の位置に立体的に提示される、請求項２に記載の方法。
【請求項5】
前記画像信号（１３）及びＯＣＴ信号（２７）は、前記ＯＣＴシステム（２０）及び前記手術用顕微鏡システム（１０）の取得パラメータに基づいてローカルで照合され、及び／又はビデオ画像データ（３１）及びＯＣＴ画像（３２）は、画像分析によってローカルで照合される、請求項１に記載の方法。
【請求項6】
前記ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）は、前記表示手段（３０）上に同時に提示される、請求項１に記載の方法。
【請求項7】
前記ビデオ画像データ（３１）は、第一の透明性レベルで提示され、及び前記時間分解ＯＣＴ画像（３２）は、第二の透明性レベルで提示される、請求項６に記載の方法。
【請求項8】
前記ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）は、前記表示手段（３０）上に逐次的に提示される、請求項１に記載の方法。
【請求項9】
前記時間分解ＯＣＴ画像（３２）は、前記提示されたビデオ画像データ（３１）の部分（６０）に対応し、及び前記ＯＣＴ画像（３２）は、前記部分（６０）に提示され、且つ前記ビデオ画像データ（３１）は、前記表示手段（３０）の残りの部分に提示される、請求項１に記載の方法。
【請求項10】
ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）の前記提示の切り替えは、ユーザ入力を取得するためのインタフェース（５０）によって取得されたユーザ入力に基づいて開始される、請求項１に記載の方法。
【請求項11】
マルチモーダル画像取得及び画像可視化のためのシステム（１００）であって、
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を取得するように設計されている、光学ユニット（１１）及び画像センサ（１２）を備える手術用顕微鏡システム（１０）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、手術用顕微鏡システム（１０）と、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）を取得するように設計されたＯＣＴシステム（２０）であって、前記ＯＣＴ信号２７は、前記サンプル（１５）の体積要素（１５２）及び散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、ＯＣＴシステム（２０）と、
複数のピクセル（３３）を有する、画像データ（３１、３２）の時間分解表示のために設計された表示手段（３０）と、
制御ユニット（４０）であって、
前記取得された画像信号（１３）に対応するビデオ画像データ（３１）を確認し、且つそれを前記表示手段（３０）上に提示することであって、前記ビデオ画像データ（３１）は、前記第一のタプル（１３３）及び前記表示手段（３０）の分解能に基づいて、特定のピクセル（３３）が特定の表面要素（１５１）を表示するような方法で確認される、確認及び提示すること、
前記提示されたビデオ画像データ（３１）の部分（６０）に少なくとも対応する時間分解ＯＣＴ画像（３２）を、前記取得されたＯＣＴ信号（２７）に基づいて確認し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示することであって、前記ＯＣＴ画像（３２）は、前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて、前記特定の表面要素（１５１）に対応する体積要素（１５２）が前記特定のピクセル（３３）上に提示されるような方法で確認される、確認及び提示すること
を行うように構成される制御ユニット（４０）と
を含むシステム（１００）。
サンプル（１５）の選択された撮像視野（１４）の時間分解画像信号（１３）を取得するように設計されている、光学ユニット（１１）及び画像センサ（１２）を備える手術用顕微鏡システム（１０）であって、前記画像信号（１３）は、前記サンプル（１５）の表面要素（１５１）及び少なくとも１つのグレイスケール値をそれぞれ表す複数の第一のタプル（１３３）を含む、手術用顕微鏡システム（１０）と、
前記選択された撮像視野（１４）の時間分解ＯＣＴ信号（２７）を取得するように設計されたＯＣＴシステム（２０）であって、前記ＯＣＴ信号２７は、前記サンプル（１５）の体積要素（１５２）及び散乱強度をそれぞれ表す複数の第二のタプル（２７１）を含む、ＯＣＴシステム（２０）と、
複数のピクセル（３３）を有する、画像データ（３１、３２）の時間分解表示のために設計された表示手段（３０）と、
制御ユニット（４０）であって、
前記取得された画像信号（１３）に対応するビデオ画像データ（３１）を確認し、且つそれを前記表示手段（３０）上に提示することであって、前記ビデオ画像データ（３１）は、前記第一のタプル（１３３）及び前記表示手段（３０）の分解能に基づいて、特定のピクセル（３３）が特定の表面要素（１５１）を表示するような方法で確認される、確認及び提示すること、
前記提示されたビデオ画像データ（３１）の部分（６０）に少なくとも対応する時間分解ＯＣＴ画像（３２）を、前記取得されたＯＣＴ信号（２７）に基づいて確認し、且つ前記ＯＣＴ画像（３２）を前記表示手段（３０）上において前記部分（６０）の位置に提示することであって、前記ＯＣＴ画像（３２）は、前記第二のタプル（２７１）並びに前記表示手段（３０）の前記分解能及び／又は前記ビデオ画像データ（３１）に基づいて、前記特定の表面要素（１５１）に対応する体積要素（１５２）が前記特定のピクセル（３３）上に提示されるような方法で確認される、確認及び提示すること
を行うように構成される制御ユニット（４０）と
を含むシステム（１００）。
【請求項12】
医療器具（７０）をさらに含み、前記制御ユニット（４０）は、前記医療器具（７０）の位置、種類及び／又は状態を確認し、且つ前記医療器具（７０）の前記位置、前記種類及び／又は前記状態に基づいて、ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）の前記提示の切り替えを開始するように構成される、請求項１１に記載のシステム（１００）。
【請求項13】
前記制御ユニット（４０）は、前記手術用顕微鏡システム（１０）のズームレベルを確認し、且つ／又は行われている手術のフェーズを確認し、並びに前記ズームレベル及び／又は前記フェーズに基づいて、ビデオ画像データ（３１）及び前記時間分解ＯＣＴ画像（３２）の前記提示の変更を開始するように構成される、請求項１１に記載のシステム（１００）。
【請求項14】
請求項１１～１３の何れか一項に記載のシステムの制御ユニットによって実行されると、請求項１１～１３の何れか一項に記載のシステムに、請求項１～１０の何れか一項に記載の方法を実行させるコマンドを含むコンピュータプログラム。
【外国語明細書】