IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドの特許一覧

特表2025-500364光学イメージングシステムおよび対応する方法
<>
  • 特表-光学イメージングシステムおよび対応する方法 図1a
  • 特表-光学イメージングシステムおよび対応する方法 図1b
  • 特表-光学イメージングシステムおよび対応する方法 図1c
  • 特表-光学イメージングシステムおよび対応する方法 図2
  • 特表-光学イメージングシステムおよび対応する方法 図3
  • 特表-光学イメージングシステムおよび対応する方法 図4
  • 特表-光学イメージングシステムおよび対応する方法 図5
  • 特表-光学イメージングシステムおよび対応する方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-09
(54)【発明の名称】光学イメージングシステムおよび対応する方法
(51)【国際特許分類】
   G02B 21/00 20060101AFI20241226BHJP
   G02B 21/06 20060101ALI20241226BHJP
   G01N 21/64 20060101ALI20241226BHJP
   A61B 1/00 20060101ALI20241226BHJP
【FI】
G02B21/00
G02B21/06
G01N21/64 E
A61B1/00 521
A61B1/00 731
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024537445
(86)(22)【出願日】2022-12-16
(85)【翻訳文提出日】2024-07-29
(86)【国際出願番号】 EP2022086358
(87)【国際公開番号】W WO2023117759
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】102021133997.9
(32)【優先日】2021-12-21
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】516114695
【氏名又は名称】ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッド
【氏名又は名称原語表記】Leica Instruments (Singapore) Pte. Ltd.
【住所又は居所原語表記】15 Tukang Innovation Drive, Singapore 618299, Singapore
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ゲオルゲ テメリス
【テーマコード(参考)】
2G043
2H052
4C161
【Fターム(参考)】
2G043AA03
2G043BA16
2G043EA01
2G043FA02
2G043HA09
2G043JA03
2G043KA02
2G043KA07
2G043LA03
2H052AA01
2H052AA09
2H052AA13
2H052AB19
2H052AB30
2H052AC10
2H052AC14
2H052AF01
2H052AF14
2H052AF21
2H052AF25
4C161CC06
4C161LL08
4C161PP11
4C161QQ07
4C161RR13
4C161WW04
(57)【要約】
例は、光学イメージングシステム(100)、例えば顕微鏡システム(100)および対応する方法に関する。光学イメージングシステム(100)は、第1の光学イメージングセンサ(122)および第2の光学イメージングセンサ(124)を有し、対象物(10)のイメージングに適した光学イメージングコンポーネント(120)を備える。光学イメージングシステム(100)は、偏光を有する光を対象物へ向けて放出する照明システム(130)を備える。光学イメージングシステム(100)は、偏光を有する光が第1の光学イメージングセンサに達することを阻止するように構成された偏光フィルタ(140)を備える。光学イメージングシステム(100)は、第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、第2の光学イメージングセンサから第2のイメージングセンサデータを取得し、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビューを形成するように構成された処理システム(110)を備える。
【特許請求の範囲】
【請求項1】
光学イメージングシステム(100;300;400;500;600)であって、前記光学イメージングシステム(100;300;400;500;600)は、
第1の光学イメージングセンサ(122)および第2の光学イメージングセンサ(124)を含み、対象物(10)のイメージングに適した光学イメージングコンポーネント(120;610)と、
偏光を有する光を前記対象物へ向けて放出する照明システム(130)と、
前記偏光を有する光が前記第1の光学イメージングセンサに達することを阻止するように構成された偏光フィルタ(140)と、
1つまたは複数のプロセッサ(114)および1つまたは複数のストレージデバイス(116)を備える処理システム(110;620)と、
を備え、前記処理システムは、
前記第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、前記第2の光学イメージングセンサから第2のイメージングセンサデータを取得し、
前記第1のイメージングセンサデータおよび前記第2のイメージングセンサデータに基づいて合成ビューを形成する、
ように構成されている、
光学イメージングシステム。
【請求項2】
前記偏光フィルタは、前記照明システムによって放出された光の鏡面反射が前記第1のイメージングセンサデータにおける前記対象物の表現から除外されるように、前記偏光を有する光をフィルタリング除去するように構成されている、
請求項1記載の光学イメージングシステム。
【請求項3】
前記第2のイメージングセンサデータは、前記照明システムによって放出され、前記対象物によって反射された光の鏡面反射の表現を含む、
請求項1または2記載の光学イメージングシステム。
【請求項4】
前記処理システムは、前記第2のイメージングセンサデータに基づいて別の鏡面反射の表現を形成し、前記別の鏡面反射の表現を前記第1のイメージングセンサデータに含まれる前記対象物の表現と組み合わせるように構成されている、
請求項3記載の光学イメージングシステム。
【請求項5】
前記照明システムは、第1の波長スペクトルの光を放出するように構成された第1の光源(132)と、第2の波長スペクトルの光を放出するように構成された第2の光源(134)と、を備え、
前記第1の光学イメージングセンサは、前記第1の波長スペクトルの光をセンシングするように構成されており、前記第2の光学イメージングセンサは、前記第2の波長スペクトルの光をセンシングするように構成されており、前記第1の波長スペクトルは、前記第2の波長スペクトルとは重複しない、
請求項1から4までのいずれか1項記載の光学イメージングシステム。
【請求項6】
前記照明システムは、前記第1の波長スペクトルで放出された光が前記偏光を有するよう、前記第1の光源によって放出された光をフィルタリングするように構成された偏光フィルタを備え、
前記第2の光源は、偏光フィルタなしで前記照明システムに含まれている、
請求項5記載の光学イメージングシステム。
【請求項7】
前記第2の光学イメージングセンサは、相互に分離された2つ以上の波長帯域の光を個々にセンシングするように構成されており、
前記照明システムは、2つ以上の異なる方向から前記対象物へ向けて2つ以上の波長帯域の光を放出するように構成された、空間的に分離された2つ以上の光源(132;134)を備える、
請求項1から6までのいずれか1項記載の光学イメージングシステム。
【請求項8】
前記第2のイメージングセンサデータは、前記照明システムによって放出され、前記対象物によって反射された光の鏡面反射の表現を含み、
前記処理システムは、前記相互に分離された2つ以上の波長帯域のそれぞれについて、前記第2のイメージングセンサデータに基づいて、それぞれの前記波長帯域で放出された光の鏡面反射の別個の別の表現を形成し、前記合成ビューにおいて、得られた鏡面反射の2つ以上の別の表現を前記第1のイメージングセンサデータに含まれる前記対象物の表現と組み合わせるように構成されている、
請求項7記載の光学イメージングシステム。
【請求項9】
前記処理システムは、前記合成ビューにおいて前記2つ以上の別の表現の寄与度を変化させることにより、前記合成ビューにおいて前記鏡面反射をアニメーション化するように構成されている、
請求項8記載の光学イメージングシステム。
【請求項10】
前記処理システムは、それぞれの光が放出される方向に基づいて、前記合成ビューにおいて前記2つ以上の別の表現の寄与度を変化させることにより、前記合成ビューにおいて前記鏡面反射をアニメーション化するように構成されている、
請求項8または9記載の光学イメージングシステム。
【請求項11】
前記光学イメージングコンポーネントは、前記第1のイメージングセンサデータを形成するように構成された2つの第1の光学イメージングセンサと、前記第2のイメージングセンサデータを形成するように構成された2つの第2の光学イメージングセンサと、を備える立体光学イメージングコンポーネント、例えば実体顕微鏡であり、
前記処理システムは、前記相互に分離された2つ以上の波長帯域のそれぞれについて、さらに前記2つの第2の光学イメージングセンサのそれぞれに対して、前記鏡面反射の別個の別の表現を形成するように構成されている、
請求項8から10までのいずれか1項記載の光学イメージングシステム。
【請求項12】
前記光学イメージングシステムは、前記偏光を有する光を前記第2の光学イメージングセンサに受け入れるように構成された第2の偏光フィルタ(150)をさらに備える、
請求項1から11までのいずれか1項記載の光学イメージングシステム。
【請求項13】
前記第2の光学イメージングセンサは、偏光フィルタなしで前記光学イメージングコンポーネントに含まれており、
前記処理システムは、鏡面反射によって生じた前記第2のイメージングセンサデータのピクセルの飽和に基づいて、前記第2のイメージングセンサデータに示される鏡面反射の表現を形成するように構成されている、
請求項1から12までのいずれか1項記載の光学イメージングシステム。
【請求項14】
前記処理システムは、第1の動作モードにおいて前記合成ビューを形成し、第2の動作モードにおいて反射イメージングおよび蛍光イメージングに基づく第2の合成ビューを形成するように構成されており、
前記処理システムは、前記第2の動作モードにおいて、前記第1の光学イメージングセンサを使用して反射イメージングを実行し、前記第2の光学イメージングセンサを使用して蛍光イメージングを実行するように構成されている、
請求項1から13までのいずれか1項記載の光学イメージングシステム。
【請求項15】
前記処理システムは、前記光学イメージングシステムのディスプレイ装置(160)のための、前記合成ビューに基づく表示信号を形成するように構成されている、
請求項1から14までのいずれか1項記載の光学イメージングシステム。
【請求項16】
前記光学イメージングシステムは、顕微鏡システム、例えば手術用顕微鏡システムである、
請求項1から15までのいずれか1項記載の光学イメージングシステム。
【請求項17】
光学イメージングシステムのための方法であって、前記方法は、
偏光を有する光を対象物へ向けて放出するステップ(210)と、
前記対象物をイメージングするために使用される光学イメージングコンポーネントの第1の光学イメージングセンサに、前記偏光を有する光が達することを阻止するステップ(220)と、
前記第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、前記光学イメージングコンポーネントの第2の光学イメージングセンサから第2のイメージングセンサデータを取得するステップ(230)と、
前記第1のイメージングセンサデータおよび前記第2のイメージングセンサデータに基づいて合成ビューを形成するステップ(240)と、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
実施例は、顕微鏡システム等の光学イメージングシステムおよび対応する方法に関し、より具体的には、光学イメージングにおける鏡面反射に対処するためのコンセプトに関するが、これに限定されない。
【背景技術】
【0002】
医療用光学イメージングでは、鏡面反射を有する領域が画像に含まれることが極めて多い。鏡面反射はしばしば極めて強くセンサを飽和させるため、色等の他の情報を隠してしまう。鏡面反射は、直線偏光子によって光学的に簡単に除去することができるが、反射面や無光沢面等の表面の特性および高さや凹み等の立体構造を理解するために人間の脳によって利用されるため、このアプローチは理想的でないと考えられている。
【0003】
理想的には、鏡面反射ありの画像と鏡面反射なしの画像との双方を同時に取得することで、例えば鏡面反射を色情報の上に強度を抑えて可視化する等、可視化される情報のフレキシビリティを許容することができる。しかし、鏡面反射ありの画像と鏡面反射なしの画像との2つの画像を個々に同時に取得するには、より複雑な光学部品が必要となる。典型的には、ビームスプリッタと偏光子とを備えた追加のイメージングセンサが必要となりうる。これにより、サイズ、複雑さおよびコストが増大する。最新のイメージングセンサでは偏光解消を加えたカラーイメージングが可能であるが、解像度およびコストが犠牲となる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
医用画像における鏡面反射に対処するための改良されたコンセプトが要望されうる。
【課題を解決するための手段】
【0005】
こうした要望は、各独立請求項の主題によって解決される。
【0006】
本開示のさまざまな例は、既存のハードウェア、例えば蛍光イメージングに使用される光学イメージングセンサを、鏡面反射の捕捉のために再利用することができ、メインの光学イメージングセンサを、イメージングされる対象物を鏡面反射なしで画像取得するために使用する、という発見に基づく。蛍光イメージングに使用されるようなマルチスペクトルイメージングカメラの場合、一般的に、すべてのイメージングモードにおいて使用されるわけではないが、複数のセンサが採用される。例えば、蛍光カメラは、(蛍光イメージングを実行しない)白色光モードにおいて使用されない。提案のコンセプトの1つの実現形態は、鏡面反射画像を取得するために蛍光イメージングカメラを利用することである。偏光フィルタを使用してそれぞれのセンサに入射する光を制御し、これにより、メインセンサによって捕捉される光に鏡面反射がなく、蛍光カメラによって捕捉される光に鏡面反射が含まれるようにされる。したがって、実施例では、例えば蛍光イメージングハードウェアを使用して、鏡面反射(すなわちグレア)を独立して捕捉するための改良されたアプローチを提供し、鏡面反射ありの画像および鏡面反射なしの画像を取得する代替的でより効率的な方法を提供する。
【0007】
本開示のさまざまな例は、(外科用)顕微鏡システム等の光学イメージングシステムに関する。光学イメージングシステムは第1の光学イメージングセンサおよび第2の光学イメージングセンサを備えており、対象物のイメージングに適した顕微鏡等の光学イメージングコンポーネントを備えている。光学イメージングシステムは、偏光を有する光を対象物へ向けて放出する照明システムを備えている。光学イメージングシステムは、偏光を有する光が第1の光学イメージングセンサに達することを阻止するように構成された偏光フィルタを備えている。システムは、1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備える処理システムを備えている。処理システムは、第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、第2の光学イメージングセンサから第2のイメージングセンサデータを取得するように構成されている。処理システムは、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビューを形成するように構成されている。第1の光学イメージングセンサからの偏光を有する光をフィルタリングすることにより、第1のイメージングセンサデータから鏡面反射を除去することができる。しかし、これらの鏡面反射は、第2のイメージングセンサデータに含まれており、第2のイメージングセンサデータに基づいて、強度を抑えながらも合成ビューに含めることができるため、光学イメージングコンポーネントのユーザーは、鏡面反射によって対象物の細部のビューが妨げられることなく、鏡面反射から直感的に導出される対象物の立体的な印象を得ることができる。
【0008】
一般に、偏光フィルタは、照明システムによって放出された光の鏡面反射が、第1のイメージングセンサデータにおける対象物の表現から除外されるように、偏光を有する光をフィルタリング除去するように構成可能である。第2のイメージングセンサデータは、対照的に、照明システムによって放出され、対象物によって反射された光の鏡面反射の表現を含むことができる。したがって、第1のイメージングセンサデータを、試料の極めて詳細なビューを提供するために使用することができ、その上に、第2のイメージングセンサデータに基づいて、トーンダウンされた鏡面反射を追加することができる。
【0009】
例えば、処理システムは、第2のイメージングセンサデータに基づいて別の鏡面反射の表現を形成し、別の鏡面反射の表現を第1のイメージングセンサデータに含まれる対象物の表現と組み合わせるように構成可能である。実際に、光学イメージングコンポーネントのユーザーは、鏡面反射によって対象物の詳細のビューが妨げられることなく、鏡面反射から直感的に導出される対象物の立体的な印象を得ることが可能となりうる。
【0010】
いくつかの例では、(波長スペクトルが重複しない)別個の光源が、第1の光学イメージングセンサおよび第2の光学イメージングセンサによってセンシングされる光を形成するために使用可能である。例えば、照明システムは、第1の波長スペクトルの光を放出するように構成された第1の光源と、第2の波長スペクトルの光を放出するように構成された第2の光源と、を備えることができる。第1の光学イメージングセンサは、第1の波長スペクトルの光をセンシングするように構成可能であり、第2の光学イメージングセンサは、第2の波長スペクトルの光をセンシングするように構成可能である。例えば、第1の波長スペクトルは第2の波長スペクトルと重複していなくてよい。当該アプローチは、スペクトル帯域を使用して異なる偏光を有する光を分離するため、スペクトル的に多重化された偏光イメージングと表現することができる。このようにして、第2の光源と第2の光学イメージングセンサとの双方を偏光フィルタなしで動作させることができる。したがって、照明システムは、第1の波長スペクトルで放出された光が偏光を有するよう、第1の光源によって放出された光をフィルタリングするように構成された偏光フィルタを備えることができる。第2の光源は、偏光フィルタなしで照明システムに含めることができる。
【0011】
鏡面反射は、イメージングされる対象物の立体的な印象を得ることにとって有用である。こうした印象は、異なる角度から放出された光によって生じた空間反射を収集することによって向上させることができる。特に、異なる波長帯域の光は異なる角度から放出可能であり、第2の光学イメージングセンサによって別々にセンシング可能である。したがって、第2の光学イメージングセンサは、相互に分離された2つ以上の波長帯域の光を個々にセンシングするように構成可能である。照明システムは、2つ以上の異なる方向から対象物へ向けて2つ以上の波長帯域の光を放出するように構成された、空間的に分離された2つ以上の光源を備えることができる。異なる方向から放出された光に基づく鏡面反射を区別することにより、合成ビューに追加の鏡面反射を含めることができ、または異なる角度から放出された光によって生じる鏡面反射のアニメーションを合成ビューに含めることができる。
【0012】
例えば、上記にて概説したように、第2のイメージングセンサデータは、照明システムによって放出され、対象物によって反射された光の鏡面反射の表現を含むことができる。処理システムは、相互に分離された2つ以上の波長帯域のそれぞれについて、第2のイメージングセンサデータに基づいて、それぞれの波長帯域で放出された光の鏡面反射の別個の別の表現を形成し、合成ビューにおいて、得られた鏡面反射の2つ以上の別の表現を第1のイメージングセンサデータに含まれる対象物の表現と組み合わせるように構成可能である。これにより、鏡面反射から直感的に導出される対象物の立体的な印象に、さらなる空間情報が追加可能となる。
【0013】
ユーザーを圧倒しないよう、異なる方向から放出された光によって生じる鏡面反射が同時に表示されないようにすることができる。このことに代えて、異なる方向から放出された光によって生じる鏡面反射を連続的に示すアニメーションを示すこともできる。例えば、処理システムは、合成ビューにおいて2つ以上の別の表現の寄与度を変化させることにより、合成ビューにおいて鏡面反射をアニメーション化するように構成可能である。特に、処理システムは、それぞれの光が放出される方向に基づいて、合成ビューにおいて2つ以上の別の表現の寄与度を変化させることにより、鏡面反射を合成ビューにおいてアニメーション化するように構成可能である。例えば、鏡面反射を引き起こす光が対象物の周囲を等速で円運動するような印象をユーザーに与えるようなアニメーションを提供することができる。
【0014】
一般に、第2の光学イメージングセンサによって分離できる波長帯域の数は、例えば3個から6個の波長帯域に制限されうる。さらに多くの角度からの鏡面反射を集めるために、光学イメージングコンポーネントが立体光学イメージングコンポーネント、例えば実体顕微鏡である場合、2つのステレオチャンネルの第2の光学イメージングセンサを、合成ビューに使用する鏡面反射をセンシングするために双方とも別々に使用することができる。したがって、光学イメージングコンポーネントは、第1のイメージングセンサデータを形成するように構成された2つの第1の光学イメージングセンサと、第2のイメージングセンサデータを形成するように構成された2つの第2の光学イメージングセンサと、を備えた立体光学イメージングコンポーネントであってよい。処理システムは、相互に分離された2つ以上の波長帯域のそれぞれについて、さらに2つの第2の光学イメージングセンサのそれぞれに対して、鏡面反射の別個の別の表現を形成するように構成可能である。
【0015】
いくつかの例では、光学イメージングシステムは、偏光を有する光を第2の光学イメージングセンサに受け入れるように構成された第2の偏光フィルタを備える。このようにして、第2の光学イメージングセンサは主に鏡面反射をセンシングすることができ、鏡面反射の表現を形成することを容易にすることができる。
【0016】
代替的に、第2の光学イメージングセンサは、偏光フィルタなしで光学イメージングコンポーネントに含めることができる。この場合、処理システムは、鏡面反射によって生じた第2のイメージングセンサデータのピクセルの飽和に基づいて、第2のイメージングセンサデータに示される鏡面反射の表現を形成するように構成可能である。鏡面反射は画像を飽和させる傾向があるため、第2のイメージングセンサデータの飽和領域は、鏡面反射によって生じたとみなすことができる。
【0017】
提案のコンセプトは、特に、反射イメージングと蛍光イメージングのための別個の光学イメージングセンサを備えうる外科用顕微鏡システムに適用可能である。換言すれば、光学イメージングシステムは、手術用顕微鏡システムであってよい。したがって、光学イメージングセンサのうちの1つ、例えば、蛍光イメージングに使用するセンサまたは反射イメージングに使用するセンサを鏡面反射のセンシングに使用することができる。例えば、処理システムは、第1の動作モードにおいて合成ビューを形成し、第2の動作モードにおいて反射イメージングおよび蛍光イメージングに基づく第2の合成ビューを形成するように構成可能である。処理システムは、第2の動作モードにおいて、第1の光学イメージングセンサを使用して反射イメージングを実行し、第2の光学イメージングセンサを使用して蛍光イメージングを実行するように構成可能である。このようにして、手術用顕微鏡システムは、提案のコンセプトを実行するために、少ない労力で後付けまたは適合させることができる。
【0018】
合成ビューは、光学イメージングシステムのユーザー、例えば手術用顕微鏡システムを使用する外科医がディスプレイ装置を介して、例えば接眼レンズディスプレイまたは光学イメージングシステムのスタンドに取り付けられた大画面ディスプレイを介して対象物を観察するために使用されうる。したがって、処理システムは、光学イメージングシステムのディスプレイ装置のための、合成ビューに基づく表示信号を形成するように構成されている。
【0019】
本開示のさまざまな例は、対応する光学イメージングシステムのための方法に関する。方法は、偏光を有する光を対象物へ向けて放出することを含む。方法は、対象物をイメージングするために使用される光学イメージングコンポーネントの第1の光学イメージングセンサに偏光を有する光が達することを阻止することを含む。方法は、第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、光学イメージングコンポーネントの第2の光学イメージングセンサから第2のイメージングセンサデータを取得することを含む。方法は、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビューを形成することを含む。
【0020】
以下では、添付図を参照しながら、装置および/または方法のいくつかの例を例としてのみ説明する。
【図面の簡単な説明】
【0021】
図1a】光学イメージングシステムの例を示す概略図である。
図1b】手術用顕微鏡システムの例を示す概略図である。
図1c】2つの別個の光源を有する光学イメージングシステムの例を示す概略図である。
図2】光学イメージングシステムのための方法の例を示すフローチャートである。
図3】1つの光源を有する光学イメージングシステムの別の例を示す概略図である。
図4】2つの光源を有する光学イメージングシステムの別の例を示す概略図である。
図5】離間した3つの光源を有する手術用顕微鏡システムを示す概略図である。
図6】顕微鏡とコンピュータシステムとを備えるシステムを示す概略図である。
【発明を実施するための形態】
【0022】
以下に、いくつかの例を図示する添付図面を参照して、さまざまな実施例をより詳細に説明する。図において、線、層および/または領域の厚みは、明確性のために誇張したところがある。
【0023】
図1aには、光学イメージングシステム100の例、例えば顕微鏡システム100の概略図が示されている。図1aから図1cには、顕微鏡等の光学イメージングコンポーネント120と、光学イメージングコンポーネントと共に動作する追加部品と、を備えるシステムである、光学イメージングシステムの例が示される。換言すれば、光学イメージングシステムは、光学イメージングコンポーネントと、(光学イメージングコンポーネントのイメージングセンサデータを処理するように適合されたコンピュータシステムである)処理システム110および(光学イメージングコンポーネントによってイメージングされる対象物を照明するために使用される)照明システム130等の1つまたは複数の追加部品と、を備えたシステムである。
【0024】
以下では、光学イメージングシステムを顕微鏡システム、すなわち、顕微鏡と1つまたは複数の追加部品とを備えるシステムとして例示する。しかし、光学イメージングシステムは、別の種類の光学イメージングシステム、例えば、内視鏡または手術用カメラ等の医用画像システム、または立体カメラ、(白色光用と赤外線用との別個の光学イメージングセンサを有する)マルチセンサスマートフォンカメラシステム、マルチセンサドローンカメラ、マルチセンサ監視カメラ等の別の種類の一般の光学イメージングシステムであってよい。
【0025】
一般的に、顕微鏡、例えば光学イメージングコンポーネント120は、肉眼(のみ)で検査するには小さすぎる対象物を検査することに適した光学機器である。例えば、顕微鏡は、図1aから図1cに示されている試料10等の試料の光学拡大像を提供することができる。最新の顕微鏡では、光学拡大像は、多くの場合カメラに、またはイメージングセンサ、例えば図1aおよび図1cに示されている顕微鏡120の第1の光学イメージングセンサ122および第2の光学イメージングセンサ124に提供される。光学イメージングコンポーネント120はさらに、試料のビューを拡大するために使用される1つまたは複数の光学拡大コンポーネント、例えば対物レンズ(すなわちレンズ)を備えることができる。
【0026】
光学イメージングコンポーネント120は、(少なくとも)第1の光学イメージングセンサ122および第2の光学イメージングセンサ124を備える。光学イメージングコンポーネント120は、上述した対象物10のイメージングに適している。光学イメージングシステムはさらに、偏光を有する光を対象物へ向けて放出する照明システム130を備えている。光学イメージングシステムは、偏光を有する光が第1の光学イメージングセンサに達することを阻止するように構成された偏光フィルタ140を備えている。
【0027】
光学イメージングシステム100はさらに、1つまたは複数のプロセッサ114と1つまたは複数のストレージデバイス116とを備えた上述した処理システム110を備えている。任意選択手段として、処理システムはさらに、1つまたは複数のインタフェース112を備える。1つまたは複数のプロセッサ114は、1つまたは複数のストレージデバイス116および任意選択手段としての1つまたは複数のインタフェース112に結合されている。一般的に、処理システムの機能は、(例えば、光学イメージングコンポーネントの光学イメージングセンサおよび/または光学イメージングシステムのディスプレイ装置と情報を交換するための)1つもしくは複数のインタフェースおよび/または(情報を記憶するかつ/または取得する)1つもしくは複数の記憶デバイスと連携して、1つまたは複数のプロセッサによって提供される。処理システム110は、第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、第2の光学イメージングセンサから第2のイメージングセンサデータを取得するように構成されている。処理システム110はさらに、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビューを形成するように構成されている。
【0028】
顕微鏡には、さまざまな異なる種類のものがある。顕微鏡を医学分野または生物学分野で使用する場合、顕微鏡を通して観察される対象物10は、例えば、シャーレ内に配置されたまたは患者の身体の一部に存在する有機組織の試料でありうる。例えば、図1bにおいて、光学イメージングコンポーネント120は、手術用顕微鏡システムの顕微鏡、すなわち、腫瘍外科処置等の外科処置中または腫瘍手術中に使用する顕微鏡である。したがって、光学イメージングシステム100は手術用顕微鏡システム100であってよい。このようなシステムが例えば図1bに示されている。したがって、光学イメージングコンポーネントを通して観察され、画像データに示される対象物は患者の有機組織の試料であり、特に、外科処置中に外科医が手術する手術部位でありうる。
【0029】
図1bには、顕微鏡120と、処理システム110と、照明システム130と、偏光フィルタ(図示せず)と、を備えた手術用顕微鏡システム100の例の概略図が示されている。図1bに示されている手術用顕微鏡システム100は、(システム110を備える)(移動式)スタンド付きベースユニット105、顕微鏡120に配置された接眼レンズディスプレイ160、ベースユニットに配置された補助ディスプレイ160、顕微鏡120を所定の位置に保持し、ベースユニット105および顕微鏡120に結合されるいくつかの任意選択手段としての部品、例えば(ロボットまたは手動)アーム170を備えている。本出願の文脈では、(光学部品を備えた)実際の顕微鏡の一部ではないが、処理システム110、ディスプレイ160および照明システム130等、顕微鏡と共に使用されるシステムの部分をカバーするために、「(手術用)顕微鏡システム」なる用語を使用する。
【0030】
提案のコンセプトは、(光の入射角と反射角とが等しい表面での反射である)鏡面反射には顕微鏡検査における利点および欠点があるという洞察に基づく。一方で、鏡面反射はイメージングセンサデータを飽和させることがあり、したがって、デジタルビューワにおける試料のビューを阻止する可能性がある。他方で、鏡面反射は、光学イメージングシステムのユーザーに試料の直感的な立体的な印象を与えることにとって有用である。これは、このような対象物のさまざまな角度でどのような反射が生じるかを、ユーザーがその生活を通して学んできているためである。
【0031】
一般に、偏光を、使用する光学イメージングセンサからの(正に)その偏光を有する光を阻止するフィルタと組み合わせて使用することにより、試料のデジタルビューから鏡面反射を完全に除去することができる。この場合、光学イメージングセンサによって捕捉される光は拡散反射に対応し、鏡面反射は除去されている。しかし、このようなビューは、ユーザーに対象物の立体的な印象を与える視覚的な手がかりを欠くため、(例えば、外科処置中に)対象物とのユーザーの相互作用が直感的でなくなる可能性がある。
【0032】
提案のコンセプトでは、こうした制限がデジタル画像処理を使用して克服される。鏡面反射なしのデータ(すなわち第1のイメージングセンサデータ)と、鏡面反射を含むデータ(すなわち第2のイメージングセンサデータ)と、の2組のイメージングセンサデータが形成される。これらは、試料のビューを鏡面反射が阻止することを避けながら、効果の立体的な印象をユーザーが知覚できる十分な手がかりを追加する方法で、合成ビューにおいて組み合わされる。提案の光学イメージングシステムでは、この目的のために、2つのコンポーネントセット、すなわち、照明システム130、フィルタ140(または、以下に示すフィルタ)および光学イメージングコンポーネントの光学イメージングセンサ122;124を備える第1のセットと、処理システム110を備える第2のセットと、を使用する。第1のセットは、偏光を形成し、2つの別個の光学イメージングセンサを使用して偏光を異なるように記録する(第1の光学イメージングセンサが、偏光を有する光の記録を阻止される)ために使用される。第2のセットは、光学イメージングセンサによって形成されたイメージングセンサデータを処理し、合成ビューを形成するために使用される。
【0033】
照明システム130は、偏光を有する光を対象物へ向けて放出するために使用される。例えば、照明システム130は、対象物10へ向けて光を放出するように構成された、(図1cに示されている)1つまたは複数の光源132;134を備えることができる。加えて、照明システムは、1つまたは複数の光源のうちの少なくとも1つによって放出された光を(偏光が対象物10へ向かって放出されるように)偏光させるように構成可能な、(図3および図4に示されている)1つまたは複数の偏光フィルタ136を備えることができる。例えば、1つまたは複数の偏光フィルタが少なくとも1つの光源から分離されていてもよいし、または少なくとも1つの光源に含まれていてもよく、または光源が実質的に偏光を放出するように設計されていてもよい。
【0034】
提案の光学イメージングシステムに偏光フィルタを含めるためのさまざまな任意選択手段がある。例えば、少なくとも2つの偏光フィルタを使用することができる。すなわち、少なくとも1つの光源と対象物との間に照明偏光フィルタを配置することができ、対象物と第1の光学イメージングセンサ122との間に偏光フィルタ140を配置することができる。任意選択手段として、対象物と第2の光学イメージングセンサとの間に第2の偏光フィルタ150を配置することもできる。一般に、照明偏光フィルタは、偏光を有する光(のみ)を通過させるように構成可能である。偏光フィルタ140は、鏡面反射が第1の光学イメージングセンサに達することを阻止する(拡散反射が第1の光学イメージングセンサによって記録される)ように、偏光を有する光を阻止するように構成可能である。換言すれば、偏光フィルタ140は、照明システムによって放出された光の鏡面反射が、第1のイメージングセンサデータにおける対象物の表現から除外されるように、偏光を有する光をフィルタリング除去するように構成可能である。これは、照明偏光フィルタの偏光(方向)と垂直な偏光(方向)を有する偏光フィルタによって達成されうる。任意選択手段としての第2の偏光フィルタは、偏光を有する光(のみ)が第2の光学イメージングセンサに入射するように、偏光を有する光を通過させるように構成可能である。したがって、光学イメージングシステムは、偏光を有する光を第2の光学イメージングセンサに受け入れるように構成された第2の偏光フィルタ150を備えることができる。例えば、第2の偏光フィルタは、照明偏光フィルタと同じ偏光(方向)を有することができる。
【0035】
代替的に、第2の光学イメージングセンサは、偏光フィルタなしで光学イメージングコンポーネントに含めることができる。換言すれば、第2の光学イメージングセンサは、任意の偏光の光が第2の光学イメージングセンサに達するように、光学イメージングシステムに含めることができる。この場合、(図1cおよび図4に関連して示されているように)異なる波長帯域を使用することにより、またはデジタル画像処理により、鏡面反射を隔てることができる。後者の場合、処理システムは、鏡面反射によって生じた第2のイメージングセンサデータのピクセルの飽和に基づいて、第2のイメージングセンサデータに示される鏡面反射の表現を形成するように構成可能である。例えば、処理システムは、強度閾値を超える光強度をセンシングしたピクセルから鏡面反射の表現を形成するように構成可能である。
【0036】
(第1の光学イメージングセンサによってセンシングされる波長で)複数の画像源を使用する場合、複数の光源と対象物との間に複数の照明偏光フィルタ(図4に示されている136)を配置することができる。
【0037】
上記にて概説したように、提案の光学イメージングシステムは、手術用顕微鏡システム、すなわち、手術中に使用される顕微鏡システムでありうる。多くの手術用顕微鏡システムは、複数の光学イメージングセンサを使用し、光学イメージングセンサのうちの少なくとも1つは、反射イメージングに使用され、光学イメージングセンサのうちの少なくとも他の1つは、蛍光イメージングに使用される。蛍光イメージングでは、蛍光体の蛍光励起波長帯域と一致する波長を有する光が、光学イメージングコンポーネントを通して観察される対象物へ向かって放出される。蛍光体は、特許の血管または組織に注入される化学薬剤であってよく、蛍光励起波長帯域の光によって励起され、蛍光発光波長帯域の光を放出し、この光は、蛍光イメージングに使用する少なくとも1つの光学イメージングセンサによってセンシングされる。多くの場合、手術用顕微鏡システムは、蛍光体の限られた選択肢をサポートし、蛍光イメージングに使用する1つまたは複数の光学イメージングセンサは、蛍光体の選択肢の蛍光発光波長に調整される。手術中、(「自然な」色で手術部位を示す)反射画像と(擬似色オーバーレイとしての)蛍光画像とは、外科医が観察できるさらなる合成ビューにおいて組み合わせることができる。したがって、処理システムは、第1の動作モード(すなわち、鏡面反射の影響の低減に適した動作モード)において合成ビューを形成し、第2の動作モード(反射イメージングと蛍光イメージングとを組み合わせたモード)において反射イメージングおよび蛍光イメージングに基づく第2の合成ビューを形成するように構成されている。
【0038】
反射イメージング中、ここでの光学イメージングセンサは使用されないこともある。提案のコンセプトでは、蛍光イメージングに通常使用される光学イメージングセンサを鏡面反射の記録に再利用することができる。したがって、処理システムは、第2の動作モードにおいて、反射イメージングを実行するために第1の光学イメージングセンサを使用し、蛍光イメージングを実行するために第2の光学イメージングセンサを使用するように構成可能である。換言すれば、第1の光学イメージングセンサを全般的に光学イメージングシステムにおける反射イメージングに使用し、第2の光学イメージングセンサを全般的に光学イメージングシステムにおける蛍光イメージングに使用することができる。結果として、第2の光学イメージングセンサは、例えば、第2の光学イメージングセンサと対象物との間に配置されるバンドパスフィルタにより、限定されたスペクトル(すなわち、蛍光発光波長帯域)をセンシングするように、例えばセンシングのみを限定して行うように構成可能である。
【0039】
処理システム110は、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビュー(または複数の合成ビュー)を形成するために使用される。上記にて概説したように、少なくとも第1のイメージングモードにおいて、第1のイメージングセンサデータは、鏡面反射なしの(すなわち、鏡面反射が偏光フィルタ140によって除去された)対象物の表現を含み、第2のイメージングセンサデータは、照明システムによって放出され、対象物によって反射された光の鏡面反射の表現を含む。「合成ビュー」なる用語が示しているように、第1のイメージングセンサデータと第2のイメージングセンサデータとは、組み合わされて合成ビューを形成する。しかし、いくつかの例では、組み合わせは単純なものでなくてもよく、すなわち、第1のイメージングセンサデータと第2のイメージングセンサデータとは単なる重ね合わせでなくてよい。代わりに、第2のイメージングセンサデータは、別の鏡面反射の表現を形成するように、処理システムによって処理可能である。換言すれば、処理システムは、第2のイメージングセンサデータに基づいて別の鏡面反射の表現を形成し、別の鏡面反射の表現を第1のイメージングセンサデータに含まれる対象物の表現と組み合わせるように構成可能である。例えば、処理システムは、例えば、第2のイメージングセンサデータに表されている、第2の光学イメージングセンサのピクセルによって測定された光の強度に基づいて、または鏡面反射を形成するために使用される波長スペクトル(例えば、図1c参照)に基づく第2のイメージングセンサデータの一部を使用することにより、第2のイメージングセンサデータに示されている鏡面反射を分離するように構成可能である。例えば、処理システムは、鏡面反射の別の表現の形成において、第2のイメージングセンサデータのうち拡散反射によって生じる部分を除去するように構成可能である。当該別の表現は、合成ビューを形成するために、第1のイメージングセンサデータに含まれる対象物の表現と組み合わせることができる。例えば、処理システムは、合成ビューを形成するために、別の表現を第1のイメージングセンサデータに含まれる対象物の表現と重ね合わせる、結合する、またはスーパーインポーズするように構成可能である。例えば、鏡面反射が偏光フィルタ140なしで第1の光学イメージングセンサによって記録された場合、合成ビューにおける別の表現の視認性を鏡面反射の視認性に対して低減することができる。
【0040】
合成ビューは、光学イメージングシステムのユーザー、例えば外科医によって観察されうる。この目的のために、当該合成ビューは、光学イメージングシステムのディスプレイ、例えば補助ディスプレイまたは接眼レンズディスプレイ160に供給可能である。したがって、処理システムは、光学イメージングシステムのディスプレイ装置160のための、合成ビューに基づく表示信号を形成するように構成されている。例えば、表示信号は、ディスプレイ装置160を駆動する(例えば制御する)ための信号であってよい。例えば、表示信号は、ビデオデータおよび/またはディスプレイを駆動するための制御命令を含んでもよい。例えば、表示信号は、システムの1つまたは複数のインタフェース112のうちの1つを介して供給可能である。したがって、システム110は、光学イメージングシステム100のディスプレイ160へのビデオ信号の供給に適したビデオインタフェース112を備えることができる。
【0041】
以下に、波長スペクトルが異なる(少なくとも)2つの別個の光源を使用する、提案のコンセプトの例を示す。図1cには、2つの別個の光源を有する光学イメージングシステムの例の概略図が示されている。図1cに示されているように、照明システムは、第1の波長スペクトルの光を放出するように構成された第1の光源132と、第2の波長スペクトルの光を放出するように構成された第2の光源134と、を備えることができる。例えば、第1の波長スペクトルは第2の波長スペクトルと重複していなくてよい。例えば、照明システムは、第1の光源132によって放出された光を第1の波長スペクトルに制限し、第2の光源134によって放出された光を第2の波長スペクトルに制限するように構成されたバンドパスフィルタを備えることができる。代替的に、発光スペクトルは、使用する光源によって制限可能である。特に、第2の光源は、第2の波長スペクトルの1つまたは複数の波長帯域で光を放出するように構成された1つまたは複数の発光ダイオードを備えることができる。広帯域白色光源(例えば、発光ダイオードまたはハロゲン光源)を適切なバンドパスフィルタと結合して、第1の光源として使用することができる。
【0042】
図4には、第1の波長スペクトルおよび第2の波長スペクトルの例が示されており、第1の光源132によって放出される第1の波長スペクトル410は、第2の光源134によって放出される第2の波長スペクトル420と重複しない。例えば、図4に示されているように、第1の波長スペクトルは、第2の波長スペクトルによってカバーされる可視光スペクトルの一部(蛍光発光波長帯域に対応しうる)を除く可視光スペクトルをカバーすることができる。例えば、第2の光学イメージングセンサを全般的に蛍光イメージングに使用する例に戻ると、第2の波長スペクトルは、少なくとも1つの蛍光発光波長帯域を含みうる(またはこれに対応しうる)。例えば、第1の波長スペクトルは、少なくとも2つの波長帯域を含むことができ、第2の波長スペクトルの波長帯域は第1の波長スペクトルの波長帯域の間に挟まれる(すなわちこれらの間に位置する)。例えば、第1の波長スペクトルの最小波長は第2の波長スペクトルの最小波長よりも小さく、第1の波長スペクトルの最大波長は第2の波長スペクトルの最大波長よりも大きいものとなりうる。第1の光学イメージングセンサは、第1の波長スペクトルの光をセンシングするように構成可能であり、第2の光学イメージングセンサは、第2の波長スペクトルの光をセンシングするように構成可能である。例えば、光学イメージングコンポーネントは、第1の光学イメージングセンサに入射する光を第1の波長スペクトルに制限するバンドパスフィルタおよび第2の光学イメージングセンサに入射する光を第2の波長スペクトルに制限するバンドパスフィルタを備えることができる。代替的に(または付加的に)、光学イメージングコンポーネントは、光を第1の波長スペクトルと第2の波長スペクトルとに分離する、対象物と光学イメージングセンサとの間に配置される2色性または多色性のビームスプリッタを備えていてもよい。
【0043】
第1の光学イメージングセンサと第2の光学イメージングセンサとで異なる波長スペクトルを使用することにより、第2の光源と第2の光学イメージングセンサとの双方を偏光フィルタなしで動作させることができる。これは、第2の光源によって放出された光が、第1の光学イメージングセンサによってセンシングされないためである。したがって、第1の光源のみを偏光フィルタと共に動作させればよく、偏光フィルタ(すなわち、照明偏光フィルタ)を備える照明システムは、第1の波長スペクトルで放出された光が偏光を有するよう、第1の光源によって放出された光をフィルタリングするように構成される。第2の光源は、偏光フィルタなしで照明システムに含めることができ、すなわち、偏光フィルタは対象物と第2の光源との間の光路に存在しなくてよい。
【0044】
一般に、第1の光源の光と第2の光源の光とは双方とも同じ角度から対象物に達することができる(すなわち、2つの光源の2つの照明ビームが結合される)。換言すれば、第1の光源が放出する光と第2の光源が放出する光とは、同じ方向から対象物へ配向することができる。
【0045】
他のいくつかの例では、図1cおよび図4に示されているように、2つの光源の光は異なる角度から達することができ、このことは、光源を空間的に分離することによって達成可能である。この場合、センシングされる鏡面反射の量を増大させるために、2つの別個の波長スペクトルの使用を拡張することができる。例えば、第1の光学イメージングセンサは、鏡面反射なしの白色光画像を形成するために使用可能である。第2の光学イメージングセンサは、1つまたは複数の帯域において鏡面反射ありの画像を取得するために使用可能である。例えば、以下に示すように、鏡面反射は、空間的に分離された2つ以上の光源によって放出された光に基づいて、2つ以上の波長帯域でセンシング可能である。第2の光学イメージングセンサは、(例えば、第2の波長スペクトルの)相互に分離された2つ以上の波長帯域の光を個々にセンシングするように構成可能である。したがって、照明システムは、2つ以上の異なる方向から対象物へ向けて2つ以上の波長帯域の光を放出するように構成された、空間的に分離された2つ以上の光源を備えることができる。例えば、照明システムは、(第1の波長スペクトルの光を放出するように構成された)第1の光源と、(第2の波長スペクトルの2つ以上の波長帯域の光を放出するように構成された)空間的に分離された2つ以上の第2の光源と、を備えることができる。例えば、照明システムは、相互に分離された2つ以上の波長帯域のそれぞれについて、相互に離間した別個の光源を備えることができる。例えば、空間的に分離された2つ以上の光源が少なくとも2.5cm(または少なくとも5cm、または少なくとも10cm)離間している場合、光源は空間的に分離しているまたは離間しているとみなすことができる。例えば、図5には、顕微鏡の対物レンズ510の周囲に配置された3つの別個の光源(発光ダイオード)520;530;540を有する例が示されている。例えば、光源が顕微鏡の対物レンズの周囲、例えば対物レンズの外周に規則的(または不規則)に配置されている場合、空間的に分離された2つ以上の光源を空間的に分離させることができる。
【0046】
2つ以上の光源の空間的分離は、合成ビューに含まれうる鏡面情報の量を増大させるために使用可能である。鏡面反射の角度は入射角度に等しいため、光が異なる方向から放出される場合、第2の光学イメージングセンサによって異なる鏡面反射をセンシングすることができる。第2のイメージングセンサデータは、照明システムによって放出され、対象物によって反射された光の鏡面反射の表現を含みうる。例えば、第2のイメージングセンサデータは、2つ以上の波長帯域で放出された光の鏡面反射の2つ以上の表現を(同時にまたは連続して)含みうる。基本的な実現形態では、空間的に分離された2つ以上の光源によって生じた鏡面反射は、合成ビューに使用する単一の別の表現において組み合わせることができる。しかし、立体視の有用性をさらに向上させるために、異なる方向から放出される光の鏡面反射を交互に示して、対象物が異なる角度から照明されているような印象をユーザー/外科医に与え、対象物の立体構造を強調することができる。例えば、処理システムは、相互に分離された2つ以上の波長帯域のそれぞれについて、第2のイメージングセンサデータに基づいて、それぞれの波長帯域で放出された光の鏡面反射の別個の別の表現を形成し、合成ビューにおいて、得られた鏡面反射の2つ以上の別の表現を第1のイメージングセンサデータに含まれる対象物の表現と組み合わせるように構成可能である。
【0047】
鏡面反射の別個の2つ以上の別の表現を形成することにより、合成ビューに鏡面反射を含めることに関してさらなる自由度が提供される。繰り返しになるが、単純な実現形態では、2つ以上の別の表現を組み合わせて合成ビューに同時に表示することができる。代替的に、2つ以上の別の表現は、合成ビューに交互に含めることができる。特に、処理システムは、合成ビューにおいて2つ以上の別の表現の寄与度を変化させることにより、合成ビューにおいて鏡面反射をアニメーション化するように構成可能である。例えば、処理システムは、別の表現のうちの1つの寄与度を連続的に減少させると同時に、別の表現のうちの別のものの寄与度を増大させる(2つの別の表現の間の緩やかな遷移を作り出す)ことにより、2つ以上の別の表現の寄与度を変化させるように構成可能である。ここでのアニメーションは、鏡面反射を引き起こす光源の位置、すなわち、鏡面反射を引き起こす光の方向を考慮することにより、より直感的にすることができる。例えば、処理システムは、それぞれの光が放出される方向に基づいて、合成ビューにおいて2つ以上の別の表現の寄与度を変化させることにより、合成ビューにおいて鏡面反射をアニメーション化するように構成可能である。例えば、デジタル画像処理によって、鏡面反射を引き起こす光が対象物の周囲を(例えば、円運動で)「移動する」印象を形成するように寄与度を変化させることができる。例えば、図5に示されているように、空間的に分離された2つ以上の光源が顕微鏡の対物レンズの外周に一定の間隔で配置されている場合、外周で鏡面反射を引き起こす光源の順序にしたがって、別の表現の寄与度を変化させることができる。例えば、光が光源520から光源530へ向かって反時計回りに外周を移動する印象を与えるために、(第1のイメージングセンサデータに基づく対象物の表現とは別に)光源530の光に基づく別の表現(のみ)が合成ビューに含まれるまで、光源520の光に基づく別の表現の寄与度を徐々に減少させ、光源530の光に基づく別の表現の寄与度を徐々に増大させることができる。光が光源540へ向かってさらに「移動」するにつれて、(第1のイメージングセンサデータに基づく対象物の表現とは別に)光源540の光に基づく別の表現(のみ)が合成ビューに含まれるまで、光源530の光に基づく別の表現の寄与度を徐々に減少させ、光源540の光に基づく別の表現の寄与度を徐々に増大させることができる。光源520に戻るために、(第1のイメージングセンサデータに基づく対象物の表現とは別に)光源520の光に基づく別の表現(のみ)が合成ビューに含まれるまで、光源540の光に基づく別の表現の寄与度を徐々に減少させ、光源520の光に基づく別の表現の寄与度を徐々に増大させることができる。ここでのコンセプトは、より多くの光源(また、以下に示すように、より多くの光学イメージングセンサ)へと拡張することができる。
【0048】
一般に、手術用顕微鏡システム(他の顕微鏡システムも同様)に使用する顕微鏡は、光学イメージングコンポーネントが2つの第1の光学イメージングセンサおよび2つの第2の光学イメージングセンサを備えうるような実体顕微鏡(より一般的には立体光学イメージングコンポーネント)とすることができ、すなわち、例えば別個の光学イメージングセンサを介して、試料の2つの別個のビューを接眼レンズに提供することができる。例えば、光学イメージングコンポーネントは、第1のイメージングセンサデータを形成するように構成された2つの第1の光学イメージングセンサと、第2のイメージングセンサデータを形成するように構成された2つの第2の光学イメージングセンサと、を備えた立体イメージングコンポーネント、例えば実体顕微鏡であってよい。(試料のビューの立体的な印象にさらに寄与するために)2つのわずかに異なるビューが形成されるため、こうした追加の空間的変化を鏡面反射のさらに多数の表現を形成するために使用することができる。換言すれば、処理システムは、相互に分離された2つ以上の波長帯域のそれぞれについて、また2つの第2の光学イメージングセンサのそれぞれに対して、鏡面反射の別個の別の表現を形成するように構成可能である。別の表現は、例えば、より滑らかなアニメーションを形成するために、合成ビューの形成において使用可能である。例えば、処理システムは、例えば、それぞれの光が放出される方向に基づいて、また別の表現がいずれの第2の光学イメージングセンサに基づくかに基づいて、合成ビューにおいて別の表現の寄与度を変化させることにより、合成ビューにおいて鏡面反射をアニメーション化するように構成可能である。
【0049】
提案の光学イメージングシステムにおいて、第1のイメージングセンサデータおよび第2のイメージングセンサデータを供給するために、光学イメージングセンサが使用される。したがって、(2つの)第1のイメージングセンサ122および第2の光学イメージングセンサ124は、それぞれ第1のイメージングセンサデータおよび第2のイメージングセンサデータを形成するように構成される。例えば、第2の光学イメージングセンサを第1の光学イメージングセンサよりも高いフレームレートで動作させることができる。これは、鏡面反射が本質的に高い強度を特徴とするため、センサの露光時間が、拡散反射画像を取得するセンサよりも少なくて済むためである。例えば、光学イメージングコンポーネント120の光学イメージングセンサ122;124は、APS(能動ピクセルセンサ)ベースまたはCCD(電荷結合素子)ベースのイメージングセンサ122;124を備えていてよく、またはこれらであってよい。例えば、APSベースのイメージングセンサでは、ピクセルの光検出器およびアクティブ増幅器を使用して各ピクセルで光が記録される。APSベースのイメージングセンサはしばしば、CMOS(相補型金属酸化物半導体)またはS-CMOS(サイエンティフィックCMOS)技術に基づく。CCDベースのイメージングセンサでは、入射光子が半導体-酸化物界面において電子電荷へ変換され、続いて、イメージングを実行するために、イメージングセンサの回路によってイメージングセンサ内の容量性ビン間を移動される。処理システム110は、それぞれの光学イメージングセンサからそれぞれのイメージングセンサデータを取得する(すなわち、受信するまたは読み出す)ように構成可能である。それぞれのイメージングセンサデータは、それぞれの光学イメージングセンサから(例えば、インタフェース112を介して)イメージングセンサデータを受信することにより、それぞれの光学イメージングセンサのメモリから(例えばインタフェース112を介して)それぞれのイメージングセンサデータを読み出すことにより、または例えばイメージングセンサデータがそれぞれの光学イメージングセンサもしくは別のシステムもしくはプロセッサによってストレージデバイス116に書き込まれた後に、システム110のストレージデバイス116からイメージングセンサデータを読み出すことにより、取得可能となる。図1a、図1c、図3および図4に示されているように、光学イメージングコンポーネントは、対象物によって反射されたまたは放出された光を第1の光学イメージングセンサおよび第2の光学イメージングセンサへ配向して導くビームスプリッタを備えることができる。
【0050】
システム110の1つまたは複数のインタフェース112は、モジュール内、モジュール間、または異なる存在物のモジュール間で、指定されたコードによるデジタル(ビット)値でありうる情報を受信するかつ/または送信するための1つまたは複数の入力および/または出力に対応可能である。例えば、1つまたは複数のインタフェース112は、情報を受信するかつ/または送信するように構成されたインタフェース回路を備えることができる。システム110の1つまたは複数のプロセッサ114は、1つまたは複数の処理ユニット、1つまたは複数の処理デバイス、プロセッサ、コンピュータ、または適切に適応化されたソフトウェアによって動作可能なプログラミング可能なハードウェアコンポーネント等の任意の処理手段を使用して実装可能である。換言すれば、1つまたは複数のプロセッサ114の説明された機能は、1つまたは複数のプログラミング可能なハードウェアコンポーネント上で実行されるソフトウェアに同様に実装可能である。このようなハードウェアコンポーネントは、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、マイクロコントローラ等を備えることができる。システム110の1つまたは複数のストレージデバイス116は、磁気記憶媒体または光学記憶媒体、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ(RAM)、プログラマブル読み出し専用メモリ(PROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、電子的に消去可能なプログラマブル読み出し専用メモリ(EEPROM)またはネットワークストレージ等のコンピュータ読取可能な記憶媒体のグループのうちの少なくとも1つの要素を備えることができる。
【0051】
光学イメージングシステムのさらなる詳細および態様は、提案のコンセプト、または上述したもしくは下述の1つもしくは複数の(例えば図2から図6の)例に関連して言及される。光学イメージングシステムは、提案のコンセプトの1つもしくは複数の態様、または上述したもしくは下述の1つもしくは複数の例に対応する、1つまたは複数の追加の任意選択手段としての特徴を備えることができる。
【0052】
図2には、対応する光学イメージングシステムのための方法の例のフローチャートが示されている。方法は、偏光を有する光を対象物へ向けて放出すること210を含む。方法は、対象物をイメージングするために使用される光学イメージングコンポーネントの第1の光学イメージングセンサに偏光を有する光が達することを阻止すること220を含む。方法は、第1の光学イメージングセンサから第1のイメージングセンサデータを取得し、光学イメージングコンポーネントの第2の光学イメージングセンサから第2のイメージングセンサデータを取得すること230を含む。方法は、第1のイメージングセンサデータおよび第2のイメージングセンサデータに基づいて合成ビューを形成すること240を含む。
【0053】
例えば、方法は、図1aから図1cのうちの1つに関連して紹介した光学イメージングシステムによって実行可能である。図1aから図1cの光学イメージングシステムに関連して紹介した特徴は、対応する方法に同様に含まれていてよい。
【0054】
光学イメージングシステムのための方法のさらなる詳細および態様は、提案のコンセプト、または上述したもしくは下述の1つもしくは複数の(例えば、図1aから図1c、図3から図6の)例に関連して言及される。光学イメージングシステムのための方法は、提案のコンセプトの1つもしくは複数の態様、または上述したもしくは下述の1つもしくは複数の例に対応する、1つまたは複数の追加の任意選択手段としての特徴を含んでもよい。
【0055】
提案のコンセプトは、照明とセンサのうちの1つ(以下ではセンサ1と表記される;白色光センサ、例えば第1の光学イメージングセンサでありうる)とが、垂直な向きを有する直線偏光子を使用することで、取得された画像に鏡面反射が含まれないようにする、という動作方式に基づく。蛍光イメージングを実行する場合、第2のセンサ(以下ではセンサ2と表記される;例えば第2の光学イメージングセンサ)の感度帯域が照明されないため、検出された光が蛍光発光に基づくことが既知である。提案のコンセプトでは、照明がセンサ2の感度帯域もカバーするため、センサ2が反射を捕捉する。2次センサ(センサ2)は、任意選択手段として、画像に強い鏡面反射が含まれるように、照明偏光子と平行な直線偏光子で覆われる。一般に、光が、対象物表面で反射され、材料の特性によって吸収されるように材料と相互作用しないため、鏡面反射は色情報を含まない。したがって、反射を(例えばモノクロ画像として)捕捉するには、蛍光イメージングに使用するような単一波長または狭いスペクトル帯域で十分である。
【0056】
図3には、提案のコンセプト、すなわち、1つの光源を有する顕微鏡システム等の光学イメージングシステムの例の概略図が示されている。図3には、偏光フィルタ136と結合された照明光源132を有する手術用顕微鏡(システム)300が示されている。手術用顕微鏡300は、図1aから図1cに示す光学イメージングシステムと同様に実現されている。手術用顕微鏡は、それぞれの偏光フィルタ140;150と結合される2つのセンサ(センサ1 122およびセンサ2 124)を備える。第2のセンサ124と結合された偏光フィルタ150の偏光は、照明光源132と結合された偏光フィルタ136の偏光に対応し、また第1のセンサ122と結合された偏光フィルタ140によって採用された偏光と直交する。手術用顕微鏡はさらに、第1のセンサおよび第2のセンサに光を配向するビームスプリッタを備えている。図3にはさらに、照明光源132によって供給される光310、第1のセンサ122によって捕捉される光320および第2のセンサによって捕捉される光330のそれぞれのスペクトルが示されている。図3の右側に示したグラフにおいて、x軸は波長を示しており、y軸は強度を示している。照明光源のスペクトル310は、それぞれのセンサによって捕捉された光の重複していないスペクトル320;330をカバーし、第2のセンサによって捕捉された波長帯域330は、第1のセンサによって捕捉された波長帯域320によって両側を挟まれている。
【0057】
図4に示されている代替的な照明構成では、第1の照明光源132の照明は、白色光センサが検出するスペクトル帯域410のみを含む。図4には、図1aから図1cおよび/または図3に示されている手術用顕微鏡システムと同様に実現された、2つの光源を有する手術用顕微鏡(システム)400の提案のコンセプトの別の例の概略図が示されている。2次センサのスペクトル帯域420の光は、別個の光源134、例えばLEDによって供給される。図4において、2次センサ124と第2の光源134は、対応する偏光フィルタ150;136(すなわち同じ偏光を有する偏光フィルタ)と共に示され、第1のセンサ122と第1の光源132も同様に、対応する偏光フィルタ140;136と共に示される。しかし、第2の光源および/または第2のセンサは鏡面反射を作り出すセンサ1によっては検出されないため、偏光子を採用する必要がない。
【0058】
第2のセンサ124がマルチスペクトルである、すなわち、2つ以上のスペクトル帯域の光を検出できる場合、複数の別個の光源(例えば、複数のLED)を使用することができ、各光源は、2次センサの検出帯域とスペクトル的に揃えられる。それぞれの2次光源を異なる照明角度で配置することにより、異なる角度から作り出される鏡面反射を同時に捕捉することができる。図5には、複数の蛍光発光帯域の光を捕捉することのできる既存の手術用顕微鏡のハードウェアに適合された、提案のコンセプトの簡単な実現形態が示されている。図5には、図1aから図1c、図3および/または図4に関連して示す手術用顕微鏡と同様に実装されうる、3つの光源を有する手術用顕微鏡500の例の概略図が示されている。図5には、手術用顕微鏡500の側面図および底面図が示されている。底面図には、対物レンズ510と、3つの発光ダイオード(LED)520(400nm帯の蛍光イメージングに使用する630nmのLED)、530(530nmの励起周波数を有する蛍光体による蛍光イメージングに使用する530nmのLED)、540(830nmの励起周波数を有する蛍光体による蛍光イメージングに使用する830nmのLED)と、が示される。3つのLEDは、対物レンズの周囲の異なる位置で配置され、異なる照明角度をもたらす。蛍光イメージングハードウェアは、3つの異なる照明角度で拡散反射と鏡面反射とを同時に捕捉するために使用される。
【0059】
同時に捕捉される鏡面反射の角度の数は、システムが白色光画像と並行して捕捉することのできるスペクトル帯域の数によって制限される。しかし、鏡面反射を捕捉する2次センサを、より高いフレームレートで動作させることができる。これは、鏡面反射が本質的に高い強度を特徴とするため、拡散反射画像(標準的な白色光イメージングにおいて典型的に取得される画像)を取得するセンサよりもセンサの露光時間が少なくて済むためである。したがって、1つの白色光画像の露光時間内にすべてが点灯するように、グループで順次に点灯する複数の2次光源セットを使用することが可能である。
【0060】
このようなシステムで取得された白色光画像と例えば30個の複数の鏡面反射画像とからなるデータは、イメージングされた対象物が特定の角度(30個の角度のうちの1つ)から照明されているように可視化するために使用可能であり、これにより、ユーザーは、対象物表面の3D構造の最適な強調を得ることができる。これは、オフラインで行うことができ、外科医は、鏡面反射の所望の量および角度で組織を検査することができる。
【0061】
鏡面反射はまた、組織表面の3D構造を計算するために使用することもできる。これは、画像中に見られる各反射により、当該点における対象物表面が照明および観察のジオメトリ角に対して特定の角度を有することが示されているからである。
【0062】
提案の光学イメージングシステムのさらなる詳細および態様は、提案のコンセプト、または上述したもしくは下述の1つもしくは複数の(例えば、図1aから図2図6の)例に関連して言及される。光学イメージングシステムは、提案のコンセプトの1つもしくは複数の態様、または上述したもしくは下述の1つもしくは複数の例に対応する、1つまたは複数の追加の任意選択手段としての特徴を備えることができる。
【0063】
いくつかの実施形態は、図1から図5のうちの1つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図1から図5のうちの1つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図1から図5のうちの1つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図6は本明細書に記載された方法を実行するように構成されたシステム600の概略図を示している。システム600は、顕微鏡610(図1aから図5に関連して紹介した顕微鏡120に対応しうる)と、コンピュータシステム620(図1aから図1cに関連して紹介した処理システム110に対応しうる)と、を備える。顕微鏡610は、イメージングするように構成されており、かつコンピュータシステム620に接続されている。コンピュータシステム620は、本明細書に記載された方法の少なくとも一部を実行するように構成されている。コンピュータシステム620は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム620と顕微鏡610は別個の存在物であってもよいが、1つの共通のハウジング内に一体化されていてもよい。コンピュータシステム620は、顕微鏡610の中央処理システムの一部であってもよく、かつ/またはコンピュータシステム620は、顕微鏡610のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡610の従属部品の一部であってもよい。
【0064】
コンピュータシステム620は、1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス(例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話)であってもよく、または分散コンピュータシステム(例えば、ローカルクライアントおよび/または1つまたは複数のリモートサーバファームおよび/またはデータセンター等のさまざまな場所に分散されている1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム)であってもよい。コンピュータシステム620は、任意の回路または回路の組み合わせを含んでいてもよい。1つの実施形態では、コンピュータシステム620は、任意の種類のものとすることができる、1つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品(例えばカメラ)のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ(DSP)、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム620に含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路(ASIC)等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される1つまたは複数の回路(通信回路等)等である。コンピュータシステム620は、ランダムアクセスメモリ(RAM)の形態のメインメモリ等の特定の用途に適した1つまたは複数の記憶素子を含みうる1つまたは複数のストレージデバイス、1つまたは複数のハードドライブおよび/またはコンパクトディスク(CD)、フラッシュメモリカード、デジタルビデオディスク(DVD)等のリムーバブルメディアを扱う1つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム620はディスプレイ装置、1つまたは複数のスピーカーおよびキーボードおよび/またはマウス、トラックボール、タッチスクリーン、音声認識装置を含みうるコントローラ、またはシステムのユーザーがコンピュータシステム620に情報を入力することおよびコンピュータシステム620から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。
【0065】
ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
【0066】
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されうる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実行するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
【0067】
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実行されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
【0068】
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実行するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
【0069】
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを含んでいる。
【0070】
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実行するためのプログラムコードを有するコンピュータプログラムである。
【0071】
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実行するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
【0072】
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
【0073】
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実行するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
【0074】
別の実施形態は、本明細書に記載のいずれかの方法を実行するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
【0075】
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
【0076】
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用可能である。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実行するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実行される。
【0077】
本明細書で使用されるように、用語「および/または(かつ/または)」は、関連する記載項目のうちの1つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「/」として略記されることがある。
【0078】
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。
【符号の説明】
【0079】
10 対象物
100 光学イメージングシステム、(手術用)顕微鏡システム
105 スタンド
110 処理システム
112 1つまたは複数のインタフェース
114 1つまたは複数のプロセッサ
116 1つまたは複数のストレージデバイス
120 光学イメージングコンポーネント、顕微鏡
122 第1の光学イメージングセンサ
124 第2の光学イメージングセンサ
130 照明システム
132 第1の光源
134 第2の光源
136,140,150 偏光フィルタ
160 ディスプレイ
170 アーム
210 偏光を有する光を対象物へ向けて放出する
220 偏光を有する光を阻止する
230 第1のイメージングセンサデータおよび第2のイメージングセンサデータを取得する
240 合成ビューを形成する
300 手術用顕微鏡システム
310 照明源によって供給された光のスペクトル
320 第1のセンサによって捕捉された光のスペクトル
330 第2のセンサによって捕捉された光のスペクトル
400 手術用顕微鏡システム
410 第1のセンサのスペクトル帯域
420 第2のセンサのスペクトル帯域
500 手術用顕微鏡
510 対物レンズ
520,530,540 光源
600 システム
610 顕微鏡
620 コンピュータシステム
図1a
図1b
図1c
図2
図3
図4
図5
図6
【国際調査報告】