特開 2024-122932 蛍光顕微鏡法におけるライフタイムベースのアンミキシングのためのプロセッサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122932

(43)【公開日】2024-09-09

(54)【発明の名称】蛍光顕微鏡法におけるライフタイムベースのアンミキシングのためのプロセッサ

(51)【国際特許分類】

   G02B 21/00 20060101AFI20240902BHJP

【ＦＩ】

G02B21/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024028227

(22)【出願日】2024-02-28

(31)【優先権主張番号】23159128

(32)【優先日】2023-02-28

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ルイス アルヴァレツ

(72)【発明者】

【氏名】フランク ヘヒト

(72)【発明者】

【氏名】ユリア ロベルティ

(72)【発明者】

【氏名】ジュリア オッサート

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AA09

2H052AF14

2H052AF25

(57)【要約】      （修正有）

【課題】蛍光顕微鏡法において信頼性が高く直截のライフタイムベースのアンミキシングを可能にするプロセッサの提供。
【解決手段】プロセッサ（１０６）が、それぞれ光子計数と光子到達時間との双方に関する情報を提供する複数のピクセルを有する画像を取得し、画像のベクトル空間表現であるフェーザプロットを生成し、画像を、それぞれ複数のピクセルからのサブセットを含む複数の画像セグメントへと分割し、対応するピクセルのサブセットの総光子計数に従って複数の画像セグメントを評価し、ライフライム分類を実行する。ライフタイム分類は、所定のステップを含み、先行するライフタイムクラスの１つに割り当てられていない残りの画像セグメントに基づいてライフタイム分類を反復実行することによって、複数の離接ライフタイムクラスを生成し、当該離接ライフタイムクラスを使用して、ライフタイムベースのアンミキシングを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

蛍光顕微鏡法におけるライフタイムベースのアンミキシングのためのプロセッサ（１０６）であって、前記プロセッサ（１０６）は、
それぞれ光子計数と光子到達時間との双方に関する情報を提供する複数のピクセルを有する画像（３１０ａ）を取得し、
前記画像（３１０ａ）のベクトル空間表現であるフェーザプロット（３１０ｂ）を生成し、
前記画像（３１０ａ）を、それぞれ複数のピクセルからのサブセットを含む複数の画像セグメント（４１４ａ）へと分割し、
対応するピクセルのサブセットの総光子計数に従って前記複数の画像セグメント（４１４ａ）を評価し、
ライフタイム分類を実行する、
ように構成されており、
前記ライフタイム分類は、
前記複数の画像セグメント（４１４ａ）から、最大総光子計数を有すると評価された画像セグメントを選択するステップと、
前記画像（３１０ａ）内の、前記画像セグメント（４１４ａ）を包含する関心領域（ＲＯＩ１）を決定するステップと、
前記フェーザプロット（３１０ｂ）内の、前記関心領域（ＲＯＩ１）に対応するフェーザサブセット（ＰＰ１，ＰＰ２，ＰＰ３）を決定するステップと、
前記フェーザサブセット（ＰＰ１，ＰＰ２，ＰＰ３）に一致する画像セグメントを含むライフタイムクラスを生成するステップと、
を含み、
前記プロセッサ（１０６）は、先行するライフタイムクラスのうちの１つに割り当てられていない残りの画像セグメントに基づいて前記ライフタイム分類を反復実行することによって、複数の離接ライフタイムクラスを生成し、前記離接ライフタイムクラスを使用して、ライフタイムベースのアンミキシングを実行するように構成されている、
プロセッサ（１０６）。

【請求項2】

前記プロセッサ（１０６）は、前記関心領域（ＲＯＩ１）に対応するフェーザサブセット（ＰＰ１，ＰＰ２，ＰＰ３）が前記フェーザプロットにおける一意の位置を定義しているか否かを判別するように構成されており、
前記プロセッサ（１０６）は、判別された前記フェーザサブセットが前記一意の位置に対応している場合にはライフタイムクラスを新たに作成し、判別された前記フェーザサブセットが前記一意の位置に対応していない場合には、ライフタイムクラスの新たな作成を行わないように構成されている、
請求項１記載のプロセッサ（１０６）。

【請求項3】

前記プロセッサ（１０６）は、各ピクセルに対して、前記光子到達時間に関する情報を表現する平均到達時間を計算するように構成されている、
請求項１記載のプロセッサ（１０６）。

【請求項4】

前記プロセッサ（１０６）は、各画像セグメントに対する平均到達時間の最小分散を計算し、前記平均到達時間の最小分散に基づいて、各画像セグメントを包含する関心領域（ＲＯＩ１）を決定するように構成されている、
請求項１または２記載のプロセッサ（１０６）。

【請求項5】

前記プロセッサ（１０６）は、前記離接ライフタイムクラスの空間分布を表示するように構成されている、
請求項１から４までのいずれか１項記載のプロセッサ（１０６）。

【請求項6】

セグメンテーションの粒度は、ピクセル滞留時間中にピクセルのサブセットによって検出された光子の総数に基づいて決定される、
請求項１から５までのいずれか１項記載のプロセッサ（１０６）。

【請求項7】

処理されるべき画像データは、単一の２次元画像、画像シーケンスおよび３次元画像データのうちの少なくとも１つを表現している、
請求項１から６までのいずれか１項記載のプロセッサ（１０６）。

【請求項8】

前記画像セグメントは、単一の２次元画像セグメント、画像セグメントシーケンスおよび３次元画像セグメントデータのうちの少なくとも１つを表現している、
請求項１から７までのいずれか１項記載のプロセッサ（１０６）。

【請求項9】

請求項１から８までのいずれか１項記載のプロセッサ（１０６）を含む顕微鏡システム。

【請求項10】

蛍光顕微鏡法におけるライフタイムベースのアンミキシングのための方法であって、前記方法は、
それぞれ光子計数と光子到達時間との双方に関する情報を提供する複数のピクセルを有する画像（３１０ａ）を取得するステップと、
前記画像のベクトル空間表現であるフェーザプロット（３１０ｂ）を生成するステップと、
前記画像（３１０ａ）を、それぞれ複数のピクセルからのサブセットを含む複数の画像セグメント（４１４ａ）へと分割するステップと、
対応するピクセルのサブセットの総光子計数に従って前記複数の画像セグメント（４１４ａ）を評価するステップと、
ライフタイム分類を実行するステップと、
を含み、
前記ライフタイム分類を実行するステップは、
前記複数の画像セグメント（４１４ａ）から、最大総光子計数を有すると評価された画像セグメントを選択するステップと、
前記画像（３１０ａ）内の、前記画像セグメントを包含する関心領域（ＲＯＩ１）を決定するステップと、
前記フェーザプロット（３１０ｂ）内の、前記関心領域（ＲＯＩ１）に対応するフェーザサブセット（ＰＰ１，ＰＰ２，ＰＰ３）を決定するステップと、
前記フェーザサブセット（ＰＰ１，ＰＰ２，ＰＰ３）に一致する画像セグメントを含むライフタイムクラスを生成するステップと、
を含み、
先行するライフタイムクラスのうちの１つに割り当てられていない残りの画像セグメントに基づいて前記ライフタイム分類を反復実行することによって、複数の離接ライフタイムクラスが生成され、前記離接ライフタイムクラスを使用して、ライフタイムベースのアンミキシングが実行される、
方法。

【請求項11】

プロセッサ（１０６）上で実行される際に請求項１０記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、蛍光顕微鏡法におけるライフタイムベースのアンミキシングのためのプロセッサに関する。さらに、本発明は、ライフタイムベースのアンミキシングのための方法に関する。さらに、本発明は、プロセッサを含む顕微鏡システム、蛍光顕微鏡法におけるライフタイムベースのアンミキシングのための方法およびコンピュータプログラムに関する。

【背景技術】

【0002】

蛍光顕微鏡法では、複数の色チャネルにおける多色画像を取得できる様々な蛍光色素が利用可能である。しかし、スペクトルオーバーラップが発生する場合、大きなクロストークまたはブリードスルーが発生することがあり、これは、複数の蛍光体からの放出信号が各色チャネルにおいて検出されることを意味する。したがって、多色画像を解釈することが困難となりうる。なぜなら、各画像は、複数の蛍光体からの放出信号の混合物から成るからである。

【0003】

蛍光寿命イメージング顕微鏡法（ＦＬＩＭ）は、蛍光体から放出された光子の減衰率を決定することによる試料中の蛍光体の識別に使用可能な特別なイメージング技術である。ＦＬＩＭ画像では、各ピクセルの強度は、例えばパルス状の励起光源を使用することによって時間ドメインにおいて取得可能な蛍光寿命によって決定される。時間相関シングルフォトンカウンティング（ＴＣＳＰＣ）は、通常、各ピクセルに対する光子計数と光子到達時間との双方に関する情報を提供する蛍光減衰ヒストグラムを記録するために使用される。蛍光寿命イメージングは、例えば共焦点顕微鏡法および２光子励起顕微鏡法におけるイメージング技術として使用可能である。

【0004】

蛍光寿命イメージングにおいては、フェーザアプローチが、例えばVallmitjana et al., “Phasor-based image segmentation: machine learning clustering techniques”, Biomedical Optics Express, Vol. 12, No. 6/1 (2021), 3410-3422に記載されているデータビジュアライゼーションおよび画像分析のための十分に確立された方法である。到達時間の関数としての光子計数を表現したヒストグラムに適用されるフェーザ変換から、フェーザ空間と称される２次元空間にマッピングされる２つの量が生じる。

【0005】

スペクトル蛍光寿命イメージングは、時間的な蛍光発光減衰をスペクトル分解方式で同時に取得することを可能にする。しかし、定量分析のためには、それぞれ異なる蛍光体間のスペクトルオーバーラップを考慮しなければならない。これは、スペクトルアンミキシングまたはライフタイムベースのアンミキシングのいずれかによって達成することができる。

【0006】

しかし、ライフタイムベースのアンミキシングは広範かつアプリオリな知識を必要とする。こうした知識は、蛍光体の特定のライフタイム挙動に関する情報に限定されない。むしろ、当該知識には、より一般的に、試料中の蛍光体の挙動に関する情報または予測が含まれている。さらに、モデル生物のような所定の試料では、内因性の信号も複雑性に大きく寄与しうる。したがって、ライフタイムに基づいて特定のスペクトルチャネルに存在する蛍光体種を決定する試みは、多くの場合に、干し草の山のなかから１本の針を探し出すことと比較される。

【0007】

すべての種からの全体的な寄与分を意味する、平均蛍光寿命に関する情報を得ることが可能となりうる。２つの異なる単一指数的ライフタイムしか存在しないケースでは、当該情報はフィッティングアプローチから推論することができる。しかし、３つ以上の蛍光体が存在する場合または蛍光体が著しい多重指数的挙動を示す場合には、フィッティングアプローチはもはや有効ではない。

【0008】

従来のフェーザアプローチは、フェーザプロットが１つの画像に対する全種の全体的な寄与分を示すことから、容易に使用することができない。その結果、ユーザーは、１つのフェーザプロット上のすべての位置を経験によって眺めて、観察したい構造に対応するライフタイム位置を見出す必要がある。このようなアプローチは容易に再現可能とならない。また、このようなアプローチにはユーザーによるバイアスもかかり、自動化することができない。

【0009】

どれだけの構成要素を見出すことができるかの学習を試みるために、人工知能（ＡＩ）および機械学習（ＭＬ）をライフタイムデータに適用する取り組みが存在する。しかし、こうした取り組みには特定のトレーニングが必要となり、いかなる所定の試料にも直ちに適用可能にはならない。

【発明の概要】

【発明が解決しようとする課題】

【0010】

蛍光顕微鏡法において信頼性が高く直截のライフタイムベースのアンミキシングを可能にするプロセッサを提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した目的は、請求項１記載のプロセッサによって達成される。有利な各実施形態は、各従属請求項および以下の説明に規定されている。

【0012】

蛍光顕微鏡法におけるライフタイムベースのアンミキシングのためのプロセッサは、それぞれ光子計数と光子到達時間との双方に関する情報を提供する複数のピクセルを有する画像を取得するように構成されている。プロセッサは、画像のベクトル空間表現であるフェーザプロットを生成するように構成されている。プロセッサは、画像を、それぞれ複数のピクセルからのサブセットを含む複数の画像セグメントへと分割するように構成されている。プロセッサは、対応するピクセルのサブセットの総光子計数に従って複数の画像セグメントを評価するように構成されている。プロセッサはさらに、ライフタイム分類を実行するように構成されており、ここで、ライフタイム分類は、複数の画像セグメントから、最大総光子計数を有すると評価された画像セグメントを選択するステップと、画像内の、当該画像セグメントを包含する関心領域を決定するステップと、フェーザプロット内の、関心領域に対応するフェーザサブセットを決定するステップと、フェーザサブセットに一致する画像セグメントを含むライフタイムクラスを生成するステップと、を含む。プロセッサは、先行するライフタイムクラスのうちの１つに割り当てられていない残りの画像セグメントに基づいてライフタイム分類を反復実行することによって、複数の離接ライフタイムクラスを生成し、当該離接ライフタイムクラスを使用してライフタイムベースのアンミキシングを実行するように構成されている。

【0013】

特許請求の範囲に記載されている解決手段は、画像の個々のピクセルが特定の蛍光寿命を記述する十分な情報を通常は含まないという知識に基づいている。したがって、特定のスペクトル範囲内で取得され、蛍光強度および到達時間情報の双方を有する画像が出発点として使用される。

【0014】

プロセッサは、複数の蛍光体に由来する個々の信号寄与分を識別するために使用される画像によって提供されるデータ量を低減するように構成されている。この目的のために、プロセッサは、画像内に存在する蛍光挙動に基づいて、それぞれ異なる蛍光寿命のクラスまたはクラスタを検出する。ここで重要なのは、当該プロセッサが、これらのライフタイムクラスを自動化された方式で検出できるもしくは決定できるようにすることである。ユーザーにとっては、ライフタイムクラスの自動検出をイネーブルするもしくは開始する少なくとも１つのユーザー入力の提供が有用となりうる。蛍光寿命のクラスのこのような自動検出によって、試料からの外因性のかつ／または内因性の信号を含む蛍光体のアンミキシングが可能となる。

【0015】

プロセッサによって実行されるセグメンテーションは、それぞれピクセルのサブセットを含む複数の画像セグメントを作成する機能を有している。セグメンテーションの粒度は、好ましくは、各セグメント内のピクセルの数が、一方ではピクセル精細解像度を得るために十分に小さく、他方では十分な量の情報の提供のために十分に大きくなるように選択される。

【0016】

提案の解決手段は、試料に関するアプリオリな知識を必要としないことを強調しておく。

【0017】

好ましい実施形態では、プロセッサは、関心領域に対応すると判別されたフェーザサブセットがフェーザプロットにおける一意の位置を定義しているか否かを判別するように構成される。ここで、プロセッサはさらに、判別されたフェーザサブセットが一意の位置に対応している場合にはライフタイムクラスを新たに作成し、判別されたフェーザサブセットが一意の位置に対応していない場合にはライフタイムクラスの新たな作成を行わないように構成される。

【0018】

好ましくは、プロセッサは、各ピクセルに対して、光子到達時間に関する情報を表現する平均到達時間を決定するように構成されている。平均到達時間（ＡＡＴ）は、高速かつ容易に計算することのできる、各蛍光体に関する特性量である。特に、平均到達時間は、セグメンテーションのジオメトリを効果的に決定するために使用可能である。有益な副次効果として、平均到達時間は蛍光体の環境に応じて可変であって、これにより蛍光体の微小環境を分析するための有用なパラメータが提供されることが挙げられる。

【0019】

プロセッサは、各画像セグメントに対する平均到達時間の最小分散を計算し、平均到達時間の最小分散に基づいて、各画像セグメントを包含する関心領域を決定するように構成可能である。したがって、関心領域とは、それぞれの画像セグメントを中心としてＡＡＴ分散によって空間範囲が決定される画像部分であると考えることができる。

【0020】

好ましくは、プロセッサは、ライフタイムベースのアンミキシングの実行の前に、画像からバックグラウンドを除去するように構成される。これにより、ライフタイムベースのアンミキシングがいっそう正確となる。

【0021】

好ましい一実施形態では、プロセッサは、最小総光子計数をセグメンテーションの基準として適用するように構成される。その結果、各セグメントにおける十分な光子計数を保証するために、画像セグメントの形状およびサイズを変化させることができる。より単純なコンセプトは、セグメントが同じサイズおよび形状を有するよう、セグメンテーションのための規則的なグリッドパターンを使用することである。

【0022】

好ましくは、プロセッサは、離接ライフタイムクラスの空間分布を例えばモニタのようなディスプレイデバイス上にユーザーに対して表示するように構成される。したがって、蛍光寿命に関してアンミキシングされたチャネルを提供することができる。

【0023】

別の態様によれば、上述したプロセッサを含む顕微鏡が提供される。

【0024】

別の態様によれば、蛍光顕微鏡法におけるライフタイムベースのアンミキシングのための方法が提供される。方法は、それぞれ光子計数と光子到達時間との双方に関する情報を提供する複数のピクセルを有する画像を取得するステップと、画像のベクトル空間表現であるフェーザプロットを生成するステップと、画像を、それぞれ複数のピクセルからのサブセットを含む複数の画像セグメントへと分割するステップと、対応するピクセルのサブセットの総光子計数に従って画像セグメントを評価するステップと、ライフタイム分類を実行するステップとを含む。ライフタイム分類は、画像セグメントから、最大総光子計数を有すると評価された画像セグメントを選択するステップと、画像内の、画像セグメントを包含する関心領域を決定するステップと、フェーザプロット内の、関心領域に対応するフェーザサブセットを決定するステップと、フェーザサブセットに一致する画像セグメントを含むライフタイムクラスを生成するステップと、を含む。先行するライフタイムクラスのうちの１つに割り当てられていない残りの画像セグメントに基づいてライフタイム分類を反復実行することによって、複数の離接ライフタイムクラスが生成され、当該複数の離接ライフタイムクラスを使用して、ライフタイムベースのアンミキシングが実行される。

【0025】

さらに、上述した方法を実行するためのプログラムコードを含むコンピュータプログラムが提供される。

【0026】

以下では、特定の実施形態につき図面を参照しながら説明する。

【図面の簡単な説明】

【0027】

【図1】一実施形態による、ライフタイムベースのアンミキシングのためのプロセッサを含む顕微鏡システムを示すブロック図である。

【図2】一実施形態による、ライフタイムベースのアンミキシングのためのプロセッサによって実行される方法を示すフローチャートである。

【図3】画像および対応するフェーザプロットを示す概略図である。

【図4a】画像のセグメンテーションの一例を示す概略図である。

【図4b】画像のセグメンテーションの他の例を示す概略図である。

【図4c】画像のセグメンテーションの他の例を示す概略図である。

【図5】プロセッサによって決定された各画像セグメントに対する特定の量を含む表である。

【図6】画像における関心領域を示す概略図である。

【図7】第１のフェーザサブセットを含むフェーザプロットを示す概略図である。

【図8】ライフタイムクラスに割り当てられた画像の複数のセグメントを示す概略図である。

【図9】付加的なフェーザサブセットを有するフェーザプロットを示す概略図である。

【図10】方法を実行するためのシステムを示す概略図である。

【発明を実施するための形態】

【0028】

図１は、一実施形態による顕微鏡システム１００を示すブロック図である。

【0029】

顕微鏡システム１００は、それぞれ異なる色の蛍光を放出するそれぞれ異なる種の複数の蛍光体を含む試料１０２の画像を取得する点走査型顕微鏡として構成可能である。より具体的には、顕微鏡１００は、各蛍光体から放出された蛍光光子の減衰率を決定することによって別個の蛍光体を識別するために適用可能な蛍光寿命イメージング（ＦＬＩＭ：fluorescence-lifetime imaging）を実行するように適応化可能である。

【0030】

この目的のために、顕微鏡システム１００は、当該技術分野で公知の、全体として図１にブロック１０４として示されている適切な顕微鏡コンポーネントを備えることができる。特に図１には示されていないが、コンポーネント１０４は、励起光Ｅを放出する１つもしくは複数のパルスレーザー励起源と、励起光Ｅを試料１０２上へ配向してそこからの蛍光Ｆを収集する光学系と、を含むことができる。さらに、コンポーネント１０４は、複数の色チャネルにおけるピクセルごとのイメージングのために構成された１つもしくは複数の検出器を含みうる。付加的に、検出器は、例えば時間相関シングルフォトンカウンティング（ＴＣＳＰＣ）によって、ライフタイムベースの情報を生成することが可能でありうる。したがって、特定の色チャネルの各ピクセルに対する光子計数および光子到達時間の双方に関する情報を提供する蛍光減衰ヒストグラムを記録することができる。さらに、顕微鏡システム１００は、顕微鏡画像が表示されるモニタを含みうる。

【0031】

顕微鏡システム１００はさらに、顕微鏡システム１００の全体動作を制御するために使用可能なプロセッサ１０６を備えている。特に、プロセッサ１０６は、以下に説明するように、ライフタイムベースのアンミキシングに関するプロセスを実行するように構成されている。

【0032】

図２は、顕微鏡システム１００によって取得された画像信号のライフタイムベースのアンミキシングを実行するために、プロセッサ１０６の制御のもとで実行可能な方法の一実施形態を示すフローチャートである。以下に、例示的な方法ステップのシーケンスを、これらのステップが示されている図３～図９を参照して説明する。

【0033】

例示的な方法のステップＳ１では、図３に示されているような、試料１０２についての複数のピクセルから成る画像３１０ａが顕微鏡システム１００によって取得される。画像３１０ａは、プロセッサ１０６により、まずバックグラウンドについて評価されうる。ここで、プロセッサ１０６は、さらなる処理のために、画像３１０ａのうちバックグラウンドを表現していないピクセルのみを選択する。図３に示されている例によれば、さらなる処理のために選択されたピクセルがターゲット画像３１２ａを形成すると仮定される。

【0034】

ターゲット画像３１２ａの各ピクセルは、光子計数の形態での強度情報を提供する。また、ターゲット画像３１２ａの各ピクセルに対して、ＴＣＳＰＣ情報等の光子到達時間に関する情報が取得される。その結果、各ピクセルは、光子計数と光子到達時間との双方に関する情報に関連付けられる。

【0035】

より具体的には、ステップＳ１において、次の関係、すなわち、

【数1】

に従って、各ピクセルに対して平均到達時間を計算することができる。ここで、ＡＡＴは平均到達時間を記述しており、ＡＴ_ｉは光子ｉの到達時間を記述しており、Ｎはラスタ走査型顕微鏡であってよい顕微鏡のピクセル滞留時間中に検出された光子の総数を指す。さらに、ステップＳ１では、ＴＣＳＰＣ情報に基づいて、各ピクセルに対する光子ヒストグラムが取得される。

【0036】

続いて、ステップＳ２では、画像３１０ａのベクトル空間表現が、図３に示されているフェーザプロット３１０ｂの形態で生成される。選択された各ピクセルにおいて、ＴＣＳＰＣを用いて検出された到達時間の関数としての光子計数を表現する光子ヒストグラム分布Ｉ（ｔ）に対し、フェーザ変換が適用される。その結果、２つのフェーザ量ＳおよびＧが、例えば、Digman M. A. et al., “The Phasor Approach to Fluorescence Lifetime Imaging Analysis” Biophysical Journal: Biophysical Letters (2007), L14-L16に開示されているように、次の関係、すなわち

【数2】

に従って取得される。

【0037】

フェーザ量ＳおよびＧは、図３に示されているように、フェーザ空間へとマッピングされる。したがって、ターゲット画像３１２ａは、当該ターゲット画像３１２ａを起点としてすべてのライフタイム寄与分を表現するフェーザ領域３１２ｂへと変換される。

【0038】

ステップＳ３では、ターゲット画像３１２ａが、プロセッサ１０６により、ピクセル信号の空間分布を表現する複数の画像セグメントへと分割される。セグメンテーションの粒度、すなわちピクセルのサブセットによって表現される各セグメントのサイズは、ピクセル滞留時間中にピクセルのサブセットによって検出された光子の総数に基づいて決定可能である。例えば、セグメントのサイズは、単一のセグメントのすべてのピクセルが光子の最小総数、例えば少なくとも３０個の光子を有するように決定可能である。

【0039】

ステップＳ３におけるセグメンテーションは、機械学習（ＭＬ）または人工知能（ＡＩ）を含む適切なセグメンテーションアルゴリズムを適用するプロセッサ１０６によって実行可能であるが、ターゲット画像３１２ａのみがセグメンテーションされ、残りの画像３１０ａは無視される。このことは図４ａに示されており、この図では、単一のセグメントがすべてのセグメントを代表して参照符号４１４ａによって示されている。プロセッサ１０６は、図４ｂに示されているように、画像３１０ａ全体に適切なフラグメンテーションを適用するように構成することもでき、この場合、最小総光子計数がセグメンテーションの基準として適用され、それぞれ異なるサイズのセグメントが生じる。より単純なアプローチによれば、プロセッサ１０６は、すべてのセグメントが図４ｃに示されているのと同じサイズおよび形状を有するよう、セグメンテーションのための規則的なグリッドパターンを適用する。

【0040】

ステップＳ４では、プロセッサ１０６が、各セグメント４１４ａに含まれているピクセルのサブセット内で検出された総光子計数に従って、それぞれ異なる画像セグメントを評価する。ここでの評価およびすべての後続のステップのために、ターゲット画像３１２ａは閾値処理なしで使用される。例えば、プロセッサ１０６は、図５（本明細書では表１と称する）に示されているような表を作成することができる。

【0041】

図５の表１は、すべてのセグメントに対する総強度Ｉ＿ｍａｘ，Ｉ＿ｍａｘ－１，…、すなわち光子総量を決定することによって作成され、ここで、Ｉ＿ｍａｘは最大光子計数を記述しており、Ｉ＿ｍａｘ－１は２番目に大きい最大光子計数を記述しており、以降同様である。換言すれば、表１では、各セグメントはそれぞれの総光子計数の順に上から下へソートされており、つまり、セグメント１は最大総光子計数を有し、セグメント２は２番目に大きい光子計数を有し、以降同様である。プロセッサ１０６はさらに、すべてのセグメントに対してフェーザ量ＧおよびＳを計算する。表１では、Ｇ１およびＳ１がセグメント１に属し、Ｇ２およびＳ２がセグメント２に属し、以降同様である。

【0042】

さらに、プロセッサ１０６は、ステップＳ４において、次の関係、すなわち、

【数3】

に従って、各セグメントに対する平均到達時間（ＡＡＴ）の分散を計算する。ここで、
Ｖ^２＝試料の分散
ＡＡＴ_ｉ＝ピクセルｉでのＡＡＴ

【数4】

＝すべての観測値の平均ＡＡＴ値
ｎ＝観測数／ピクセル
である。

【0043】

上記のように計算された分散は、図５の表におけるセグメントを分類するための別の基準として使用可能である。この例では、最大総光子計数Ｉ＿ｍａｘを有するセグメント１がＶ＿ｍｉｎで示されている最小分散を有し、２番目に大きな総光子計数Ｉ＿ｍａｘ－２を有するセグメント２がＶ＿ｍｉｎ－１で示されている２番目に小さい分散を有し、以降同様であると仮定される。２つのセグメントが同じ強度を有する場合、ここでの別の分類基準によって、より小さい分散を有するセグメントが先に考慮されることが決定される。

【0044】

ステップＳ５では、プロセッサ１０６が、最大総光子計数を有するセグメントを選択する。したがって、ステップＳ５が初めて実行される際には、表１から光子計数Ｉ＿ｍａｘを有するセグメント１が選択される。

【0045】

その後、ステップＳ６において、ステップＳ５で選択されたセグメントが潜在的なシーディングポイント６１４ａと見なされ、この潜在的なシーディングポイント６１４ａに基づいて、プロセッサ１０６が、図６に示されているように、ターゲット画像３１２ａ内の関心領域ＲＯＩ１を決定する。例えば、プロセッサ１０６は、中心としてのシーディングポイント６１４ａから始まり、そこから図５の表に示されているＡＡＴ分散Ｖ＿ｍｉｎに対応する値だけ画像部分を拡大した関心領域ＲＯＩ１を作成する。したがって、ＲＯＩ１は、シーディングポイント６１４ａすなわちセグメント１を中心として、ＡＡＴ分散Ｖ＿ｍｉｎに基づいて被覆される半径方向範囲を有する画像部分を表現している。

【0046】

ステップＳ７では、プロセッサ１０６が、図７に示されている関心領域ＲＯＩ１に基づいてフェーザ変換を計算する。その結果、関心領域ＲＯＩ１に対応するフェーザサブセットＰＰ１が生成される。

【0047】

次に、ステップＳ８では、プロセッサ１０６は、フェーザサブセットＰＰ１がフェーザプロット３１０ｂ内の一意の位置を定義しているか否か、すなわち、フェーザサブセットＰＰ１が図７のフェーザ量の特定のペア（Ｓ；Ｇ）によって決定される明確に定義されたフェーザ位置を表現しているか否かを検査する。

【0048】

ステップＳ８でフェーザサブセットＰＰ１がフェーザプロット３１０ｂ内の明確に定義された位置を表現していないことをプロセッサ１０６が判別した場合、プロセッサ１０６はステップＳ５に戻り、表１から、次に大きい光子計数を有するセグメントを選択する。例えば、総光子計数Ｉ＿ｍａｘを有するセグメント１が以前に表１から選択されていた場合、光子計数Ｉ＿ｍａｘ－１を有するセグメント２がここで選択される。その後、次に大きい総計数につき、ステップＳ６～Ｓ８が反復実行される。

【0049】

図７に示されているように、表１に挙げられているセグメントのうちの１つが見出されるまでステップＳ５～Ｓ８のループが反復され、フェーザプロット３１０ｂ内の明確に定義されたフェーザ位置が得られる。

【0050】

続いて、ステップＳ９において、プロセッサは、ライフタイム分類の出発点として、フェーザサブセットＰＰ１を選択する。これは、フェーザサブセットＰＰ１が、画像３１０ａのうちＲＯＩ１に制限されている部分から導出された明確に定義された一意のフェーザ位置として以前に識別されていたことから可能となる。特に、プロセッサ１０６は、フェーザサブセットＰＰ１に一致するライフタイム挙動を示すターゲット画像３１２ａのすべての部分を決定する。その際に、プロセッサ１０６は、これらの一貫した画像部分をモニタ上に表示させることもできる。これは、参照符号８１４ａによって示されている一貫した画像部分として、図８に示されている。ステップＳ７で計算されたフェーザサブセットＰＰ１は、第１のライフタイムクラス（図５の「クラス１」）を新たに作成する際の基礎となる第１のフェーザ位置を表現している。

【0051】

より具体的には、ステップＳ９において、プロセッサ１０６は、図５の表１に挙げられたセグメントのなかから、第１のライフタイムクラスに一致する蛍光寿命を有するセグメントを探索する。次に、これらのセグメントが、第１のライフタイムクラスに属するものとして分類される。表１に挙げられている特定のセグメントが第１のライフタイムクラスに対応する蛍光寿命を有するか否かは、当該セグメントに割り当てられたフェーザ量ＳおよびＧから定量的に判別することができる。例えば、プロセッサ１０６は、特定のセグメントのフェーザ量ＳおよびＧが、図７のフェーザプロット３１０ｂ内のフェーザサブセットＰＰ１によって表現される第１のフェーザ位置を中心とした所定の許容範囲内にあるか否かを判別することができる。

【0052】

ステップＳ５～Ｓ９において、プロセッサ１０６は、上述した第１のライフタイムクラスを生じさせるライフタイム分類を実行する。ここで、第１のライフタイムクラスに割り当てられなかった表１の残りのセグメントは、上述したのと同じ手法で、ライフタイム分類を反復実行することによって処理することができる。

【0053】

したがって、第１のライフタイムクラスが生成された後、プロセッサ１０６は、ステップＳ１０において、図５の表１に類似した新たな表（第２の表）を作成する。ただし、当該第２の表は、第１のライフタイムクラスに属するものとして以前に分類されなかった、表１の残りのセグメントのみを含んでいる。したがって、プロセッサ１０６はここで、第２の表に挙げられている残りのセグメントのなかから、最大総光子計数を有するセグメントを選択する。次いで、プロセッサ１０６は、表１ではなく第２の表を使用して、実質的にステップＳ５～Ｓ９を反復実行する。

【0054】

その結果、プロセッサ１０６は、第１のライフタイムクラスから分離された第２のライフタイムクラスを生成する、ライフタイム分類の第２のラウンドを実行する。

【0055】

プロセッサ１０６は同様に、付加的なライフタイムクラス（第３のライフタイムクラス、第４のライフタイムクラス等）の生成にも進むことができる。例えば、第３のライフタイムクラスは、先行する（第１のおよび第２の）ライフタイムクラスに属するものとして以前に分類されなかった表１の残りのすべてのセグメントを含む第３の表に基づいて作成することができる。図９には、全部で３つのライフタイムクラスが考慮される場合のフェーザプロット３１０ｂが示されている。この場合、２つのさらなるフェーザサブセットＰＰ２およびＰＰ３が、第１のフェーザサブセットＰＰ１に加えてプロットされる。

【0056】

上述した当該反復分類プロセスは、ｎ番目の表に基づいてｎ番目のライフタイムクラスが作成されるまで続行可能である。明確に定義された新たなフェーザ位置を見出すことができなかった場合、すべての明確に定義されたフェーザ位置とデータから導出可能な対応するライフタイムクラスとが最終的に見出されたものとされる。こうした最終的な分類ステップは、図２のフローチャートにおいてＳｘとして示されている。

【0057】

その結果、当該技術分野で知られている共通のフェーザ代数を適用して、ライフタイムクラスをステップＳｘ＋１において使用して、ライフタイムに関してアンミキシングされた対応するチャネルを生成することができ、画像内で見出されたライフタイムクラスの空間分布を表示することができる。

【0058】

上述したステップのシーケンスは単なる例示として理解されるべきであることに留意されたい。特に、提案の解決手段を実現するために上述したステップのすべてが実行される必要はない。例えば、ステップＳ１におけるバックグラウンド評価は省略可能であり、この場合には、ターゲット画像３１２ａだけでなく、画像３１０ａ全体も、上述したように処理される。

【0059】

さらに、上述したプロセスは処理されるべき画像データが単一の２次元画像を表現する単純な例を指していることに留意されたい。しかし、例えばｚスタック等の画像シーケンスが所定の時間間隔で記録される場合、完全なデータセットを処理するために、画像データを空間的に、すなわち３Ｄで、また時間的にセグメンテーションすることが適切となりうる。こうしたコンテキストにおいては、空間的および時間的に変化する多次元イメージングの場合、上述した関心領域が空間および時間における単一の平面、すなわち単一のｘｙｚｔ平面に属するように画像データ量を低減することが適切となりうることに留意されたい。

【0060】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「／」として略記されることがある。

【0061】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0062】

いくつかの実施形態は、図１から図９のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図９のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図９のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図１０は本明細書に記載された方法を実施するように構成されたシステム１０００の概略図を示している。システム１０００は、顕微鏡１０１０とコンピュータシステム１０２０とを含んでいる。顕微鏡１０１０は、撮像するように構成されており、かつコンピュータシステム１０２０に接続されている。コンピュータシステム１０２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム１０２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム１０２０と顕微鏡１０１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム１０２０は、顕微鏡１０１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム１０２０は、顕微鏡１０１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡１０１０の従属部品の一部であってもよい。

【0063】

コンピュータシステム１０２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム１０２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム１０２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム１０２０に含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム１０２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含みうる１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム１０２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含みうるコントローラ、またはシステムのユーザーがコンピュータシステム１０２０に情報を入力すること、およびコンピュータシステム１０２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0064】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0065】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されうる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0066】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0067】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0068】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0069】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0070】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0071】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0072】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0073】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0074】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0075】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【符号の説明】

【0076】

１００ 顕微鏡システム
１０２ 試料
１０４ 顕微鏡コンポーネント
１０６ プロセッサ
３１０ａ 画像
３１０ｂ フェーザプロット
３１２ａ ターゲット画像
３１２ｂ フェーザ領域
４１４ａ 画像セグメント
６１４ａ 潜在的なシーディングポイント
８１４ａ 画像部分
ＲＯＩ１ 関心領域
ＰＰ１，ＰＰ２，ＰＰ３ フェーザサブセット

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】