IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ユニバーシティ・オブ・サザン・カリフォルニアの特許一覧

特表2024-538846ハイブリッドアンミキシングを用いるハイパースペクトルイメージングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】ハイブリッドアンミキシングを用いるハイパースペクトルイメージングシステム
(51)【国際特許分類】
   G01N 21/64 20060101AFI20241016BHJP
   G16H 20/00 20180101ALI20241016BHJP
【FI】
G01N21/64 F
G16H20/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024543275
(86)(22)【出願日】2022-09-22
(85)【翻訳文提出日】2024-05-27
(86)【国際出願番号】 US2022076883
(87)【国際公開番号】W WO2024039406
(87)【国際公開日】2024-02-22
(31)【優先権主張番号】63/247,688
(32)【優先日】2021-09-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】524116586
【氏名又は名称】ユニバーシティ・オブ・サザン・カリフォルニア
【氏名又は名称原語表記】UNIVERSITY OF SOUTHERN CALIFORNIA
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】チャン,シャオヂィー
(72)【発明者】
【氏名】クー,ウンサン
(72)【発明者】
【氏名】フレーザー,スコット,イー.
(72)【発明者】
【氏名】カトラレ,フランチェスコ
【テーマコード(参考)】
2G043
5L099
【Fターム(参考)】
2G043AA04
2G043BA16
2G043CA04
2G043DA02
2G043EA01
2G043FA01
2G043FA06
2G043JA03
2G043KA09
2G043LA03
2G043NA01
2G043NA02
5L099AA15
(57)【要約】
本開示のハイブリッドアンミキシング(HyU)技法は、低減された照明強度で複数の蛍光信号の長手方向イメージングを可能にする多重蛍光標識の強化されたイメージングを提供し得る。本開示は一般にイメージングシステムに関する。本開示はハイパースペクトルイメージングシステムに関する。本開示は標的のアンミックスカラー画像を生成するハイパースペクトルイメージングシステムに更に関する。本開示は、HyU技法を使用して標的の強化されたイメージングを提供するように構成されるハイパースペクトルイメージングシステムに更に関する。本開示は、HyU技法を使用して低減された照明強度で複数の蛍光信号の長手方向イメージングを可能にする多重蛍光標識の強化されたイメージングを提供するように構成されるハイパースペクトルイメージングシステムに更に関する。本開示は健康状態の診断で使用されるハイパースペクトルイメージングシステムに更に関する。
【選択図】図37
【特許請求の範囲】
【請求項1】
画像形成システムを備え、ハイブリッドアンミキシング技法を使用するように構成されている、ある標的の代表画像を生成するためのハイパースペクトルイメージングシステムであって、前記ハイブリッドアンミキシング技法は、以後、HyUと称され、
前記画像形成システムは、
前記標的の検出された放射を取得し、ここで、前記検出された放射が、少なくとも2つの標的波を含み、各標的波が、検出された強度及び異なる検出された波長を有し、
前記検出された標的放射を使用して標的画像を形成し、ここで、前記標的画像が、少なくとも2つの画像ピクセルを含み、各画像ピクセルが、前記標的上の1つの物理的な点に対応し、
各標的波の前記検出された強度及び前記検出された波長を使用して、各画像ピクセルについて、少なくとも1つの強度スペクトルを形成し、
各画像ピクセルの前記強度スペクトルに基づいて、フーリエ変換を使用して、各画像ピクセルの前記強度スペクトルを複素数値関数に変換し、ここで、各複素数値関数が、少なくとも1つの実数成分及び少なくとも1つの虚数成分を有し、
前記実数成分の値を前記虚数成分の値に対してプロットすることによって、各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成し、ここで、前記実数成分の前記値が、以後、実数値と称され、前記虚数成分の前記値が、以後、虚数値と称され、
少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成し、ここで、各フェーザビンが少なくとも1つのフェーザ点を含み、
各フェーザビンの前記画像ピクセルに属する検出されたスペクトルを集約し、
各フェーザビンについて代表強度スペクトルを生成し、
アンミキシング技法を使用することによって、前記フェーザビンの代表強度スペクトルをアンミックスし、それによって、前記検出された放射の各スペクトルエンドメンバの存在量を判定し、
前記代表強度スペクトル及び前記画像ピクセルに属する前記検出された強度における各スペクトルエンドメンバの存在量を判定し、
各スペクトルエンドメンバの前記存在量を表す、前記標的の代表強度画像を生成する 構成を有する、ハイパースペクトルイメージングシステム。
【請求項2】
前記ハイパースペクトルイメージングシステムが光学システムを更に備え、
前記光学システムが少なくとも1つの光学構成要素を備え、
前記少なくとも1つの光学構成要素が少なくとも1つの光学検出器を備え、
前記少なくとも1つの光学検出器が、
前記標的上の少なくとも1つの物理的な点から吸収、透過、屈折、反射、放出された電磁放射のいずれか1以上を検出し、それによって、前記標的放射を形成し、前記標的放射が、少なくとも2つの標的波を含み、各標的波が、強度及び異なる波長を有し、
各標的波の前記強度及び前記波長を検出し、
前記検出された標的放射と、各標的波の検出された強度及び検出された波長とを、取得される前記画像形成システムに伝送する構成を有する、請求項1に記載のハイパースペクトルイメージングシステム。
【請求項3】
前記画像形成システムが、制御システム、ハードウェアプロセッサ、メモリ、及びディスプレイを更に備え、前記画像形成システムが、前記画像形成システムのディスプレイ上に前記標的の前記代表画像を表示する更なる構成を有する、請求項1又は2に記載のハイパースペクトルイメージングシステム。
【請求項4】
前記アンミキシング技法が、リニアアンミキシング技法である、請求項1~3のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項5】
前記アンミキシング技法が、完全制約付き最小二乗アンミキシング技法、行列反転アンミキシング技法、非負行列分解アンミキシング技法、幾何学的アンミキシング技法、ベイジアンアンミキシング技法、スパースアンミキシング技法、又はそれらの任意の組み合わせである、請求項1~3のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項6】
前記画像形成システムが、ノイズ除去フィルタを適用して、前記検出された放射のポアソンノイズ及び/又は機器ノイズを低減する更なる構成を有する、請求項1~5のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項7】
前記画像形成システムが、各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の前記実数成分及び/又は前記虚数成分にノイズ除去フィルタを少なくとも1回適用する更なる構成を有する、請求項1~5のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項8】
前記画像形成システムが、
各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の前記実数成分及び/又は前記虚数成分にノイズ除去フィルタを少なくとも1回適用し、ここで、前記ノイズ除去フィルタが、前記画像形成システムが前記フーリエ変換を使用して各画像ピクセルに属する形成された前記強度スペクトルを前記複素数値関数に変換した後に、及び/又は、前記画像形成システムが各画像ピクセルについて前記フェーザ平面上に1つのフェーザ点を形成する前に、適用され、
前記ノイズ除去された実数値を各画像ピクセルの前記実数値として、及び各画像ピクセルの前記ノイズ除去された虚数値を前記虚数値として使用して、各画像ピクセルの前記フェーザ平面上に1つのフェーザ点を形成する更なる構成を有する、請求項1~5のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項9】
前記画像形成システムが、前記画像形成システムが各画像ピクセルについて前記フェーザ平面上に1つのフェーザ点を形成した後に、前記実数成分の前記値及び/又は前記虚数成分の前記値にノイズ除去フィルタを適用する更なる構成を有する、請求項1~5のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項10】
前記画像形成システムが、各フェーザビンの前記画像ピクセルに属する前記検出されたスペクトルを集約する更なる構成を有し、同じフェーザビンに属する前記検出されたスペクトルが、本質的に同様のスペクトル形状又は実質的に同じスペクトル形状を有する、請求項1~9のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項11】
前記画像形成システムが、各フェーザビンの前記画像ピクセルに属する前記検出されたスペクトルを集約する更なる構成を有し、
同じビンの前記画像ピクセルに属する各検出されたスペクトルが、少なくとも2つの検出された強度と、各検出された強度についての検出された波長とを有し、
同じスペクトルビンに属する各スペクトルの相対的な検出された強度値が、同じビンに集約された他のスペクトルの相対的な検出された強度値と実質的に同じである、請求項1~9のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項12】
前記画像形成システムが、
フェーザプロットをその実数次元及びその虚数次元に沿って離散化することによって、少なくとも2つのフェーザビンを形成し、ここで、各フェーザビンが、各フェーザプロット上にフェーザビン領域を有し、
各フェーザビンの前記画像ピクセルに属する前記検出されたスペクトルを集約する更なる構成を有する、請求項1~9のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項13】
前記画像形成システムが、
フェーザプロットをその実数次元及びその虚数次元に沿って離散化することによって、少なくとも4つのフェーザビンを形成し、ここで、各フェーザビンが、各フェーザプロット上にフェーザビン領域を有し、前記フェーザビン領域が、4/(フェーザビンの総数)であり、前記フェーザビンの総数が、前記フェーザプロットの実数次元に沿った離散化の数と、前記フェーザプロットの虚数次元に沿った離散化の数との積であり、
各フェーザビンの前記画像ピクセルに属する前記検出されたスペクトルを集約する更なる構成を有する、請求項1~9のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項14】
前記画像形成システムが、前記フーリエ変換の少なくとも1つの高調波を使用して、前記標的の前記代表画像を生成する、請求項1~13及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項15】
前記画像形成システムが、前記フーリエ変換の少なくとも一次高調波及び/又は二次高調波を使用して、前記標的の前記代表画像を生成する、請求項1~14及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項16】
前記画像形成システムが、前記フーリエ変換の一次高調波のみ又は二次高調波のみを使用して、前記標的の前記代表画像を生成する、請求項1~15及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項17】
前記画像形成システムが、前記フーリエ変換の一次高調波のみ及び二次高調波のみを使用して、前記標的の前記代表画像を生成する、請求項1~16及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項18】
前記少なくとも1つの光学構成要素が、前記標的を照明するための少なくとも1つの照明源を更に備え、前記照明源が、少なくとも1つの照明波を含む照明源放射を生成する、請求項1~17及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項19】
前記ハイパースペクトルイメージングシステムが、少なくとも1つの照明源を更に備え、前記照明源が、少なくとも2つの照明波を含む照明源放射を生成し、各照明波が、異なる波長を有する、請求項1~18及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項20】
前記画像形成システムが、制御システム、ハードウェアプロセッサ、メモリ、及びディスプレイを更に備える、請求項1~19及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項21】
前記画像形成システムが、前記画像形成システムのディスプレイ上に前記標的の前記代表画像を表示する更なる構成を有する、請求項1~20及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項22】
前記画像形成システムが、制御システム、ハードウェアプロセッサ、メモリ、及び情報伝達システムを更に備え、前記情報伝達システムが、任意の様態で前記標的の前記代表画像をユーザに伝達する、請求項1~21及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項23】
前記画像形成システムが、制御システム、ハードウェアプロセッサ、メモリ、及び情報伝達システムを更に備え、前記情報伝達システムが、前記標的の前記代表画像を、画像、数値、色、音、機械的動き、信号、又はそれらの組み合わせとしてユーザに伝達する、請求項1~22及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項24】
前記少なくとも1つの光学構成要素が、光学レンズ、光学フィルタ、分散光学システム、又はそれらの組み合わせを更に備える、請求項1~23及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項25】
前記検出された標的放射が、蛍光放射である、請求項1~24及び/又は以下の請求項のいずれか一項に記載のハイパースペクトルイメージングシステム。
【請求項26】
請求項1~25のいずれか一項に記載のシステムの特徴又は構成の任意の組み合わせ。
【請求項27】
画像形成システムを備えて、ある標的の代表画像を生成するためのハイパースペクトルイメージングシステムであって、
前記画像形成システムが、
前記標的の検出された放射を取得し、
前記検出された標的放射を使用して標的画像を形成し、ここで、前記標的画像が、少なくとも2つの画像ピクセルを含み、各画像ピクセルが、前記標的上の1つの物理的な点に対応し、
各画像ピクセルについて、少なくとも1つの強度スペクトルを形成し、
各画像ピクセルの前記強度スペクトルに基づいて、各画像ピクセルの前記強度スペクトルを変換し、
各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成し、
少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成し、ここで、各フェーザビンが、少なくとも1つのフェーザ点を含み、
各フェーザビンの前記画像ピクセルに属する検出された前記スペクトルを集約し、
各フェーザビンについて代表強度スペクトルを生成し、
1つ以上のアンミキシング技法を使用して、前記フェーザビンの代表強度スペクトルをアンミックスし、
前記代表強度スペクトルにおけるスペクトルエンドメンバの存在量を判定し、
前記スペクトルエンドメンバの前記存在量を表す、前記標的の代表強度画像を生成する
ように構成されている、ハイパースペクトルイメージングシステム。
【請求項28】
標的の代表画像を生成するための方法であって、
標的画像の画像ピクセルについて少なくとも1つの強度スペクトルを形成するステップであって、ここで、前記標的画像が、検出された放射に基づくものである、ステップと、
各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成し、
少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成し、各フェーザビンが、少なくとも1つのフェーザ点を含み、
前記少なくとも2つのフェーザビンの前記画像ピクセルの検出されたスペクトルを集約し、前記少なくとも2つのフェーザビンについて、少なくとも1つの代表強度スペクトルを生成する
ように構成されたハイパースペクトルフェーザシステムを実装するステップと、
1つ以上のアンミキシング技法を使用して前記少なくとも2つのフェーザビンの前記少なくとも1つの代表強度スペクトルをアンミックスするように構成されたアンミキシングシステムを実装するステップと、
少なくとも前記代表強度スペクトルと、前記検出された放射に対応する検出された強度とに基づいて、前記標的の代表強度画像を生成するステップと
を含んでなる方法。
【請求項29】
標的の代表画像を生成するための方法であって、
標的画像の画像ピクセルについて少なくとも1つの強度スペクトルを形成するステップであって、ここで、前記標的画像が、検出された放射に基づくものである、ステップと、
前記画像ピクセルに対応するフェーザ平面上のフェーザ点に基づいて、少なくとも1つの代表強度スペクトルを生成するステップと、
1つ以上のリニアアンミキシング技法を使用して前記少なくとも1つの代表強度スペクトルをアンミックスするステップと、
少なくともアンミックスされた前記代表強度スペクトルに基づいて前記標的の代表強度画像を生成するステップと
を含んでなる方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2021年9月23日に出願された「A Hyperspectral Imaging System with Hybrid Unmixing」と題された米国仮特許出願第63/247,688号(代理人整理番号AMISC.022PR)の優先権を主張する前述の仮特許出願の全体の内容は、参照することにより本明細書に組み込まれるものとする。
【0002】
(米国政府による資金提供を受けた研究に関する声明)
本発明は、国立科学財団大学院研究奨学金によって授与された助成第DGE-1842487号の元で、及び国防総省によって授与された助成第PR150666号の下で、政府の支援を受けて行われた。政府は本発明において一定の権利を有する。
【0003】
本開示は、一般に、イメージングシステムに関する。本開示は、ハイパースペクトルイメージングシステムに関する。本開示は、標的のアンミックスカラー画像(unmixed color image)を生成するハイパースペクトルイメージングシステムに更に関する。本開示は、ハイブリッドアンミキシング(HyU:hybrid unmixing)技法を使用して、標的の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステム(hyperspectral imaging system)に更に関する。本開示は、ハイブリッドアンミキシング技法を使用して、低減された照明強度で複数の蛍光信号の長手方向イメージングを可能にする多重蛍光標識(multiplexed fluorescence label)の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステムに更に関する。本開示は、健康状態の診断で使用されるハイパースペクトルイメージングシステムに更に関する。
【背景技術】
【0004】
より複雑なシステム及び幾何学的配置に向けた生物医学的及び生物学的な研究における蛍光イメージングの拡大された応用は、広く変化する時間スケール及び長さスケールで多数の成分を分析することができるツールを必要とし得る。そのような複雑なイメージング実験における主な課題は、高レベルの光で試料に摂動を起こさせる(perturb)ことなく、互いに重複するスペクトルを有する複数の蛍光標識と、バックグラウンド自己蛍光(background autofluorescence)とをきれいに分離することである。したがって、これらの信号を定量的に分離することができる効率的かつ堅牢な分析ツールが必要である。
【0005】
近年、いくつかのハイコンテントイメージングアプローチは、生物学的プロセスの複雑かつ動的なオーケストレーション(orchestration)を復号化するために精緻化されている。蛍光は、その高コントラスト、高特異性、及び複数のパラメータがあるために、イメージングのための基準技法となっている。蛍光顕微鏡の継続的な改善、及び遺伝的に符号化及び合成されたフルオロフォア(蛍光体:fluorophore)の絶えず拡大するパレットは、多数の分子種の標識及び観察を可能にしている。そのような蛍光技法は、多重化イメージングを使用して、同じ標本内で複数の標識を同時に追跡する可能性を提供し得るが、これらの技法は、完全に想定される能力には不十分である。標準的な蛍光顕微鏡は、各標識に対して異なる励起及び検出バンドパスフィルタを採用して、順次に複数の画像を収集し得る。
【0006】
最近開発された蛍光技法は、固定試料の順次標識(sequential labeling)を利用することによって大規模な多重化を可能にし得るが、インビボイメージング(in vivo imaging)には好適でない。これらのアプローチは、重複する蛍光放出信号を分離するのに適切でないことがあり、選択性を高めるために使用される狭帯域光学フィルタは、イメージングの光子効率を低下させる(図7図8)これらの制限は、試料当たりのイメージングされたフルオロフォアの数(通常は最大4つ)を制限しており、標本を刺激光の損傷レベルに曝露するリスクを冒す。そのような制限は、インビボ及び生体内イメージングが、発達生物学、がん研究、及び免疫学から神経イメージングに至るまでの研究/応用へのより広範な影響を伴うその可能性を最大限に発揮することを妨げる、動的イメージングにとって重大な障害となっている。
【0007】
ハイパースペクトル蛍光イメージング(HFI:Hyperspectral Fluorescent Imaging)は、信号検出をスペクトルドメインに拡大することによって、重複する放出の制限を潜在的に克服する。HFIは、各(画像)ピクセルからスペクトルプロファイルをキャプチャし、ハイパースペクトルキューブ(x、y、波長)のデータをもたらし、そのデータを処理して、そのピクセルに存在する標識を推論することができる。リニアアンミキシング(LU:Linear unmixing)が、HFIデータを分析するために広く利用されており、蛍光タンパク質及び染料などの、完全に特徴付けられた外因性フルオロフォア(extrinsic fluorophore)から強い信号を放出する明るい試料で良好に機能している。しかしながら、インビボ蛍光顕微鏡(in vivo fluorescence microscopy)は、(発現レベル、生体物理学的蛍光特性、及び検出システムの感度に起因して)ピクセル当たりに収集される光子の数がほとんど常に制限され、このことは、取得されたスペクトルの品質を低下させる。
【0008】
スペクトルの品質に影響を与える更なる課題は、試料のイメージングにおける複数の形態のノイズの存在である。機器ノイズの2つの例は、光子ノイズ及び読み取りノイズであり得る。
【0009】
ポアソンノイズ(Poisson noise)としても知られる光子ノイズは、光源からの光子放出と検出との統計的変動に関連する固有の特性であり得る。ポアソンノイズは、蛍光染料をイメージングするときに避けられない場合があり、低光子レジーム(low-photon regime)ではより顕著である。そのようなノイズは、特に、ライブ及びタイムラプスイメージングにおいて、課題を提起することがあり、この場合、励起レーザのパワーが試料への光損傷を回避するために低減され、蛍光信号の量を減少させる。
【0010】
読み取りノイズは、光子からデジタルレベルの強度への変換中にアナログモードで動作している顕微鏡の電圧変動から生じることがあり、蛍光イメージング取得に一般的に影響を及ぼす。
【0011】
インビボ顕微鏡検査に使用されるほとんどの生体試料は、蛍光タンパク質又は蛍光プローブからの外因性信号を使用して標識されるが、多くの場合、内因性信号(自己蛍光)を含む。自己蛍光は、LUにおいて、望ましくない、識別及び説明することが困難である光子に寄与し得る。
【0012】
ノイズの累積的な存在は、イメージング中の取得されたスペクトルの劣化を必然的にもたらし得る。結果として、LUによるスペクトル分離は、多くの場合、低質化する可能性があり、最終的なアンミックスの信号対雑音比(SNR)は、多くの場合、検出された信号の中で最も弱い信号によって低減される。
【0013】
レーザ励起の量を増加させることは、これらの課題を部分的に克服し得るが、試料中のより高いエネルギー堆積は、光漂白及び光損傷を引き起こすことがあり、生試料の完全性と観察の持続時間との両方に影響を与える。
【0014】
また、LUなどの旧来のアンミキシング戦略は、コンピュータ計算に過大な労力を要することがあり、長い分析時間を必要とし、多くの場合、インターロゲーション(問合せ:interrogation)を低速化する。
【0015】
上記の潜在的な低質化と欠点とが合わさり、全体的な多重化能力とHFI多重化技術の採用との両方が低減されている。
【0016】
(関連技術の参考文献)
以下の刊行物は、本開示の背景に関する関連技術である。各参考文献の前のボックスブラケット内の1桁又は2桁の数字は、本開示の他の部分で使用されるボックスブラケット内の数字に対応する。
[1]Valm,A.M.et al.Applying systems-level spectral imaging and analysis to reveal the organelle interactome.Nature 546,162-167(2017).
[2]Tsurui,H.et al.Seven-color fluorescence imaging of tissue samples based on fourier spectroscopy and singular value decomposition.Journal of Histochemistry and Cytochemistry 48,653-662(2000).
[3]Amat,F.et al.Fast, accurate reconstruction of cell lineages from large-scale fluorescence microscopy data.Nature Methods 11,951-958(2014).
[4]Ueno,T.& Nagano,T.Fluorescent probes for sensing and imaging.Nature Methods vol.8 642-645 Preprint at https://doi.org/10.1038/nmeth.1663(2011).
[5]Lichtman,J.W.& Conchello,J.A.Fluorescence microscopy.Nature Methods vol.2 910-919 Preprint at https://doi.org/10.1038/nmeth817(2005).
[6]Sinclair,M.B.,Haaland,D.M.,Timlin,J.A.& Jones,H.D.T.Hyperspectral confocal microscope.45,6283-6291(2006).
[7]Jahr,W.,Schmid,B.,Schmied,C.,Fahrbach,F.O.& Huisken,J.Hyperspectral light sheet microscopy.Nature Communications 6,1-7(2015).
[8]Truong,T.V,Supatto,W.,Koos,D.S.,Choi,J.M.& Fraser,S.E.Deep and fast live imaging with two-photon scanned light-sheet microscopy.8,(2011).
[9]Chen,B.C.et al.Lattice light-sheet microscopy:Imaging molecules to embryos at high spatiotemporal resolution.Science(1979)346,(2014).
[10]Kredel,S.et al.mRuby,a bright monomeric red fluorescent protein for labeling of subcellular structures.PLoS ONE 4,1-7(2009).
[11]Sakaue-Sawano,A.et al.Visualizing Spatiotemporal Dynamics of Multicellular Cell-Cycle Progression.Cell 132, 487-498 (2008).
[12]Wade,O.K.et al.124-Color Super-resolution Imaging by Engineering DNA-PAINT Blinking Kinetics.Nano Letters 19,2641-2646(2019).
[13]Strauss,S.& Jungmann,R.Up to 100-fold speed-up and multiplexing in optimized DNA-PAINT.Nature Methods 17,789-791(2020).
[14]Costa,G.et al.Asymmetric division coordinates collective cell migration in angiogenesis.Nature Cell Biology 18,1292-1301(2016).
[15]Entenberg,D.et al.Setup and use of a two-laser multiphoton microscope for multichannel intravital fluorescence imaging.Nature Protocols 6,(2011).
[16]Sakaguchi,R.,Leiwe,M.N.& Imai,T.Bright multicolor labeling of neuronal circuits with fluorescent proteins and chemical tags.Elife 7,(2018).
[17]Zimmermann,T.,Rietdorf,J.& Pepperkok,R.Spectral imaging and its applications in live cell microscopy.FEBS Letters 546,87-92(2003).
[18]Paddock,S.Multi-Spectral Imaging and Linear Unmixing Add a Whole New Dimension to.Biotechniques 31,1272-1278(2001).
[19]Zimmermann,T.Spectral imaging and linear unmixing in light microscopy.Advances in Biochemical Engineering/Biotechnology 95,245-265(2005).
[20]Garini,Y.,Young,I.T.& McNamara,G.Spectral imaging:Principles and applications.Cytometry Part A vol.69 Preprint at https://doi.org/10.1002/cyto.a.20311(2006).
[21]Rakhymzhan,A.et al.Synergistic Strategy for Multicolor Two-photon Microscopy:Application to the Analysis of Germinal Center Reactions in Vivo.Scientific Reports 7,(2017).
[22]Bass,M.Handbook of Optics,vol 3.Geometric Optics,General Principles Spherical Surfaces,2nd ed.,Optical Society of America,New York(1995).
[23]Hamamatsu Photonics,K.K.P.T.H.PHOTOMULTIPLIER TUBES Basics and Applications FOURTH EDITION.(1994)
[24]Pawley,J.B.Confocal and two-photon microscopy:Foundations,applications and advances.Microscopy Research and Technique 59,(2002).
[25]Huang,F.et al.Video-rate nanoscopy using sCMOS camera-specific single-molecule localization algorithms.Nature Methods 10,(2013).
[26]Digman,M.A.,Caiolfa,V.R.,Zamai,M.& Gratton,E.The Phasor Approach to Fluorescence Lifetime Imaging Analysis.Biophysical Journal 94,L14-L16(2008).
[27]Fereidouni,F.,Bader,A.N.,Colonna,A.& Gerritsen,H.C.Phasor analysis of multiphoton spectral images distinguishes autofluorescence components of in vivo human skin.Journal of Biophotonics 7,589-596(2014).
[28]Scipioni,L.,Rossetta,A.,Tedeschi,G.& Gratton,E.Phasor S-FLIM:a new paradigm for fast and robust spectral fluorescence lifetime imaging.Nature Methods 18,542-550(2021).
[29]Ranjit,S.,Malacrida,L.,Jameson,D.M.& Gratton,E.Fit-free analysis of fluorescence lifetime imaging data using the phasor approach.Nature Protocols 13,1979-2004(2018).
[30]Shi,W.et al.Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations.Nature Communications 11,1-15(2020).
[31]Keshava,N.& Mustard,J.F.Spectral unmixing.IEEE Signal Processing Magazine 19,44-57(2002).
[32]Dobigeon,N.,Altmann,Y.,Brun,N.& Moussaoui,S. Linear and Nonlinear Unmixing in Hyperspectral Imaging. in Data Handling in Science and Technology vol.30(2016).
[33]Zeiss,C.& Online,M.Introduction to Spectral Imaging and Linear Unmixing.Imaging 1,1-13(2010).
[34]Hedde,P.N.,Cinco,R.,Malacrida,L.,Kamaid,A.& Gratton,E.Phasor-based hyperspectral snapshot microscopy allows fast imaging of live,three-dimensional tissues for biomedical applications.Communications Biology 4,(2021).
[35]Cutrale,F.et al.Hyperspectral phasor analysis enables multi- plexed 5D in vivo imaging.Nature Publishing Group(2017)doi:10.1038/nmeth.4134.
[36]Stringari,C.et al.Metabolic trajectory of cellular differentiation in small intestine by Phasor Fluorescence Lifetime Microscopy of NADH.Scientific Reports 2,(2012).
[37]Ranjit S. Datta R.,Dvornikov,A.& Gratton,E.Multicomponent Analysis of Phasor Plot in a Single Pixel to Calculate Changes of Metabolic Trajectory in Biological Systems.Journal of Physical Chemistry A 123,(2019).
[38]Jeong,S.et al.Time-resolved fluorescence microscopy with phasor analysis for visualizing multicomponent topical drug distribution within human skin.Scientific Reports 10,(2020).
[39]Haas,K.T.,Fries,M.W.,Venkitaraman,A.R.& Esposito,A.Single-Cell Biochemical Multiplexing by Multidimensional Phasor Demixing and Spectral Fluorescence Lifetime Imaging Microscopy.Frontiers in Physics 9,(2021).
[40]Lanzano,L.et al.Encoding and decoding spatio-temporal information for super-resolution microscopy.Nature Communications 6,(2015).
[41]Yao,Z.et al.Multiplexed bioluminescence microscopy via phasor analysis.Nature Methods 2022 19:7 19,893-898(2022).
[42]Depasquale,J.A.Actin Microridges.Anat Rec(Hoboken)301,2037-2050(2018).
[43]Okuda,K.S.,Hogan,B.M.,Cantelmo,A.R.& Hogan,B.M.Endothelial Cell Dynamics in Vascular Development:Insights From Live-Imaging in Zebrafish.11,(2020).
[44]Isogai,S.,Lawson,N.D.,Torrealday,S.,Horiguchi,M.& Weinstein,B.M.Angiogenic network formation in the developing vertebrate trunk.(2003)doi:10.1242/dev.00733.
[45]Denk,W.,Strickler,J.H.& Webb,W.W.Two-photon laser scanning fluorescence microscopy.Science(1979)248,(1990).
[46]Zipfel,W.R.et al.Live tissue intrinsic emission microscopy using multiphoton-excited native fluorescence and second harmonic generation.Proceedings of the National Academy of Sciences 100,7075-7080(2003).
[47]Datta,R.et al.Interactions with stromal cells promote a more oxidized cancer cell redox state in pancreatic tumors.Science Advances 8,(2022).
[48]Ma,N.et al.Label-free assessment of pre-implantation embryo quality by the Fluorescence Lifetime Imaging Microscopy(FLIM)-phasor approach.Scientific Reports 9,(2019).
[49]Zipfel,W.R.et al.Live tissue intrinsic emission microscopy using multiphoton-excited native fluorescence and second harmonic generation.Proc Natl Acad Sci U S A 100,7075-7080(2003).
[50]Bird,D.K.et al.Metabolic mapping of MCF10A human breast cells via multiphoton fluorescence lifetime imaging of the coenzyme NADH.Cancer Research 65,(2005).
[51]Lakowicz,J.R.,Szmacinski,H.,Nowaczyk,K.& Johnson,M.L.Fluorescence lifetime imaging of free and protein-bound NADH.Proc Natl Acad Sci U S A 89,(1992).
[52]Skala,M.C.et al.In vivo multiphoton microscopy of NADH and FAD redox states,fluorescence lifetimes,and cellular morphology in precancerous epithelia.Proc Natl Acad Sci U S A 104,19494-19499 (2007).
[53]Sharick,J.T.et al.Protein-bound NAD(P)H Lifetime is Sensitive to Multiple Fates of Glucose Carbon.Scientific Reports 8,(2018).
[54]Stringari,C.et al.Phasor approach to fluorescence lifetime microscopy distinguishes different metabolic states of germ cells in a live tissue.Proc Natl Acad Sci U S A 108,(2011).
[55]Wagnieres,G.A.,Star,W.M.& Wilson,B.C.Invited Review ln Vivo Fluorescence Spectroscopy and Imaging for Oncological Applications.68,603-632(1998).
[56]Fevotte,C.& Dobigeon,N.Nonlinear hyperspectral unmixing with robust nonnegative matrix factorization.IEEE Transactions on Image Processing 24,(2015).
[57]Heslop,D.,von Dobeneck,T.& Hocker,M.Using non-negative matrix factorization in the“unmixing”of diffuse reflectance spectra.Marine Geology 241,63-78(2007).
[58]Paddock,S.W.Confocal Microscopy,Methods and Protocols, Second Edition.Humana Press 1075,388(2014).
[59]M.,W.The zebrafish book.(University of Oregon Press,1994).
[60]Trinh,L.A.et al.A versatile gene trap to visualize and interrogate the function of the vertebrate proteome.Genes and Development 25,2306-2320(2011).
[61]Shi,W.et al.Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations.Nature Communications 11,1-15(2020).
[62]Parichy,D.M.,Ransom,D.G.,Paw,B.,Zon,L.I.& Johnson,S.L.An orthologue of the kit-related gene fms is required for development of neural crest-derived xanthophores and a subpopulation of adult melanocytes in the zebrafish,Danio rerio.Development(2000).
[63]Digman,M.A.,Dalal,R.,Horwitz,A.F.& Gratton,E.Mapping the number of molecules and brightness in the laser scanning microscope.Biophys J 94,2320-2332(2008).
[64]Dalal,R.B.,Digman,M.A.,Horwitz,A.F.,Vetri,V.& Gratton,E.Determination of particle number and brightness using a laser scanning confocal microscope operating in the analog mode.Microsc Res Tech 71,69-81(2008).
[65]Wagnieres,G.A.,Star,W.M.& Wilson,B.C.Invited Review ln Vivo Fluorescence Spectroscopy and Imaging for Oncological Applications.68, 603-632(1998).
[66]Cutrale,F.et al.Hyperspectral phasor analysis enables multi- plexed 5D in vivo imaging.Nature Publishing Group(2017)doi:10.1038/nmeth.4134.
[67]Taylor,R.C.Experiments in physical chemistry(Shoemaker,David P.;Garland,Carl W.).Journal of Chemical Education 45,(1968).
[68]Fevotte,C.& Dobigeon,N.Nonlinear hyperspectral unmixing with robust nonnegative matrix factorization.IEEE Transactions on Image Processing 24,(2015).
[69]Parslow,A.,Cardona,A.& Bryson-Richardson,R.J.Sample drift correction following 4D confocal time-lapse Imaging.Journal of Visualized Experiments(2014)doi:10.3791/51086.
[70]Schindelin,J.et al.Fiji:An open-source platform for biological-image analysis.Nature Methods vol.9 Preprint at https://doi.org/10.1038/nmeth.2019(2012).
[71]Shimozono,S.,Iimura,T.,Kitaguchi,T.,Higashijima,S.I.& Miyawaki,A.Visualization of an endogenous retinoic acid gradient across embryonic development.Nature 496,363-366 (2013).
[72]Islam,M.S.,Honma,M.,Nakabayashi,T.,Kinjo,M.& Ohta,N.pH dependence of the fluorescence lifetime of FAD in solution and in cells.International Journal of Molecular Sciences 14,(2013).
[73]Islam,M.S.,Honma,M.,Nakabayashi,T.,Kinjo,M.& Ohta,N.pH dependence of the fluorescence lifetime of FAD in solution and in cells.International Journal of Molecular Sciences 14,(2013).
[74]Andrews,L.M.,Jones,M.R.,Digman,M.A.& Gratton,E.Spectral phasor analysis of Pyronin Y labeled RNA microenvironments in living cells.Biomedical Optics Express 4,(2013).
[75]Fereidouni,F.,Bader,A.N.& Gerritsen,H.C.Spectral phasor analysis allows rapid and reliable unmixing of fluorescence microscopy spectral images.Optics Express 20,(2012).
[76]Cutrale, F.et al.Hyperspectral phasor analysis enables multiplexed 5D in vivo imaging.Nature Methods 14,(2017).
[77]Stringari,C.et al.Phasor approach to fluorescence lifetime microscopy distinguishes different metabolic states of germ cells in a live tissue.Proc Natl Acad Sci U S A 108,13582-7(2011).
[78]Lanzano,L.et al.Encoding and decoding spatio-temporal information for super-resolution microscopy.Nature Communications 6,(2015).
[79]Fereidouni,F.,Bader,A.N.& Gerritsen,H.C.Spectral phasor analysis allows rapid and reliable unmixing of fluorescence microscopy spectral images.Opt Express 20,12729-12741(2012).
[80]Scipioni,L.,Rossetta,A.,Tedeschi,G.& Gratton,E.Phasor S-FLIM:a new paradigm for fast and robust spectral fluorescence lifetime imaging.Nature Methods 18,(2021).
[81]Malacrida,L.,Ranjit,S.,Jameson,D.M.& Gratton,E.The Phasor Plot:A Universal Circle to Advance Fluorescence Lifetime Analysis and Interpretation.Annual Review of Biophysics vol.50 Preprint at https://doi.org/10.1146/annurev-biophys-062920-063631(2021).
[82]Ranjit,S.,Malacrida,L.,Jameson,D.M.& Gratton,E.Fit-free analysis of fluorescence lifetime imaging data using the phasor approach.Nature Protocols 13,1979-2004(2018).
[83]Digman,M.A.,Caiolfa,V.R.,Zamai,M.& Gratton,E.The Phasor Approach to Fluorescence Lifetime Imaging Analysis.Biophysical Journal 94,L14-L16(2008).
【0017】
上記の刊行物の各々の内容全体は、参照により本明細書に組み込まれる。
【発明の概要】
【0018】
本明細書に記載される例は、一般に、イメージングシステムに関する。本開示のいくつかの例はまた、ハイパースペクトルイメージングシステムに関する。いくつかの例は、標的のアンミックスカラー画像を生成するハイパースペクトルイメージングシステムに更に関する。いくつかの例は、ハイブリッドアンミキシング技法を使用して、標的の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステムに更に関する。いくつかの例は、ハイブリッドアンミキシング技法を使用して、低減された照明強度で複数の蛍光信号の長手方向イメージングを可能にする多重蛍光標識の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステムに更に関する。いくつかの例は、健康状態の診断で使用されるハイパースペクトルイメージングシステムに更に関する。
【0019】
本開示では、ハイパースペクトルイメージングシステムは、画像形成システムを含み得る。画像形成システムは、標的の検出された放射を取得し、検出された放射が、少なくとも2つの(標的)波を含み、各標的波(target wave)が、検出された強度及び異なる検出された波長を有し、検出された標的放射を使用して標的画像を形成し、標的画像が、少なくとも2つの(画像の)ピクセルを含み、各画像ピクセルが、標的上の1つの物理的な点に対応し、各標的波の(検出された)強度及び(検出された)波長を使用して、各画像ピクセルについて、少なくとも1つの(強度)スペクトルを形成し、各画像ピクセルの強度スペクトルに基づいて、フーリエ変換を使用して、各画像ピクセルの強度スペクトルを複素数値関数(complex-valued function)に変換し、各複素数値関数が、少なくとも1つの実数成分及び少なくとも1つの虚数成分を有し、実数成分の値を虚数成分の値に対してプロットすることによって、各画像ピクセルについて、フェーザ平面(phasor plane)上に1つのフェーザ点(phasor point)を形成し、実数成分の値が、以後、実数値と称され、虚数成分の値が、以後、虚数値と称され、少なくとも2つのフェーザビン(phasor bin)を含む(フェーザ)ヒストグラムを形成し、各(フェーザ)ビンが、少なくとも1つのフェーザ点を含む構成を有し得る。
【0020】
本開示では、画像形成システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約し、各フェーザビンについて、代表強度スペクトル(representative intensity spectrum)を生成し、アンミキシング技法を使用することによって、フェーザビンの代表強度スペクトルをアンミックスし(unmix)、それによって、検出された放射の各スペクトルエンドメンバの存在量(abundance of each spectral endmember)を判定し、代表強度スペクトル及び画像ピクセルに属する検出された強度における各スペクトルエンドメンバの存在量を使用することによって、標的の対応する画像ピクセルに色を割り当て、各スペクトルエンドメンバの存在量を表す、標的の代表強度画像を生成する構成を(更に)有し得る。
【0021】
本開示では、各フェーザビンに集約された強度スペクトルは、本質的に同様のスペクトル形状又は実質的に同じスペクトル形状を有し得る。又は、各フェーザビンに集約された強度スペクトルは、本質的に同様のスペクトル特徴又は実質的に同じスペクトル特徴を有し得る。そのようなスペクトル特徴は、検出されたスペクトル強度及び/又は各検出されたスペクトルの検出された波長を含み得る。例えば、各検出されたスペクトルの検出された強度が標準(例えば、当該スペクトルの最大の検出された強度)を使用して正規化されるとき、同じビンに集約された全ての強度スペクトルの相対的な(正規化された)検出された強度は、本質的に同様のスペクトル形状又は実質的に同じスペクトル形状を有し得る。画像形成システムのそのような構成の一例では、同じビンの画像ピクセルに属する各検出されたスペクトルは、少なくとも2つの検出された強度と、各検出された強度についての検出された波長とを有し得る。画像形成システムのそのような構成の別の例では、同じスペクトルビンに属する各スペクトルの相対的な検出された強度値は、同じビンに集約された他のスペクトルの相対的な検出された強度値と実質的に同じであり得る。更に、画像形成システムのそのような構成の別の例では、当該システムは、フェーザ平面を離散的なフェーザ平面領域に離散化することができ(これらのフェーザ平面領域は、同様の若しくは同じ領域サイズ又は同様の若しくは同じ領域形状あるいはそれらの両方を有し得る)、フェーザ点を、本質的に同様の検出されたスペクトル又は実質的に同じ検出されたスペクトルに属するフェーザ点として扱い得る。更に、画像形成システムのそのような構成の別の例では、当該システムは、その実数次元及びその虚数次元に沿ってフェーザプロットを離散化することによって、少なくとも4つのフェーザビンを形成し得る。任意のそのような構成について、各フェーザビンは、各フェーザプロット上にフェーザビン領域を有することがあり、フェーザビン領域は、4/(フェーザビンの総数)であってもよく、フェーザビンの総数は、フェーザプロットの実数次元に沿った離散化の数と、フェーザプロットの虚数次元に沿った離散化の数との積であり得る。
【0022】
これらの本質的に同様の、又は実質的に同じ検出された強度スペクトルを加算又は平均することは、強度スペクトルを実効的に平均して、そのフェーザ位置についての代表(又は平均)強度スペクトルを生成する。これらの実質的に同様の強度スペクトルを加算又は平均することは、任意の数学的な従来の又は知られている方法によって達成され得る。すなわち、代表強度スペクトルをもたらし得る任意の加算又は平均する数学的技法は、本開示の範囲内である。
【0023】
本開示では、検出された標的放射、強度スペクトル、及び/又は代表強度スペクトル(標的放射、強度スペクトル、代表強度スペクトルのいずれか1以上)をアンミックスし得る任意の(スペクトル)アンミキシング技法は、本開示の範囲内である。アンミキシング技法は、リニアアンミキシング技法(linear unmixing technique)であり得る。アンミキシング技法は、完全制約付き最小二乗アンミキシング技法(ully constrained least squares unmixing technique)、行列反転アンミキシング技法(matrix inversion unmixing technique)、非負行列分解アンミキシング技法(non-negative matrix factorization unmixing technique)、幾何学的アンミキシング技法(geometric unmixing technique)、ベイジアンアンミキシング技法(Bayesian unmixing technique)、スパースアンミキシング技法(sparse unmixing technique)、又はそれらの任意の組み合わせであり得る。
【0024】
本開示の画像形成システムは、ノイズ除去フィルタを適用して、検出された放射のポアソンノイズ及び/又は機器ノイズを低減する更なる構成を有し得る。画像形成システムはまた、各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の実数成分及び/又は虚数成分(実数成分又は虚数成分あるいはそれらの両方)にノイズ除去フィルタを少なくとも1回適用する更なる構成を有し得る。ノイズ除去フィルタは、画像形成システムが、フーリエ変換を使用して各画像ピクセルに属する形成された強度スペクトルを複素数値関数に変換した後、及び/又は画像形成システムが各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成する前に適用され得る。画像形成システムはまた、画像形成システムが各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成した後に、実数成分の値及び/又は虚数成分の値にノイズ除去フィルタを適用し得る更なる構成を有し得る。ノイズ除去された実数値を各画像ピクセルの実数値として使用して、かつ各画像ピクセルのノイズ除去された虚数値を虚数値として使用して、各画像ピクセルのフェーザ平面上に1つのフェーザ点を形成し得る。
【0025】
ハイパースペクトルイメージングシステムは、光学システムを更に備え得る。光学システムは、少なくとも1つの光学構成要素を含み得る。少なくとも1つの光学構成要素は、少なくとも1つの光学検出器を含み得る。少なくとも1つの光学検出器は、標的上の少なくとも1つの物理的な点から吸収、透過、屈折、反射、放出された電磁放射のいずれか1以上を検出し、それによって、標的放射を形成することができ、標的放射が、少なくとも2つの標的波を含み、各標的波が、強度及び異なる波長を有する構成を有し得る。少なくとも1つの光学検出器は、各標的波の強度及び波長を検出し得る更なる構成を有し得る。少なくとも1つの光学検出器はまた、検出された標的放射と、各標的波の検出された強度及び検出された波長とを取得される画像形成システムに伝送し得る更なる構成を有し得る。画像形成システムは、制御システム、ハードウェアプロセッサ、メモリ、及びディスプレイを更に備え得る。画像形成システムは、画像形成システムのディスプレイ上に標的の代表画像を表示し得る更なる構成を有し得る。
【0026】
本開示のアンミキシング技法は、任意のアンミキシング技法であり得る。例えば、アンミキシング技法は、リニアアンミキシング技法であり得る。例えば、アンミキシング技法は、完全制約付き最小二乗アンミキシング技法、行列反転アンミキシング技法、非負行列分解アンミキシング技法、幾何学的アンミキシング技法、ベイジアンアンミキシング技法、スパースアンミキシング技法、又はそれらの任意の組み合わせであり得る。
【0027】
本開示の画像形成システムは、ノイズ除去フィルタを適用して、検出された放射のポアソンノイズ及び/又は機器ノイズを低減する更なる構成を有し得る。ノイズ除去フィルタは、少なくとも1回適用される任意のノイズ除去フィルタであり得る。適用される各ノイズ除去フィルタは、同じノイズ除去フィルタ又は異なるノイズ除去フィルタであり得る。ノイズ除去フィルタは、例えば、標的放射の強度、強度スペクトルの強度、各複素数値関数の実数成分及び/又は虚数成分、代表強度スペクトルの強度、及び又はそれらの組み合わせに適用され得る。例えば、本開示の画像形成システムは、各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の実数成分及び/又は虚数成分にノイズ除去フィルタを少なくとも1回適用する構成を有し得る。例えば、本開示の画像形成システムは、各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の実数成分及び虚数成分の両方にノイズ除去フィルタを少なくとも1回適用し、ノイズ除去フィルタは、(1)画像形成システムが、フーリエ変換を使用して各画像ピクセルに属する形成された強度スペクトルを複素数値関数に変換した後に、及び/又は(2)画像形成システムが各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成する前に適用され、かつ各画像ピクセルの実数値としてノイズ除去された実数値を使用し、各画像ピクセルの虚数値としてノイズ除去された虚数値を使用して、各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成する構成を有し得る。例えば、本開示の画像形成システムは、画像形成システムが各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成した後に、実数成分の値及び/又は虚数成分の値にノイズ除去フィルタを適用する構成を有し得る。
【0028】
本開示の画像形成システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約することができる更なる構成を有することがあり、同じビンの画像ピクセルに属する検出されたスペクトルは、実質的に同じ検出された強度及び検出された波長を有する。
【0029】
本開示の画像形成システムは、フーリエ変換の少なくとも1つの高調波を使用して標的の代表画像を生成し得る更なる構成を有し得る。少なくとも1つの高調波は、第1の高調波及び/又は第2の高調波であり得る。そのようなシステムはまた、1つの高調波のみを使用し得る。1つのみの高調波は、第1の高調波又は第2の高調波であり得る。そのようなシステムはまた、第1の高調波のみ又は第2の高調波のみを使用し得る。
【0030】
本開示では、少なくとも1つの光学構成要素は、標的を照明するための少なくとも1つの照明源を更に含むことがあり、照明源は、少なくとも1つの照明波を含む照明源放射を生成する。そのようなシステムはまた、少なくとも1つの照明源を更に含むことがあり、照明源は、少なくとも2つの照明波を含む照明源放射を生成し、各照明波は、異なる波長を有する。
【0031】
本開示では、画像形成システムは、制御システム、ハードウェアプロセッサ、メモリ、及びディスプレイを更に含み得る。
【0032】
本開示では、画像形成システムは、画像形成システムのディスプレイ上に標的の代表画像を表示し得る更なる構成を有し得る。
【0033】
本開示では、画像形成システムは、制御システム、ハードウェアプロセッサ、メモリ、及び情報伝達システムを更に含むことがあり、情報伝達システムは、任意の様態で標的の代表画像をユーザに伝達する。情報伝達システムは、標的の代表画像を、画像、数値、色、音、機械的動き、信号、又はそれらの組み合わせとしてユーザに伝達し得る。
【0034】
本開示では、少なくとも1つの光学構成要素は、光学レンズ、光学フィルタ、分散光学システム、又はそれらの組み合わせを更に含み得る。
【0035】
本開示では、検出された標的放射は、蛍光放射であり得る。
【0036】
標的の代表画像を生成するためのハイパースペクトルイメージングシステムが本明細書に開示される。ハイパースペクトルイメージングシステムは、画像形成システムを備え得る。画像形成システムは、標的の検出された放射を取得するように構成され得る。画像形成システムは、検出された標的放射を使用して標的画像を形成し、標的画像は、少なくとも2つの画像ピクセルを含み、各画像ピクセルは、標的上の1つの物理的な点に対応するように構成され得る。画像形成システムは、各画像ピクセルについて少なくとも1つの強度スペクトルを形成するように構成され得る。画像形成システムは、各画像ピクセルの強度スペクトルに基づいて、各画像ピクセルの強度スペクトルを変換するように構成され得る。画像形成システムは、各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成するように構成され得る。画像形成システムは、少なくとも2つのフェーザビンを含むフェーザヒストグラム(phasor histogram)を形成し、各フェーザビンは、少なくとも1つのフェーザ点を含むように構成され得る。画像形成システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約するように構成され得る。画像形成システムは、各フェーザビンについて、代表強度スペクトルを生成するように構成され得る。画像形成システムは、1つ以上のアンミキシング技法を使用して、フェーザビンの代表強度スペクトルをアンミックスするように構成され得る。画像形成システムは、代表強度スペクトルにおけるスペクトルエンドメンバの存在量を判定するように構成され得る。画像形成システムは、スペクトルエンドメンバの存在量を表す標的の代表強度画像を生成するように構成され得る。
【0037】
標的の代表画像を生成するための方法が本明細書に開示される。方法は、標的画像の画像ピクセルについて、少なくとも1つの強度スペクトルを形成するステップであって、標的画像が、検出された放射に基づく、ステップを含み得る。方法は、ハイパースペクトルフェーザシステムを実装するステップを含み得る。ハイパースペクトルフェーザシステムは、各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成するように構成され得る。ハイパースペクトルフェーザシステムは、少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成し、各フェーザビンは、少なくとも1つのフェーザ点を含むように構成され得る。ハイパースペクトルフェーザシステムは、少なくとも2つのフェーザビンの画像ピクセルの検出されたスペクトルを集約するように構成され得る。ハイパースペクトルフェーザシステムは、少なくとも2つのフェーザビンについて、少なくとも1つの代表強度スペクトルを生成するように構成され得る。方法は、アンミキシングシステムを実装するステップを更に含み得る。アンミキシングシステムは、1つ以上のアンミキシング技法を使用して、少なくとも2つのフェーザビンの少なくとも1つの代表強度スペクトルをアンミックスするように構成され得る。方法は、少なくとも代表強度スペクトルと、検出された放射に対応する検出された強度とに基づいて、標的の代表強度画像を生成するステップを更に含み得る。
【0038】
標的の代表画像を生成するための方法が本明細書に開示される。方法は、標的画像の画像ピクセルについて、少なくとも1つの強度スペクトルを形成するステップであって、標的画像が、検出された放射に基づく、ステップを含み得る。方法は、画像ピクセルに対応するフェーザ平面上のフェーザ点に基づいて、少なくとも1つの代表強度スペクトルを生成するステップを含み得る。方法は、1つ以上のリニアアンミキシング技法を使用して、少なくとも1つの代表強度スペクトルをアンミックスするステップを含み得る。方法は、少なくともアンミックスされた代表強度スペクトルに基づいて、標的の代表強度画像を生成するステップを含み得る。
【0039】
上記の特徴/構成の任意の組み合わせは、本開示の範囲内である。
【0040】
これら、並びに他の構成要素、ステップ、特徴、目的、利益、及び利点は、ここでは、例示的な実施態様の以下の詳細な説明、添付の図面、及び特許請求の範囲の検討から明らかになるであろう。
【0041】
図面は、例示的な実施態様である。これらは、全ての実施態様を示しているわけではない。他の実施態様が、追加的に、又は代わりに使用されてもよい。明白又は不必要であり得る詳細が、スペースを節約するために、又はより効果的な例示のために省略されている場合がある。いくつかの実施態様が、追加の構成要素若しくはステップを用いて、及び/又は示される構成要素若しくはステップの全てを用いずに実施されてもよい。異なる図面に同じ数字が表示される場合、それは、同じ又は同様の構成要素又はステップを指す。
【0042】
本特許又は出願書類には、カラーで作成された少なくとも1つの図面が含まれている。カラーの図面(複数可)を含む本特許又は特許出願公開の複写は、請求及び必要な料金の支払いに応じて、庁によって提供されるであろう。
【0043】
本開示の図面及び他の部分の以下の簡単な説明に開示される色は、代理人整理番号AMISC.022PRである、2021年9月23日に出願された「A Hyperspectral Imaging System with Hybrid Unmixing」と題された米国仮特許出願第63/247,688号に最初に出願されたカラー図面及びカラー写真を指す。前述の仮特許出願の全体の内容は、参照により本明細書に組み込まれる。
【図面の簡単な説明】
【0044】
図1】ハイブリッドアンミキシング(HyU)を説明するものなどの、本明細書で考察されるシステム及び方法が、インビボでの多重化されたハイパースペクトル蛍光信号の分析をどのように強化し得るかを概略的に示す。この例では、(A)多色蛍光生体試料(ここではゼブラフィッシュ胚)は、ハイパースペクトルモードでイメージングされ、標本における各ボクセルの蛍光スペクトルを収集する。(B)HyUは、(単一の高調波での)実数及び虚数のフーリエ成分の2Dヒストグラムであるフェーザプロットとしてスペクトルデータを表す。(C)スペクトルノイズ除去フィルタは、フェーザヒストグラム上のポアソン及び機器ノイズを低減し、第1の信号改善を提供し得る。(D)フェーザは、エンコーダとして機能することができ、各ヒストグラムビンは、各々が比較的類似したスペクトル(E)を有するピクセルの数nに対応する。これらのスペクトルを加算することは、そのフェーザ位置についてスペクトルを実効的に平均する。このノイズ除去は、このピクセルのセットについてのより鮮明な平均スペクトルをもたらし、アンミキシングアルゴリズムを通じた解析的分解(F)に理想的に適している。(G)アンミキシングは、スペクトル成分に分離された画像をもたらす。ここでは、アンミキシングにリニアアンミキシング(LU)が使用されているが、HyUは、任意のアンミキシングアルゴリズムと互換性がある。HyUは、計算が標本(A)における約107個のボクセルではなく、104個のヒストグラムビン(D)に適用されるため、LU(又は任意の他のアンミキシング)計算のデータサイズ及び複雑さの大幅な低減を提供し得ることに留意されたい。これにより、LUに必要とされる計算の数が劇的に削減される。
図2】ハイブリッドアンミキシング(HyU)を説明するものなどの、本明細書で考察されるシステム及び方法が、合成スペクトル蛍光イメージング及びライブスペクトル蛍光イメージングの両方で従来のリニアアンミキシング(LU)を性能的に上回ることができることを示す。この例では、(A)ハイブリッドアンミキシング(HyU)及び(B)リニアアンミキシング(LU)は、4つの蛍光シグネチャ(発光スペクトル、図11E)から生成されたハイパースペクトル蛍光シミュレーションを使用して試験された。(C)絶対平均二乗誤差(MSE)は、HyUがスペクトル当たりの広範囲の光子にわたる誤差の一貫した低減を提供し得ることを示す(#光子/独立スペクトル成分は、ここでは、4つの基準スペクトルが組み合わされた結果として生じている)。(D)LUに対するHyUのMSEの性能差は、複数のフェーザノイズ除去フィルタ(0~5の中央値フィルタ)を適用するときに持続する。この合成データの分析は、低光子数でのHyUの一貫した改善を示し、スペクトル当たり16個の光子の信号レベルで5つのノイズ除去フィルタを適用すると、2倍以上の改善を伴う。線プロットの影付き領域は、平均値の周りの95%信頼区間を表す。(E)4色ゼブラフィッシュからの実験データのアンミキシングは、LU(右)と比較してHyU(左)のコントラストが増加したことを示す。スケールバー=50μm。(F、G)精度の向上は、HyU及びLUの残差画像によって明らかにされ、Eにおけるデータの分析後の未割り当ての信号の空間分布を示す。結果は、LU(G)と比較してHyU(F)の残差値が一貫してより低いことを示す。(H)F及びGにおける残差のボックスプロットは、n=1.05×106個のピクセルを有し*(p<10-10)で、LUの77%と比較して、HyUの11%の値を提示する。中心:中央値、ボックス:第1/第3の四分位数(First/Third Quartile)、ひげ(Whisker):1.5倍の第1、第3の四分位数、最小値/最大値は、示されていない。(I-L)HyU結果の拡大レンダリング(E、白ボックス)は、標識間の低レベルのブリードスルー(M-P)を明確に示す。LU結果の同様の拡大は、著しく悪化した性能を示す。明るい信号を有する領域(膜J、Nの白矢印)は、他のチャネル(M)及び(O)をブリードスルーすることに留意されたい。スケールバー:20μm。この例で使用されたテトラ標識標本は、Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby;fli1:mKO2)であった。
図3】ハイブリッドアンミキシング(HyU)を説明するものなどの、本明細書で考察されるシステム及び方法が、低信号インビボ多重化のためのアンミキシングを強化することができ、より深いボリュメトリックイメージングを達成することを示す。この例では、(A)4色ゼブラフィッシュの幹部分の(B)リニアアンミキシング(LU)のものと比較したハイブリッドアンミキシング(HyU)ボリュメトリックレンダリングは、特に試料のより深い部分にわたって、HyU結果のコントラストの増加及び残差の低減を実証している。魚中の4つの標識は、Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)であり、それぞれ、クラスリン被覆ピット(緑)、膜(黄)、アクチン(シアン)、及び内皮(マゼンタ)を標識している。(C、E)HyU結果は、(D、F)LUの結果と比較して空間分解能が向上し、ブリードスルーが少ない。スケールバー:20μm。試料の表面領域のズームイン視覚化を観察すると、黄信号は、膜を区別してマークし、シアン信号、は(C)HyUにおけるアクチンを明確に標識する。同じ信号は、(D)LUでは、ブリードスルーして他のチャネルにおける真の信号を低質化する複数の誤って割り当てられたマゼンタピクセルのために、区別されない。同様に、胚の血管周囲領域のズームイン視覚化については、(E)HyUでは、黄及びマゼンタ信号は、膜及び血管系を明確に区別する一方、(F)LUでは、結果は、より大きなノイズによって損なわれる。(G、H)HyU(実線)及びLU(破線)の4つの結果信号の各々の強度線プロットは、LUと比較して、HyUではノイズピークが大幅に低減された改善されたプロファイルを実証している。強度は、各アンミックスチャネルの最大値によってスケーリングされる。DL:デジタルレベル。(I)HyU及びLUのz深さの関数としての相対残差値のボックスプロットは、アンミキシング結果の改善を強調する。HyUは、LUの58%±17%と比較して、6.6%±5.3%のアンミキシング残差を有する。残差の平均量は、HyUで9倍低く、残差の分散が狭い。各zスライスについて、n=5.2×105個のピクセル。中心:中央値、ボックス:第1/第3の四分位数、ひげ:1.5倍の第1、第3の四分位数、最小値/最大値は、示されていない。
図4】HyUを説明するものなどの、本明細書で考察されるシステム及び方法が、多重化されたボリュメトリックタイムラプスを可能にすることによって、発達する血管系のダイナミクスを明らかにし得ることを示す。ハイブリッドアンミキシング(HyU)は、発現中の胚の多重化されたボリュメトリックタイムラプスインビボイメージングを実行する際の課題を克服し得る。この例は、時点0での(A)3色ゼブラフィッシュGt(cltca-シトリン);Tg(kdrl:mCherry、fli1:mKO2)の幹部分についてのHyUレンダリングを示す。(B)HyUアンミックス結果は、定量分析及びセグメンテーションを可能にし、ここでは、mCherry(血管系、マゼンタ)、mKO2(内皮リンパ系、黄)、及びシトリン(クラスリン被覆ピット、シアン)のセグメント化されたボリュームの時間進化を表す一例である。ボックスプロット及び線プロットは、方法で説明されるように、ImarisVantageを使用して生成された。(C1-4)0、100、200、300分で300分間にわたる血管系の形成のタイムラプスイメージング(Aのボックスのズームインレンダリング)。この例は、HyUが、生胚の発現の観察に多重化が使用されることを可能にするために、低光レベルでの良好なアンミキシングを提供し得ることを示す。
図5】HyUを説明するものなどの、本明細書で考察されるシステム及び方法が、外因性信号と併せて、低光子内因性信号の識別及びアンミキシングを可能にし得ることを示す。この例では、(A)ゼブラフィッシュ胚全体のHyU結果は、外因性信号の改善されたアンミキシングだけでなく、低光子環境に固有に存在する内因性信号の識別及びアンミキシングを可能にするその増加した感度のための参照フレームを提供し得る。(B)頭部領域のHyU結果(Aにおけるボックス)は、複数のタイルにわたってイメージングされた四遺伝子導入ゼブラフィッシュGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)についてのフェーザ法を使用して、複数の外因性信号の間で未知の自己蛍光信号を識別することの簡易さを明らかにし得る。スケールバー:80μm。(C)アンミキシングを実行するために必要とされる入力スペクトルは、(D)各スペクトルを空間的場所として視覚化すると、フェーザプロット上で容易に識別される。フェーザは、エンコードされたHyUアプローチにおける独立した予期しないスペクトル成分の簡素化された識別及び選択を提供する。内因性信号は、放出される光子が低いことが知られており、旧来のアンミキシングアルゴリズムを使用してアンミックスすることができないことにつながる。(E)胚の頭部領域のズームイン取得(Aにおけるボックス)は、以前ではアンミックスすることが非常に困難な実験条件である、非常に低い光子出力の環境下にあるときに、多くの内因性及び外因性信号のHyUのアンミキシング結果を表示する。スケールバー:70μm。(F)フェーザプロット表現は、容易に識別可能な8つの独立した蛍光フィンガープリント場所を提供する。(G)8つの独立スペクトル成分の各々に対応するスペクトルも参照として提供される。(F)における色は、(E)及び(G)におけるレンダリングとマッチする。NADH結合(赤)、NADHフリー(黄)、レチノイド(マゼンタ)、レチノイン酸(シアン)、反射(緑)、エラスチン(紫)、及び外因性信号:mKO2(青)、及びmRuby(オレンジ)。全ての信号を、488nm及び561nmの両方の(A~D)単一光子レーザ、又は740nmの(E~G)二光子レーザで励起した。
図6】HyUを説明するものなどの、本明細書で考察されるシステム及び方法が、内因性信号及び外因性信号のライブ多重化されたボリュメトリックタイムラプスイメージングの上限を押し広げ得ることを示す。HyUの増加した感度は、四遺伝子導入ゼブラフィッシュの内因性信号及び外因性信号の両方について、6つの時点(125分)でタイムラプスデータをイメージングするという困難なタスクの簡易な解決法を提供する:Tg((cltca-シトリン)、(ubiq:Lifeact-tdTomato)、(ubiq:Lifeact-mRuby)、(fli1:mKO2))。(A)~(F)25分間隔で取得された時点のHyU結果のボリュメトリックレンダリングは、740nmで励起されたときに、NADH結合(赤)、NADHフリー(黄)、レチノイド(マゼンタ)、レチノイン酸(シアン)、mKO2(緑)、及び血液細胞からの自己蛍光(青)の高コントラストかつ多重化標識を明らかにし得る。mKO2(黄)、tdTomato(マゼンタ)、mRuby(シアン)、シトリン(緑)、及び血液細胞自己蛍光(青)の更なる外因性信号もまた、試料を488/561nmで励起するときに、HyUを使用して容易にアンミックスされる。HyUは、以前は探索されていなかったタスクである、長期間にわたって生試料中の9個の信号を同時に多重化する能力を提供し得る。スケールバー:50μm。
図7】HyUを説明するものなどの、本明細書で考察されるシステム及び方法が、旧来のバンドパスフィルタイメージングと比較して、ノイズ及び信号ブリードスルーをどのように低減し得るかを示す。四遺伝子導入ゼブラフィッシュGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)(図3と同じデータ)のイメージングは、(A)4チャネル光学フィルタイメージング並びに(B)多重スペクトルイメージング及びハイブリッドアンミキシング(HyU)分析を用いて実行された。フルオロフォアの重複する発光スペクトルからのブリードスルーが、Aに存在する。このアーチファクトは、光学フィルタによって蛍光信号に課された鋭いスペクトル離散化の結果であり、シトリン(480nm~690nm)、mKO2(525nm~690nm)、tdTomato(530nm~690nm)、及びmRuby(560nm~690nm)の間の明確な区別を生み出すに至らない。フルオロフォアは、Bにおいてよく分離されている。A及びBの両方における色は、シトリン(緑)、mKO2(黄)、tdTomato(マゼンタ)、及びmRuby(シアン)を表す。
図8】HyUを説明するものなどの、本明細書で考察されるシステム及び方法が、現在の方法をどのように性能的に上回ることができるかを示す。32チャネル四重標識Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby)ゼブラフィッシュのトゥルーカラーレンダリングは、分析がない場合の多重標識の区別不可能性を示す。(B)光学フィルタイメージングは、4つのチャネルにわたって強いブリードスルーを提示する。(C)旧来のアンミキシングは、信号の誤った再割り当てによって影響を受けながらも、標識間のコントラスト増加を提供する。(D)ハイブリッドアンミキシングは、スペクトル及び空間重複信号の分離を強化する。(E~H)は、それぞれ、A、B、C、Dにおけるホワイトボックスからのズームインである。スケールバー=100μm。
図9】改善されたHyU性能を実証し得る異なるSNRでの合成データのアンミキシング結果の比較を示す。合成データのための、(A)mKO2、(B)シトリン、(C)mRuby、及び(D)tdTomatoの4つの独立した蛍光信号のグラウンドトゥルース光子マスク。(E)低信号対雑音比(SNR)での4つのグラウンドトゥルースマスクから生成されたシミュレートされた32チャネルハイパースペクトル画像の最大強度投影(MIP)。この場合、各蛍光成分について最大10個の光子がシミュレートされる。(F~I)それぞれのスペクトルに基づく、各成分の最大放出チャネルのグレースケール表現。最大10個でのシミュレーションのための(J)LU及び(K)HyUのアンミキシング結果は、性能の低下を報告する。超低SNRシミュレーション(各成分について最大で5光子)では、LU(I)及びHyU(M)の両方の結果が劣化するが、HyUは、LUと比較して1.5倍低い平均MSEを維持する。
図10】向上したHyU性能を強調する合成データについてのHyU対LUアンミキシング結果の定量化を示す。HyU性能は、いくつかのアルゴリズムパラメータ及び実験条件の下で評価される。(A)HyUとLUとの間の相対MSEは、HyUのための5回のノイズ除去フィルタにわたる最大入力光子/スペクトルの関数として計算された。改善は、光子の数及びノイズ除去フィルタの回数の両方とともに増加し、124%のピークを伴う7つ光子/スペクトルを上回る有意差を示す。影付き領域は、平均値の周りの95%信頼区間を表す。(B)ビームスプリッタの有無にかかわらず、同じ合成データセットについてのLU及びHyUアルゴリズムからの絶対MSE。光学フィルタの追加は、HyUについての5%の平均増加と比較して、LUのMSEを平均で8%増加させる。N=1.05e6個のピクセル。中心:中央値、ボックス:第1/第3の四分位数、ひげ:1.5倍の第1、第3の四分位数、最小値/最大値は、示されていない。(C)ビームスプリッタの有無にかかわらない、ノイズ除去レベルの増加に伴う合成データの平均相対残差。ノイズ除去を伴うビームスプリッタなしの平均相対残差(HyU-フィルタ1回-HyU-フィルタ5回)は、LUの109%と比較して、83%である。ノイズ除去フィルタがない(フィルタ0回)場合、平均相対残差は、92.9%である。このシミュレーションにビームスプリッタを適用し、ビームスプリッタの有無にかかわらず、平均二乗誤差(MSE)値及び残差値の両方を計算した。N=1.05e6個のピクセル。中心:中央値、ボックス:第1/第3の四分位数、ひげ:1.5倍の第1、第3の四分位数、最小値/最大値は、示されていない。(D)ビームスプリッタありでシミュレートされたスペクトル、及び(E)ビームスプリッタなしでシミュレートされたスペクトルを示す。
図11】低減されたアルゴリズム性能を有する場所を識別することができる合成データの残差分析を示す。4つの蛍光標識(シトリン、mKO2、tdTomato、mRuby)についての図2のシミュレートデータが、LU及びHyUで分析されている。(A)HyU及び(B)LUについてのアンミキシング結果。(C)HyU及び(D)LU結果についての残差画像マップは、信号対雑音が低下する、試料の標識された特徴とバックグラウンドとの間の境界に沿ったより高い残差(赤)を有する領域を提示する。LUについての平均残差値(118%)は、HyU(94%)よりも高い。(E)残差フェーザマップは、C、Dにおける結果と一貫して、バックグラウンド領域(矢印)についてより高い残差を示す。ジェットカラーバースケールは、C、D、及びEに対応する。(F)フェーザ残差強度ヒストグラムは、0~50個の光子のEにおける各ヒストグラムビンにおける平均光子カウントをマッピングし、光子数とともに相対残差が減少する傾向を提示する。(G)平均相対残差プロットは、異なるノイズ除去フィルタを適用したHyUと比較して、LUについてより高い値を示す。グラウンドトゥルース値も、比較のために含められている。N=1.05e6個のピクセル。中心:中央値、ボックス:第1/第3の四分位数、ひげ:1.5倍の第1、第3の四分位数、最小値/最大値は、示されていない。0閾値及び5回のノイズ除去フィルタを適用した(H)元のフェーザプロットを提示する。ROI(黄の円)は、(I)平均スペクトル強度画像においてバックグラウンドピクセルを黄で強調表示する。バックグラウンド及び残差からのノイズは、強度閾値で大幅に低減され得る。
図12】残差計算の概略図を示す。画像残差は、画像(x、y)についての残差である。(A)(x、y、λ)の次元の生のハイパースペクトルデータキューブ。x、yは、空間次元である。λは、検出器上のスペクトルチャネルからの波長範囲である。(D)(x、y、λ)の次元の回復モデルは、(B)回復比率(x、y、ch)及び独立スペクトル(ch、λ)の積から得られる。chは、独立スペクトル又はアンミキシング成分の番号である。(C)残差は、回復したモデルと生データとの差である。(E~H)フェーザ残差については同じ論理であるが、(x,y)の代わりに、フェーザの次元は、実数及び虚数のフーリエ成分(G、S)から構成される。
図13】コントラスト及び空間的特徴の改善を強調する、HyU及びLUとの四遺伝子導入ゼブラフィッシュの例示的なアンミキシングを示す。10dpfのGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)の幹領域内の体節のボリュメトリックズームインビューは、(A)HyU及び(B)LUにおける全てのチャネルをマージする。(A~E)HyUは、(F~J)LUと比較して、LUよりも平均コントラストが1.11倍高い幅広いダイナミックレンジの強度を提示する。LUにおいて、(H)膜標識(矢印)からのブリードスルーは、(G)リンパ管チャネル(矢印)及び(I)アクチンチャネル(矢印)において観察される。この強度の誤った再割り当ては、(B)血管系及び(D)アクチンについての対応するHyUチャネルには存在せず、繊維(矢印)は、きれいにアンミックスされている。(K)フェーザ残差分布は、フェーザヒストグラムビンにおける相対残差(%)及び光子カウントの分布を示す。残差分布は、(L)HyU及び(M)LUの両方についてのヒストグラムピクセルにおける相対残差(%)及び光子カウントの分布を示す。
図14】HyUの性能向上を裏付ける実験データの残差分析を示す。図3における5dpf四遺伝子導入ゼブラフィッシュGt((cltca-シトリン)、Tg(ubq:lyn-tdTomato)、(ubiq:Lifeact-mRuby)、(fli1:mKO2))の多重スペクトル蛍光データについての残差分析。(A)HyU及び(B)LUのそれぞれについてのアンミキシング結果。(C)HyU及び(D)LUについてのz平均データセットの残差画像マップは、HyUについてより低い残差値を示し、アンミキシングの質の向上を示唆している。(E)LU及び(F)HyUについてのスペクトル当たりの推定される光子カウントの関数としての各ピクセルにおける元の強度に対する残差分布。(G)残差フェーザマップは、バックグラウンド領域(矢印)において残差値の増加を提示する。ジェットカラーマップスケールは、C、D、及びGを指す。(H)HyUについての残差フェーザヒストグラムは、実験データについて、光子の広いダイナミックレンジの残差の分布を示す。(I)0閾値が適用され、5回のノイズ除去フィルタを用いる生フェーザ、ROI(黄の円)は、(J)平均スペクトル画像(第1のzスライスを示す)におけるバックグラウンドピクセルを強調する。
図15】より低い残差を有する改善された結果を明らかにする、ノイズ除去フィルタの適用を示す。(A)1つの強い自己蛍光信号を含む、四遺伝子導入ゼブラフィッシュGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)のHyUアンミキシングの残差画像マップ。残差値は、異なる回数のノイズ除去フィルタを用いて計算される。8平均相対残差は、ノイズ除去フィルタ回数の増加に伴い、明らかに減少する。(B)残差フェーザマップは、0回のノイズ除去フィルタと1回のイズ除去フィルタとの間の値の大幅な減少を示し、より高いノイズ除去フィルタ適用において統計的に同様の値を維持する。(C)異なるノイズ除去フィルタについてのフェーザプロット。ノイズ除去又は閾値化の前の生データのフェーザは、検出器の各々に接続されたノイズ、及びバックグラウンド領域に対応する高カウント領域を提示する。フェーザプロット分布は、バックグラウンドノイズからより高いピクセルカウントが生じる領域を強調し、これは、Bにおけるより低い残差フェーザマップ値と一致する。(D)残差画像マップ(A)及び残差フェーザマップ(B)についての平均残差値は、残差の改善が主にノイズ除去フィルタの最初の適用に焦点を当てていることを強調する。この初期のノイズ除去では、平均相対残差は、69.8%から46.8%に減少し、5回のノイズ除去後に42.6%に更に減少した。フェーザについての平均相対残差は、1回のノイズ除去フィルタを適用した後に33.9%から7.1%に減少し、5回のノイズ除去を適用した後に2.1%に更に減少した。250個のデジタルレベルの標準処理閾値を適用すると(16ビットフォーマットの下位0.38%の強度)、平均相対残差は、7.2%から4.6%に減少し、5回のノイズ除去フィルタ後に4.1%に更に減少した。フェーザについての平均相対残差は、10.1%から2.6%に減少し、5回のノイズ除去フィルタ後に1.1%に更に減少する。バーは、相対残差値の分散を表す。
図16】改善されたHyU性能を強調する、LU及びHyUの残差画像の比較を示す。250の強度閾値を有する、3dfpの四遺伝子導入ゼブラフィッシュGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)の3DデータセットのLU及びHyUについての残差画像投影。(A)単一スライス(zスタックにおけるz=17のうちの8)のLU残差画像マップは、35.9%の平均相対残差を提供する一方、(B)HyUについての対応するマップは、7.1%の平均を提供する。(C)zスタックについての残差フェーザマップは、1.1%の平均相対残差を提示する。全てのzスライスにわたる残差の平均から構築された(D)平均LU及び(E)HyU残差画像マップに示されるように、HyUについての残差の低減は、zスタックにわたって維持される。HyUについての4%の平均残差改善は、21%のLUと比較して5.3倍である。
図17】独立スペクトル成分の識別を容易にすることができる残差マップを示す。実験蛍光顕微鏡データは、予期しない自己蛍光信号を含むことが多い。残差マップ(方法)は、これらの信号を説明し、かつHyU分析を適切に調整するための追加情報を提供する。(A)ゼロの閾値を用いて4つの入力スペクトルのHyUから計算された、(B)残差フェーザマップ上のROI選択に従って、シアン(自己蛍光)及びマゼンタ(バックグラウンド)で擬似着色されたピクセルを有する平均強度画像。画像の擬似着色領域は、(C)残差画像マップにおける高い残差値を提示する領域とマッチする。予期しない自己蛍光スペクトル(シアン)を含むようにアンミキシング入力を変更し、残差フェーザマップ選択を実行することにより、(D)バックグラウンド擬似着色(マゼンタ)画像が生成される。アンミキシングに独立スペクトル成分として自己蛍光を含めることは、(E)残差フェーザマップにおける自己蛍光信号(シアンROI)に対応するピクセルの数を減少させ、それによって、画像の中央部分に高い残差をもはや提示しない(F)残差画像マップとマッチする。閾値を250に増加させることにより、バックグラウンドに対応する高い残差を有するピクセルが除去され、(G)平均強度画像、(H)残差フェーザマップ、及び(I)残差画像マップからそれらが除去される。
図18】内因性信号のみをアンミックスすることの実現可能性を実証する、36hpfのキャスパーゼブラフィッシュのHyU分析を示す。キャスパーゼブラフィッシュは、色素がないことを特徴とする遺伝子導入ゼブラフィッシュである。データセットは、740nm励起での二光子スペクトルモードで取得された。HyUアンミキシングは、溶液中で測定された5つの純粋な内因性信号を利用して実行された(方法):(A)全ての信号のマージされた概観、(B)NADH結合、(C)NADHフリー(黄)、(D)レチノイド(マゼンタ)、(E)主に、カロテノイドが保存され、移送され、次いでレチノイン酸に代謝される既知の場所である卵黄嚢に現れるレチノイン酸(シアン)13、(F)エラスチン(緑)は、この発達段階でゼブラフィッシュフロアプレート内と同様の分布を有する、(G)フェーザ、(H)Gにおける選択からの平均スペクトル。
図19】符号化されたHyUに対する元の形態の複数のアンミキシングアルゴリズムの速度比較及び改善プロットを示す。(A)様々なハイパースペクトルイメージングデータセットサイズにわたる、元の(ピクセルごとの)バージョン及びHyUバージョンの両方についての複数のアンミキシングアルゴリズムの計算時間。(B)元のアンミキシングに対するHyUの比率を使用した速度の改善は、全ての入力データサイズにわたってLU以外の全てのアルゴリズムの速度の大幅な増加を実証している。(C、D)LUの元のバージョン及びHyUバージョンの計算時間及び速度の改善は、LUの元のバージョンが約2倍のより高い計算速度を提供することを示す。プロットA~Cは、対数スケールを使用している一方、プロットDは、y軸に線形スケールを使用している。
図20】合成データ及び実験デーにおける残差を示す。(A)データは、広範囲のノイズをカバーし、かつアルゴリズムの性能の徹底的な試験を可能にする目的でシミュレートされた。この例では、14個の光子(赤い破線)を有するグラウンドトゥルーススペクトルが、複数のタイプのノイズ(濃い緑の線)を考慮してシミュレートされている。シミュレートされたスペクトルは、ノイズの実質的な存在を伴う乱れた形状を提示する。HyU分析中、フェーザビン内のスペクトルのエンコーディングにおいて、シミュレートされたスペクトル(濃い緑の線)は、複数の他のピクセルの同様のスペクトルと平均され、(明るい緑色の光)を生成する。ハイブリッドアンミキシング(オレンジの線)で回復したスペクトルは、グラウンドトゥルースに類似している。しかしながら、残差の計算では、シミュレーションの乱れた信号(濃い緑色の線)に起因して、クリーンデータにノイズがないことが残差としてカウントされる。(B)比較のための同様の光子範囲(15~20個の光子)での実験データ(図3から)からのスペクトル。実験データの性質上、グラウンドトゥルースなしで、スペクトル線に対して同じカラーコードが利用される。
図21】カスタマイズされた独立スペクトルを使用する低濃度信号に対するHyUアンミキシングを示す。四遺伝子導入ゼブラフィッシュの内因性信号及び外因性信号をアンミックスした結果:図6に提示されるデータセットの単一の時点におけるGt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)は、更なる情報を提供し、このデータセットにおけるいくつかの外因性信号の弱い発現を強調する。(A)内因性シグネチャについての入力スペクトルは、フェーザプロットにおけるエンドメンバの選択によって直接取得された。外因性シグネチャについての入力スペクトルは、それらのシグネチャを個々に発現する試料の他のデータセットから取得され、これらの外因性信号がこのデータセット内で強く発現されないことから、740nmの二光子で励起された。(B)アンミキシング結果のレンダリングは、最適なコントラストを示すように自動調整された。弱い入力シグネチャからのスペクトルでも、アンミキシングを実行することができる。(C)各アンミックス独立スペクトルシグネチャのヒストグラムカウントは、内因性シグネチャと比較して、外因性蛍光シグネチャの低い信号を実証している。mRuby及びtdTomatoチャネルの中央値は、それぞれ、57及び77デジタルレベルであり、他の信号の中央値よりもかなり低い。
図22】複数回のノイズ除去フィルタにわたるHyU性能の向上を強調する、シミュレートされた蛍光スペクトルの組み合わせについての相対平均二乗誤差(RMSE)の改善を示す。試料中のこれらの標識の空間重複(各マトリックスのX軸)の関数として、2~8個の外因性標識(各マトリックスのY軸)を有する合成データの集合をアンミックスするとき、12個のマトリックスは、LUに対するHyUのRMSE改善を実証している。マトリックスでは、0%の重複は、各ピクセルが単一のフルオロフォアに対応する、空間的に異なるフルオロフォアを伴うシミュレーションを表す一方、100%の重複を伴うシミュレーションは、あらゆるピクセルに、n個のフルオロフォアのランダム化された比率を含む。マトリックスにおいて報告される値の各々は、1024×1024×32ピクセルシミュレーションの平均であり、LUに対するHyUのRMSE改善を示す。図中の異なる列は、(A)16、(B)32、(C)48のピクセル当たりの光子の総数で適用される異なる回数のノイズ除去フィルタ(0回、1回、3回、5回)を有するRMSE改善マトリックスを報告する。ノイズ除去フィルタがない場合、HyU全体の改善は、8%未満である。ノイズ除去フィルタは、RMSEを80%超改善する。このシミュレーションに利用されるスペクトルは、図26Aに報告されている。
図23】複数回のノイズ除去フィルタにわたるHyU性能の向上を強調する、シミュレートされた蛍光及び自己蛍光スペクトルの組み合わせについてのRMSEの改善を示す。試料中のこれらの標識の空間重複(各マトリックスのX軸)の関数として、2~8個の外因性及び内因性標識(各マトリックスのY軸)を有する合成データの集合をアンミックスするとき、12個のマトリックスは、LUに対するHyUのRMSE改善を実証している。マトリックスでは、0%の重複は、各ピクセルが単一のフルオロフォアに対応する、空間的に異なるフルオロフォアを伴うシミュレーションを表す一方、100%の重複を伴うシミュレーションは、あらゆるピクセルに、n個の外因性及び内因性フルオロフォアのランダム化された比率を有する。マトリックスにおいて報告される値の各々は、1024×1024×32ピクセルシミュレーションの平均であり、LUに対するHyUのRMSE改善を示す。図中の異なる列は、(A)16、(B)32、(C)48のピクセル当たりの光子の総数で適用される異なる回数のノイズ除去フィルタ(0回、1回、3回、5回)を有するRMSE改善マトリックスを報告する。ノイズ除去フィルタがない場合、HyU全体の改善は、25%未満である。ノイズ除去フィルタは、RMSEを100%超改善する。このシミュレーションに利用されるスペクトルは、図26Bに報告されている。
図24】減少したスペクトルチャネルの数にわたる全体的な性能の低下を強調する、シミュレートされた蛍光スペクトルの組み合わせについてのRMSEの改善を示す。試料中のこれらの標識の空間重複(各マトリックスのX軸)の関数として、2~8個の外因性標識(各マトリックスのY軸)を有する合成データの集合をアンミックスするとき、15個のマトリックスは、LUに対するHyUのRMSE改善を実証している。マトリックスでは、0%の重複は、各ピクセルが単一のフルオロフォアに対応する、空間的に異なるフルオロフォアを伴うシミュレーションを表す一方、100%の重複を伴うシミュレーションは、あらゆるピクセルに、n個のフルオロフォアのランダム化された比率を含む。マトリックスにおいて報告される値の各々は、1024×1024×32ピクセルシミュレーションの平均であり、3回のノイズ除去フィルタを用いる、LUに対するHyUのRMSE改善を示す。図中の列は、(A)16、(B)32、(C)48のピクセル当たりの光子の総数で適用される、ビニングされるスペクトルチャネルの数の増加(32、16、8、6、4)にわたるRMSE改善マトリックスを表す。32スペクトルチャネルデータを利用する場合、RMSE改善は、高度に重複するフルオロフォアについて、以前に報告された80%を上回るものに達する。波長次元にわたってビニングを連続的に増加させる(したがって、スペクトルチャネルの数を減少させる)ことは、4つのスペクトルチャネルマトリックス、ここではRMSE改善が、特に6つ以上の標識について、8%を下回って劇的に低下するまで、RMSE改善のゆっくりとした下降傾向を示す。このシミュレーションに利用されるスペクトルは、図26Aに報告されている。
図25】減少したスペクトルチャネルの数にわたる全体的な性能の低下を強調する、シミュレートされた蛍光及び自己蛍光スペクトルの組み合わせについてのRMSEの改善を示す。試料中のこれらの標識の空間重複(各マトリックスのX軸)の関数として、2~8個の外因性及び内因性標識(各マトリックスのY軸)を有する合成データの集合をアンミックスするとき、15個のマトリックスは、LUに対するHyUのRMSE改善を実証している。マトリックスでは、0%の重複は、各ピクセルが単一のフルオロフォアに対応する、空間的に異なるフルオロフォアを伴うシミュレーションを表す一方、100%の重複を伴うシミュレーションは、あらゆるピクセルに、n個の外因性及び内因性フルオロフォアのランダム化された比率を含む。マトリックスにおいて報告される値の各々は、1024×1024×32ピクセルシミュレーションの平均であり、LUに対するHyUのRMSE改善を示す。図中の列は、(A)16、(B)32、(C)48のピクセル当たりの光子の総数で適用される、ビニングされるスペクトルチャネルの数の増加(32、16、8、6、4)にわたる、3回のノイズ除去フィルタを用いるRMSE改善マトリックスを表す。32スペクトルチャネルデータを利用する場合、RMSE改善は、高度に重複するフルオロフォアについて、以前に報告された100%まで達する。波長次元にわたってビニングを連続的に増加させる(したがって、チャネルの数を減少させる)ことは、4つのスペクトルチャネルマトリックス、ここではRMSE改善が、特に3つ以上の標識について、25%を下回って劇的に低下するまで、RMSE改善のゆっくりとした下降傾向を示す。このシミュレーションに利用されるスペクトルは、図26Bに報告されている。
図26】重複シミュレーションにおける成分の発光スペクトルを示す。(A)蛍光(FL)重複シミュレーションに使用されるtdTomato、シトリン、mKO2、mCherry、GFP、Alexa610、DAPI、及びCFPを含む8つのフルオロフォアからの発光スペクトル。(B)自己蛍光(autoFL)重複シミュレーションに使用される、tdTomato、シトリン、mKO2、mRuby、NADH結合型、NADHフリー、レチノール、及びレチノイン酸を含む8つの外因性及び内因性フルオロフォアからの発光スペクトル。
図27】フェーザマップ上の一般的なフルオロフォアについての事前に識別された位置を示す。(A)事前に識別された外因性標識位置(g、s)が、第1の高調波及び(B)第2の高調波についてのフェーザプロット上に表されている。(C)内因性標識場所が、第1の高調波及び(D)第2の高調波についてのフェーザプロット上に更に追加されている。第2の高調波は、一般に、第1の高調波と比較して、フェーザ空間のより大きな部分をカバーする。しかしながら、内因性信号の場合、純粋な自己蛍光スペクトルの場所は、第1の高調波を利用するとき、平均でより分離する。これらの場所の純粋なスペクトルのソースの詳細は、方法-独立スペクトルシグネチャに報告されている。
図28】ゼブラフィッシュ胚の高倍率後脳領域におけるレチノール及びフラビンアデニンジヌクレオチド(FAD)自己蛍光を示す。(A)フェーザ分析は、740nmの二光子励起を利用して、高倍率(ピクセルサイズ=0.078×0.078μm)及び高出力で22hpfの野生型ゼブラフィッシュ脳をイメージングするとき、異なる自己蛍光スペクトル成分(マゼンタドット)を明らかにする(表S1)。(B)Aにおけるフェーザ選択からの対応する発光スペクトル。Aにおけるマゼンタフェーザ選択に対応するスペクトルは、インビトロ溶液(方法-独立スペクトルシグネチャ)から得られたFADのスペクトル信号と密接にマッチし、局所環境の変化を説明する14。(C)FADアンミキシングチャネルは、ゼブラフィッシュの頭部領域のFADクラスタを強調する。(D)内因性信号についてのアンミキシング結果の複合画像レンダリング:NADH結合、NADHフリー、レチノイド、レチノイン酸、FAD、及びエラスチン。
図29】深部組織における信号歪みに対する例示的なフェーザ分析を示す。19hpfのTg(ubiq:lyn-tdTomato)ゼブラフィッシュの3D(x、y、z)データセットの異なるZ位置の画像は、13zスライスごとに(データセットに対して)0μm~80μmの深さから取得された。(A~D)0μm、26μm、52μm、及び78μmの深さの単一スライスから計算されたフェーザ。(E~H)各zスライスについての対応する平均強度画像(32個のスペクトルチャネルにわたる)は、深さに伴う蛍光強度の予想される減少を示す。(I)提示された4つのzスライス(0、26、52、78μm)の各々についてのtdTomato蛍光シグネチャについてのフェーザ位置ビンにリンクされたピクセルの平均スペクトルは、(J)Iに示される平均スペクトルを各スペクトルの最大値に正規化することによって示されるように、スペクトル形状の変化なしにスペクトル面積の減少を示す。このことは、スペクトル形状が異なる深さ(z平面)にわたって変化しない一方で全体的な強度が減少することを実証している。(K)各画像について5つのスペクトルである、0μm(青)及び26μm(赤)の生スペクトル画像からランダムに選択されたスペクトル、並びに(L)52μm(緑)及び78μm(黄)について同様。信号強度が低いため、2つの黄及び3つの緑のスペクトルが、鮮明には見えない。
図30】スペクトル重複し、かつ空間分散した試料からのHyU対ハイパースペクトルフェーザ(HySP)結果の例示的な比較を示す。二重遺伝子導入胚Gt(desm-シトリン)ct122a/+、Tg(kdrl:eGFP)(それぞれ、マゼンタ及び黄)に、mRNA-エンコーディングH2B-セルリアン(シアン)を注入することによって得られた三重標識遺伝子導入ゼブラフィッシュ胚から収集されたスペクトル重複する空間分散データセットに対してHyU及びHySPを使用したアンミキシングの結果を提示し、データセットについて、(A~F)HyUアンミキシング結果、及び(G~L)HySPアンミキシング結果レンダリング。(F)HySP(L)HyU分析結果(B、H破線)の線プロファイルは、重複していない試料内の全てのチャネルについての2つの方法間の信号の類似性を示す。(A、F)ボリュメトリック画像は、HyU結果とHySP結果との間の類似性を示す。これは、(C、I)シトリンチャネル、(D、J)セルリアンチャネル、及び(E、K)mCherryチャネルのみについて、(B、H)単一のzスライスの結果について更に実証されている。(F、L)B及びHにそれぞれ示される線についての線プロファイルもまた、空間重複しない試料についてのHyU及びHySPの同様の結果を実証している。
図31】スペクトル重複し、かつ空間分散していない試料からのHyU対HySP結果の例示的な比較を示す。5dpfの二重標識遺伝子導入ゼブラフィッシュ胚から収集された、スペクトル重複し、かつ空間分散していないデータセットに対してHyU及びHySPを使用したアンミキシングの結果:データセット全体にわたるピクセルにおける信号の頻繁な組み合わせを提示する、Gt(cltca-シトリン)、Tg(fli1:mKO2)。データセットについての、(A~E)HyUアンミキシング結果、及び(F~K)HySPアンミキシング結果。(A、F)ボリュメトリック画像は、HyU結果のチャネル間の予想される信号の重複と、HySP結果におけるより明確な分離と、を示す。このことは、(C、H)mKO2チャネル、及び(D、I)シトリンチャネルのみについて、(B、G)単一のzスライスでの結果について更に実証されている。(E、J)B及びGにそれぞれ示される線のラインプロファイルは、HySPの勝者総取り分析と比較した、HyU結果の分数的性質を実証している。
図32】HyU及びLUの内因性蛍光信号の例示的な残差分析がHyUアンミキシングについての堅牢な結果を示すことを示す。3dpfの四遺伝子導入ゼブラフィッシュGt(cltca-シトリン)、Tg(ubq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)のハイパースペクトル蛍光データに対して残差分析を行い、そのアンミキシング結果を図5に報告した。(A~B)LU及び(C~F)HyUについて、残差分析結果をそれぞれ示す。A及びCにおけるLU及びHyUについての、z平均データセットの残差画像マップ(方法)は、それぞれ、HyUについてより低い残差値を示し、アンミキシングの質の改善を示唆している。スペクトル当たりの推定光子カウントの関数としての各ピクセルにおける元の強度に対する残差分布が、B及びDにおけるLU及びHyUについて、それぞれ、提示され、HyUについてより低い相対残差を有する分布を示す。(E)残差フェーザマップ(方法)は、フェーザクラスタのエッジに対応する領域においてより高い残差値を提示する。(F)HyUについての残差フェーザヒストグラムは、実験データについて、光子の広いダイナミックレンジの残差の分布を示す。
図33】例示的なエンドメンバスペクトル選択プロセスを示す。(A)フェーザマップは、単一の蛍光標識試料、この場合には18hpfの遺伝子導入Tg(ubiq:lyn-tdTomato)ゼブラフィッシュ、のデータのスペクトル分布を示す。(B)フェーザビン選択(Aにおける赤点)に対応する平均スペクトルは、本明細書で考察されるソフトウェアプロットを使用して視覚化され得る。(C)相対(上)及び絶対(下)強度を有する対応する平均スペクトル。保存ボタンは、スペクトルデータを、他のデータをアンミックスするためにリロードされ得るテキストファイルとしてエクスポートすることを可能にする。(D)アンミキシング結果。より段階的な情報は、本書のソフトウェアに関連付けられたREADMEファイルで利用可能である。
図34】スペクトルSNRと光子/スペクトルとの間の例示的な関係を示す。SNRとスペクトル当たりの光子との間の直接的な関係を、スペクトル当たりの様々なレベルの光子についてのスペクトルSNRの計算を使用して、ここに示す。スペクトルSNRは、スペクトル当たりの光子の増加に伴って値が増加する一般的な傾向を有するが、それは真に単調な関数ではない。この非単調性は、スペクトル画像を分析するときのSNRの限界を実証している。(A)絶対スペクトルSNR及び(B)相対スペクトルSNRは、スペクトル当たりの光子の増加とともに値が高くなる同じ傾向に従う。しかしながら、相対スペクトルSNRは、SNRに対する異なるスペクトル形状の影響をより良好に区別する。シトリン、mKO2、mRuby、及びtdTomatoは各々、昇順で、回帰の傾きの値を容易に区別される。スペクトル当たりの光子数が同じであっても、tdTomatoは、最良のSNRを提供するスペクトル形状を有する一方、シトリンは、最低のSNRを提供する。
図35】新鮮なマウス組織における例示的な内因性蛍光シグネチャを示す。7ヶ月間のBalb-cマウスの新鮮な腎臓組織における内因性蛍光シグネチャを、150μm深さのボリュームにおいて740nmでの二光子励起でイメージングした。深さが増加するにつれてこの哺乳動物組織の散乱効果が増加するにもかかわらず、HyUは、内因性蛍光信号のアンミキシングを実行することができる。(A)5つの内因性蛍光シグネチャのアンミキシング結果のボリュメトリックレンダリングは、(C)試料における30μmの深さでのボリュームのアンミックス(x、y)断面の(B~E)直交視と、その対応する(B)(x、z)及び(E)(y、z)投影と、に見られるように、文献と一致する結果を示す。(D)ボリュームの150μmの深さにわたる取得されたスペクトル(x、y)セクションごとの平均自己蛍光信号は、Eの対応する(y、z)投影に見られるように、75μmの深さ後の強度の急激な減少を示す。
図36】固定マウス組織における外因性蛍光シグネチャを示す。HyUの性能は、150μm深さまでの二光子850nm励起でイメージングされた埋め込まれたCy3蛍光ビーズ(方法)を有する7ヶ月齢のBalb-cマウスの高散乱固定腎臓組織における蛍光信号のイメージングにおいて評価された。(A)固定自己蛍光(autoFL)、Cy3ビーズ、バックグラウンド、及び二次高調波生成(SHG)からの信号のアンミキシング結果のボリュメトリックレンダリング。(B~E)(C)断面(Cにおける黄のヘアライン)を有する90μmの深さでのボリュームの単一(x,y)平面についての同じボリュームの直交視であって、(B)18μmの(z,x)及び(E)4μmの断面(y,z)は、それぞれ、140μmまでの異なる深さでCy3ビーズを含むアンミックスボリュームの断面を示す。(D)深さの関数としての取得された(x,y)スペクトル画像スライスごとの平均強度値は、110μmよりも深い蛍光信号のかなりの損失を明らかにする。(F)絶対強度(デジタルレベル、DL)でプロットされたCy3ビーズ信号を有するピクセルを含む各z平面についての平均スペクトルは、スペクトル下の領域によって見えるように、深さとともに強度が減少することを示す。(G)溶液中のCy3ビーズ(破線)を参照して、スペクトル形状の一貫性を深さの関数として示すために、同じ平均スペクトルが正規化され、相対強度でプロットされている。
図37】例示的な光学システム及び例示的な画像形成システムを備える例示的なハイパースペクトルイメージングシステムを示す。
図38】蛍光顕微鏡である例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図39】多照明波長顕微鏡である例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図40】多照明波長デバイスである例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図41】多波長検出顕微鏡である例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図42】多照明波長及び多波長検出顕微鏡である例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図43】多波長検出デバイスである例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図44】多波長検出デバイスである例示的な光学システムを備える例示的なハイパースペクトルイメージングシステムを示す。このシステムは、例えば図45~46に開示される特徴を含む例示的な画像形成システムを使用することによって、標的のアンミックスカラー画像を生成し得る。
図45】標的のアンミックスカラー画像を生成するために使用され得る例示的な画像形成システムの例示的な特徴を示す。
図46】標的のアンミックスカラー画像を生成するために使用され得る例示的な画像形成システムの例示的な特徴を示す。
【発明を実施するための形態】
【0045】
ここで、例示的な実施態様が説明される。他の実施態様が、追加的に、又は代わりに使用されてもよい。明白又は不必要であり得る詳細が、スペースを節約するために、又はより効果的な提示のために省略されている場合がある。いくつかの実施態様が、追加の構成要素若しくはステップを用いて、及び/又は説明される全ての構成要素若しくはステップを用いずに実施されてもよい。
【0046】
本開示は、一般に、イメージングシステムに関する。本開示は、ハイパースペクトルイメージングシステムに関する。本開示は、標的のアンミックスカラー画像を生成するハイパースペクトルイメージングシステムに更に関する。本開示は、ハイブリッドアンミキシング技法を使用して、標的の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステムに更に関する。本開示は、ハイブリッドアンミキシング技法を使用して、低減された照明強度で複数の蛍光信号の長手方向イメージングを可能にする多重蛍光標識の強化されたイメージングを提供するように構成されているハイパースペクトルイメージングシステムに更に関する。本開示は、健康状態の診断で使用されるハイパースペクトルイメージングシステムに更に関する。
【0047】
本開示はまた、標的の代表画像を生成するためのハイパースペクトルイメージングシステムに関する。ハイパースペクトルイメージングシステムは、1つ以上のハイブリッドアンミキシング技法(複数可)を実装するように構成され得る。例えば、1つ以上のハードウェアコンピュータプロセッサは、ハイパースペクトルイメージングシステムにハイブリッドアンミキシングに関連する1つ以上の動作を実行させるためにプログラム命令を実行するように構成され得る。ハードウェアコンピュータプロセッサによって実行されるもの、及び/又はハイパースペクトルイメージングシステムによって実行されるものなどのハイブリッドアンミキシング、又はそれに関連する動作は、本明細書では、まとめて又は個々に、ハイブリッドアンミキシング(HyU)と称され得る。
【0048】
本開示では、ハイパースペクトルイメージングシステムは、画像形成システムを含み得る。画像形成システムは、標的の検出された放射を取得し、検出された放射が、少なくとも2つの(標的)波を含み、各標的波が、検出された強度及び異なる検出された波長を有し、検出された標的放射を使用して標的画像を形成し、標的画像が、少なくとも2つの(画像)ピクセルを含み、各画像ピクセルが、標的上の1つの物理的な点に対応し、各標的波の(検出された)強度及び(検出された)波長を使用して、各画像ピクセルについて、少なくとも1つの(強度)スペクトルを形成し、各画像ピクセルの強度スペクトルに基づいて、フーリエ変換を使用して、各画像ピクセルの強度スペクトルを複素数値関数に変換し、各複素数値関数が、少なくとも1つの実数成分及び少なくとも1つの虚数成分を有し、実数成分の値を虚数成分の値に対してプロットすることによって、各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成し、実数成分の値が、以後、実数値と称され、虚数成分の値が、以後、虚数値と称され、少なくとも2つのフェーザビンを含む(フェーザ)ヒストグラムを形成し、各(フェーザ)ビンが、少なくとも1つのフェーザ点を含む構成を有し得る。
【0049】
本開示では、画像形成システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約し、各フェーザビンについて、代表強度スペクトルを生成し、アンミキシング技法を使用することによって、フェーザビンの代表強度スペクトルをアンミックスし、それによって、検出された放射の各スペクトルエンドメンバの存在量を判定し、代表強度スペクトル及び画像ピクセルに属する検出された強度における各スペクトルエンドメンバの存在量を使用することによって、標的の対応する画像ピクセルに色を割り当て、各スペクトルエンドメンバの存在量を表す、標的の代表強度画像を生成する構成を(更に)有し得る。
【0050】
本開示では、各フェーザビンに集約された強度スペクトルは、比較的類似した強度スペクトル又は実質的に同じ強度スペクトルを有し得る。これらの実質的に同様の強度スペクトルを加算又は平均することは、強度スペクトルを実効的に平均して、そのフェーザ位置についての代表(又は平均)強度スペクトルを生成する。これらの実質的に同様の強度スペクトルを加算又は平均することは、任意の数学的な従来の又は知られている方法によって達成され得る。すなわち、代表強度スペクトルをもたらし得る任意の加算又は平均する数学的技法は、本開示の範囲内である。
【0051】
本開示では、画像形成システムはまた、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約し得る(更なる)構成を有し得る。同じビンの画像ピクセルに属する検出されたスペクトルは、実質的に同じ検出された強度及び検出された波長を有し得る。
【0052】
本開示では、検出された標的放射、強度スペクトル、及び/又は代表強度スペクトルをアンミックスし得る任意の(スペクトル)アンミキシング技法は、本開示の範囲内である。アンミキシング技法は、リニアアンミキシング技法であり得る。アンミキシング技法は、完全制約付き最小二乗アンミキシング技法、行列反転アンミキシング技法、非負行列分解アンミキシング技法、幾何学的アンミキシング技法、ベイジアンアンミキシング技法、スパースアンミキシング技法、又はそれらの任意の組み合わせであり得る。
【0053】
本開示の画像形成システムは、ノイズ除去フィルタを適用して、検出された放射のポアソンノイズ及び/又は機器ノイズを低減する更なる構成を有し得る。画像形成システムはまた、各画像ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の実数成分及び虚数成分の両方にノイズ除去フィルタを少なくとも1回適用する更なる構成を有し得る。ノイズ除去フィルタは、画像形成システムが、フーリエ変換を使用して各画像ピクセルに属する形成された強度スペクトルを複素数値関数に変換した後、及び/又は画像形成システムが各画像ピクセルについてフェーザ平面上に1つのフェーザ点を形成する前に適用され得る。画像形成システムはまた、画像形成システムが各画像ピクセルについて、フェーザ平面上に1つのフェーザ点を形成した後に、実数成分の値及び/又は虚数成分の値にノイズ除去フィルタを適用し得る更なる構成を有し得る。ノイズ除去された実数値を各画像ピクセルの実数値として使用して、かつ各画像ピクセルのノイズ除去された虚数値を虚数値として使用して、各画像ピクセルのフェーザ平面上に1つのフェーザ点を形成し得る。
【0054】
インビボでの多重化されたハイパースペクトル蛍光信号の分析を強化し得る、例示的なHyUハイパースペクトルイメージングシステムを図1に示す。この例では、多色蛍光生体試料(ここでは、ゼブラフィッシュ胚)は、標本図1Aにおける各ボクセルの蛍光スペクトルを収集するハイパースペクトルモードでイメージングされ得る。蛍光スペクトルデータは、(単一の高調波での)実数及び虚数のフーリエ成分の2Dヒストグラムであるフェーザプロットに変換される(図1B)。フェーザポイントの値にスペクトルノイズ除去フィルタを適用して、フェーザヒストグラム上のポアソンノイズ及び機器ノイズを低減し、信号改善を提供し得る(図1C)。フェーザ変換は、各ヒストグラムビンが、各々が比較的類似したスペクトルを有する(画像)ピクセルの数nに対応するようなエンコーダとして機能し得る(図1D)。これらの(強度)スペクトルを加算又は平均することは、(強度)スペクトルを実効的に平均して、そのフェーザ位置についての代表強度スペクトルを生成する(図1E)。代表強度スペクトルのそのような生成は、検出された画像放射を更にノイズ除去することができ、このことは、アンミキシングアルゴリズム(図1F)を通じた解析的分解に適し得る。アンミキシングは、スペクトル成分に分離された画像をもたらし得る(図1G)。ここでは、アンミキシングにリニアアンミキシング(LU:linear unmixing)が使用されているが、HyUは、任意のアンミキシング技法と互換性がある。HyUは、例えば、計算が標本(図1A)における約107個のボクセルではなく、104個のヒストグラムビン(図1D)に適用され得るため、アンミキシング計算のデータサイズ及び複雑さの大幅な減少を提供し得ることに留意されたい。このHyUアプローチは、従来のアンミキシング計算に必要とされる計算の数を劇的に低減し得る。
【0055】
ハイパースペクトルイメージングシステムは、光学システムを更に備え得る。光学システムは、少なくとも1つの光学構成要素を含み得る。少なくとも1つの光学構成要素は、少なくとも1つの光学検出器を含み得る。少なくとも1つの光学検出器は、標的上の少なくとも1つの物理的な点から吸収、透過、屈折、反射、及び/又は放出された電磁放射を検出し、それによって、標的放射を形成することができ、標的放射が、少なくとも2つの標的波を含み、各標的波が、強度及び異なる波長を有する構成を有し得る。少なくとも1つの光学検出器は、各標的波の強度及び波長を検出し得る更なる構成を有し得る。少なくとも1つの光学検出器はまた、検出された標的放射と、各標的波の検出された強度及び検出された波長とを取得される画像形成システムに伝送し得る更なる構成を有し得る。画像形成システムは、制御システム、ハードウェアプロセッサ、メモリ、及びディスプレイを更に備え得る。画像形成システムは、画像形成システムのディスプレイ上に標的の代表画像を表示し得る更なる構成を有し得る。
【0056】
光学システム及び画像形成システムを備える例示的なハイパースペクトルイメージングシステムの一例を、図37に概略的に示す。ハイパースペクトルイメージングシステム10は、光学システム20、画像形成システム30、又はそれらの組み合わせを含み得る。例えば、ハイパースペクトルイメージングシステムは、光学システム及び画像形成システムを含み得る。例えば、ハイパースペクトルイメージングシステムは、画像形成システムを含み得る。例示的な光学システムを図38図44に示す。画像形成システムの例示的な構成を、図45に示す。ハイパースペクトルイメージングシステムの例示的な構成を、図46に示す。
【0057】
本明細書で示され、及び/又は考察される例示的な光学システムのいずれも、少なくとも1つの光学構成要素を含み得る。少なくとも1つの光学構成要素の例は、検出器(「光学検出器」)、検出器アレイ(「光学検出器アレイ」)、標的を照明する光源(「照明源」)、第1の光学レンズ、第2の光学レンズ、光学フィルタ、分散光学システム、ダイクロイックミラー/ビームスプリッタ、標的と少なくとも1つの光学検出器との間に配置された第1の光学フィルタリングシステム、第1の光学フィルタリングシステムと少なくとも1つの光学検出器との間に配置された第2の光学フィルタリングシステム、又はそれらの組み合わせである。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器を含み得る。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器及び少なくとも1つの照明源を含み得る。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器、少なくとも1つの照明源、少なくとも1つの光学レンズ、少なくとも1つの光学フィルタ、及び少なくとも1つの分散光学システムを含み得る。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器、少なくとも1つの照明源、第1の光学レンズ、第2の光学レンズ、及びダイクロイックミラー/ビームスプリッタを含み得る。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器、少なくとも1つの照明源、光学レンズ、分散光学系を含むことができ、少なくとも1つの光学検出器は、光学検出器アレイである。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器、少なくとも1つの照明源、光学レンズ、分散光学系、ダイクロイックミラー/ビームスプリッタを含むことができ、少なくとも1つの光学検出器は、光学検出器アレイである。例えば、少なくとも1つの光学構成要素は、少なくとも1つの光学検出器、少なくとも1つの照明源、光学レンズ、分散光学系、ダイクロイックミラー/ビームスプリッタを含むことができ、少なくとも1つの光学検出器は、光学検出器アレイであり、照明源は、標的を直接照明する。これらの光学構成要素は、例えば、図38図44に示される例示的な光学システムを形成し得る。
【0058】
本明細書で示され、及び/又は考察される例示的な光学システムのいずれも、光学顕微鏡を含み得る。光学顕微鏡の例は、共焦点蛍光顕微鏡、二光子蛍光顕微鏡、又はそれらの組み合わせであり得る。
【0059】
本明細書に示され、及び/又は考察される少なくとも1つの光学検出器は、標的上の少なくとも1つの物理的な点によって吸収、透過、屈折、反射、及び/又は放出される電磁放射(「標的放射」)を検出する構成を有し得る。標的放射は、少なくとも1つの波(「標的波」)を含み得る。標的放射は、少なくとも2つの標的波を含み得る。各標的波は、強度及び異なる波長を有し得る。少なくとも1つの光学検出器は、各標的波の強度及び波長を検出する構成を有し得る。少なくとも1つの光学検出器は、検出された標的放射を画像形成システムに伝送する構成を有し得る。少なくとも1つの光学検出器は、各標的波の検出された強度及び波長を画像形成システムに伝送する構成を有し得る。少なくとも1つの光学検出器は、これらの構成の任意の組み合わせを有し得る。
【0060】
本明細書で示され、及び/又は考察される少なくとも1つの光学検出器は、光電子増倍管、光電子増倍管アレイ、デジタルカメラ、ハイパースペクトルカメラ、電子増倍電荷結合デバイス(electron multiplying charge coupled device)、Sci-CMOS、デジタルカメラ、又はそれらの組み合わせを含み得る。デジタルカメラは、任意のデジタルカメラであり得る。デジタルカメラは、標的放射の検出のためにアクティブフィルタとともに使用され得る。デジタルカメラはまた、例えば、ルミネッセンス、熱放射、又はそれらの組み合わせを含む標的放射の検出のためにアクティブフィルタとともに使用され得る。
【0061】
本明細書に示され、及び/又は考察される標的放射は、標的によって放出される電磁放射を含み得る。標的によって放出される電磁放射は、ルミネッセンス、熱放射、又はそれらの組み合わせを含み得る。ルミネッセンスは、蛍光、リン光、又はそれらの組み合わせを含み得る。例えば、標的によって放出される電磁放射は、蛍光、リン光、熱放射、又はそれらの組み合わせを含み得る。例えば、標的によって放出される電磁放射は、蛍光を含み得る。少なくとも1つの光学構成要素は、第1の光学フィルタリングシステムを更に含み得る。少なくとも1つの光学構成要素は、第1の光学フィルタリングシステム及び第2の光学フィルタリングシステムを更に含み得る。第1の光学フィルタリングシステムは、標的と少なくとも1つの光学検出器との間に配置され得る。第2の光学フィルタリングシステムは、第1の光学フィルタリングシステムと少なくとも1つの光学検出器との間に配置され得る。第1の光学フィルタリングシステムは、ダイクロイックフィルタ(dichroic filter)、ビームスプリッタタイプフィルタ、又はそれらの組み合わせを含み得る。第2の光学フィルタリングシステムは、ノッチフィルタ、アクティブフィルタ、又はそれらの組み合わせを含み得る。アクティブフィルタは、適応光学システム、音響光学調節可能フィルタ、液晶調節可能バンドパスフィルタ、ファブリーペロ干渉フィルタ(Fabry-Perot interferometric filter)、又はそれらの組み合わせを含み得る。
【0062】
本明細書に示され、及び/又は考察される少なくとも1つの光学検出器は、300nm~800nmの範囲の波長の標的放射を検出し得る。少なくとも1つの光学検出器は、300nm~1300nmの範囲の波長の標的放射を検出し得る。
【0063】
少なくとも1つの照明源は、電磁放射(「照明源放射」)を生成し得る。照明源放射は、少なくとも1つの波(「照明波」)を含み得る。照明源放射は、少なくとも2つの照明波を含み得る。各照明波は、異なる波長を有し得る。少なくとも1つの照明源は、標的を直接照明し得る。この構成では、照明源と標的との間に光学構成要素がない。少なくとも1つの照明源は、標的を間接的に照明し得る。この構成では、照明源と標的との間に少なくとも1つの光学構成要素がある。照明源は、全ての照明波を同時に伝送することによって、各照明波長で標的を照明し得る。照明源は、全ての照明波を順次伝送することによって、各照明波長で標的を照明し得る。
【0064】
本開示では、照明源は、コヒーレント電磁放射源を含み得る。コヒーレント電磁放射源は、レーザ、ダイオード、二光子励起源、三光子励起源、又はそれらの組み合わせを含み得る。
【0065】
照明源放射は、300nm~1300nmの範囲の波長を有する照明波を含み得る。照明源放射は、300nm~700nmの範囲の波長を有する照明波を含み得る。照明源放射は、690nm~1300nmの範囲の波長を有する照明波を含み得る。例えば、照明源は、300~700nmの範囲の電磁放射を生成することができる一光子励起源であり得る。例えば、そのような一光子励起源は、約405nm、約458nm、約488nm、約514nm、約554nm、約561nm、約592nm、約630nm、又はそれらの組み合わせの波長を有する波を含み得る電磁放射を生成し得る。別の例では、光源は、690nm~1300nmの範囲の電磁放射を生成することができる二光子励起源であり得る。そのような励起源は、調節可能なレーザであり得る。更に別の例では、光源は、300nm~1300nmの範囲の電磁放射を生成することができる一光子励起源及び二光子励起源であり得る。例えば、そのような一光子励起源は、約405nm、約458nm、約488nm、約514nm、約554nm、約561nm、約592nm、約630nm、又はそれらの組み合わせの波長を有する波を含み得る電磁放射を生成し得る。例えば、そのような二光子励起源は、690nm~1300nmの範囲の電磁放射を生成することが可能であり得る。そのような二光子励起源は、調節可能なレーザであり得る。
【0066】
照明源放射の強度は、標的が照明されるときに標的が照明源放射によって損傷しないような特定のレベルよりも高くない場合がある。
【0067】
ハイパースペクトルイメージングシステムは、顕微鏡を含み得る。顕微鏡は、任意の顕微鏡であり得る。例えば、顕微鏡は、光学顕微鏡であり得る。任意の光学顕微鏡が、システムに好適であり得る。光学顕微鏡の例は、二光子顕微鏡、一光子共焦点顕微鏡、又はそれらの組み合わせであり得る。二光子顕微鏡の例は、Alberto Diaspro“Confocal and Two-Photon Microscopy:Foundations, Applications and Advances”Wiley-Liss,New York,November 2001、及びGreenfield Sluder and David E.Wolf“Digital Microscopy”4th Edition,Academic Press,August 20,2013に開示されている。これらの刊行物の各々の内容全体は、参照により本明細書に組み込まれる。
【0068】
蛍光顕微鏡100を備える例示的な光学システムを、図38に示す。この例示的な光学システムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、ダイクロイックミラー/ビームスプリッタ102、第1の光学レンズ103、第2の光学レンズ104、及び検出器106を含み得る。これらの光学構成要素は、蛍光顕微鏡100を形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。光源は、照明源放射107を生成し得る。ダイクロイックミラー/ビームスプリッタ102は、照明波を反射して、標的105を照明し得る。結果として、標的は、電磁放射(例えば、蛍光)108を放出し、照明源放射107を反射して戻し得る。ダイクロイックミラー/ビームスプリッタ102は、標的からの照明源放射をフィルタリングすることができ、標的から反射された照明源放射が検出器に到達することを実質的に防止し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成され得る。
【0069】
多照明波長顕微鏡200を備える例示的な光学システムを、図39に示す。この例示的な光学システムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、ダイクロイックミラー/ビームスプリッタ102、第1の光学レンズ103、第2の光学レンズ104、及び検出器106を含み得る。これらの光学構成要素は、蛍光顕微鏡、反射顕微鏡、又はそれらの組み合わせを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。照明源は、複数の波を含む照明源放射を生成することができ、各波は、異なる波長を有し得る。例えば、この例での照明源は、各々が異なる波長、201及び202を有する2つの波を含む照明源放射を生成し得る。光源は、各波長で標的を順次照明し得る。ダイクロイックミラー/ビームスプリッタ102は、照明源放射を反射して、標的105を照明し得る。結果として、標的は、電磁放射の波を放出することができ、及び/又は反射して戻し得る。一実施形態では、ダイクロイックミラー/ビームスプリッタ102は、標的からの電磁放射をフィルタリングすることができ、放出された放射が検出器に到達することを実質的に可能にし、標的から反射された照明源放射が検出器に到達することを実質的に防止し得る。別の例では、ダイクロイックミラー/ビームスプリッタ102は、標的からの反射された波のみを透過するが、標的からの放出された波を実質的にフィルタリングし、それによって、標的からの反射された波のみが検出器に到達することを可能にし得る。更に別の例では、ダイクロイックミラー/ビームスプリッタ102は、反射された放射と標的からの放出された放射との両方を透過し、それによって、反射された放射と標的からの反射された放射との両方が検出器に到達することを可能にし得る。この例では、各々が異なる波長を有する複数の波が検出器に到達し得る。例えば、検出器に到達する電磁放射は、各々が異なる波長を有する2つの波203及び204を有し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成され得る。
【0070】
多波長検出顕微鏡300を備える別の例示的なハイパースペクトルイメージングシステムを、図40に示す。この例示的なハイパースペクトルイメージングシステムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、第1の光学レンズ103、分散光学系302、及び検出器アレイ304を含み得る。これらの光学構成要素は、蛍光デバイス、反射デバイス、又はそれらの組み合わせを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。標的は、電磁放射の波301を放出することができ、及び/又は反射し得る。この例では、少なくとも1つの波又は少なくとも2つの波が、検出器アレイに到達し得る。各波は、異なる波長を有し得る。分散光学系302は、スペクトル分散電磁放射303を形成し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成され得る。
【0071】
多波長検出顕微鏡400を備える別の例示的なハイパースペクトルイメージングシステムを、図41に示す。この例示的なハイパースペクトルイメージングシステムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、ダイクロイックミラー/ビームスプリッタ102、第1の光学レンズ103、分散光学系302、及び検出器アレイ304を含み得る。これらの光学構成要素は、蛍光デバイスを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。照明源は、少なくとも1つの波107を含む照明源放射を生成し得る。各波は、異なる波長を有し得る。光源は、各波長で標的を順次照明し得る。ダイクロイックミラー/ビームスプリッタ102は、照明波を反射して、標的105を証明し得る。結果として、標的は、電磁放射の波を放出し得る。ダイクロイックミラー/ビームスプリッタ102は、放出された波301が検出器アレイに到達することを実質的に可能にし得るが、標的放射をフィルタリングし、それによって、標的から反射された波が検出器アレイに到達することを実質的に防止し得る。この例では、検出器アレイに到達する放出された放射は、各々が異なる波長を有する複数の波を含み得る。分散光学系302は、スペクトル分散電磁放射303を形成し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、上に本開示されたシステム特徴を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴のいずれかを使用することによって生成され得る。
【0072】
多照明波長及び多波長検出デバイス500を備える別の例示的なハイパースペクトルイメージングシステムを、図42に示す。この例示的なハイパースペクトルイメージングシステムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、ダイクロイックミラー/ビームスプリッタ102、第1の光学レンズ103、分散光学系302、及び検出器アレイ304を含み得る。これらの光学構成要素は、蛍光顕微鏡、反射顕微鏡、又はそれらの組み合わせを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。光源は、複数の波を含む照明波を生成することができ、各波は、異なる波長を有し得る。例えば、この例での照明源は、各々が異なる波長、201及び202を有する2つの波を含む照明源放射を生成し得る。照明源は、各波長で標的を順次照明し得る。ダイクロイックミラー/ビームスプリッタ102は、照明放射を反射して、標的105を照明し得る。結果として、標的は、電磁放射を放出することができ、及び/又は反射して戻し得る。一例では、ダイクロイックミラー/ビームスプリッタ102は、標的からの放射をフィルタリングして、放出された放射のみが検出器アレイに到達することを実質的に可能にするが、標的から反射された放射が検出器アレイに到達することを実質的に防止し得る。別の例では、ダイクロイックミラー/ビームスプリッタ102は、標的からの反射された波のみを透過するが、標的からの放出された波を実質的にフィルタリングし、それによって、標的からの反射された波のみが検出器アレイに到達することを実質的に可能にし得る。更に別の例では、ダイクロイックミラー/ビームスプリッタ102は、反射された波と標的からの放出された波との両方を実質的に透過し、それによって、標的からの反射された波と反射されたビームとの両方が検出器に到達することを可能にし得る。この例では、検出器アレイに到達するビームは、各々が異なる波長を有する複数の波を有し得る。例えば、検出器アレイに到達するビームは、各々が異なる波長を有する2つの波203及び204を有し得る。分散光学系302は、スペクトル分散電磁放射303を形成し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成し得る。
【0073】
多波長検出デバイス600を備える別の例示的な光学システムを、図43に示す。この例示的な光学システムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、第1の光学レンズ103、分散光学系302、及び検出器アレイ304を含み得る。これらの光学構成要素は、蛍光及び/又は反射率デバイスを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。照明源は、少なくとも1つの波107を含む照明源放射を生成し得る。各波は、異なる波長を有し得る。光源は、各波長で標的を順次照明し得る。結果として、標的は、電磁放射のビーム203を放出、反射、屈折、及び/又は吸収し得る。この例では、検出器アレイに到達する放出、反射、屈折、及び/又は吸収されたビームは、各々が異なる波長を有する複数の波を含み得る。分散光学系302は、スペクトル分散電磁放射303を形成し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成し得る。
【0074】
多波長検出デバイス700を備える別の例示的な光学システムを、図44に示す。この光学システムは、少なくとも1つの光学構成要素を含み得る。このシステムでは、光学構成要素は、照明源101、第1の光学レンズ103、分散光学系302、及び検出器アレイ304を含み得る。これらの光学構成要素は、蛍光及び/又は反射率デバイスを備えるハイパースペクトルイメージングシステムを形成し得る。この例示的なシステムは、標的105の画像を形成するのに好適であり得る。照明源は、少なくとも1つの波107を含む照明源放射を生成し得る。各波は、異なる波長を有し得る。光源は、各波長で標的を順次照明し得る。結果として、標的は、電磁放射のビーム203を放出、透過、屈折、及び/又は吸収し得る。この例では、検出器アレイに到達する放出、透過、屈折、及び/又は吸収された電磁放射は、各々が異なる波長を有する複数の波を含み得る。分散光学系302は、スペクトル分散電磁放射303を形成し得る。これらの光学構成要素を使用することによって、標的の検出された画像及び標的放射の測定された強度は、本開示のシステム特徴/構成を使用することによって、標的のアンミックスカラー画像を生成し得る。例えば、標的のこのアンミックスカラー画像は、図45図46に概略的に示されるシステム特徴/構成のいずれかを使用することによって生成され得る。
【0075】
本開示では、画像形成システム30は、制御システム40、ハードウェアプロセッサ50、メモリシステム60、ディスプレイ70、又はそれらの組み合わせを含み得る。例示的な画像形成システムを、図37に示す。制御システムは、任意の制御システムであり得る。例えば、制御システムは、光学システムを制御し得る。例えば、制御システムは、光学システムの少なくとも1つの光学構成要素を制御し得る。例えば、制御システムは、少なくとも1つの光学検出器を制御して、標的放射を検出し、各標的波の強度及び波長を検出し、各標的波の検出された強度及び波長を画像形成システムに伝送し、標的のアンミックスカラー画像を表示し得る。例えば、制御システムは、光学構成要素の動き、例えば、光学シャッターの開閉、ミラーの動きなどを制御し得る。ハードウェアプロセッサは、本明細書に説明される機能を実行するように設計された、マイクロコントローラ、デジタル信号プロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のプログラマブルロジックデバイス、ディスクリートのゲート又はトランジスタロジック、ディスクリートのハードウェア構成要素、又はそれらの任意の組み合わせを含むことができる。一実施態様では、本明細書で考察される処理の全てが、1つ以上のハードウェアプロセッサ(複数可)によって実行される。例えば、ハードウェアプロセッサは、標的画像を形成し、フェーザ分析を実行し、強度スペクトルのフーリエ変換を実行し、ノイズ除去フィルタを適用し、フェーザ平面を形成し、フェーザ点(複数可)をマッピングバックし、随意の色(複数可)を割り当て、標的のアンミックスカラー画像を生成し、そのような構成を組み合わせ得る。メモリシステムは、任意のメモリシステムであり得る。例えば、メモリシステムは、ハードウェアプロセッサからの入力を受信及び記憶し得る。これらの入力は、例えば、標的画像、標的放射、強度スペクトル、フェーザ平面、標的のアンミックスカラー画像など、又はそのような構成の組み合わせであり得る。例えば、メモリシステムは、画像形成システムの他の構成要素に、例えばプロセッサ及び/又はディスプレイに、出力を提供し得る。これらの出力は、例えば、標的画像、標的放射、強度スペクトル、フェーザ平面、標的のアンミックスカラー画像など、又はそのような構成の組み合わせであり得る。ディスプレイは、任意のディスプレイであり得る。例えば、ディスプレイは、標的画像、強度スペクトル、フェーザ平面、標的のアンミックスカラー画像など、又はそのような構成の組み合わせを表示し得る。画像形成システム30は、ネットワークを介して光学システム20と接続され得る。いくつかの事例では、画像形成システム30は、光学システム20からリモートにあるサーバ上に位置し得る。
【0076】
画像形成システムは、光学検出器に標的放射を検出させ、かつ各標的波の検出された強度及び波長を画像形成システムに伝送させる構成を有し得る。
【0077】
画像形成システムは、少なくとも2つの標的波を含む検出された標的放射を取得する構成を有し得る。
【0078】
画像形成システムは、各波が強度及び異なる波長を有する少なくとも2つの標的波を含む標的放射を取得する構成を有し得る。
【0079】
画像形成システムは、標的画像を取得する構成を有することができ、標的画像は、少なくとも2つのピクセルを含み、各ピクセルは、標的上の1つの物理的な点に対応する。
【0080】
画像形成システムは、検出された標的放射を使用して標的の画像(「標的画像」)を形成する構成を有し得る。標的画像は、少なくとも1つのピクセルを含み得る。標的画像は、少なくとも2つのピクセルを含み得る。各ピクセルは、標的上の1つの物理的な点に対応する。
【0081】
標的画像は、任意の形態で形成/取得され得る。例えば、標的画像は、視覚形式及び/又はデジタル形式を有し得る。例えば、形成/取得された標的画像は、記憶されたデータであり得る。例えば、形成/取得された標的画像は、メモリシステムにデータとして記憶され得る。例えば、形成/取得された標的画像は、画像形成システムのディスプレイ上に表示され得る。例えば、形成/取得された標的画像は、紙又は任意の同様の媒体上に印刷された画像であり得る。
【0082】
画像形成システムは、各標的波の検出された強度及び波長を使用して各ピクセルについて少なくとも1つのスペクトル(「強度スペクトル」)を形成する構成を有し得る。
【0083】
画像形成システムは、各ピクセルについて少なくとも1つの強度スペクトルを取得する構成を有することがあり、強度スペクトルは、少なくとも2つの強度点を含む。
【0084】
強度スペクトルは、任意の形態で形成/取得され得る。例えば、強度スペクトルは、視覚形態及び/又はデジタル形態を有し得る。例えば、形成/取得された強度スペクトルは、記憶されたデータであり得る。例えば、形成/取得された強度スペクトルは、メモリシステムにデータとして記憶され得る。例えば、形成/取得された強度スペクトルは、画像形成システムのディスプレイ上に表示され得る。例えば、形成/取得された強度スペクトルは、紙又は任意の同様の媒体上に印刷された画像であり得る。
【0085】
画像形成システムは、フーリエ変換を使用して、各ピクセルの形成された強度スペクトルを、各ピクセルの強度スペクトルに基づく複素数値関数に変換する構成を有することができ、各複素数値関数は、少なくとも1つの実数成分及び少なくとも1つの虚数成分を有する。
【0086】
画像形成システムは、各ピクセルについて、ノイズ除去された実数値及びノイズ除去された虚数値を生成するように、各複素数値関数の実数成分及び虚数成分の両方にノイズ除去フィルタを少なくとも1回適用する構成を有し得る。
【0087】
画像形成システムは、各ピクセルのノイズ除去された虚数値に対してノイズ除去された実数値をプロットすることによって、各ピクセルについてのフェーザ平面上に1つの点(「フェーザ点」)を形成する構成を有し得る。画像形成システムは、例えば、そのハードウェア構成要素、例えば制御システム、ハードウェアプロセッサ、メモリ、又はそれらの組み合わせを使用することによって、フェーザ平面を形成し得る。画像形成システムは、フェーザ平面を表示し得る。
【0088】
フェーザ点及び/又はフェーザ平面は、任意の形態で形成/取得され得る。例えば、フェーザ点及び/又はフェーザ平面は、視覚形態及び/又はデジタル形態を有し得る。例えば、形成/取得されたフェーザ点及び/又はフェーザ平面は、記憶されたデータであり得る。例えば、形成/取得されたフェーザ点及び/又はフェーザ平面は、メモリシステムにデータとして記憶され得る。例えば、形成/取得されたフェーザ点及び/又はフェーザ平面は、画像形成システムのディスプレイ上に表示され得る。例えば、形成/取得されたフェーザ点及び/又はフェーザ平面は、紙又は任意の同様の媒体上に印刷された画像であり得る。
【0089】
画像形成システムは、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を標的画像上の対応するピクセルにマッピングバックする(map back)構成を有し得る。本開示では、画像形成システムは、フェーザ平面上の各フェーザ点の幾何学的位置に基づいて、フェーザ平面を対応する標的画像にマッピングバックする構成を有し得る。画像形成システムは、例えば、そのハードウェア構成要素、例えば制御システム、ハードウェアプロセッサ、メモリ、又はそれらの組み合わせを使用することによって、フェーザ点をマッピングバックし得る。
【0090】
フェーザ点及び/又はフェーザ平面は、任意の形態でマッピングバックされ得る。例えば、マッピングバックされたフェーザ点及び/又はフェーザ平面は、視覚形態及び/又はデジタル形態を有し得る。例えば、マッピングバックされたフェーザ点及び/又はフェーザ平面は、記憶されたデータであり得る。例えば、マッピングバックされたフェーザ点及び/又はフェーザ平面は、メモリシステムにデータとして記憶され得る。例えば、マッピングバックされたフェーザ点及び/又はフェーザ平面は、画像形成システムのディスプレイ上に表示され得る。例えば、マッピングバックされたフェーザ点及び/又はフェーザ平面は、紙又は任意の同様の媒体上に印刷された画像であり得る。
【0091】
画像形成システムは、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応するピクセルに随意の色を割り当てる構成を有し得る。
【0092】
アンミックスカラー画像は、任意の形態で形成され得る。例えば、アンミックスカラー画像は、視覚形態及び/又はデジタル形態を有し得る。例えば、アンミックスカラー画像は、記憶されたデータであり得る。例えば、アンミックスカラー画像は、メモリシステムにデータとして記憶され得る。例えば、アンミックスカラー画像は、画像形成システムのディスプレイ上に表示され得る。例えば、アンミックスカラー画像は、紙又は任意の同様の媒体に印刷された画像であり得る。
【0093】
画像形成システムは、画像形成システムのディスプレイ上に標的のアンミックスカラー画像を表示する構成を有し得る。
【0094】
画像形成システムは、上に説明されるものなどの、本明細書で示され、及び/又は説明される構成のいずれかの任意の組み合わせを有し得る。
【0095】
画像形成システムは、フーリエ変換の少なくとも1つの高調波を使用して、標的のアンミックスカラー画像を生成し得る。画像形成システムは、少なくともフーリエ変換の少なくとも一次高調波を使用して、標的のアンミックスカラー画像を生成し得る。画像形成システムは、フーリエ変換の少なくとも二次高調波を使用して、標的のアンミックスカラー画像を生成し得る。画像形成システムは、フーリエ変換の少なくとも一次高調波及び二次高調波を使用して、標的のアンミックスカラー画像を生成し得る。
【0096】
ノイズ除去フィルタは、任意のノイズ除去フィルタであり得る。例えば、ノイズ除去フィルタは、ノイズ除去フィルタが適用されるときに、画像品質が損なわれないようなノイズ除去フィルタであり得る。例えば、ノイズ除去フィルタが適用されるとき、画像における各ピクセルの検出された電磁放射強度は、変化しない場合がある。好適なノイズ除去フィルタの例は、中央値フィルタを含み得る。
【0097】
標的のアンミックスカラー画像は、1.2~50の範囲の少なくとも1つのスペクトルの信号対雑音比で形成され得る。標的のアンミックスカラー画像は、2~50の範囲の少なくとも1つのスペクトルの信号対雑音比で形成され得る。
【0098】
ハイパースペクトルイメージングシステムの1つの例示的な実施態様を、図45に概略的に示す。この例では、イメージングシステムは、標的の画像を取得し得る(401)。画像は、少なくとも2つの波及び少なくとも2つのピクセルを含み得る。システムは、各波の強度及び少なくとも2つの波の波長を使用して、標的の画像(「強度スペクトル」)を形成し得る(402)。システムは、フーリエ変換403を使用することによって、各ピクセルの強度スペクトルを変換し、それによって、各ピクセルの検出された強度スペクトルに基づいて、複素数値関数を形成し得る。各複素数値関数は、少なくとも1つの実数成分404及び少なくとも1つの虚数成分405を有し得る。システムは、各複素数値関数の実数成分及び虚数成分の両方に少なくとも1回、ノイズ除去フィルタ406を適用し得る。(ノイズ除去はまた、標的放射の強度及び/又は強度スペクトルの強度に対して、スペクトル形成の前及び/又は後に適用され得る。そのような構成は、本発明の範囲内であり、図45には示されていない。)それによって、システムは、各ピクセルについてノイズ除去された実数値及びノイズ除去された虚数値を取得し得る。システムは、各画像ピクセルについてノイズ除去された虚数値に対するノイズ除去された実数値をプロットし得る。それによって、システムは、フェーザ平面上に点を形成し得る(407)。システムは、画像の少なくとも1つ以上のピクセルを使用することによって、フェーザ平面上に少なくとも1つの追加の点を形成し得る。システムは、少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成することができ、各フェーザビンは、少なくとも1つのフェーザ点を含み得る(408)。システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約し得る(408)。システムは、例えば、同じフェーザビンに属するスペクトルの強度を平均することによって、各フェーザビンについて代表強度スペクトルを生成し得る(409)。システムは、アンミキシング技法を使用することによって、フェーザビンの代表強度スペクトルをアンミックスし、それによって、検出された放射の各スペクトルエンドメンバの存在量を判定し得る(410)。システムは、代表強度スペクトル及び画像ピクセルに属する検出された強度における各スペクトルエンドメンバの存在量を判定することができ、各スペクトルエンドメンバの存在量を表す標的の代表画像を生成する(411)。
【0099】
ハイパースペクトルイメージングシステムの別の実施態様を、図46に概略的に示す。この例では、ハイパースペクトルイメージングシステムは、少なくとも1つの検出器106又は検出器アレイ304を更に含み得る。このイメージングシステムは、検出器又は検出器アレイを使用することによって、標的の画像を形成し得る(401)。画像は、少なくとも2つの波及び少なくとも2つの画像ピクセルを含み得る。システムは、各波の強度及び少なくとも2つの波の波長を使用して、標的の画像(「強度スペクトル」)を形成し得る(402)。システムは、フーリエ変換403を使用することによって、各ピクセルの強度スペクトルを変換し、それによって、各ピクセルの検出された強度スペクトルに基づいて、複素数値関数を形成し得る。各複素数値関数は、少なくとも1つの実数成分404及び少なくとも1つの虚数成分405を有し得る。システムは、各複素数値関数の実数成分及び虚数成分の両方に少なくとも1回、ノイズ除去フィルタ406を適用し得る。(ノイズ除去はまた、標的放射の強度及び/又は強度スペクトルの強度に対して、スペクトル形成の前及び/又は後に適用され得る。そのような構成は、本発明の範囲内であり、図46には示されていない。)それによって、システムは、各ピクセルについてノイズ除去された実数値及びノイズ除去された虚数値を取得し得る。システムは、各画像ピクセルについてノイズ除去された虚数値に対するノイズ除去された実数値をプロットし得る。それによって、システムは、フェーザ平面上に点を形成し得る(407)。システムは、画像の少なくとも1つ以上のピクセルを使用することによって、フェーザ平面上に少なくとも1つの追加の点を形成し得る。システムは、少なくとも2つのフェーザビンを含むフェーザヒストグラムを形成することができ、各フェーザビンは、少なくとも1つのフェーザ点を含み得る(408)。システムは、各フェーザビンの画像ピクセルに属する検出されたスペクトルを集約し得る(408)。システムは、例えば、同じフェーザビンに属するスペクトルの強度を平均することによって、各フェーザビンについて代表強度スペクトルを生成し得る(409)。システムは、アンミキシング技法を使用することによって、フェーザビンの代表強度スペクトルをアンミックスし、それによって、検出された放射の各スペクトルエンドメンバの存在量を判定し得る(410)。システムは、代表強度スペクトル及び画像ピクセルに属する検出された強度における各スペクトルエンドメンバの存在量を判定することができ、各スペクトルエンドメンバの存在量を表す標的の代表画像を生成する(411)。
【0100】
本開示では、標的は、任意の標的であり得る。標的は、特定の色スペクトルを有する任意の標的であり得る。例えば、標的は、組織、蛍光遺伝子標識、無機標的、又はそれらの組み合わせであり得る。
【0101】
システムは、参照を使用して各ピクセルに色を割り当てることによって、較正され得る。参照は、任意の既知の参照であり得る。例えば、参照は、参照のアンミックスカラー画像が標的のアンミックスカラー画像の生成の前に決定される、任意の参照であり得る。例えば、参照は、物理的構造、化学分子、生物分子、物理的構造の変化及び/又は疾患の結果としての生物活性(例えば、生理学的変化)であり得る。
【0102】
標的放射は、蛍光を含み得る。蛍光検出に好適なハイパースペクトルイメージングシステムは、光学フィルタリングシステムを含み得る。光学フィルタリングシステムの例は、検出器に到達する光源放射の強度を実質的に減少させる第1の光学フィルタである。第1の光学フィルタは、標的と検出器との間に配置され得る。第1の光学フィルタは、任意の光学フィルタであり得る。第1の光学フィルタの例は、ダイクロイックフィルタ、ビームスプリッタ型フィルタ、又はそれらの組み合わせであり得る。
【0103】
蛍光検出に好適なハイパースペクトルイメージングシステムは、第2の光学フィルタを更に含み得る。第2の光学フィルタは、検出器に到達する光源放射の強度を更に低減するように、第1の光学フィルタと検出器との間に配置され得る。第2の光学フィルタは、任意の光学フィルタであり得る。第2の光学フィルタの例は、ノッチフィルタ、アクティブフィルタ、又はそれらの組み合わせであり得る。アクティブフィルタの例は、適応光学システム、音響光学調節可能フィルタ、液晶調節可能バンドパスフィルタ、ファブリーペロ干渉フィルタ、又はそれらの組み合わせであり得る。
【0104】
ハイパースペクトルイメージングシステムは、参照物質(reference material)を使用して各ピクセルに色を割り当てることによって、較正され得る。参照物質は、任意の既知の参照物質であり得る。例えば、参照物質は、参照物質のアンミックスカラー画像が標的のアンミックスカラー画像の生成の前に決定される、任意の参照物質であり得る。例えば、参照物質は、物理的構造、化学分子(すなわち、化合物)、物理的構造変化及び/又は疾患の結果としての生物活性(例えば、生理学的変化)であり得る。化学化合物は、任意の化学化合物であり得る。例えば、化学化合物は、生体分子(すなわち、化合物)であり得る。
【0105】
ハイパースペクトルイメージングシステムを使用して、任意の健康状態を診断し得る。例えば、ハイパースペクトルイメージングシステムを使用して、任意の哺乳動物の任意の健康状態を診断し得る。例えば、ハイパースペクトルイメージングシステムを使用して、ヒトの任意の健康状態を診断し得る。健康状態の例は、疾患、先天性奇形、障害、創傷、傷害、潰瘍、膿瘍などを含み得る。健康状態は、組織に関連し得る。組織は、任意の組織であり得る。例えば、組織は、皮膚を含み得る。皮膚又は組織に関連する健康状態の例は、皮膚病変であり得る。皮膚病変は、任意の皮膚病変であり得る。皮膚病変の例は、皮膚がん、瘢痕(scar)、ざ瘡形成(acne formation)、疣贅(a wart)、創傷(wound)、潰瘍(ulcer)などであり得る。皮膚又は組織の健康状態の他の例は、組織又は皮膚の構造、例えば、組織又は皮膚の水分レベル、油分、コラーゲン含有量、体毛含有量などであり得る。
【0106】
標的は、組織を含み得る。ハイパースペクトルイメージングシステムは、組織のアンミックスカラー画像を表示し得る。健康状態は、組織の化学組成の区別を引き起こし得る。この化学組成は、ヘモグロビン、メラニン、タンパク質(例えば、コラーゲン)、酸素水などの化学化合物、又はそれらの組み合わせに関連し得る。組織の化学組成の区別に起因して、健康状態によって影響を受ける組織の色は、健康状態によって影響を受けない組織の色とは異なるように見え得る。そのような色区別のために、組織の健康状態が、診断され得る。したがって、ハイパースペクトルイメージングシステムは、部屋の照明及び皮膚の色素沈着レベルに関係なく、ユーザが、例えば、皮膚状態を診断することを可能にし得る。
【0107】
例えば、生体組織に送達された照明源放射は、電磁放射が組織を通って伝播する際に、生体構造の不均一性と、組織内に存在するヘモグロビン、メラニン、及び水などの化学化合物による吸収とにより、複数の散乱を受け得る。例えば、組織の吸収、蛍光、及び散乱特性は、疾患の進行中に変化し得る。したがって、例えば、本開示のハイパースペクトルイメージングの光学検出器によって検出された組織からの反射光、蛍光光、及び透過光は、組織病理学に関する定量的診断情報を運び得る。
【0108】
ハイパースペクトルイメージングシステムを使用することによって取得された診断情報は、組織の健康状態を判定し得る。したがって、この診断情報は、例えば、手術又は治療の前、間、及び/又は後に、患者の臨床転帰を強化し得る。このハイパースペクトルイメージングシステムを使用して、例えば患者の組織の、健康状態を判定することによって、経時的に患者の健康の進展を追跡し得る。本開示では、患者は、任意の哺乳動物であり得る。例えば、哺乳動物は、ヒトであり得る。
【0109】
上に開示された参照物質は、健康状態の診断に使用され得る。
【0110】
ハイパースペクトルフェーザ(HySP:Hyperspectral Phasor)を含むハイパースペクトルイメージングシステムは、フーリエ変換を適用して、スペクトル全体にわたって収集された全ての光子を2次元(2D)フェーザプロット(「密度プロット」)における1点に変換し得る。削減された次元は、各チャネルの誤差がフィッティング結果に寄与し得るリニアアンミキシング法と比較して、低SNRレジームでうまく機能し得る。任意のイメージングシステムでは、時間間隔中に色素によって放出される光子の数は、確率(ポアソン)過程であってもよく、信号(総デジタルカウント)は、取得された光子の平均数Nとしてスケーリングされていてもよく、ノイズは、Nの平方根√Nとしてスケーリングされ得る。そのような、蛍光放出及び検出器読み取りノイズのポアソンノイズは、より低い光レベルでより顕著になり得る。まず、HySPプロット上の誤差が、定量評価され得る。次に、この情報を使用して、HySPを含むハイパースペクトルイメージングシステムが、低SNRレジームにおいてインビボでタイムラプスハイパースペクトル蛍光信号を解決するための堅牢なシステムであることを実証するノイズ低減アプローチを開発し得る。
【0111】
以下の特徴もまた、本開示の範囲内である。
【0112】
多重スペクトル蛍光顕微鏡をハイパースペクトルフェーザ及びリニアアンミキシングと組み合わせて、ハイブリッドアンミキシング(HyU)技法を作成し得る。いくつかの例では、生きた発達中のゼブラフィッシュ胚及びマウス組織における多重蛍光標識の動的イメージングは、HyUの能力を実証し得る。HyUは、従来のリニアアンミキシングアプローチと比較して、低光レベルの蛍光に対してより感度が高く、より少ない漂白で、経時的により良好な多重化ボリュメトリックイメージング(multiplexed volumetric imaging)を可能にし得る。HyUはまた、その高いダイナミックレンジのために、明るい外因性標識及び薄暗い内因性標識の両方を同時にイメージングし得る。この技法は、同じ標本内の細胞挙動、タグ付けされた成分、及び細胞代謝の調査を可能にし、生物システムの調整された複雑さへの強力な窓(window)を提供し得る。
【0113】
ハイブリッドアンミキシング(HyU)技法(複数可)は、用途、例えばインビボイメージングのためのHFIのより広範な受け入れを制限している課題の多くを解決し得る。HyUは、従来のアンミキシングアルゴリズムと併合されたフェーザアプローチを採用して、複数の外因性及び内因性標識からの蛍光信号をより迅速かつより正確に解明し得る。
【0114】
蛍光寿命及びスペクトル画像分析の両方の分析のための次元削減アプローチであるフェーザアプローチは、HFIデータセットの前処理及びアンミキシングの両方のためのスペクトル圧縮、ノイズ除去、及び計算削減を含む利点をHyUに提供し得る。
【0115】
従来のフェーザ分析は、完全教師ありであってもよく、フェーザプロットと呼ばれる変換されたスペクトルのグラフィック表現上の領域又は点の手動選択を必要とし得る。
【0116】
本明細書で考察されるように、HyUは、フェーザ処理をエンコーダとして利用して、同様のスペクトルを集約することができ、集約された同様のスペクトルにLUなどのアンミキシングアルゴリズムを適用して、HFIデータの教師なし分析を提供し、それによって、データ処理を簡易化し、ユーザの主観性を除去する。
【0117】
HyUは、例えば、従来の技法に勝る3つの利点を提供し得る。すなわち、(1)従来のLUに勝る、特に低強度画像、例えば、スペクトル当たり5つの光子への低減に対する、改善されたアンミキシング、(2)独立スペクトル成分の簡易化された識別、(3)インビボ蛍光顕微鏡の典型的なアンミキシングボトルネックを克服する、大規模なデータセットの劇的に高速化された処理である。
【0118】
本明細書で考察されるように、HyUは、ハイパースペクトルフェーザ分析及びアンミキシング技法の最良の特徴を組み合わせ、特に低光レベルで、より高速な計算速度及びより信頼性の高い結果をもたらし得る。
【0119】
本開示では、(強度)スペクトルは、任意の技法によってアンミックスされ得る。アンミキシング技法の例は、リニアアンミキシング(LU)技法である。アンミキシング技法の例としては、(1)完全制約付き最小二乗(fully constrained least squares)、(2)行列反転(matrix inversion)、(3)非負行列分解(non-negative matrix factorization)、(4)幾何学的アンミキシング法(geometric unmixing method)、(5)ベイジアンアンミキシング法(Bayesian unmixing method)、及び(6)スパースアンミキシング法(sparse unmixing method)が挙げられ得る。そのようなアンミキシング技法のレビューについては、例えば、Jiaojiao Wei and and Xiaofei Wang “An Overview on Linear Unmixing of Hyperspectral Data,”Mathematical Problems in Engineering,Volume 2020,Article ID 3735403,pages 1 - 12,https://doi.org/10.1155/2020/3735403を参照のこと。本刊行物の全内容は、参照により本明細書に組み込まれる。そのようなアンミキシング技法は、本開示の範囲内である。
【0120】
(実施例1.例示的なHyU)
本開示のフェーザアプローチは、それらが圧縮的であるため、計算負荷を削減することができ、例えば、HFIスペクトルプロットの32個のチャネルを、スペクトルの実数及び虚数のフーリエ成分を表す2Dヒストグラム上の位置に削減する(図1A図1B)。異なる32個のチャネルスペクトルは、2Dフェーザプロット上の異なる位置として表され、2つのスペクトルの混合物は、純粋なスペクトルを接続する線に沿った位置にレンダリングされる。
【0121】
2D又は3D画像セット全体のスペクトルコンテンツが単一のフェーザプロット上にレンダリングされるため、画像セット内の各ボクセルについてのスペクトル(例えば、ギガボクセルまで、又はそれを超えて)からフェーザプロット上のヒストグラム値(例えば、メガピクセル)まで、劇的にデータ圧縮される。
【0122】
加えて、フェーザプロットヒストグラム上の各「ビン」(bin)は、非常に類似したスペクトルプロファイルを有する複数のボクセルに対応するため、ビニング(binning)自体は、ポアソンノイズ及び機器ノイズを低減するスペクトル平均処理を表す(図1C図1E)。
【0123】
収集された光におけるポアソンノイズは、収集された蛍光の統計がスペクトルビン当たり数百又は数千の光子を生成するように励起が高くされない限り、HFIでは避けられない。スペクトルフェーザプロットとその参照されるイメージングデータとの明確な分離は、ノイズ除去アルゴリズムが画像分解能の最小限の劣化でフェーザプロットに適用されることを可能にする。
【0124】
LU又は他のアンミキシングアプローチは、フェーザプロット上のスペクトルに適用され、大規模な画像データセットの計算負荷の劇的な低減を提供し得る(図1D)。この節約を理解するために、ボクセルレベルで画像データに適用されるLUの従来のアプローチを考慮する(図1A図1F)。6つの時点にわたる512×768×17(x、y、z)ピクセルのタイムラプスボリュメトリックデータセット(表1)は、例えば、4000万回の演算を必要とし得る。HyUは、例えば1000倍を超える節約を表す、例えば、フェーザプロット上の各ビンをアンミックスするために約18000回の演算のみを必要とし得る(図1F図1G)。
【0125】
(実施例2.従来のLUに勝るHyUの利点)
この実施例では、HyU及び従来のLUの相対的な性能を定量評価するために、それらを、蛍光スペクトル放出及び顕微鏡性能の生物物理学を計算モデル化することによって作成された合成ハイパースペクトル蛍光データセットに対して分析した(図2A図2B、及び図9図11)。合成データセットを使用して、平均二乗誤差(MSE:Mean Square Error)及びアンミキシング残差などのメトリックを使用して、LU及びHyUアルゴリズム性能を定量評価した(両方のメトリクスについては図12を参照のこと。より低い値が、より良好な性能を示す)。
【0126】
上に述べた計算効率に加えて、HyU分析は、従来のLUと比較して、主にフェーザ空間での処理によって作成されたノイズ除去に起因して、広いダイナミックレンジの強度にわたって空間的特徴をキャプチャするより良い能力を示す(図2A図2B)。改善された精度は、従来のLUを用いたHyUの結果を画像グラウンドトゥルースと比較することにおいて、より低いMSEによって実証される。
【0127】
HyUについての絶対MSEは、特に低蛍光レベル及び超低蛍光レベルで、従来のLUの絶対MSEよりも一貫して最大2倍低くすることができる(図2C)。MSEは、フェーザプロット上でのノイズ除去フィルタの使用によって更に低減され、低(5~20個の光子/スペクトル)レベル及び超低(2~5個の光子/スペクトル)レベルでのHFIについての従来のLUに対して、HyUの優位性をもたらし得る(図2D)。
【0128】
グラウンドトゥルースなしで実験データの性能をより良好に特徴付けるために、アンミキシング残差は、元の多チャネルハイパースペクトル画像とそれらのアンミックス結果との間の差として定義され得る。残差は、アンミックス結果が元の信号をどれだけ密接に再構成するかの尺度を提供する(図9)。アンミキシング残差は、アルゴリズムの性能に反比例し、アンミックス信号と元の信号との間の高い類似性を示す低残差を伴う。合成データにおけるアンミキシング残差の分析は、標準と比較して21%の平均アンミキシング残差低減を伴う、HyUにおけるスペクトル情報の改善された解釈を強調する(図11C)。合成データについてのMSE及び平均アンミキシング残差の両方の低減は、従来のLUよりも優れたHyUの性能を実証し、実験データの性能改善を実証するときのベースライン比較を提供する。
【0129】
従来のLUと比較して、比較的低いアンミキシング残差及び高いダイナミックレンジを明らかにする実験データの分析は、HyUの強化された性能をサポートする。データは、四遺伝子導入ゼブラフィッシュ胚Tg(ubiq:Lifeact-mRuby)、Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato)、Tg(fli1:mKO2)、標識アクチン、クラスリン、形質膜、及び汎内皮(pan-endothelial)細胞からそれぞれ取得された(図2E図2L図3、及び図13図15)。
【0130】
データのHyUアンミキシングは、チャネル間の最小信号クロストークを示し、従来のLUは、顕著なブリードスルーを提示する(図2M図2P)。合成データと一貫して、アンミキシング残差は、グラウンドトゥルースがないため、実験データにおける分析の品質についての主要指標として利用され得る。
【0131】
残差画像(図2F図2G)は、HyUと従来のLUとの間の性能の顕著な差を示す。HyUの平均相対残差は、蛍光スペクトルの解決(disentangling)において、従来のLU(図2H)と比較して7倍の改善を表す。詳細(図2図2I図2P)をズームインして、ブリードスルーの影響を受け、かつアンミックスすることが困難な領域を強調すると、アンミックスチャネルは、独立して(図2図2I図2L)見え得る。従来のLUよりも2倍高いコントラストを有するHyUは、ブリードスルー効果を低減し、より鮮明な空間特徴を有する画像を生成し、実験データのより良好な解釈につながる(図2K図2L、及び図13)。
【0132】
HyUを別のHFIデータセットに適用することは、ノイズ低減と、低光子アンミキシングのための空間特徴の再構成との、HyUの改善を更に強調する。(図3図14)。幹領域で取得された胚皮膚表面の単一のスライスのズームイン画像では、HyU画像は、内皮細胞及びmKO2信号がないはずの領域である汎内皮(マゼンタ)信号を表皮に正しく表示しない(図3C)。対照的に、従来のLUからの結果は、組織平面全体にわたって視覚的に区別される汎内皮信号を示す(図3D)。従来のLUに対するmKO2蛍光の相対的寄与のこの誤った推定は、おそらく、スペクトルプロファイルを損なうノイズの存在に起因する。このことは、LUについて実証されたノイズからのはるかに高い個々のピークを伴う、HyUとLUとの間のmKO2信号の強度プロファイルに更に描写されている(図3G、左下)。ボリュームの両方の拡大断面についての強度プロファイル(図3C図3F)は、HyUの改善の顕著な視覚化を提供する。HyUにおける線強度プロファイルは、低減されたノイズを提示し、信号の予想される分布をより密接に表す(図3G図3H)。表皮の膜上のアクチンの可視の微細パターンは、合成データで定量化された改善が、生試料の信号と微小隆起の幾何学的パターンとにおいて維持されることを示唆する。対照的に、従来のLUからの結果では、ノイズ損壊と、誤配置された信号の存在とが特徴付けられ、標識及び生物学的パターンの両方とマッチしない高周波強度変動を伴う。
【0133】
HyUはより正確であり、試料の深さ全体にわたってアンミキシング残差が大幅に低減された、より信頼性の高いアンミキシング結果につながる。HyUについての平均残差は、従来のLUの平均残差よりも9倍低く、分散は3倍狭くなっている。(図3I図14)。残差のこの低減は、HyUアンミキシング結果が平均でより低い残差及び分散の両方を安定に維持するz深さの増加と一致している。これらの低減された残差は、光子に対する残差の分布によって示されるように、数学的により正確かつより均一な信号の分解に対応する(図14E図14F図20)。
【0134】
HyUの感度の増加を利用して、光子収率の低さ及びスペクトルクロストークなどの多重化イメージングの一般的な課題を克服することができ、標識された汎内皮細胞、血管系、及びクラスリン被覆ピット(Tg(fli1:mKO2)、Tg(kdrl:mCherry)、Gt(cltca-シトリン))を有する三遺伝子導入ゼブラフィッシュ胚などの発達中のゼブラフィッシュ胚における動態を視覚化することができた。これらのスペクトル的に近い蛍光タンパク質を多重化することは、より低い光子カウントでのHyUの感度の増加によって可能になる。
【0135】
より低いSNRでの性能の向上により、より速い取得を実行し、かつより低い励起レーザ出力及びピクセル滞留時間によって光子損傷を低減しながら、高品質の結果を維持することができた(図4)。実験要件の減少により、多重化蛍光信号の数が多い場合でも、発達イベントに十分な時間分解能を提供し続けながら、視野を拡張して、より大きなボリュームのタイル化が可能になる。タイムラプスには、クラスリン、kdrl、及びfli1の同時取得が含まれ、小胞及び血管系の発達を追跡しながら、腹側血管内皮突起の形成の可視化を可能にする。HyUは、時空間的特徴の比較定量化を可能にし、この場合、300分にわたる長いタイムラプスにわたるボリュメトリック変化(容積変化)の判定を可能にする(図4B)。
【0136】
HyUは、単一の時点(図5)及び複数の時点(図6)の両方で、試料のライブイメージング中に内因性及び外因性信号からの情報を組み合わせる能力を提供する。フェーザのグラフィカルな表現は、単一光子(488及び561nm励起)でイメージングされた、四遺伝子導入ゼブラフィッシュ胚Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato、ubiq:Lifeact-mRuby、fli1:mKO2)における予期せぬ内因性蛍光シグネチャの同定を可能にする(図5A図5D)。フェーザ上の細長い分布(図5C)は、強い試料自己蛍光(図5D青)に関連する、追加の予期しないスペクトルシグネチャの存在を強調する。この追加の信号を含む試料のHyU分析は、残差3.9%±0.3%で5つの異なる蛍光スペクトルの寄与の分離を提供する。
【0137】
HyUは、胚の発達を妨害したり、その蛍光信号を枯渇させたりすることなく、エネルギー負荷の低減、胚全体のタイルイメージングを可能にする(図5A)。より高速で、より低い出力のイメージングは、頭部セクションのズームされた高分解能取得(図5B図5E)でのように、同じ試料の後続の再イメージングを可能にする。低光子信号をアンミックスする能力があると、HyUは、本質的に低光である内因性信号のイメージング及びデコーディングを可能にする。二光子レーザは、試料からの青シフトした内因性蛍光を励起及びイメージングするのに理想的である。ここで、同じ四遺伝子導入試料を、約740nmの励起を使用してイメージングして、内在性信号及び外在性信号の両方にアクセスする(図5E図5G図27、及び実施例23)。HyUは、少なくとも9つの内因性及び遺伝子導入蛍光信号のアンミキシングを可能にし(図5)、準最適の励起波長で照明された標識からの蛍光強度を回復する(図5E)。内因性蛍光のスペクトルは、インビトロ測定(in vitro measurement)と文献に報告された値とから得られた。この試料について、内因性信号は、主に代謝活性(NADH及びレチノイド)、組織構造(エラスチン)、及び照明(レーザ反射)に関連する事象から生じる(図5E図28図32、及び実施例23)。これらの結果は、本開示のHyUが、内因性標識のイメージング及び分析を可能にするための強力なツールであることを実証している。
【0138】
HyU能力を使用して、同じ四遺伝子導入ゼブラフィッシュ胚の尾部領域をイメージングすることによって、外因性及び内因性信号のボリュメトリックタイムラプスを多重化することができる。488/561nmの外因性標識と740nmの2つの光子を有する内因性信号とを励起し、125分にわたって6つのタイル化されたボリュームを収集することができる(図6図15図17図21、及び実施例23)。この実施例では、HyUアンミキシングは、9つの信号の区別を可能にし、低SNRで知られている内因性蛍光の繰り返しイメージングを可能にするために、十分に低い要件でそれらの寄与を分離する。
【0139】
複雑な多重化インターロゲーションを実行する際の従来のリニアアンミキシング(LU)に勝るハイブリッドアンミキシング(HyU)の利点を本明細書で説明する。HyUは、励起光で試料に最小限に摂動を起こさせながら、重複するスペクトルを有する多重蛍光標識及び自己蛍光標識を分離するという重要な課題を克服し得る。
【0140】
従来のLUに勝るHyUの1つの例示的な利点は、特に低信号レベルで、生物学的ノイズ及び機器ノイズの存在下でイメージングするときのその多重化能力である。HyUの感度の向上は、光子限定用途(図2F図2L)、より深いボリュメトリック取得(図3I図29)、及び自己蛍光の信号欠乏イメージング(図5E図6)における多重化を改善する。シミュレーション結果(図2)は、HyUが、同時に励起された空間重複及びスペクトル重複するフルオロフォアのアンミキシングを改善することを実証している。低光子イメージング条件での堅牢性の向上は、励起レベル及び検出器積分時間についてのイメージング要件を低減し、光毒性が低減されたイメージングを可能にする。高いサンプリング周波数で実行される多色試料上でのライブイメージングは、タイリング(tiling)の改善を可能にし、経時的に有限の蛍光信号の使用を最大化しながら、視野を増加させる(図3図4)。内因性及び外因性信号の二光子イメージングは、HyUが大きなダイナミックレンジ差で信号を多重化する能力(図5)を示唆しており、多重化されたボリュメトリックイメージングを時間次元に拡張する(図6)。改善されたが、特に低信号での画像は、依然として損なわれており(図10)、8つの光子/スペクトルを超える合理的な利用範囲を設定している。
【0141】
使用の簡易さ及び汎用性は、従来のLUに比べてHyUの他の重要な利点であり、フェーザアプローチ及び旧来のアンミキシングアルゴリズムの両方から継承されている。ここで、フェーザは、スペクトルエンコーダとして機能し、計算負荷を低減し、フェーザプロットのヒストグラムビンに同様のスペクトルシグネチャを統合する。この表現は、フェーザプロット選択及びフェーザ残差マッピング(図17)の両方を通じて、独立スペクトルシグネチャ(図5、及び実施例22)の識別を簡易化し、スペクトルライブラリによる完全自動分析を可能にしながら、予期しない内因性信号(図5図6図18、及び実施例23)を半自動化された様態で説明する。
【0142】
このアプローチの簡易さは、内因性信号の存在により、独立スペクトル成分を識別することが未解決の課題であるライブイメージングにおいて特に有用である(図18及び実施例22)。高SNR参照スペクトルは、他の実験データから導き出され得るか、又はフェーザ上で直接識別され得る。フェーザプロット上の部分の選択は、波長ドメインでの対応するスペクトルの視覚化を可能にする(図5C図5D図5F図5G、及び図33)。この直感的な汎用性は、ノイズとグローバルな視覚化ツールの欠如とに起因して以前は実行することが困難なタスクであった、予期しないシグネチャの数とそれらのスペクトルとの両方の識別を可能にする。
【0143】
単一光子イメージング(図5A図5D)において、HyUフェーザは、一般的な自己蛍光バックグラウンドから生じる第5の異なるスペクトル成分の識別を可能にし、それによって、アンミックス結果を改善する。二光子イメージングにおいて、HyUは、内因性及び外因性マーカー間の、広いダイナミックレンジの強度を有する8つの高度に重複する信号の識別及び多重化を可能にした(図5F図5G)。単一光子及び二光子イメージングの組み合わせは、外因性標識のいくつかが2つの光子で励起されることを考慮して、多重化されたフルオロフォアの数を9に増加させた(図6)。信号の多重化は、蛍光色素に対してHyUを実施することによって更に改善され得る。
【0144】
HyUは、フェーザノイズ低減フィルタの有無にかかわらず、標準アルゴリズムよりも良好に性能を発揮する。従来のLUと比較して、そのようなフィルタが適用されたときのアンミキシングの強化は、最大21%のMSEの減少(図2C)によって実証され、残差の平均量は、7倍の低減を伴う。フェーザノイズ除去フィルタがない場合でも、HyUは、合成データアンミキシングの平均二乗誤差に基づいて、標準(図2D)よりも最大7.3%良好に性能を発揮する。このベースの改善は、各フェーザヒストグラムビンにおける類似した形状のスペクトルの平均処理に起因し、これにより、アンミキシング計算に使用されるスペクトル内の統計的変動性が低減される(図1E)。この平均処理戦略は、一般的な蛍光スペクトルには、それらの広くほとんど固有のスペクトル形状のためにうまく機能する。
【0145】
ノイズがない場合、例えば、グラウンドトゥルースシミュレーションでは、従来のLUは、HyUよりも6倍低いMSEを生成する(図11B図11C図12G)。これらの無ノイズ条件では、フェーザヒストグラムにおけるスペクトルのビニング及び平均処理は、ノイズ除去することなく、従来のLUに関して統計的に無関係な誤差値を提供し、同様の品質の結果を示唆する。
【0146】
HyUは、既存の実験パイプラインに適応して、種々のアンミキシングアルゴリズムとインターフェースすることができる。非負行列分解、完全制約付き及び非負最小二乗などの、反復アプローチとのハイブリッド化を試験した。反復フィッティングアンミキシングアルゴリズムを用いる速度テストは、HyU圧縮戦略を適用すると、速度が最大500倍に増加することを実証している。(図19、及び実施例24)。フェーザでスペクトルを符号化するための初期計算オーバーヘッドに起因して、標準LUと比較して、HyUでは2倍の速度低減がある。しかしながら、これは、HyU実施態様の更なる最適化で、又は異なるタイプのエンコーディングを実装することによって、改善され得る。
【0147】
HyUの1つの制限は、リニアアンミキシングの数学に由来するものであってもよく、ここで、アンミックスチャネルを表す線形方程式は、分析された各フルオロフォアの未知の寄与について解かれる必要がある。
【0148】
これらの方程式からより良い解を得るために、及び不定方程式系を回避するために、アンミキシングのためのスペクトルの最大数は、取得されたチャネルの数を超えない場合があり、一般に、商用顕微鏡の場合は32である。
【0149】
この数は、増やすことが可能であるが、蛍光スペクトルの広範及び光子欠乏性質に起因して、より多くのチャネルの取得が、試料、イメージング時間、及び強度に悪影響を及ぼす可能性がある。関心のある標本中の標識の数に応じて、標識の数を同時に32を超えてアンミックスするように拡張することには、スペクトル分解能アップサンプリング戦略が必要になる可能性が高い。
【0150】
HyU改善は、様々な方法でSNRに影響を与える、確率的放出、ガウス、ポアソン、及びデジタル、並びに未確認のスペクトルシグネチャ源などの、顕微鏡画像における様々なタイプの信号乱れ及びノイズの存在に関連する(図11B図11C図12G図34)。蛍光信号の多重化において、HyUは、低信号レジームにおいて性能、品質面、及び速度面での改善を提供する。HyUは、蛍光信号の場合、並びに多重蛍光及び自己蛍光信号の組み合わせ(図26)の場合、低SNRで低減された数のチャネル数(図24図25)の複数の実験条件下(図22図23)で、以前に開示されたフェーザ分析(図30図31、及び実施例25)、及び現在の絶対的基準である従来のLUよりも改善する。HyUは、インビボイメージングのコンテキストにおいて使用されるように準備され、哺乳類試料の散乱においても、内因性レベルで標識された試料から情報を収集する(図35図36)。
【0151】
この例の結果は、フェーザベースの計算アンミキシングフレームワークであるHyUが、多重蛍光標識のライブイメージングに存在する多くの課題に取り組むのに十分に適している可能性があることを定量的に示す。蛍光信号の量におけるHyUの低減された要件は、レーザ励起負荷及びイメージング時間の低減を可能にする。HyUのこれらの特徴は、異なる時空間スケールにわたる情報豊富なイメージングへのアクセスを提供しながら、より長い持続時間、より高い速度、及びより低い光毒性を有する生物学的事象の多重化イメージングを可能にし得る。HyUの要件の低減により、スペクトル検出が可能ないかなる商用及び一般的な顕微鏡とも完全に互換性があり、技術へのアクセスが容易になる。
【0152】
本開示は、新しいスペクトルシグネチャ及び既知のスペクトルシグネチャの両方を識別することにおけるHyUの堅牢さ、簡易さ、及び改善、並びにアンミキシング出力の大幅な改善を実証する実施例を提供し、ライブイメージングを用いた研究を依然として取り巻く多くの問題を掘り下げるための切望されるツールを提供する。
【0153】
(実施例3.ゼブラフィッシュ試料調製)
遺伝子導入ゼブラフィッシュ系統を複数世代にわたって交配して、遺伝子導入の複数の組み合わせを有する胚を得た。全ての系統を、各導入遺伝子について異型接合として維持した。胚を、イメージング実験の前に、個々の蛍光タンパク質の発現パターンについて、蛍光立体顕微鏡(Axio Zoom、Carl Zeiss)を使用してスクリーニングした。共焦点顕微鏡(LSM780、Carl Zeiss)を使用して、空間重複及びスペクトル重複する信号を区別することによって、Tg(ubiq:Lifeact-mRuby)線をTg(ubiq:lyn-tdTomato)線から分離した。
【0154】
インビボイメージングのために、5~6個のゼブラフィッシュ胚を18~72hpfで固定化し、1%UltraPure低融点アガロース(カタログ番号16520-050、Invitrogen)溶液に入れ、0.003%PTU及び0.01%トリカインを有する30%Danieau(17.4mMのNaCl、210MのKCl、120MのMgSO47H2O、180MのCa(NO3)2、1.5mMのHEPES緩衝液、pH7.6)中、番号1.5カバーグラス底部を有するイメージングディッシュ(カタログ番号D5040P、WillCo Wells)中で調製した。室温(1~2分)でのアガロースの固化後、イメージングディッシュを、28.5℃で30%のDanieau溶液及び0.01%のトリカインで充填した。
【0155】
(実施例4.蛍光シリカビーズ特性評価)
Cy3(Si500-S3-1、0.5mL、1%固形、ロット番号1608BRX5)で標識された1つの蛍光シリカビーズ溶液(Nanocs,Inc.)を、そのスペクトル蛍光発光及び物理的サイズにおいて特性評価した。
【0156】
ビーズのPBS中の10倍希釈を、番号1.5イメージングカバーグラス上に置き、励起と蛍光とを分離するための690nmローパスフィルタを使用して、740nmの二光子レーザを利用してビーズから蛍光を励起する、40倍/1.1W LD C-Apochromat Korr UV-VIS-IRレンズを使用する32チャネル検出器を備えたZeiss LSM780レーザ共焦点走査顕微鏡上で、スペクトルモードを使用してスペクトル特性評価した。同じ標識を有する複数のビーズから得られたスペクトルを平均し、図36Gに報告された参照スペクトル(破線)を生成した。蛍光シリカビーズのサイズ及び濃度を、Nanosight NS300(Malvern Panalytical)上でナノ粒子追跡分析(NTA)によって判定した。試料を5回ラン(run)し、結果を、報告された最終サイズ及び濃度値について平均した。
【0157】
(実施例5.マウス試料調製)
自己蛍光測定のために、Balb-cマウスからマウス臓器試料を収集した。安楽死後、臓器を切除し、リン酸緩衝生理食塩水(PBS:Phosphate Buffered Saline)で洗浄して残留血液を除去し、イメージング準備までPBS中に保持した。臓器を、内部アーキテクチャをイメージングするために切片化し、試料の脱水を回避するために十分なPBSを有するガラスイメージングディッシュ上に取り付けた。イメージング後、全ての試料を4℃で10%中性緩衝ホルマリン溶液中に固定した。
【0158】
組織におけるエクスビボビーズ特性評価(ex vivo bead characterization)のために、Balb-cマウスからマウス臓器試料を収集した。安楽死後、臓器を切除し、PBS中で洗浄し、続いて10%緩衝ホルマリン中で少なくとも24時間インキュベートした。次いで、腎臓を固定剤から取り外し、イメージングのためにより小さい約5×5×5mm片に切片化した。Cy3(Si500-S3-1、0.5mL、1%固体、ロット番号1608BRX5)で標識され、かつ事前に特性評価された蛍光シリカビーズ作業溶液(Nanocs,Inc.)を、蛍光ビーズのストック濃度からの蛍光ビーズの10倍希釈を使用して調製した。28gの針を有する0.5mLシリンジに装填された50ulの溶液を使用して、試料中にビーズを注入した。次いで、腎臓切片を、少量のPBSを含むイメージングディッシュに入れて、イメージング前に試料を水和させた。
【0159】
(実施例6.画像取得)
28℃で40倍/1.1W LD C-Apochromat Korr UV-VIS-IRレンズを使用する32チャネル検出器を備えたZeiss LSM780レーザ共焦点走査顕微鏡で画像を取得した。
【0160】
Gt(cltca-シトリン)、Tg(ubiq:lyn-tdTomato)、Tg(fli1::mKO2)、及びTg(ubiq:Lifeact-mRuby)の試料を、シトリン、tdTomato、mKO2、及びmRubyについて、488nm及び561nmのレーザ励起で同時にイメージングした。励起と蛍光放出とを分離するために、狭488nm/561nmダイクロイックミラーを使用した。試料を740nmの二光子レーザでイメージングして、自己蛍光を励起し、690nmローパスフィルタを使用して励起と蛍光とを分離した。
【0161】
マウス腎臓組織の試料を、37℃のインキュベーション(incubation:培養)で、690+nmローパスフィルタを用いて、740nm又は850nmでの二光子励起でイメージングした。
【0162】
全ての試料について、検出を、8.9nmのスペクトルビニングで、利用可能な全範囲(410.5~694.9nm)で実施した。
(実施例7.本開示の全ての画像に使用されるイメージングパラメータの詳細な説明)
【表1】
【表2】
【表3】
【表4】
【0163】
(実施例8.ハイパースペクトル蛍光画像シミュレーション)
このモデルは、(実施例22に記載されるように)純粋な参照スペクトルと同等のプロファイルを有する光子の確率分布を生成することによって、スペクトル蛍光放出をシミュレートする。顕微鏡で一般的に観察される光子欠乏の効果は、この確率分布における光子の数を手動で低減することによって合成的に得られる。次いで、検出、ポアソン、及び信号伝達ノイズを加えて、顕微鏡で取得されたものによく似た32チャネルの蛍光放出スペクトルを生成する。シミュレーションは、ダイクロイックミラー及びイメージング設定の正確な統合を含む。
【0164】
実験的にマッチするシミュレーション。実験的に取得した顕微鏡データについてのHyU対LUの性能を定量化するために、各入力スペクトルが実験データから得られた強度分布で編成された合成データを生成した。光子計数率に対するアナログを、既存の文献に基づいて較正した。実データを光子に離散化して、生物学的に関連する信号分布を有する現実的な光子マスクを生成した。これは、光子欠乏の影響を制御することを可能にしながら、顕微鏡から取得されたものとマッチする強度及び比率を提供した。
【0165】
重複するシミュレーション。スペクトル組み合わせの数に関して、HyU対従来のLUの性能を定量化するシミュレーションが含まれる。これらのシミュレーションを、X%の重複及びn個のフルオロフォアを有するシミュレーションが、n個の入力スペクトルのランダム化された比率で特定の割合Xのピクセルを有するように、人工的な強度分布で作成した。例として、6つのフルオロフォア及び50%の重複を有するシミュレーションの場合、シミュレートされたデータセットは、ピクセルの50%が、6つのフルオロフォアのランダム化された組み合わせを含む一方、残りのピクセルは、単一のフルオロフォアを含む。これにより、HyUについてのフェーザ法の圧縮性質に対するスペクトル組み合わせの数の増加の影響を調査することが可能になった。
【0166】
(実施例9.画像分析:独立スペクトルシグネチャ)
独立スペクトルフィンガープリントを、試料、溶液、文献、又はスペクトルビューアウェブサイト(サーモフィッシャー、BDスペクトルビューア、スペクトルアナライザ)を通じて得ることができる。本明細書で使用される蛍光信号を、特定の蛍光を発現することが形態学的及び生理学的に知られている領域で単一の標識された試料をイメージングすることによって得た。図27を参照のこと。各データセットについて、フェーザプロットを計算した。32チャネルスペクトルフィンガープリントを、フェーザクラスタのカウント加重平均位置のフェーザビンから抽出した。これらのフィンガープリントを文献のフィンガープリントと比較し、手動で補正して、ノイズを低減した。新しい成分を識別する方法の更なる説明を、実施例22及び図17図23に見出すことができる。
【0167】
自己蛍光信号について、エラスチン(Elastin)のスペクトルを実験的に得て、文献と比較した。ニコチンアミドアデニンジヌクレオチド(NADH)フリー、NADH結合、レチノイン酸、レチノール、及びフラビンアデニンジヌクレオチド(FAD)についてのスペクトルを、顕微鏡を使用してインビトロ溶液から取得した。リン酸緩衝生理食塩水(PBS)溶液中にB-ニコチンアミドアデニンジヌクレオチド(Sigma-Aldrich、St.Luis、MO、番号43420)を含まないNADH。PBS中B-ニコチンアミドアデニンジヌクレオチド及びL-乳酸デヒドロゲナーゼ(Sigma-Aldrich、番号43420、番号L3916)からのNADH結合。ジメチルスルホキシド(DMSO)中のレチノイン酸(Sigma-Aldrich、番号R2625)の溶液からのレチノイン酸。DMSO中のレチノール合成(Sigma-Aldrich、番号R7632)の溶液からのレチノール。PBS中フラビンアデニンジヌクレオチドジナトリウム塩水和物(Sigma-Aldrich、番号F6625)からのFAD。
【0168】
(実施例10.フェーザ分析)
データセット内の各ピクセルについて、その正規化スペクトルのフーリエ係数は、フェーザ平面内の座標(G(n)、S(n))を定義し、ここで、
【数1】
【0169】
式中、λs及びλfは、それぞれ、開始波長及び終了波長であり、Iは、測定された強度であり、cは、スペクトルチャネルの数(この場合は32)、nは、高調波次数である。一次高調波(n=1)は、独立スペクトル成分のスパース性(sparsity:希少性)に基づいて、自己蛍光信号に利用され、二次高調波(n=2)は、蛍光信号に利用される。単一の正方形ビン内に類似のスペクトルを有するピクセルをグループ化するために、次元(S、G)を有する2次元ヒストグラムが、フェーザ座標に適用される。このプロセスを、フェーザエンコーディングとして定義することができる。
【0170】
(実施例11.リニアアンミキシング)
本研究におけるリニアアンミキシングについての仮説は、i個の独立スペクトルフィンガープリント(fp)を与えられた場合、各収集されたスペクトル(I(λ))は、fpの線形結合であり、各fp寄与(R)の和は1である、というものである。
【数2】
【0171】
式中、Riは、比率であり、Wiは、重みであり、Nは、ノイズである。取得されたスペクトルは、時間としてのt、チャネルとしのc、空間次元としてのx、y、zを有する形状(t、z、c、y、x)とともに、元のスペクトルキューブに収集される。
【0172】
i個のスペクトルベクトルfpiは、アンミキシング関数に提供される必要がある。全てのfpに同一の重みがあり、ノイズNに低い値があると仮定する。これらの条件下では、Riは、ヤコビの逆行列(Jacobian Matrix Inversion)を適用することによって得られる。
【数3】
【0173】
本研究におけるピクセルごとのリニアアンミックス実施態様では、次元(t、z、c、y、x)を有する各ピクセルにおける取得されたスペクトルにヤコビの逆行列が適用される。各スペクトルベクトルの結果として生じる比率は、形状(t、z、i、y、x)を有する比率キューブの形態で組み立てられ、ここで、x、y、z、tは、それぞれ、元の画像の空間次元及び時間次元であり、iは、入力スペクトルベクトルの数である。比率キューブ(t、z、i、y、x)は、形状(t、z、y、x)を有する元のスペクトルキューブのチャネル次元にわたる強度の積分と乗算されて、形状(t、z、i、y、x)を有する最終的な結果として生じるデータセットを得る。
【0174】
(実施例12.ハイブリッドアンミキシング-リニアアンミキシング)
ハイブリッドアンミキシング実施態様では、ヤコビの逆行列は、次元(c、s、g)を有する各フェーザビンの平均スペクトルに適用され、g及びsは、フェーザヒストグラムサイズであり、cは、取得されたスペクトルチャネルの数である。各ビンにおける平均スペクトルは、元の各ピクセルスペクトルをビンに参照するために、フェーザをエンコーディングとして使用することによって計算される。各成分チャネルの結果として生じる比率は、形状(i、s、g)を有するフェーザビン比率キューブの形態で組み立てられ、ここで、iは、入力独立スペクトルfp(リニアアンミキシングセクション)の数である。次いで、このフェーザビン比率キューブは、元の画像形状を参照し、形状(t、z、i、y、x)を有する比率キューブを形成し、ここで、x、y、z、tは、元の画像次元である。比率キューブは、形状(t、z、y、x)を有する元のスペクトルキューブのチャネル次元にわたる強度の積分と乗算され、形状(t、z、i、x、y)を有する最終結果データセットを得る。
【0175】
(実施例13.速度比較に使用されるアンミキシングアルゴリズム)
HyUアルゴリズム(図19)との速度比較に利用されるアンミキシングアルゴリズムを、分析パイプラインのアンミキシングステップに差し込み、以下のように調達した。pysptools.abundance_maps(https://pysptools.sourceforge.io/abundance_maps.html)からの非負制約付き最小二乗及び完全制約付き最小二乗。堅牢な非負行列分解10python実装を、(https://github.com/neel-dey/robust-nmf)から得た。
【0176】
(実施例14.データ可視化)
最終結果データセットのレンダリングを、Imaris9.5-9.7を使用して実行した。図2図3では、各チャネルについてのコントラスト設定(最小、最大、ガンマ)を等しくなるように設定して、HyUとLU結果との間の合理的な比較を提供した。ガンマを1に設定し、最小閾値を適用せず、各チャネルの最大値を最大強度の1/3に設定した。画像を、最大強度投影(MIP:Maximum Intensity Projection)を使用してレンダリングし、表示を改善するために、顕微鏡上の疎なサンプリングz方向から生成されたギャップを減衰させるために固定xy比率を維持しながら、z方向にデジタルリサンプリングした。
【0177】
(実施例15.ボックスプロット生成)
全てのボックスプロットを、標準的なプロット方法を使用して生成した。中心線は、中央値に対応し、下側ボックス境界は、第1の四分位数に対応し、上側ボックス境界は、第3の四分位数に対応する。下側ひげ及び上側ひげは、それぞれ、第1の四分位数及び第3の四分位数の下方及び上方の四分位範囲の1.5倍に対応する。
【0178】
(実施例16.タイムラプス登録)
カスタマイズされたpythonスクリプト(補足コード)を最初に利用して、複数の時点にわたってzスライスの数をパディングし、同じサイズのボリュームを得た。FIJI(https://imagej.net/Fiji)における「Correct 3D drift」プラグ(https://imagej.net/Correct_3D_Drift)を使用して、データを登録した。
【0179】
(実施例17.タイムラプス統計)
タイムラプスについてのボックスプロット及び線プロットを、Imaris9.5-9.7のImarisVantageを使用して生成した。ボックスプロット要素は、上に説明されるのと同じガイドラインに従う。線プロットは、各時点についての接続されたボックスプロットであり、実線は、中央値を表し、影付き領域は、第1及び第3の四分位数を表す。
【0180】
(実施例18.平均二乗誤差)
合成データについて、HyUとLUとの間のアンミキシング忠実度の比較のためにグラウンドトゥルースが利用可能である。顕微鏡データにおける強度値の随意の性質のために、fp寄与、又は比率を定量化に使用した。平均二乗誤差(MSE)は、合成データにおける比率の品質を判定するために使用される。MSEは、アンミキシングアルゴリズム(rアンミックス)によって回復された比率の二乗差と、グラウンドトゥルース比率(r)をピクセルの総数(n)で除算したものとして定義され得る。
【数4】
【0181】
異なるアンミキシングアルゴリズム間の比較を簡易化するために、相対平均二乗誤差(RMSE)を以下のように定義することができる:
【数5】
【0182】
RMSEは、従来のLUと比較して、HyUを使用した場合のMSEの改善の尺度となる。
【0183】
(実施例19.残差)
実験データについて、グラウンドトゥルースがない場合、アンミキシングアルゴリズムによって返される結果の性能は、以下の測定値で定量化される。すなわち、平均相対残差、残差画像マップ、残差フェーザマップ、及び最後に、残差強度ヒストグラムである。
【0184】
残差(R)は、以下のように計算される。
画像について:
【数6】
フェーザについて:
【数7】
【0185】
各ピクセル又はフェーザビンについてのアンミックス画像と元の画像との間のスペクトル強度差は、強度画像(I)の以下の説明に依存し、ここで、
【数8】
である。
【0186】
元のスペクトル(I生画像)は、各独立スペクトル成分(fp)とその比率(r)と組み合わせにノイズ(N)を加えたものである。回復されたスペクトルは、各対応する個々の成分との回復された比率(rアンミックス)との乗算によって得られる。
【0187】
相対残差(RR)は、C個のチャネルにわたる残差値の和として計算され、C個のチャネルにわたる元の強度値の和に正規化される(例えば、C=32)。
【数9】
【0188】
平均相対残差(図11)は、複数のフィルタの適用、様々な閾値の適用、及び推定される成分数の変動など、同じデータに対する異なる処理方法の性能を評価するための単一の比較値を提供する。平均相対残差(RR平均)は、画像におけるあらゆるピクセル又はフェーザヒストグラムにおけるあらゆるフェーザビンについての相対残差の平均として定義される。
画像について:
【数10】
フェーザについて:
【数11】
【0189】
残差画像マップは、画像の各ピクセルの残差値を視覚化する(図10)。より高い残差値を有する領域は、ノイズ量の増加、又は予期しないスペクトルシグネチャが存在するデータセットの部分を特徴付けるように見える。
【0190】
残差画像マップ(R画像マッフ゜(x,y))は、相対残差(RR)キューブを各ボクセルについて2D画像形状に投影し、元の画像の空間コンテキストにおけるアルゴリズム比率回復性能の推定される視覚化を提供する。
【数12】
【0191】
残差フェーザマップは、フェーザヒストグラムの各ビンについて残差を視覚化する(図10)。これらのマップは、HyUアンミキシング結果がフェーザドメインで性能を低下させた場所に関する洞察を可能にし、予期しない追加のスペクトル成分のフェーザ場所を示す(図11)。
【数13】
【0192】
残差強度ヒストグラムR強度ヒストク゛ラム(p、rr)(図3g、図3h、及び図10d)は、全ピクセル又は全フェーザビン全体の強度に関連する相対残差の分布を計算する。より高い残差は、より低い信号強度及びSNRを有する領域に存在するように見え、劣化した性能を提供する。
画像の場合:
【数14】
フェーザの場合:
【数15】
【0193】
式中、pは、ヒストグラムPのビンであり、rrは、RRのビンであり、sfは、光子の数をデジタル強度レベルに変換する因子である。
【0194】
(実施例20.画像コントラスト)
画像コントラストは、バックグラウンドに対する細部の識別性の尺度となる。パーセントコントラストは、画像中の最も高い強度と最も低い強度との間の関係を指すことができる。
【数16】
【0195】
ここで、信号平均の強度(Is)は、画像中の上位20%の強度の平均である。バックグラウンド平均の強度(IB)は、下位20%の画像強度の平均である。
【0196】
(実施例21.スペクトル信号対雑音比)
各合成データセットがグラウンドトゥルースを有することから、SNRを、シミュレートされた画像をグラウンドトゥルースと比較することによって計算することができる。これらはハイパースペクトル画像であることから、SNRの定義を、データの波長次元に拡張し、スペクトルSNRという用語を使用することができる。2つのタイプのスペクトルSNRは、絶対スペクトルSNR及び相対スペクトルSNRを含むことができる。
【0197】
スペクトルSNRを、各単一スペクトルシミュレーションについて以下のように計算することができる。まず、各ピクセル及びチャネルについて、グラウンドトゥルース強度とシミュレートされた強度との間の差の絶対値を取る。次いで、各チャネルの全てのピクセルにわたって平均値を計算する。最後に、チャネルの全てにわたって和を取り、絶対SNRについては32で除算するか、又は相対SNRについては信号を有するチャネルの数で除算する。信号を有するチャネルの数は、ピクセルSNR値がゼロよりも大きい単一のチャネルに統計的に有意なピクセル数があるかどうかをチェックすることによって計算される。
【数17】
【0198】
式中、igndは、グラウンドトゥルースデータについてのチャネル当たりのピクセル当たりの強度であり、isimは、シミュレートされた(ノイズの多い)データについてのチャネル当たりのピクセル当たりの強度であり、Pは、ピクセルの総数であり、Cは、信号を有するチャネルの数である。
【0199】
(実施例22.HyUを用いるスペクトル及び新しい成分の識別)
独立スペクトル成分の識別は、ハイパースペクトルデータをアンミックスすることに対する逆境(adversity)であった。第一に、収集されたスペクトルは、低減されたSNRによって歪み得る。第二に、内因性信号の励起は、生体試料の不確実性を引き起こす。好ましくは、HyUは、フェーザアプローチを適合させ、かつスペクトル識別及び選択のための半自動又は完全自動プロセスを達成することによって、このプロセスを簡易化する。HyUでは、スペクトルを既存のライブラリからロードし、分析プロセスを実質的に自動化することができる。事前に識別されたカーソルは、mKO2、tdTomato、mRuby、シトリンなどの一般的なフルオロフォアから生成される。実験試料から蛍光スペクトルを得ることは、既存のライブラリからのスペクトルを利用することと比較して、それらが多数の実験及び機器設定を説明するため、いくつかの利点を有する。pH又は温度などの試料の微小環境内の要因とともに、異なるタイプのレンズ又は光学フィルタ(図10C図10D)などのイメージング設定は、蛍光スペクトル放出を改変する潜在性を有する。予期しない蛍光信号の存在下で、スペクトルを選択し、フェーザから直接視覚化することもできる。フェーザは、予期しない独立成分の識別と、複数のシステムノイズからのそれらの区別とを容易にする。ノイズのないスペクトルは、フェーザプロット上の単一点として表れる一方、機器及び電子ノイズによって影響を受けるスペクトルは、主に、元のスペクトル信号を中心としたガウス分布として表れる。逆に、複数のスペクトルチャネルにわたるランダムノイズは、フェーザ上にスペクトルのクラスタ化集約を生成しない。異なるスペクトル(例えば、システムへの一定の光漏れ)を有する一定のスペクトルノイズであれば、異なるフェーザクラスタを生成するであろうし、アンミキシングのために選択することができるであろう。フェーザプロット表現は、2Dヒストグラムであり、これらの信号の発生頻度に関する洞察を提供する。試料中のこれらの予期しない独立成分は、フェーザ分布上に「尾部」(tails)として表れることが多い(図17C)。例示的なHyUグラフィカルインターフェースでは、フェーザをクリックすることにより、フェーザヒストグラム(図1D)の小領域(デフォルトでは9×9ビン、インターフェースからサイズを調整可能)内のスペクトルが視覚化される。図15図17に示され、かつ/又は考察される実施例は、フェーザ(図16C)上の5つの異なるエンドメンバを識別し、シトリン、mRuby、Td-Tomato、mKO2、及び1つの強い自己蛍光シグネチャを識別するそれらのスペクトルを視覚化する。残差フェーザマップ(図17B)の使用は、アンミキシングにおける欠落エンドメンバに対応する可能性が高い、多量の残差を有するフェーザにおける領域の識別を可能にする。残差画像マップ(図17C)は、欠落エンドメンバのデータセットにおける場所の識別のために、画像データにおける残差の迅速な概要を提供する。
【0200】
(実施例23.自己蛍光データにおけるHyU)
細胞代謝は、細胞機能の重要な調節器であり、多くの疾患の発症に不可欠な役割を果たす。細胞代謝経路の理解は、新規の治療法及び診断法の開発及び評価にとって枢要(critical)である。いくつかの代謝産物は、蛍光であり、かつそれらの生化学的構成に従ってそれらのスペクトルを変化させることが文献で報告されている。例えば、NADHが乳酸デヒドロゲナーゼ(LDH:Lactate Dehydrogenase)などの酵素に結合したときの放出スペクトルのシフトのおかげで、その遊離及び結合状態でのNADHの測定が可能である。同様に、レチノール及びレチノイン酸は、異なる自己蛍光スペクトルを有することが知られている。純粋な溶液からの一般的な自己蛍光についてのフェーザ位置のマップが、図27Bで報告されている。細胞代謝に関して自己蛍光データをイメージングすることは、数秒から数年の広範囲の時間で生じ得る代謝経路の複雑かつ動的な変化を考慮することを必要とする。これらの自己蛍光信号は、多くの場合、本質的に弱く、光漂白後に迅速に補充されない。レーザ出力は、急速な自己蛍光スペクトル信号漂白を回避するために、また光損傷を低減するために、低減され得る。発光スペクトルに影響を与えることが知られている追加の要因には、pH及び温度、フルオロフォアのピクセル単位の濃度、励起出力、イメージングされた試料の発達段階及び領域が含まれる。後者の例は、図18で報告されており、試料中の信号は、強い局所的な差異を提示する。異なる二光子励起出力及び異なるレベルのピクセルごとの濃度の影響の一例は、図5図6で報告されている。これらの画像では、類似の発達段階の試料は、異なるピクセルサイズ(0.259μm及び0.923μmの横方向分解能)と、約4.7・10-6mW/mm2のレーザ出力密度をもたらすレーザ出力(740nm二光子で4%及び3%)と、を利用してイメージングされている。この異なるレーザ出力は、いくつかのより低濃度の内因性フルオロフォアを励起させず、この場合、mRubyは、図5では見えるが、図6では見えない。これらの画像の両方において、FADは、測定可能な量では励起されないのに対して、レーザ出力密度が1.4・10-3mW/mm2である図28では、FAD寄与は、測定可能であり、アンミックスされている。HyUは、低SNRで動作するその能力のため、内因的に低い自己蛍光の分析にうまく設定される。図18は、インビトロ溶液から取得されたスペクトルに基づく複数の自己蛍光信号のアンミキシングを示す。図23図25は、標識の数と、フルオロフォアの混合比を含むピクセルの割合と、適用されるノイズ除去フィルタの回数と、異なるレベルの信号対雑音比の下でのチャネルの数との関数として、自己蛍光データについてのリニアアンミキシングに勝るHyUの改善のシミュレートされた概要を提示する。
【0201】
(実施例24.アンミキシング中の計算コストの低減)
HyUの利点は、速度である。HyUは、他のピクセルベースのアンミキシングアルゴリズムと比較して、大幅な速度向上を提供する。例外は、従来のLUで利用される関数の高度に最適化された計算実装のための、従来のLU対HyUの場合である。この速度向上は、単一のビンが多数の画像ピクセルに対応する、フェーザヒストグラムレベルでアンミキシングが実行されるために発生する。標準的なLU以外のアルゴリズムについて、HyUは、同等のコーディング言語及びコンピューティングハードウェアで最大500倍の速度改善を提供し、100秒未満で2GBを処理する(図19)。
【0202】
この改善は、蛍光多重化における未解決の画像分析課題に対する解決策を提供する。第一に、スペクトルチャネルの数でスケーリングされる、連続的により高いスループット及び分解能の顕微鏡に起因する、HFIデータのサイズの増加である。第二に、実験的再現性及び生物学的変動性によるデータセットの数である。
【0203】
(実施例25.標準的なフェーザ分析に勝るHyUの改善)
結合の線形性は、ハイパースペクトル蛍光イメージング(HFI)におけるスペクトル分析アルゴリズムの大部分の一般の仮定である。各ピクセルは、試料に含まれる、独立スペクトルシグネチャ、又はエンドメンバの線形結合を含むと仮定される。この仮定は、試料内の独立スペクトルの、知識、又は識別を必要とする。標準的なリニアアンミキシングアルゴリズムでは、相対スペクトル量(比率)の抽出は、計算コストを犠牲にして、ピクセルごとに行われる。より低い信号対雑音比(SNR)スペクトルの場合、乱された実験信号は、スペクトルエンドメンバの検出を複雑にし、比率判定の精度を低下させる。しかしながら、これらの標準的なアンミキシングアルゴリズムは、分析プロセスを自動化する可能性を有する、教師なしであるという利点を有する。
【0204】
フェーザアプローチは、蛍光寿命及びスペクトル画像分析の両方の分析のためのポピュラーな次元削減アプローチとなっている。フェーザは、HFIデータセットの前処理3及びアンミキシングの両方について、スペクトル圧縮、ノイズ除去、及び計算削減を含む重要な利点を提供する。フェーザ分析は、標準的なアンミキシングアルゴリズムを制限する低SNRデータ分析の課題を克服し、ニーズに対する多重化ソリューションを提供する。フェーザ変換は、原則として、元のクリーンデータと比較して情報のパーセンテージの低減を運ぶ損失エンコーダである。信号対雑音比が下位桁に減少することが多い蛍光信号のイメージングでは、エンコーディング損失は、蛍光信号のノイズと比較して関連性が低い。ノイズの多いデータにおけるSNRを増加させるこの基本的な利点により、フェーザ法は、寿命蛍光顕微鏡及びスペクトル蛍光顕微鏡の両方の蛍光顕微鏡にとって貴重なツールとなっている。この点は、フェーザを使用する複数のグループによって報告されており、最近では、Scipioni et al.の研究でうまく説明されている。標準的なフェーザ分析は、完全教師ありであり、フェーザプロットと呼ばれる変換されたスペクトルのグラフィカルな表現で領域又は点を手動選択することを必要とする。フェーザプロットにおける領域の各選択は、類似のスペクトルを含むピクセルを同じフルオロフォアに関連付け、単一比率値を有する強度の波長積分を含む出力チャネルを形成する。この「ウィナーテイクスオール」(winner takes all)アプローチは、各単一の励起光に対するフルオロフォアがスペクトル重複し、空間分散する場合に適しているが(図30)、空間重複及びスペクトル重複するフルオロフォアを逆多重化するために異なる励起波長の別個の取得を必要とする(図31)。
【0205】
HyUは、フェーザ変換を使用して、各フェーザヒストグラムビン内に、類似のスペクトル形状を有するピクセルをグループ化する。このアプローチは、クリーンなエンドメンバ蛍光スペクトルの圧縮、ノイズ除去、及び識別の簡易化の利点を維持する。しかしながら、HyUは、分析の堅牢性を改善する。ノイズ除去された信号は、ハイブリッドフェーザ及び波長ドメインに維持され、したがって、リニアアンミキシング又は完全制約付き最小二乗などの多数の標準的なアンミキシングアルゴリズム(図19)とアンミックスすることができる。これらの標準的なアンミキシングアプローチは、教師なしで動作し、各ピクセルにスペクトル信号のセットについての比率を提供し、フェーザの制限のいくつかを克服することができるが、一般に、蛍光などの低減された、及び損なわれた信号を有する実験条件では良好に機能せず、高スペクトルカウントデータセットについて莫大な計算時間を必要とする。HyUは、これらの標準的なアルゴリズムが、各フェーザビンにおけるよりクリーンでより良く定義された蛍光スペクトルのために、結果の品質(図22図25)において、及び一般に、フェーザ次元削減のために、速度において、それらのピクセルごとの典型的な適用を性能的に上回ることを可能にする波長ベースのノイズ除去スペクトルを提供する。HyUは、フルオロフォアが空間分散又は共局在しているときの両方でスペクトル重複しているときに、単一の励起光に対して良好に機能し、現在アンミックスされた独立スペクトルごとの比率を提供する。HyUは、各単一の励起波長について、データセット当たり最大8つの異なるフルオロフォアについて妥当な性能を有し得る。フルオロフォアのオクタプルを単一の波長によって励起することができる、標識の慎重に選択されたパレットを用いた実験では、5回の順次の取得(励起光ごとに1回)において、5つの標準的で十分にスペクトル分離された励起波長でスペクトル取得が可能な機器を用いて、HyUは、原理的に、40個の信号をアンミックスし得る。しかしながら、この性能は、チャネルの数で減少し(図24図25)、8つのチャネルではわずかな劣化を示し、4つのチャネルでは限界を示す。
【0206】
別段の定めがない限り、以下の特許請求の範囲におけるものを含む、本明細書に記載される全ての測定値、定格、位置、大きさ、サイズ、及び他の仕様は、おおよそのものであり、正確ではない。それらは、それらが関連する機能及びそれらが関連する技術分野における慣習と一致する合理的な範囲を有することが意図されている。
【0207】
当業者によって理解されるように、特に書面による説明を提供するという観点からなど、いずれか又は全ての目的のために、本明細書に開示される全ての範囲はまた、いずれか及び全ての可能な部分範囲並びにそれらの部分範囲の組み合わせを包含する。任意の列挙された範囲を、同じ範囲が少なくとも等しい半分、3分の1、4分の1、5分の1、10分の1などに分解されることを十分に記述し、可能にするものとして容易に認識することができる。非限定的な例として、本明細書で考察される各範囲を、下位3分の1、中位3分の1、及び上位3分の1などに容易に分解することができる。当業者によっても理解されるように、「最大」、「少なくとも」、「よりも大きい」、「よりも小さい」などの全ての言葉は、列挙された数を含み、その後に、本明細書で考察されるように部分範囲に分解することができる範囲を参照する。最後に、当業者によって理解されるように、範囲は、各個々のメンバーを含む。よって、例えば、1~3個の物品を有する群は、1、2、又は3個の物品を有する群を指す。同様に、1~5個の物品を有する群は、1、2、3、4、又は5個の物品を有する群を指す、などである。
【0208】
様々な態様及び実施態様が本明細書に開示されているが、他の態様及び実施態様は、当業者に明らかであろう。本明細書に開示される様々な態様及び実施態様は、例示の目的のためであり、限定することを意図するものではない。
【0209】
公開及び未公開の出願、特許、並びに文献の参照を含むが、これらに限定されない、本明細書に引用される全ての参考文献は、参照される主題について参照することにより、その全体が本明細書に組み込まれ、本明細書の一部となる。参照により組み込まれる刊行物及び特許又は特許出願が本明細書に含まれる開示と矛盾する限り、本明細書は、そのような矛盾する資料に取って代わる及び/又はそのような矛盾する資料に優先することを意図している。
【0210】
本開示では、不定冠詞「a」並びに語句「1つ以上」及び「少なくとも1つ」は、同義であり、「少なくとも1つ」を意味する。
【0211】
「第1の」及び「第2の」などの関係用語は、必ずしもそれらの間の任意の実際の関係又は順序を必要とするか、又は含意することなく、1つのエンティティ又はアクションを別のものから区別するためにのみ使用され得る。「備える/含む(comprises)」、「備える/含む(comprising)」、及び本明細書又は特許請求の範囲内の要素のリストと関連して使用されるときのそれらの任意の他の変形は、列挙が排他的ではなく、他の要素が含まれ得ることを示すことを意図している。同様に、「a」又は「an」が先行する要素は、更なる制約なしに、同一のタイプの追加の要素の存在を排除しない。
【0212】
本明細書における実質的に任意の複数及び/又は単数の用語の使用に関して、当業者は、文脈及び/又は用途に適切であるように、複数から単数に、及び/又は単数から複数に解釈することができる。様々な単数/複数の置換は、明確性のために本明細書に明示的に示され得る。
【0213】
請求項で使用される場合、「のための手段」という語句は、説明されている対応する構造及び材料、並びにそれらの均等物を包含することが意図され、解釈されるべきである。同様に、「のためのステップ」という語句は、請求項で使用される場合、説明されている対応する行為及びそれらの均等物を包含することが意図され、解釈されるべきである。請求項からこれらのフレーズが存在しないことは、請求項が、これらの対応する構造、材料、又は行為、又はそれらの均等物に限定されることを意図しておらず、それらに限定されるべきではないことを意味する。
【0214】
先に説明される実施態様のうちの少なくともいくつかでは、実施態様で使用された1つ以上の要素を、そのような置換が技術的に実行可能でない限り、別の実施態様で交換可能に使用することができる。当業者は、特許請求される主題の範囲から逸脱することなく、本明細書で説明される方法及び構造に様々な他の省略、追加、及び修正が行われ得ることを理解するであろう。そのような全ての修正及び変更は、開示された主題の範囲内であることが意図される。
【0215】
保護の範囲は、以下の特許請求の範囲によってのみ限定される。その範囲は、特定の意味が記載されている場合を除き、本明細書及び続く遂行履歴に照らして解釈される場合、特許請求の範囲で使用される言葉の通常の意味と一致するように広範囲であることが意図され、全ての構造的及び機能的均等物を包含するように解釈されるべきである。
【0216】
当業者は、一般に、本明細書で、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)で使用される用語は、概して「オープン」用語として意図されていることを理解するであろう(例えば、「含む(Including)」という用語は、「含むが、これに限定されない」ものとして解釈されるべきであり、「有する(having)」という用語は、「少なくとも有する」ものとして解釈されるべきであり、「含む(includes)」という用語は、「含むが、これに限定されない」ものとして解釈されるべきである等)。導入された請求項の記述の特定の数が意図される場合には、そのような意図は、その請求項中に明示的に記述されること、また、そのような記述が存在しない場合には、そのような意図は、存在しないことが、当業者によって更に理解されるであろう。例えば、理解を助けるために、以下の添付された特許請求の範囲は、導入語句「少なくとも1つの」及び「1つ以上の」の使用方法を含めて、請求項の記述を導入することができる。しかしながら、そのような語句の使用は、不定冠詞「a」又は「an」による請求項の記述の導入が、そのような導入された請求項の記述を含む任意の特定の請求項を、そのような記述を1つだけ含む実施態様に限定していることを暗示するものと解釈されるべきではなく、同じ請求項が導入語句「1つ以上の」又は「少なくとも1つの」及び不定冠詞「a」又は「an」を含む場合であっても(例えば、「a」及び/又は「an」は、「少なくとも1つの」又は「1つ以上の」を意味すると解釈されるべきである)、その同じ請求項は、請求項の記述を導入するために使用される定冠詞の場合に依然として当てはまる。加えて、導入された請求項の記述の特定の数が明示的に記述されている場合であっても、当業者は、そのような記述が、少なくともその記述された数を意味すると解釈されるべきであることを認識するであろう(例えば、「2つの記述」の、他の修飾語を有さない裸の記述は、少なくとも2つの記述、又は2つ以上の記述を意味する)。更に、「A、B、及びCのうちの少なくとも1つ等」に似た慣例が使用される例では、概して、そのような構造は、当業者がその慣例を理解するであろうという意味で意図されている(例えば、「A、B、及びCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、A及びBともに、A及びCともに、B及びCともに、並びに/又はA、B、及びCともに等を有するシステムを含むが、それらに限定されない)。「A、B、又はCのうちの少なくとも1つ等」に似た慣例が使用される例では、概して、そのような構造は、当業者がその慣例を理解するであろうという意味で意図されている(例えば、「A、B、又はCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、A及びBともに、A及びCともに、B及びCともに、並びに/又はA、B、及びCともに等を有するシステムを含むが、それらに限定されない)。明細書、特許請求の範囲、又は図面におけるかどうかにかかわらず、2つ以上の代替用語を示す離接語及び/又は語句は、その用語のうちの1つ、その用語のうちのいずれか、又はその用語の両方を含む可能性を意図すると理解されるべきであることが、当業者によって更に理解されるであろう。例えば、「A又はB」という語句は、「A」又は「B」又は「A及びB」の可能性を含むことが理解されるであろう。
【0217】
加えて、本開示の特徴又は態様がマーカッシュ群の観点から記載される場合、当業者は、本開示が、それによってマーカッシュ群のいずれかの個々のメンバー又はメンバーのサブグループの観点からも記載されることを認識するであろう。
【0218】
特許請求の範囲は、米国特許法第101条、第102条、又は第103条の要件を満たさない主題を包含することを意図しておらず、そのように解釈されるべきでもない。そのような主題の意図しない適用範囲は、ここでは排除される。この段落に単に記載されている場合を除き、記載又は例示されているものは、特許請求の範囲に記載されているかどうかにかかわらず、任意の構成要素、ステップ、特徴、目的、利益、利点、又は均等物を公衆に献呈することを生じることを意図していないか、又は解釈されるべきではない。
【0219】
要約は、読者が技術的開示の性質を迅速に確認するのに役立たせるために提供される。要約は、特許請求の範囲の範囲又は意味を解釈又は制限するために使用されないことを理解して提出される。加えて、前述の詳細な説明の様々な特徴は、開示を合理化するために様々な実施態様でまとめてグループ化される。この開示方法は、特許請求される実施態様が、各請求項に明示的に記載されているよりも多くの特徴を必要とするものと解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施態様の全ての特徴よりも少ない。このように、以下の特許請求の範囲は、本明細書に組み込まれ、各特許請求の範囲は、個別に特許請求の範囲の主題としてそれ自体で存在する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
【国際調査報告】