特開 2024-51137 モノクロセンサでカラービデオを生成するための装置、システム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051137

(43)【公開日】2024-04-10

(54)【発明の名称】モノクロセンサでカラービデオを生成するための装置、システム、および方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20240403BHJP

【ＦＩ】

G02B21/36

【審査請求】有

【請求項の数】33

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024029662

(22)【出願日】2024-02-29

(62)【分割の表示】P 2020555800の分割

【原出願日】2019-04-11

(31)【優先権主張番号】62/656,720

(32)【優先日】2018-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/701,419

(32)【優先日】2018-07-20

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502221282

【氏名又は名称】ライフ テクノロジーズ コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ベレッタ マーク

(72)【発明者】

【氏名】メカム ジェイソン

(72)【発明者】

【氏名】メッティング フランク

(72)【発明者】

【氏名】ポーリン ジョナサン

(72)【発明者】

【氏名】ベーショテン ポール

(72)【発明者】

【氏名】パースマーク エリック

(72)【発明者】

【氏名】アルテンドルフ エリック

(57)【要約】

【課題】機械的により簡単で、かつ拡張された使用の機会を提供する顕微鏡システムを提供する。
【解決手段】 モノクロセンサでカラービデオを生成するための装置、システム、および方法は、（ｉ）シーケンス内で複数の光源の各々に選択的に通電する行為と、（ｉｉ）シーケンスの各段階で、モノクロカメラで、照射されたサンプルのモノクロ画像を捕捉する行為と、（ｉｉｉ）モノクロ画像からカラービデオを生成する行為と、を含む。シーケンスは、一連の段階を有することができ、シーケンスの各段階は、光源からの異なる波長の光の活性化に対応して、サンプルを照射する。モノクロビデオを生成することは、単一の光源を用いてモノクロセンサで捕捉された複数のモノクロ画像を、モノクロビデオを含む一連のモノクロビデオフレームにコンパイルする行為を含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

モノクロカメラでモノクロ及びカラービデオを生成するための方法であって、
モノクロカメラにおいて補足されたコンパイルしたモノクロ画像から複数の色成分を含むカラービデオを生成することであって、該カラービデオを生成することには、
シーケンスで複数の光源の各々に選択的に通電することであって、前記シーケンスが、一連の段階を有し、前記シーケンスの各段階が、１つ以上の光源からの異なる波長の光の活性化に対応して、サンプルを照射する、ことと、
前記シーケンスの各段階で、前記モノクロカメラで、前記照射されたサンプルのモノクロ画像を捕捉することと、
複数のモノクロ画像を、前記カラービデオを含む一連のカラービデオフレームにコンパイルすることと、が含まれる、前記カラービデオを生成することと、
前記サンプルのモノクロビデオの要求を受信することと、
前記要求を受信することに応答して、前記モノクロカメラで補足されたコンパイルしたモノクロ画像から、モノクロビデオを生成することと、を含み、
前記モノクロビデオを生成することは、システムに、単一の光源を用いて前記モノクロカメラで補足した複数のモノクロ画像を、前記モノクロビデオを含む一連のモノクロビデオフレームにコンパイルさせ、前記単一の光源は、前記シーケンス内で活性化された前記複数の光源のうちの１つから選択され、
前記カラービデオを生成することは、
第１のビデオフレームをコンパイルすることであって、前記第１のビデオフレームの合成カラー画像が、前記シーケンスの第１のサイクルにおける第１の波長の光と関連付けられた第１のモノクロ画像と、前記シーケンスの前記第１のサイクルにおける第２の波長の光と関連付けられた第２のモノクロ画像と、前記シーケンスの前記第１のサイクルにおける第３の波長の光と関連付けられた第３のモノクロ画像と、を含む、ことと、
第２のビデオフレームをコンパイルすることであって、前記第２のビデオフレームが、前記第１のビデオフレームの後に時系列的に存在し、前記第２のビデオフレームの合成カラー画像が、前記第３のモノクロ画像、前記シーケンスの第２のサイクルにおける第１の波長の光と関連付けられた第４のモノクロ画像、および前記シーケンスの第２のサイクルにおける第２の波長の光と関連付けられた第５のモノクロ画像を含む、ことと、を含む、
方法。

【請求項2】

前記シーケンスの各段階における対応する異なる波長の光に基づいて、前記モノクロ画像に色を割り当てることをさらに含む、請求項１に記載の方法。

【請求項3】

前記シーケンス内で前記複数の光源の各々に選択的に通電することが、所定の期間、前記複数の光源の各々に通電することを含む、請求項１または２に記載の方法。

【請求項4】

前記所定の期間が、前記シーケンスの少なくとも２つの段階について同じ期間である、請求項３に記載の方法。

【請求項5】

前記所定の期間が、前記シーケンスの少なくとも２つの段階について異なる期間であり、前記少なくとも２つの段階が、同じ強度で選択的に通電された１つ以上の対応する光源を有する、請求項３に記載の方法。

【請求項6】

前記シーケンス内で前記複数の光源の各々に選択的に通電することが、所定の強度で前記複数の光源の各々に通電することを含む、請求項１または２に記載の方法。

【請求項7】

前記所定の強度が、前記複数の光源の各々について異なる、請求項６に記載の方法。

【請求項8】

前記カラービデオのカラーバランスを調整することをさらに含む、請求項６または７に記載の方法。

【請求項9】

前記カラービデオのカラーバランスを調整することが、前記複数の光源のうちの１つ以上について、自動的にまたは手動で前記所定の強度を調整することを含む、請求項８に記載の方法。

【請求項10】

前記カラービデオのカラーバランスを調整することが、白色サンプルの前記カラービデオが白色に見えるまで、赤色チャネル、緑色チャネル、または青色チャネルのうちの１つ以上を、自動的にまたは手動で調整することを含む、請求項８に記載の方法。

【請求項11】

前記カラービデオのカラーバランスを調整することは、前記複数の光源のうちの１つ以上が前記シーケンス内で選択的に通電される所定の強度を、自動的にまたは手動で調整することを含む、請求項８に記載の方法。

【請求項12】

前記シーケンス内で前記複数の光源の各々に選択的に通電することが、前記複数の光源の各々から生じる光を選択的に遮断し、露出することを含む、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

前記シーケンスが、繰り返される環状シーケンスを含む、請求項１～１２のいずれか１項に記載の方法。

【請求項14】

前記カラービデオを生成することが、ビデオフレームのシーケンスをコンパイルすることを含み、各ビデオフレームは、
前記シーケンスの第１の段階で捕捉された第１のモノクロ画像であって、前記第１の段階が、第１の波長の光と関連付けられている、第１のモノクロ画像と、
前記シーケンスの第２の段階で捕捉された第２のモノクロ画像であって、前記第２の段階が、第２の波長の光と関連付けられている、第２のモノクロ画像と、
前記シーケンスの第３の段階で捕捉された第３のモノクロ画像であって、前記第３の段階が、第３の波長の光と関連付けられている、第３のモノクロ画像と、の合成カラー画像を含む、請求項１～１３のいずれか１項に記載の方法。

【請求項15】

前記第１、第２、および第３の波長の光が、赤色光、緑色光、および青色光から選択される異なる波長の光を含む、請求項１４に記載の方法。

【請求項16】

各モノクロ画像が、タイムスタンプを含む、請求項１４または１５に記載の方法。

【請求項17】

前記ビデオフレームのシーケンスをコンパイルすることが、前記ビデオフレームのシーケンス内に最も新しいビデオフレームを生成することを含み、前記最も新しいビデオフレームが、最も新しいタイムスタンプを有する第１、第２、および第３のモノクロ画像を含む、請求項１６に記載の方法。

【請求項18】

前記シーケンスの前記第１のサイクルにおける前記第１及び第２の波長の光が、前記シーケンスの前記第２のサイクルにおける前記第１及び第２の波長の光と同じ第１及び第２の波長の光である、請求項１に記載の方法。

【請求項19】

前記カラービデオを生成することが、追加的に、第３のビデオフレームをコンパイルすることを含み、前記第３のビデオフレームが、前記第２のビデオフレームの後に時系列的に存在し、前記第３のビデオフレームの合成カラー画像が、前記第５のモノクロ画像、前記シーケンスの第３のサイクルにおける第１の波長の光と関連付けられた第６のモノクロ画像、および前記シーケンスの前記第３のサイクルにおける第２の波長の光と関連付けられた第７のモノクロ画像を含む、請求項１８に記載の方法。

【請求項20】

前記シーケンスの前記第１のサイクルにおける前記第１及び第２の波長の光が、前記シーケンスの前記第３のサイクルにおける前記第１及び第２の波長の光と同じ第１及び第２の波長の光である、請求項１９に記載の方法。

【請求項21】

前記モノクロ画像から前記カラービデオを生成することが、前記カラービデオにおける各ビデオフレームの基礎となるオフセットを決定することと、各カラービデオフレームをコンパイルするときに、各モノクロ画像ごとに補正オフセットを適用することと、を含む、請求項１～２０のいずれか１項に記載の方法。

【請求項22】

前記基礎となるオフセットを決定することが、前記カラービデオにおける各ビデオフレームの垂直方向および／または水平方向のオフセット量のうちの１つ以上を決定することを含む、請求項２１に記載の方法。

【請求項23】

選択されたモノクロ画像を、前記カラービデオから分離および表示することをさらに含む、請求項１～２２のいずれか１項に記載の方法。

【請求項24】

前記カラービデオが、ほぼリアルタイムのカラービデオである、請求項１に記載の方法。

【請求項25】

前記ほぼリアルタイムのカラービデオが、タイムラグを有し、前記タイムラグが、５秒未満である、請求項２４に記載の方法。

【請求項26】

前記タイムラグが、０．５秒未満である、請求項２５に記載の方法。

【請求項27】

前記カラービデオが、リアルタイムのカラービデオである、請求項１に記載の方法。

【請求項28】

前記リアルタイムのカラービデオが、顕著なタイムラグを有していない、請求項２７に記載の方法。

【請求項29】

前記リアルタイムのカラービデオが、画像データの視覚的損失を含まない、請求項２７に記載の方法。

【請求項30】

前記画像データの視覚的損失が、カラーバンディングアーチファクトを含む、請求項２９に記載の方法。

【請求項31】

前記画像データの視覚的損失が、カラーバランスの欠如を含む、請求項２９に記載の方法。

【請求項32】

前記カラービデオが、毎秒少なくとも６フレームのフレームレートを有する、請求項１に記載の方法。

【請求項33】

前記カラービデオが、毎秒少なくとも２４フレームのフレームレートを有する、請求項３２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ビデオを生成するための顕微鏡検査装置、システム、および方法に関する。より具体的には、本出願は、モノクロセンサで捕捉された画像のシーケンスからカラービデオを生成するための装置、システム、および方法に関する。

【0002】

序論
顕微鏡検査は、小さな、しばしば非常に小さな物体の観察に関係している。従来の顕微鏡は、このような小さな物体を拡大し、それによって見ることを可能にするためのレンズのシステムを組み込む。光学顕微鏡では、レンズのシステムは、小さな物体の拡大画像を顕微鏡の接眼レンズに向けるが、デジタル顕微鏡では、画像は、カメラまたは他の画像センサに合焦される。カメラは、モニターで表示するためにレンダリングされ、または後で見るために保存され得る画像情報を記録または中継する。そのような従来の顕微鏡は、しばしば大きく高価であり、特に高解像度で非常に小さな物体を見るために必要な精度のために、ほとんどのレンズベースの顕微鏡内の光学系は、繊細である。

【0003】

顕微鏡は異なるタイプの撮像方法を可能にするために装備されているため、顕微鏡のコストおよび複雑さは、悪化する可能性がある。例えば、蛍光顕微鏡検査は、研究および臨床環境において一般的に使用されており、細胞または組織サンプル内の特定のマーカー、構造体、プロセス、またはオルガネラの存在、不在、量、機能、および局在を特定するために有利に使用され得る。蛍光顕微鏡検査を可能にする顕微鏡は、フルオロフォア励起源、典型的にはレーザーを必要とし、このことは顕微鏡の複雑さおよびコストを増大させる。蛍光顕微鏡検査用に構成された顕微鏡は、モノクロカメラが、同様の数のピクセルを有するカラーカメラよりも優れたコントラストおよびより高い解像度を提供する傾向があり、多くの場合より安価であるため、蛍光画像を捕捉するためにモノクロカメラを使用することが多い。

【0004】

一方、カラーカメラは、カラー画像データの捕捉に有用であり、このことは、これまでのモノクロカメラでは不可能である。カラー撮像データ（例えば、画像およびビデオ）は、通常、白色光源およびカラーカメラを使用して取得される。特に、白色光は、生の画像データまたはカラー画像データのいずれかをディスプレイに提供するカラーカメラに、サンプルを通して均等に送られる。白色発光ダイオード（ＬＥＤ）は、均一に照明されたサンプルを提供するために、ディフューザとともに光源としてよく使用される。ミラーはまた、サンプルの画像をカラーカメラのレンズに反映するためによく使用される。

【0005】

カラーカメラによって捕捉された画像データは、カメラ上のカラー画像に処理されて送信され得るか、または生データとして送信され、次いで画像処理ソフトウェアによってカラー画像に処理され得る。両方のタイプの画像データ（すなわち、モノクロ画像データおよびカラー画像データの両方）を収集する顕微鏡は、通常、モノクロカメラおよびカラーカメラの両方を必要とする。これらの顕微鏡は、機械的により複雑であり、画像捕捉を制御するための関連付けられるプロセス（例えば、モノクロカメラおよびカラーカメラのサンプル光経路への移動の制御、差分画像データ処理ステップなど）がまた、取得のタイプごとに顕微鏡の構成を制御する必要があるため、より複雑である。これらの顕微鏡は、機械的により複雑であり、画像捕捉を制御するための関連付けられるプロセス（例えば、モノクロカメラおよびカラーカメラのサンプル光経路への移動の制御、差分画像データ処理ステップなど）がまた、取得のタイプごとに顕微鏡の構成を制御する必要があるため、より複雑である。さらに、多くのカラーカメラは、赤色、緑色、および青色の構成要素光信号を別々に受信して解釈するために、ベイヤーパターンでピクセルを配置するか、またはベイヤーマスクを適用する。これは、全体的なカメラの感度、特に赤チャンネル内での感度を低下させる可能性があり、また、結果として生じる画像内に不十分な色合いを生成する可能性がある。

【0006】

現在の顕微鏡システムのバルク、複雑さ、および費用は、それらの有用性を制限する。したがって、取り扱うことができる画像取得および処理の分野における多くの追加の問題および欠点の中で、機械的により簡単で、かつ拡張された使用の機会を提供する顕微鏡システムが必要とされている。

【発明の概要】

【0007】

本明細書で開示される様々な実施形態は、モノクロカメラでカラービデオを生成するための装置、方法、およびシステムに関する。かかる実施形態は、例えば、顕微鏡システムを簡素化し、構成要素の数および顕微鏡システムの全体的なサイズを低減し、本質的に同じ機能を維持しながら顕微鏡システムのコストを低減することによって、顕微鏡システムを有利に改善する。

【0008】

第１の態様は、モノクロカメラでカラービデオを生成するための方法を提供する。方法は、シーケンス内で複数の光源の各々に選択的に通電することを含む。シーケンスは、一連の段階を有し、シーケンスの各段階は、１つ以上の光源からの異なる波長の光の活性化に対応して、サンプルを照射する。方法は、追加的に、シーケンスの各段階で、モノクロカメラで、照射されたサンプルのモノクロ画像を捕捉する行為と、モノクロ画像から、カラービデオを生成する行為と、を含む。

【0009】

モノクロカメラでカラービデオを生成するための開示される方法は、追加的に、シーケンスの各段階における対応する異なる波長の光に基づいて、モノクロ画像に色を割り当てる行為と、合成カラー画像を含む各ビデオフレームとともにビデオフレームのシーケンスをコンパイルする行為と、を含むことができる。合成カラー画像は、第１の波長の光を用いてシーケンスの第１の段階で捕捉された第１のモノクロ画像と、第２の波長の光を用いてシーケンスの第２の段階で捕捉された第２のモノクロ画像と、第３の波長の光を用いてシーケンスの第３の段階で捕捉された第３のモノクロ画像と、を含む。いくつかの方法は、いくつかの例では、赤色光、緑色光、および青色光の原色を含む、光源の強度を自動的にまたは手動で調整することによって、カラービデオのカラーバランスを調整するステップを含むことができる。

【0010】

例示的な態様では、カラービデオを生成することは、第１のビデオフレームおよび第２のビデオフレームをコンパイルすることを含む。第１のビデオフレームの合成カラー画像は、シーケンスの第１のサイクルにおける第１の波長の光と関連付けられた第１のモノクロ画像と、シーケンスの第１のサイクルにおける第２の波長の光と関連付けられた第２のモノクロ画像と、シーケンスの第１のサイクルにおける第３の波長の光と関連付けられた第３のモノクロ画像と、を含む。第１のビデオフレームの後に時系列的に存在する第２のビデオフレームは、シーケンスの第２のサイクルにおける第１の波長の光と関連付けられた第２のモノクロ画像、第３のモノクロ画像、および第４のモノクロ画像を含む、合成カラー画像である。

【0011】

いくつかの実施形態において、モノクロカメラでカラービデオを生成するための方法は、追加的に、（例えば、要求に応答して）サンプルのモノクロビデオを選択的に生成することを含むことができる。モノクロビデオを生成することは、単一の光源を用いてモノクロカメラで捕捉された複数のモノクロ画像を、一連のモノクロビデオフレームにコンパイルすることを含むことができる。一連のモノクロビデオフレームは、モノクロビデオを含む。

【0012】

本明細書に開示される方法は、追加的に、カラー／モノクロビデオからのモノクロ画像の選択および表示を可能にする。

【0013】

別の態様は、カラービデオを生成するための撮像装置またはシステムを提供する。装置またはシステムは、光アセンブリの光軸の周りに配設された複数の光源を有する、光アセンブリを含むことができる。光アセンブリは、シーケンス内で複数の光源に選択的に通電するように構成され得る。複数の光源は、例示的な例では、白色光源、赤色光源、緑色光源、および青色光源を含むことができる。装置またはシステムは、追加的に、光アセンブリの光経路内で生体サンプルを受容するように構成された、ステージアセンブリと、光経路内に配置され、かつシーケンスの連続的な段階に対応するモノクロ画像を生成するように構成された、モノクロカメラと、モノクロカメラと電気通信する画像プロセッサと、を含むことができる。画像プロセッサは、連続的な時点でモノクロ画像を受信し、モノクロ画像を複数のビデオフレームにコンパイルして、カラービデオを生成するように構成され得る。

【0014】

開示される撮像装置またはシステムは、追加的に、光軸と整列された顕微鏡対物レンズと、光軸と整列されたレンズチューブと、を含むことができる。撮像装置またはシステムは、追加的に、光軸と整列され、かつ光アセンブリを囲むように位置付けられた、光バレルを含むことができ、光バレルは、その中に位置付けられた光拡散器を有する。光バレルは、追加的に、距離を置いて光拡散器から離れて配置された第２の光拡散器と、第２の光拡散器に隣接して位置付けられ、かつ光拡散器から第２の距離だけ離れて配置された第３の光拡散器と、を含むことができる。

【0015】

開示される撮像装置もしくはシステムまたはその構成要素は、１つ以上のプロセッサと、システムに、本明細書に開示される方法のうちの１つ以上の方法行為を実行させるための１つ以上のプロセッサによって実行可能である、そこに記憶されたコンピュータ実行可能命令を有する、１つ以上のコンピュータ可読媒体と、を含む、モノクロ画像からカラービデオを生成するための装置またはシステムに組み込まれ得る。

【0016】

本開示の追加の特徴および利点は、以下の説明に記載されており、一部はその説明から明らかであるか、または本開示の実施によって習得され得る。本開示の特徴および利点は、添付の特許請求の範囲で特に指摘される手段および組み合わせによって実現および取得され得る。本開示のこれらおよび他の特徴は、以下の説明および添付の特許請求の範囲からより完全に明らかになるか、または以下に記載される本開示の実施によって習得され得る。

【0017】

本開示の上記に列挙されたおよび他の利点および特徴を得ることができる様式を説明するために、上記で簡単に説明した本開示のより具体的な説明は、添付の図面に示されているその特定の実施形態を参照することによって描出される。これらの図面は、本開示の典型的な実施形態のみを示し、したがって、その範囲を限定するものと見なされるべきではないことを認識されたい。本開示は、以下の添付の図面の使用を通じて、さらなる特異性および詳細とともに記述および説明される。

【図面の簡単な説明】

【0018】

【図1】本明細書に開示または想定される特徴を組み込むシステムの例示的な実施形態を示している。

【図2】照明コンデンサおよびカメラの簡略化された概略図を示しており、照明コンデンサとカメラとの間にサンプルが配置されている。

【図3】シーケンス内でサンプルを照射するように構成された例示的な照明コンデンサの組み立てられた斜視図を示している。

【図4】図３の照明コンデンサの断面図を示している。

【図5】本明細書に開示された照明コンデンサとともに使用するように構成された光アセンブリの一実施形態の概略図であり、電気的接続および光源の例示的な構成を示している。

【図6】カラービデオを生成するための連続的な照明およびモノクロ画像の捕捉を調整するための例示的な配線／通信図を示している。

【図7A】カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するための一実施形態を示す図である。

【図7B】カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するための別の実施形態を示す図である。

【図7C】カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するためのさらに別の実施形態を示す図である。

【発明を実施するための形態】

【0019】

本明細書で使用されるように、単数形で現れる単語は、その複数形の対応物を包含し、複数形で現れる単語は、暗黙的または明示的に理解されるか、または別様に記載されない限り、その単数形の対応物を包含する。さらに、本明細書に記載される任意の所与の構成要素または実施形態について、その構成要素について列挙される可能性のある候補または代替物のうちのいずれも、暗黙的または明示的に理解されるか、または別段に記載されない限り、一般に、個別に、または互いに組み合わせて使用され得ることが理解される。加えて、そのような候補または代替物の任意のリストが、暗黙的または明示的に理解されるか、または別段に記載されない限り、単なる例示であり、限定的ではないことが理解されるであろう。加えて、別段の指示がない限り、本明細書および特許請求の範囲で使用される量、成分、距離、または他の測定値を表す数値は、用語「約」によって修正されていると理解されるべきである。

【0020】

したがって、反対に示されない限り、本明細書および添付の特許請求の範囲に記載される数値パラメータは、本明細書に提示される主題によって得られることが求められる所望の特性に応じて変化し得る近似値である。少なくとも、そして均等論の適用を特許請求の範囲の範囲に限定しようとするものではなく、各数値パラメータは、少なくとも、報告された有意な桁の数を考慮して、通常の丸め手法を適用することによって解釈されるべきである。本明細書に提示される主題の広範な範囲を示す数値範囲およびパラメータが近似値であるにもかかわらず、特定の実施例に示される数値は、可能な限り正確に報告される。しかしながら、いずれの数値も、それぞれの試験測定で見つかった標準偏差から必ず生じる特定の誤差を本質的に含む。

【0021】

さらに、明細書および添付の特許請求の範囲で使用されるように、「上部」、「下部」、「左」、「右」、「上方」、「下方」、「上側」、「下側」、「近位」、「隣接」、「遠位」などの方向用語は、本明細書では、相対的な方向を示すためにのみ使用され、別様に本明細書または特許請求の範囲の範囲を制限することを意図していない。

【0022】

撮像システムおよび方法の概要
顕微鏡は、非常に有用なツールであり、小さな、しばしば非常に小さな物体を見るおよび撮像するために使用され得る。しかしながら、顕微鏡検査の正確な性質には、複雑で高価な器具のセットが必要である。これは、各々が追加の構成要素を必要とする、利用可能な顕微鏡検査方法の様々な数およびタイプによってさらに複雑になる。例えば、単純な光学顕微鏡は、接眼レンズとカメラレンズとの間の視野領域を切り替えて、サンプルの写真またはビデオを撮影することを可能にするカメラで変更され得る。蛍光共焦点顕微鏡などのより複雑な方法では、デジタル顕微鏡は、サンプルに存在するフルオロフォアを励起するためのレーザーと、一連のマイクロメートルの薄いｚ断面を介してサンプルを進めるための自動モータで変更され得る。顕微鏡と関連付けられたデジタルカメラ（またはそれと関連付けられた他の画像センサ）は、ｚ断面の各々で画像データを同期的に捕捉する。次いで、画像データは、サンプルの３次元モデルを作成するために、コンピューティングシステムによって処理される。本明細書で使用されるとき、カメラは、電荷結合デバイス、相補型金属酸化物半導体デバイス、Ｎ型金属酸化物半導体デバイス、Ｑｕａｎｔａ画像センサ、科学的相補型金属酸化物半導体デバイスなどの前述の組み合わせ、およびこれに類するものを含むがこれらに限定されない、本明細書に記載の装置、システム、および方法と互換性のある任意の適用可能な画像センサを指す。

【0023】

一般的な顕微鏡検査方法の多くを実行するように顕微鏡を設計することは、法外なコストになる可能性がある。各追加の特殊な構成要素が、既存の顕微鏡内で入手し、正常に実装するために追加の時間およびリソースを必要とするだけでなく、顕微鏡上に追加される各追加の構成要素は、顕微鏡の機械的および操作的な複雑さを増加させる。これは、機械的故障の可能性を増加させ、潜在的に顕微鏡の使用をより困難にする可能性がある。さらに、多くの顕微鏡構成要素は、コンピュータ実行可能命令（例えば、ソフトウェアアプリケーション）によって操作され、様々なソフトウェアアプリケーション間の非互換性により、改良された構成要素の組み合わされた使用が制限され、または効率が低下する可能性がある。

【0024】

多くの顕微鏡は、サンプルの画像データを捕捉するように構成される。実用的および経済的な理由から、これらの顕微鏡の多くは、カラーカメラではなくモノクロカメラのみに（または主に）連結される。モノクロカメラは、幅広い顕微鏡検査方法で使用され得る高解像度の画像データの捕捉を可能にするが、カラー画像データが望ましい場合、またはそれが必要な場合は、モノクロカメラがカラーカメラに置き換えられる必要があるか、またはユーザはカラー画像データを捕捉するために特別に装備された顕微鏡を見つける必要があるかのいずれかである。いずれの場合も、追加のリソースおよび時間が必要である。

【0025】

従来技術の顕微鏡システムの制限を克服するために、本明細書に開示されるシステムおよび方法は、モノクロカメラからのカラー画像データの取得を可能にすることによって顕微鏡を簡素化する。例示的な方法は、１次光スペクトルの各々で照射されたサンプルの画像（すなわち、赤色、緑色、および青色（ＲＧＢ）波長）を連続的に捕捉し、その画像を単一の画像にコンパイルし、それによって、モノクロカメラを使用してサンプルのカラー画像を生成する。重要なことに、結果として得られるカラー画像は、画像処理技術によって取得される偽色の画像ではなく、むしろ、コンパイルされたカラー画像の各ピクセルは、あたかも白色光源を使用して画像が捕捉されたかのように、（赤色、緑色、および青色のモノクロ画像からそれぞれ取得された）ＲＧＢ強度値を含んでいる。さらに、シーケンス内で異なる光源に選択的に通電し、高いフレームレートで画像捕捉を同期することによって、モノクロカメラによって捕捉された画像データを使用して、リアルタイムのカラービデオを含むカラービデオを生成することができる。例えば、第１のカラービデオフレームは、最も新しく捕捉されたＲＧＢモノクロ画像のコンパイルであり得る。より新しい（すなわち、より最近の）赤色、緑色、または青色のモノクロ画像を捕捉すると、古いモノクロ画像をより新しいモノクロ画像に置き換える第２のカラービデオフレームが、コンパイルされ得る。この処理は、より新しいＲＧＢモノクロ画像が捕捉されるにつれて継続され、このようにして生成されたカラービデオフレームを連結すると、結果としてカラービデオが生じる。

【0026】

この技術の適用は、モノクロカメラを既に装備している顕微鏡を、適切なハードウェアおよび／またはソフトウェアの変更を伴って修正し、それにより、カラーカメラを使用せずに、カラー画像データ、特にカラービデオを生成する能力を得ることを可能にすることによって、現在の顕微鏡システムを改善するために使用され得る。カラー画像データの生成を依然として可能にしながら、カラーカメラの必要性を除去することによって、開示されるシステムおよび方法は、それらの有用性を拡大するか、または少なくともそれらの機能性を低下させない一方で顕微鏡システムのコスト、ならびに機械的および動作的な複雑さを低減する。そのような複雑さの低減は、顕微鏡のフットプリントを有利に低減し、機械的故障の可能性を低減することができ（例えば、可動部品が少なく、顕微鏡構成要素の取り扱いが少ないため、摩耗が少なく、偶発的な損傷の発生率が低くなる）、これにより、顕微鏡の寿命を延ばすことができ、運用コストを削減することができる。

【0027】

さらに、モノクロカメラを利用して、カラー画像データを生成することによって、顕微鏡は、より汎用性が高く、かつ効率的なツールになる。例えば、このような顕微鏡は、異なるカメラ間の切り替えを必要とせず、または光学フィルタを必要とせずに、カラービデオの生成からモノクロビデオの生成に切り替えることができる。同様に、このような顕微鏡は、異なるカメラ間の物理的な切り替えを必要とすることなく、モノクロビデオの生成からカラービデオの生成に切り替えることができる。これは、時間およびエネルギーを節約し、よりダイナミックで応答性の高い顕微鏡を可能にする。

【0028】

明らかに、本明細書に開示されるシステムおよび方法は、従来技術の顕微鏡システムおよび方法よりも著しい利点を提供する。カラーカメラは、典型的には、３つの構成要素の原色のうちの１つを個別に取得するピクセルの配列を含む。これは、配列全体に構成要素固有のピクセルを均等に分散させること、パターンで構成要素固有のピクセルを整理すること、または各ピクセルが所与のピクセル位置で単色の強度情報のみを受信することを確実にするために、モザイクフィルタ（例えば、ベイヤーフィルタ）をオーバーレイすることによって達成され得る。各実例において、各構成要素の原色に関する解像度は、配列全体の解像度未満である。モノクロカメラの各ピクセルは光情報を記録するため、モノクロ画像は、同じピクセル数を有するカラーカメラを使用して捕捉されたカラー画像よりも高い単色解像度を有することになる。

【0029】

また、本開示のシステムおよび方法によって生成されるカラー画像データは、モノクロカメラを使用して捕捉されたモノクロ構成要素のコンパイルであるため、各カラー画像またはカラービデオフレームは、モノクロカメラと同様のピクセル数を有するカラーカメラを使用して得られるものよりも高い解像度の画像／ビデオフレームであり得る。これにより、従来技術の顕微鏡システムおよび方法に比べて、画像データから抽出され得るデータの明瞭さ、および粒度が向上し（例えば、高解像度の単一構成要素画像をコンパイル済みの画像データから分析することができる）、従来、より安価なカメラであったより低い総ピクセル数のカメラを使用して、より高解像度のカラー画像データを生成することが可能になる。さらに、本明細書に記載される光源照明、画像取得、および画像処理の独自の調整は、カラー画像データの生成を高いフレームレートで実行することを可能にするため、リアルタイムまたはほぼリアルタイムのカラービデオを含むカラービデオでサンプルの表現を可能にする。

【0030】

開示されるシステムおよび方法の態様は、画像処理を含む。したがって、本明細書に開示または想定される実施形態は、以下でより詳細に考察されるように、例えば１つ以上のプロセッサ等のコンピュータハードウェアを含む特定目的のコンピュータまたは汎用コンピュータを含むか、または利用し得る。実施形態はまた、コンピュータ実行可能命令および／またはデータ構造を運ぶまたは記憶するための物理的および他のコンピュータ可読媒体を含んでもよい。そのようなコンピュータ可読媒体は、汎用または特定目的コンピュータシステムによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、物理的記憶媒体である。コンピュータ実行可能命令を運ぶコンピュータ可読媒体は、送信媒体である。したがって、限定するものではなく、例として、実施形態は、少なくとも２つの明らかに異なる種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体および送信媒体を含むことができる。

【0031】

コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、またはコンピュータ実行可能命令もしくはデータ構造の形態で所望のプログラムコード手段を記憶するために使用され得、かつ汎用コンピュータもしくは特定目的コンピュータによってアクセスされ得る任意の他の媒体を含む。

【0032】

「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／または他の電子デバイス間の電子データの輸送を可能にする、１つ以上のデータリンクとして定義される。情報がネットワークまたは別の通信接続（ハードワイヤード、無線、またはハードワイヤードと無線の組み合わせのいずれか）を介してコンピュータに転送または提供されると、コンピュータは、接続を送信媒体として適切に認識する。送信媒体は、コンピュータ実行可能命令またはデータ構造の形態でデータまたは所望のプログラムコード手段を運ぶために使用され得、かつ汎用コンピュータまたは特定目的コンピュータによってアクセスされ得るネットワークおよび／またはデータリンクを含むことができる。上記の組み合わせは、コンピュータ可読媒体の範囲内に含まれるべきである。

【0033】

さらに、様々なコンピュータシステム構成要素に到達すると、コンピュータ実行可能命令またはデータ構造の形態のプログラムコード手段は、送信媒体からコンピュータ記憶媒体に自動的に転送され得る（その逆もまた可である）。例えば、ネットワークまたはデータリンクを介して受信されたコンピュータ実行可能命令またはデータ構造は、ネットワークインターフェースモジュール（例えば、「ＮＩＣ」）内のＲＡＭ内でバッファリングされ、その後、最終的には、コンピュータシステムＲＡＭに、および／またはコンピュータシステムにおける揮発性の低いコンピュータ記憶媒体に転送され得る。したがって、コンピュータ記憶媒体は、送信媒体も（または主に）利用するコンピュータシステム構成要素に含まれ得ることが理解されるべきである。

【0034】

コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ、または特定目的処理デバイスに、特定の機能または一連の機能を実行させる命令およびデータを含む。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、またはさらにはソースコードであってもよい。本主題は、構造的特徴および／または方法論的行為に対して特有の言語で説明されているが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特徴または上述の行為に限定されないことが理解されるべきである。むしろ、説明される特徴および行為は、特許請求の範囲を実施する例示的な形態として開示される。

【0035】

当業者は、実施形態が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、タブレット、スマートフォン、ルータ、スイッチなどを含む、多くのタイプのコンピュータシステム構成を有するネットワークコンピューティング環境で実施され得ることを理解するであろう。実施形態は、ネットワークを介して（ハードワイヤードデータリンク、無線データリンク、またはハードワイヤードと無線データリンクの組み合わせのいずれかによって）リンクされたローカルおよびリモートコンピュータシステムが両方ともタスクを実行する分散システム環境において実施され得る。分散システム環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に位置してもよい。ある１つのエンティティのためのプログラムモジュールは、別のエンティティのデータセンター内または「クラウド内に」位置決めおよび／または実行されてもよい。

【0036】

本明細書および以下の特許請求の範囲において、コンピュータシステムはまた、撮像システム（例えば、図１の撮像システム１０２）を含むように定義される。開示される撮像システムは、一連のモノクロ画像を捕捉し、その画像をビデオにコンパイルするように構成された特定目的コンピュータを含むことができる。ビデオは、好ましくはモノクロ画像のストリームから生成されるカラービデオであるが、撮像システムは、モノクロ画像の同じまたは異なるストリームからモノクロビデオを生成するように追加的に構成され得る。

【0037】

図１は、本明細書に開示または想定される特徴を組み込む例示的なシステム１００を示している。システム１００の中心には、生体細胞などのサンプルが撮像されて、分析される撮像システム１０２がある。例示的な撮像システム１０２は、撮像デバイス１０４およびコンピューティングデバイス１０６を含むが、これらに限定されない。撮像デバイス１０４は、顕微鏡アセンブリ１１０に装着されたステージアセンブリ１０８を含む。ステージアセンブリ１０８は、顕微鏡アセンブリ１１０が細胞を撮像することができるように、サンプルを位置決めするために必要な構成要素（例えば、９６ウェルプレートまたは細胞を含有するスライドなど）を収容するように構成される。撮像デバイス１０４内は、モノクロ画像データを捕捉するように構成されたモノクロカメラ（例えば、図２のモノクロカメラ１１４）である。いくつかの実施形態において、モノクロカメラは、撮像デバイス１０４によって生成された光経路内に同様に位置付けられ、サンプルを通して透過された光を捕捉する。

【0038】

一般的な動作例では、撮像システム１０２の構成要素は、光アセンブリ１１６および／またはモノクロカメラ１１４と通信して、光源の選択的および周期的な通電、ならびに画像データの対応する捕捉を制御または調整するように構成される。例えば、コンピューティングデバイス１０６は、光アセンブリ１１６と電気通信して、複数の光源がいつ、またそのうちのどれが、どの強度で、どのくらいの時間、選択的に通電されるかを制御または指示することができる。コンピューティングデバイス１０６は、さらに、モノクロカメラ１１４と電気通信して、撮像捕捉周波数またはタイミングをインスタンス化または修正することができる。捕捉された画像データは、以下に記載されるように、カラー画像および／またはカラービデオを生成するようにさらに処理される。好ましい実施形態では、撮像システム１０２は、モノクロカメラ１１４を使用して、サンプルの照明および画像取得を高フレームレートで同期させて、サンプルのリアルタイムまたはほぼリアルタイムのカラービデオを含むカラービデオを生成する。

【0039】

本明細書で使用される場合、用語「ビデオ」等は、毎秒６フレームに等しい、またはそれよりも速いフレームレートでの画像の表示を含むことを意図している。ビデオのフレームレートは、毎秒６、７、８、９、１０、１２、１４、１６、１８、２０、２４、３０、４８、５０、または６０フレーム、ならびに毎秒６～６０フレームの全ての他のレート、および毎秒６０フレームを超えるフレームレートでの画像の表示を含むことができる。

【0040】

本明細書で使用される場合、「リアルタイムのカラービデオ」等の用語は、画像データの任意の顕著なタイムラグまたは視覚的損失なしに、サンプルを表すビデオのほぼ同時の取得、処理、および記憶／表示を含むことが意図される。本明細書で使用されるように、「ほぼリアルタイムのカラービデオ」等という用語は、画像データのタイムラグまたは視覚的損失を含む、サンプルを表すビデオの取得、処理、および記憶／表示を含む。本明細書で使用されるようなほぼリアルタイムのビデオのタイムラグは、２～５秒未満、好ましくは１秒未満、より好ましくは０．５秒未満である。ほぼリアルタイムのビデオのデータの視覚的損失は、カラーバンディングアーチファクト、カラーバランスの欠如、または同様のものなどの視覚的アーチファクトを含み得、いくつかの実施形態において、データの視覚的損失は、本明細書に記載される画像処理技術を使用して軽減され得る。

【0041】

コンピューティングデバイス１０６は、追加的に、（例えば、対物倍率を変更するための）顕微鏡アセンブリ１１０および／またはステージアセンブリ１０８（例えば、撮像前、撮像中、および／または撮像後にサンプルを位置決めし、合焦する）などの撮像システム１０２の他の構成要素と電気通信することができることを理解されたい。

【0042】

図１を引き続き参照すると、ステージアセンブリ１０８は、撮像デバイス１０４上に装着され得るか、またはそれ以外の場合、撮像デバイス１０４と関連付けられ得、当該技術分野で既知のように、撮像デバイス１０４によって表示するためにサンプルを保持し、選択的に移動させるように構成された位置決め機構を含むことができる。当然のことながら、ステージアセンブリ１０８は、当該技術分野で既知のように、任意の３次元内で移動するように構成され得る。例えば、ステージアセンブリ１０８は、（例えば、撮像デバイス１０４によって生成された光経路に対して横方向であるｘ、ｙ平面において）横方向に移動して、サンプルの異なる部分を光経路内に位置決めするように構成され得る。ステージアセンブリ１０８は、追加的または代替的に、例えば、ステッパモータおよびスクリュー／ナットの組み合わせなどの当該技術分野で既知の任意の機構を使用して、ｚ方向（例えば、光経路に沿って異なる距離で各々配置された平行なｘ、ｙ平面の間にある）に移動し、０．００６μｍ／マイクロステップまで増分してカメラに向かう／カメラから離れるサンプルの段階的な移動を提供するように構成され得る。コンピューティングデバイス１０６は、ステージアセンブリ１０８（例えば、撮像前、撮像中、および／または撮像後にサンプルの位置決めおよび合焦する）および／または（例えば、対物倍率を変更するための）顕微鏡アセンブリ１１０などの撮像システム１０２の他の構成要素と電気通信することがさらに可能であることを理解されたい。

【0043】

カメラで画像データを捕捉すると、データは、撮像デバイス１０４において、および／またはコンピューティングデバイス１０６と併せてローカルに分析および／または記憶され得る。これは、例えば、モノクロ画像を合成カラー画像／カラービデオフレームにコンパイルすること、および／またはモノクロ画像から（カラーまたはモノクロ）ビデオを生成することを含むことができる。コンピューティングデバイス１０６は、さらに、システムのためのコントローラとして使用されるだけでなく、それ自体によって、または撮像デバイス１０４と併せて、撮像デバイス１０４によって取得されたデータの分析および／または記憶を実行するためにも使用され得る。コンピューティングデバイス１０６は、上記に定義された汎用もしくは専用のコンピュータもしくはサーバ等、または任意の他のコンピュータ化デバイスを含むことができる。コンピューティングデバイス１０６は、当該技術分野で既知のように、撮像デバイス１０４と直接的に、またはネットワークを介して通信することができる。いくつかの実施形態において、コンピューティングデバイス１０６は、撮像デバイス１０４内に組み込まれる。いくつかの実施形態において、コンピューティングデバイス１０６は、選択的に通電する光源を画像取得と同期させるために、撮像デバイス１０４のカメラおよび光源に電子的に連結される。

【0044】

システム１００はまた、結果および／またはシステム構成を表示するためのユーザ表示デバイス１１２を含むことができる。撮像デバイス１０４および／またはコンピューティングデバイス１０６は、ユーザ表示デバイス１１２と直接的または間接的のいずれかで通信することができ、モノクロおよび／またはカラー画像データをユーザ表示デバイス１１２上に表示させることができる。例えば、コンピューティングデバイス１０６は、モノクロ画像からカラービデオを生成し、そのカラービデオを表示デバイス上に表示することができる。当然のことながら、生成されたビデオは、コンピューティングデバイス１０６によって生成されるときに、または表示される前に生成された記憶されたビデオファイルから生成されるときに、リアルタイムのビデオまたはほぼリアルタイムのビデオとして表示され得る。

【0045】

一実施形態において、本明細書に記載の方法ステップのうちの１つ以上が、ソフトウェアアプリケーションとして実行される。しかしながら、実施形態は、これに限定されず、方法ステップはまた、ファームウェア、ハードウェア、もしくはファームウェアとハードウェアの組み合わせ、および／またはソフトウェアにおいても実行され得る。さらに、方法のステップは、撮像デバイス１０４、コンピューティングデバイス１０６、および／または他のコンピューティングデバイス上に全体的または部分的に存在することができる。

【0046】

システムのデバイスのための動作環境は、１つ以上のマイクロプロセッサおよびシステムメモリを有する処理システムを含むか、または利用し得る。コンピュータプログラミングの当業者の実践に従い、実施形態は、別途示されない限り、処理システムによって実行される動作または命令の行為および記号表現を参照して以下に説明される。そのような行為および動作または命令は、「コンピュータ実施される」、「ＣＰＵ実施される」、または「プロセッサ実施される」ものとして称される。

【0047】

例示的な顕微鏡アセンブリ
上述したように、撮像システム１０２は、撮像デバイス１０４の一部として顕微鏡アセンブリ１１０を含むことができる。図２に示すのは、例示的な顕微鏡アセンブリ１１０、すなわち、照明コンデンサ１１１の一部分の簡略化された概略図である。簡略化された形態では、照明コンデンサ１１１は、１つ以上の光源１１８に選択的に通電して異なる波長の光（例えば、図２に示される、光源１１８から発せられる差分ハッチ線としての赤色、緑色、および青色の波長）を生成するように構成された光アセンブリ１１６と、放出された光の波長を均一に拡散し、サンプル１０９上に合焦するための１つ以上の光拡散器１２０および１つ以上のコンデンサレンズ１２２と、を含む。図２に示されるように、１つ以上の光源１１８によって生成された光は、照明コンデンサ１１１の１つ以上の光拡散器１２０および１つ以上のコンデンサレンズ１２２を通るように方向付けされ、ここで、それはサンプル１０９上で合焦される。照明コンデンサ１１１が作成した光経路に位置付けられたモノクロカメラ１１４は、サンプル１０９を通して透過された光を捕捉する。結果として生じるモノクロ画像は、カラービデオを含むカラービデオフレームにコンパイルされる。

【0048】

図２の照明コンデンサ１１１の簡略化された図は、３つの均等に一定間隔で配置された光拡散器１２０および一対のコンデンサレンズ１２２を示しているが、開示されたシステム内で使用される照明コンデンサ、およびモノクロカメラを使用してカラービデオを生成するための方法は、任意の数および／またはタイプの光拡散器１２０およびコンデンサレンズ１２２を含むことができることを理解されたい。照明コンデンサは、特定の顕微鏡または顕微鏡検査方法、光源１１８によって放出される光の波長、所望の結果（例えば、サンプルの均一な照明）、または任意の他の理由に基づいて構成され得る。

【0049】

照明コンデンサ１１１内の光拡散器１２０およびコンデンサレンズ１２２の数および位置決めは、とりわけ、サンプルを照射する光の均一性に影響を及ぼし得、モノクロ画像の解像度に個別に影響を与え、かつ一般的に、合成画像の解像度およびカラーバランスに影響を及ぼし得る。異なる波長の光のモノクロ画像は、カラー画像の構成要素チャネルとしてコンパイルされるため、不均一な照射光は、結果として生じる合成画像内でカラーバランスの問題を引き起こし得る。例えば、第１の波長の光（例えば、赤色光などの光の原色のうちの１つ）を使用するサンプルの不均一な照射は、サンプル内の色の実際の強度および分布を誤って表現する染みの多いまたは勾配的なモノクロ画像をもたらし得る。第２および／または第３の波長の光（例えば、第１の波長の光が赤色光であるときの、残りの原色である光－緑色および／または青色光）を有するサンプルの不均一な照射が存在する場合、特に、第２および／または第３の波長の不均一な照射が、第１の波長の光によって生成されるものとは異なる合焦または勾配光強度のパターンをもたらす場合に、この問題は複雑になり得る。そのような場合、第２／第３の波長の光から得られるモノクロ画像は、第１の波長の光から生成されるモノクロ画像に存在する不均一な照射のタイプと一致することができず、コンパイルされたときに、カラー画像の構成要素チャネルの各々に通知する強度情報は、サンプルの実際の着色と比較して歪んだおよび変色した画像を引き起こすことになる。

【0050】

したがって、いくつかの実施形態において、光源、サンプル、カメラ、および／または互いからの各々の間隔に加えて、光拡散器１２０およびコンデンサレンズ１２２の数およびタイプは、使用される光の波長にかかわらず、サンプルの光散乱、混合、および均一な照射を促進するように選択される。これは、カラー画像にコンパイルされる（カラービデオ内のカラービデオフレームとして、または独立したカラー画像として使用するかどうかにかかわらず）と、良好なカラーバランスを有するサンプルの正確な再現をもたらす、より均一なモノクロ画像を有益に提供することができる。さらに、それは、均一でカラーバランスの取れたカラービデオの生成に関わるポストプロダクション画像処理の量を削減することができる。

【0051】

本明細書で使用される場合、画像中の色が元のサンプルの色と同じ一般的な外観を有するように見えるとき、サンプルの画像は、「良好な」カラーバランスを有している。より具体的には、サンプル中のニュートラルな色（例えば、灰色および白色）は、画像が「良好な」カラーバランスを有するときに、再現された画像においてニュートラルに見える。追加的または代替的に、再生された画像内の非ニュートラルな色は、画像が「良好な」カラーバランスを有するときに、元のサンプルにおける色と同じ色（例えば、同じ色相、彩度、および／または明るさ）を有するように見えることができる。

【0052】

いくつかの実施形態において、サンプル１０９は、モノクロ画像が捕捉され、カラービデオが生成される間に操作される。例えば、サンプル１０９は、サンプル１０９が位置付けられているステージアセンブリ１０８の１つ以上の寸法での移動によって、その位置に関して操作され得る。ステージアセンブリ１０８のそのような操作は、ステージアセンブリ１０８（およびそれに応じて、サンプル１０９）の、ｘ、ｙおよびｚ寸法から選択される１つ以上の寸法における移動を含むことができる。例えば、ステージアセンブリ１０８は、モノクロ画像の捕捉およびカラービデオの生成中に視野をパンニングする一部として、ｘ寸法およびｙ寸法の両方で移動することができる。これらの実施形態は、例えば、サンプルを操作すること、例えば、ｘおよびｙ寸法の視野をパンニングすること、ｚ寸法のサンプルの位置を調整すること等を行いながら、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。これらの実施形態は、例えば、サンプルを操作すること、例えば、ｘおよびｙ寸法の視野をパンニングすること、ｚ寸法のサンプルの位置を調整すること等を行いながら、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、サンプルが操作されている間に生成されたリアルタイムまたはほぼリアルタイムのカラービデオは、そのような操作が発生している間、ユーザが、サンプルの操作を継続しながら生成され、表示されたビデオを見続けることを可能にするために、ユーザ表示デバイス１１２上に表示され、これは、例えば、ユーザが表示されたカラービデオを観察している間に、ユーザに関心のある１つ以上の領域の識別を誘導するのに役立ち得る。

【0053】

いくつかの実施形態において、サンプル１０９は、モノクロ画像が捕捉され、カラービデオが生成されている間に、合焦される。例えば、サンプル１０９は、サンプル１０９の焦点を調整するために顕微鏡アセンブリ１１０および／またはステージアセンブリ１０８の設定を含む、撮像システム１０２の設定のユーザの調整によって手動で合焦され得る。代替的に、サンプル１０９は、例えば、コンピューティングデバイス１０６によって用いられるオートフォーカスソフトウェアによって、自動的に合焦され得る。これらの実施形態は、例えば、サンプル１０９が手動または自動的に合焦されている間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、サンプルが合焦されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような合焦が起こっている間にユーザ表示デバイス１１２上に表示され、これは、例えば、表示されている少なくとも関心のある領域についての最適な焦点の選択を誘導するのに役立ち得る。

【0054】

いくつかの実施形態において、生成されたビデオは、ｚスタックビデオを少なくとも部分的に含む。撮像システム１０２は、一連のｚスタック画像を取得するように構成され得、これは、例えば、異なるレベル（例えば、サンプル１０９の中央、サンプル１０９の下部、サンプル１０９の上部）で合焦しながら関心のある領域を示すことができ、または個々に取得された画像よりも大きな被写界深度を有する合成画像の生成を可能にすることができる。そのような実施形態において、そのようなｚスタック画像の捕捉の間、撮像システム１０２は、カラービデオを提供し続けることができる。これらの実施形態は、例えば、ｚスタック画像が取得される間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。特定のさらなる実施形態では、サンプルが合焦されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような合焦が起こっている間にユーザ表示デバイス１１２上に表示され、これは、例えば、ｚスタック設定（例えば、位置設定、ステップサイズ設定、被写界深度設定、投射方法設定など）の選択を誘導するのに役立ち得る。

【0055】

いくつかの実施形態において、１つ以上の照射条件が調整されている間に、モノクロ画像が捕捉され、カラービデオが生成される。撮像システム１０２は、さらにモノクロ画像を捕捉し、カラービデオを生成しながら、様々な照射条件を調整することを可能にすることができる。そのような実施形態で調整され得る照射条件の非限定的な実施例は、１つ以上の照明コンデンサ（例えば、照明コンデンサ１１１）を調整すること、１つ以上の光拡散器（例えば、光拡散器１２０）を調整すること、１つ以上の光源の波長を調整すること（例えば、異なる光源を活性化することによって、フィルタホイール上で異なる励起フィルタを使用することによって等）、１つ以上の光源１１８のうちの１つ以上から光が遮断されるかどうかを調整すること、または光源１１８のうちの１つ以上から光が明らかにされるかどうかを調整することを含む。これらの実施形態は、例えば、１つ以上の照射条件が調整されている間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、１つ以上の照射条件が調整されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような調整が起こっている間にユーザ表示デバイス１１２上に表示され、これは、例えば、表示されている少なくとも関心のある領域の最終的な照射条件の選択を誘導するのに役立ち得る。

【0056】

図３および図４は、モノクロカメラを使用してカラー画像／ビデオを生成するためのシステムおよび方法で使用するための照明コンデンサ１１１の例示的な実施形態を示している。図３は、例示的な照明コンデンサ１１１の組み立てられた斜視図を示しており、図４は、図３の照明コンデンサ１１１の断面図を示している。

【0057】

図３および図４の例示的な実施形態では、照明コンデンサ１１１は、光バレル１２４の近位端に配置された光アセンブリ１１６を含んでいる。光バレル１２４の遠位端は、コンデンサ本体１２６の近位端に（例えば、示されるようなねじ山によって、または当該技術分野で既知の任意の他の取り付け機構によって）連結されており、コンデンサ本体１２６は、その中に位相ホイール１２８を保持し、位相ホイール１２８が、様々な顕微鏡検査方法に適合するために、複数の位相環状部１３０のうちのいずれかを光経路内および／または光軸の周りの位置に回転させることを可能にする。位相ホイール１２８および関連付けられる環状部１３０は、当該技術分野で既知の使用のために構成され、所望の顕微鏡検査方法に基づいて選択され得る（例えば、位相ホイールは、対物レンズ固有の位相輪を組み込んで位相コントラスト顕微鏡を可能にし得るか、環状部なしで明るい視野顕微鏡を可能にし得る）。図３および図４の照明コンデンサ１１１はさらに、コンデンサ本体１２６の遠位端に（例えば、示されるように、ねじ山によって、または当該技術分野で既知の任意の他の取り付け機構によって）連結されるレンズチューブ１３２を含む。レンズチューブ１３２は、一対のコンデンサレンズ１２２ａ、１２２ｂを収容し、かつ保持する。

【0058】

照明コンデンサ１１１の光アセンブリ１１６に関して、光アセンブリ１１６は、照明コンデンサ１１１の光軸１３４の周りに位置付けられ、かつ光バレル１２４内で光を放出するように選択的に通電されるように構成されている複数の光源１１８を含む。放出された光は、光バレル１２４内に配置された３つの光拡散器１２０ａ、１２０ｂ、および１２０ｃの各々を通過し、そうすることで、光強度が光経路上で均一化され、適切な色の混合が生じる。示されるように、第１の光拡散器１２０ａは、光源１１８から第１の距離１３６離れて、および第２の光拡散器１２０ｂから第２の距離１３８離れて位置付けられている。第１および第２の光拡散器１２０ａ、１２０ｂは、例えば、スペーサ１４０を使用して間隔をおいて配置され得る。第１および第２の距離１３６、１３８にまたがる空隙は、光の散乱および混合のより多くの機会を可能にすることができ、これは全体的な照射均一性を増加させる。

【0059】

一実施形態において、光バレル１２４は、最初に、保持リングを光バレル１２４の遠位端に固定し、続いて、保持リングに隣接して第３の光拡散器１２０ｃを位置決めし、第３の光拡散器１２０ｃに隣接して第２の光拡散器１２０ｂを位置決めすることによって組み立てられ得る。次いで、スペーサ１４０は、それが第２の光拡散器１２０ｂに当接するまで、または別のやり方では、第２の光拡散器１２０ｂを光バレル１２４内に安定的に固定するまで、光バレル１２５内でその遠位端に向かってねじ状に前進され得る。第１の光拡散器１２０ａは、その後、スペーサ１４０に隣接し、かつスペーサ１４０の第２の光拡散器１２０ｂとは反対側上に位置付けられ得る。いくつかの実施形態では、第１の光拡散器１２０ａは、第１の光拡散器１２０ａの近位側上に配置され、かつスペーサ１４０の反対側にある保持リング（図示せず）によって、光バレル１２４内に追加的に固定および／または保持される。

【0060】

図３および図４を引き続き参照すると、非限定的な動作例は、第１の光拡散器１２０ａが光源１１８から約１４ｍｍ離れて位置付けられ、第２の光拡散器１２０ｂが第１の光拡散器１２０ａから約１９ｍｍ離れて位置付けられ、および第３の光拡散器１２０ｃが第２の光拡散器１２０ｂに隣接して位置付けられ、かつ第２の光拡散器１２０ｂに接触している状態で直径約３２ｍｍ×長さ約５３ｍｍである、光バレル１２４を含むことができる。加えて、第１および第２の光拡散器１２０ａ、１２０ｂは各々、１２０グリットの拡散器を含むことができ、第３の光拡散器１２０ｃは、２２０グリットの拡散器を含むことができる。この（および他の）実施形態において、光拡散器１２０ａ、１２０ｂ、１２０ｃは、グリット面が光源１１８とは反対側を向くように配向される。この前述の光バレル構成は、一対のコンデンサレンズ１２２ａ、１２２ｂ（例えば、第３の光拡散器１２０ｃから８０ｍｍ以下の間隔で配置されている）で組み立てると、良好な色の混合、強度の均一性、および光チャネル間の最小のピクセルシフトを有益に生み出すことができる。

【0061】

これらの利点の多くは、他の構成で維持され得る。例えば、光チャネル間の良好な色の混合、強度の均一性、または最小のピクセルシフトのうちの１つ以上は、直径が２０～５０ｍｍ、好ましくは直径が３０～４０ｍｍ、より好ましくは直径が約３２～３５ｍｍで測定され、かつ長さが１０～１００ｍｍ、長さが３０～８０ｍｍ、または長さが４５～５５ｍｍのうちのいずれかで測定される光バレル内に維持され得る。一実施形態では、光バレルの長さは、光源が照明コンデンサ内のコンデンサレンズの位置に関してサンプル面にコンジュゲートされない長さに限定される。

【0062】

加えて、または代替的に、第１の光拡散器１２０ａを光源１１８および第２の光拡散器１２０ｂからそれぞれ間隔を置く第１の距離１３６および第２の距離１３８は、上記の非限定的な動作例に示され、かつ提供されるものとは異なる（すなわち、大きいまたは小さい）ことができる。いくつかの実施形態において、第１の距離１３６および／または第２の距離１３８が、照明コンデンサの性能に強く影響を与えることなく短縮され得ることが可能である。

【0063】

さらに、照明コンデンサ１１１は、３つの光拡散器１２０ａ、１２０ｂ、１２０ｃを有するものとして図３および図４に示されているが、いくつかの実施形態において、照明コンデンサは、図３および図４に示されているものよりも多いまたは少ない光拡散器を含むことを理解されたい。とりわけ、光拡散器の数は、色の混合、強度の均一性、ならびに同様の撮像条件を複製するためにチャネルごとに必要とされる駆動電流および光電力の量に影響を与え得る。いくつかの実施形態において、第３の光拡散器の存在は、照明コンデンサの性能に著しく影響を与える。例えば、第３の光拡散器の存在は、良好な色の混合を可能にすることができる。

【0064】

したがって、光拡散器の数を減少させることは、色の混合および強度の均一性に悪影響を及ぼし得るが、図３および図４の照明コンデンサ１１１と同様の撮像条件を複製するために必要なチャネルごとの駆動電流および光電力を減少させる。一方で、光拡散器の数を増加させることは、色の混合および強度の均一性によい影響を及ぼし得るが、同様の撮像条件を複製するために必要なチャネルごとの駆動電流および光電力を増加させる。例えば、単一の光拡散器を有する照明コンデンサは、図３および図４の照明コンデンサ１１１と同様の撮像条件を複製するために、１／１０～１／３０の駆動電流および光電力を使用し得る。

【0065】

光が位相ホイールの照明コンデンサおよび環状部（存在する場合）を通過した後、それは一対のコンデンサレンズ１２２ａ、１２２ｂに方向付けされる。上で考察された光拡散器１２０ａ、１２０ｂと同様に、コンデンサレンズ１２２ａ、１２２ｂは、レンズチューブ１３２と関連付けられ、かつスペーサ１４２によって距離を置いて位置付けられる。コンデンサレンズ１２２ａ、１２２ｂは、保持リング１４４によって、互いに対して定義された位置に追加的に保持され得る。一実施形態において、レンズチューブ１３２およびコンデンサレンズ１２２ａ、１２２ｂは、光経路がステージアセンブリ、より具体的には、それと関連付けられたサンプルに合焦するように、照明コンデンサ１１１内に位置付けられる。

【0066】

例示的な光アセンブリ
上記で説明され、図５でより詳細に示される光アセンブリ１１６等の光アセンブリは、カラー画像／ビデオを生成するための開示されるシステムおよび方法で使用される。光アセンブリ１１６は、シーケンス内で複数の光源の各々に選択的に通電するように構成される。シーケンスは、例えば、各光源が異なる色を含む、ＲＧＢの原光色の循環シーケンスとすることができる。図５に示される例示的な実施形態では、複数の光源は、複数のエミッタＬＥＤパッケージ１４８を含み得、その各色は、ＬＥＤ源として一緒にパッケージ化された別個のエミッタ／半導体ダイである。例えば、ＬＥＤパッケージ１４８は、ＬＥＤパッケージの中心の周りに四分円形状で位置付けられた赤色ＬＥＤ源１１８ａ、緑色ＬＥＤ源１１８ｂ、青色ＬＥＤ源１１８ｃ、および白色ＬＥＤ源１１８ｄを含むことができる。非限定的な例として、赤色ＬＥＤ源１１８ａは、６１７ｎｍの光であり、緑色ＬＥＤ源１１８ｂは、５３０ｎｍの光であり、かつ青色ＬＥＤ源１１８ｃは、４４７．５ｎｍの光である。

【0067】

一実施形態において、ＬＥＤパッケージ１４８の中心は、照明コンデンサ１１１の光軸１３４に対応している。図５で見ることができるように、ＬＥＤパッケージ１４８は、光学軸１３４の周りに概ね円形のパターンで光源を配設することができる。いくつかの実施形態において、ＬＥＤパッケージは、概ね円形パターン（図示せず）の中心に位置付けられている追加の光源を含み得る。例えば、追加の光源は、それが照明コンデンサ１１１の光軸１３４に沿って整列するように位置付けられ得る。動作中、ＲＧＢ ＬＥＤ源の各々は、選択的に通電され、それにより、サンプルが赤色、緑色、または青色光で照射される。ＲＧＢ ＬＥＤ源が同じ位置から光を放出していないため、結果として生じるモノクロ画像には、ＲＧＢ光チャネルの各々の間のピクセルシフトが含まれる可能性がある。ＲＧＢ ＬＥＤ源を光軸の周囲に位置決めすることにより、ピクセルシフトの分布が低減される。ＲＧＢ ＬＥＤ源から放出される光を光拡散器（例えば、図４の光拡散器１２０ａ、１２０ｂ、および１２０ｃ）を通して通過させることによって可能になる強度の均一性および色の混合は、異なる角度からサンプルを照射することから生じ得るアーチファクトをさらに防止または減少させることができる。

【0068】

いくつかの実施形態において、複数の光源は、さらに、撮像されるサンプル内のフルオロフォアに方向付けされた励起光を生成し、そこからフルオロフォア放出光を誘導するように構成されたフルオロフォア励起源を含むことができる。そのような実施形態は、開示されたシステムによって可能にされた色およびモノクロ撮像に加えて、またはそれとは別に、サンプルの蛍光撮像を可能にすることができる。いくつかの実施形態において、蛍光画像は、モノクロ蛍光撮像ビデオを作成するために、またはカラービデオ内の追加の構成要素としてビデオフレームに組み込まれる。例えば、カラービデオは、ＲＧＢ画像を使用して生成され、背景カラー画像を生成することができ、蛍光ピークは、カラービデオを含む画像内の蛍光物体の位置および／または作用を示す画像上に重ねられ得る。したがって、本明細書に記載のシステムは、追加的に、カラービデオもしくはモノクロビデオの一部として組み込まれるか、または単独のモノクロ蛍光画像／ビデオとして組み込まれるかにかかわらず、蛍光撮像能力を含むことができる。

【0069】

いくつかの実施形態において、かつ図５に例示されるように、レンズ１４６は、複数の光源１１８ａ、１１８ｂ、１１８ｃ、１１８ｄにわたって配置され得、これは、光学軸１３４に沿って光経路を少なくとも部分的に集中させ、分散させるようにエミッタ起点で作用することができ、それによって、異なる角度からサンプルを照射することから生じ得るアーチファクトを減少させるようにも作用する。

【0070】

図５を引き続き参照すると、光アセンブリ１１６は、各ＬＥＤ源をコネクタ（図示せず）に電気的に連結するために、当該技術分野で既知の複数の接続点１５０、１５２、１５４、１５６、１５８、１６０、１６２、１６４を含む。各ＬＥＤ源は、一対の接続点（１つは正端子に対応し、１つは負端子に対応する）と関連付けられる。例えば、赤色ＬＥＤ源１１８ａは、２つの隣接する接続点１５０、１５２と関連付けられ得るが、白色ＬＥＤ源は、２つの他の接続点１６２、１６４と関連付けられ得る。図５に例示される接続点の位置および位置決めは、有益に、より良いワイヤ管理、光アセンブリ本体の溝状領域から離れたワイヤの付勢を可能にすることができるが、位置および位置決めは、当該技術分野で既知のように、変化し得る。

【0071】

重要なことに、いくつかの実施形態において、光アセンブリ１１６のＬＥＤ源は、電気スイッチの一部を形成する。例えば、接続点で終端するワイヤは、シーケンス内でＬＥＤ源に選択的に通電するように構成されたコントローラと反対側の端で（例えば、直接的に、またはコネクタを介して）連結され得る。これにより、ＬＥＤ源が制御された様式で個別にかつ迅速に通電されることが可能になり、いくつかの実施形態において、コントローラがＬＥＤ源に選択的に通電することはまた、選択的に通電されたＬＥＤ源によるサンプル照射と同期して画像データを捕捉するようにモノクロカメラを制御または指示することである。

【0072】

前述を示す例示的な配線／通信図１６６が、図６に示されている。図１６６は、光アセンブリ１１６（例えば、関連付けられるＬＥＤ電子基板を介する）と、モノクロカメラ１１４と、コンピューティングデバイス１０６との間の配線を示している。図１６６は、光アセンブリ１１６とカメラ１１４との間に接続された３つのワイヤを示している。これらのワイヤは、例えば、カメラの汎用入出力（ＧＰＩＯ）接続を利用することができる。ライン１は、フレーム露光時の高レベルを示すカメラ１１４からの出力である。各フレーム露光が完了すると、高から低へのシグナル移行が発生し、光アセンブリ１１６が、所定のシーケンス（例えば、ＲＧＢ、ＲＢＧ、ＧＲＢ、ＧＢＲ、ＢＧＲ、またはＢＲＧのうちの１つまたは組み合わせを含むトリプレット環状シーケンス）内で次のカラーＬＥＤ源に移行するように信号を送る。シーケンスは、例えば、赤色から緑色に青色に進み、カメラが連続的かつ／または同期的に画像を捕捉し、ライン１を通して光アセンブリ１１６に信号を送るときに繰り返され得る。

【0073】

例示的な配線／通信図１６６において、ライン２および３は、通電されている電流ＬＥＤ源または単に照射に使用されている光の色を示す、光アセンブリ１１６からの出力を表している。一実施形態において、これらの値は、カラービデオ表示中に、それぞれ赤色、緑色、および青色を示すために、１（０１）、２（１０）、および３（１１）のバイナリ値間で移行することができる。モノクロビデオおよび画像捕捉中、ライン２および３は、バイナリ０（００）であり得る。カラー情報、および任意選択で、画像が捕捉されたときに通電されるＬＥＤ源と関連付けられたタイムスタンプまたは他の時間関連情報は、カメラ１１４内の取得された画像と関連付けられ得、この情報は、カメラ１１４から（例えば、ＵＳＢ接続を介して）コンピューティングデバイス１０６に画像データ自体とともに送信される。代替的に、タイムスタンプは、それがコンピューティングデバイス１０６によって受信されたときに基づいて、各取得された画像と関連付けられ得る。色は、それが受信されたときに基づいて各画像と関連付けられ得、あるいは、色は、光源照射シーケンスに基づいて画像が捕捉されたときにどの光源が照射されたかのバック計算に基づいて、受信された画像ごとに決定され得る。コンピューティングデバイス１０６に記憶されるソフトウェア等のコンピュータ実行可能命令は、色情報にアクセスして、受信した特定のモノクロ画像の照射条件を決定する。

【0074】

代替的に、コンピューティングデバイス１０６は、モノクロカメラ１１４に照会して、現在のＧＰＩＯライン値を決定する（それによって画像カラーを決定する）か、または光アセンブリ１１６と通信して、現在のＬＥＤ源照射カラーを決定することができる。しかしながら、これらの方法は、タイミングエラーを引き起こしやすく、これは、カメラ１１４から取得されている現在の画像の照射カラーの誤識別を引き起こす可能性がある。少なくともこの理由により、ＬＥＤカラー照射情報を画像データ自体内に埋め込む前者の方法が、好ましくあり得る。

【0075】

上記に提供されるように、光アセンブリ（例えば、図５の光アセンブリ１１６）は、照明コンデンサの光軸の周りに位置付けられ、かつ光バレル内で光を放出するように選択的に通電されるように構成された複数の光源を含むことができる。いくつかの実施形態において、光源に選択的に通電することは、複数の光源の各々から生じる光を選択的に遮断し、露出することを含む。例えば、光アセンブリは、追加的に、複数の光源に近接し、複数の光源の各々から生じる光を選択的に遮断し、明らかにするように構成されたディスクを含むことができる。

【0076】

一実施形態において、ディスクは、それが残りの光源を遮断しながら単一の光源を明らかにするように、光源に対して位置付けられた開口部を画定する。光軸を中心にディスクを回転させると、他の光源が明らかになり、以前に明らかになった光源が遮断され得る。そのような例示的な実施形態において、複数の光源は、サイクリングオンおよびオフとは対照的に通電状態にとどまることができ、開口部の回転は、個々の光源がサンプルを照らすことを可能にするように作用することができる。さらに、回転ディスクは、複数の光源の各々がサンプルを照射するときに、モノクロカメラでの画像の捕捉とともに複数の光源の各々の露出を調整するために、（例えば、上述のコンピューティングデバイス１０６に類似した）コンピューティングデバイスによって制御され得る。

【0077】

モノクロ画像からのカラービデオの生成
カラー画像／ビデオを生成するように構成された撮像システムの動作中（または必要な画像データを取得および記憶した後）、モノクロ画像は、（上記のように）ＬＥＤ源照射情報とともに受信される。カラー画像は、赤色、緑色、および青色のモノクロ画像の各々から赤色、緑色、および青色のピクセルデータをコンパイルすることによって、コンピューティングデバイス１０６によって作成される。結果として生じるカラー画像内の各ピクセルは、赤色、緑色、および青色のモノクロ画像内の同じピクセル位置からのピクセルデータを含む。個々の赤色、緑色、および青色の値（または一般的に赤色、緑色、および青色のモノクロ画像）の強度を調整して、良好なカラーバランスを有するカラー画像を作成することができる。追加の後処理は、モノクロ画像内のピクセルシフトを補正するために実装され得、それによって、赤色、緑色、および青色のモノクロ画像内のピクセルデータが、サンプルの所与のピクセル領域が、コンパイルプロセスから生じるカラー画像内で正確に表されるようにコンパイルされることを確実にする。

【0078】

一実施形態において、各ＬＥＤ源は、同じ強度で、同じ期間通電され、モノクロカメラは、各色について同じ露光時間を使用して、モノクロ画像を同期的に捕捉するように構成されている。しかしながら、ＬＥＤ源の強度、ＬＥＤ源が通電される期間、およびモノクロカメラの露光時間の各々は、所望の結果に調整され得る。これは、例えば、定義され、かつ潜在的に異なる時間量にわたって各光源に通電することによって、または光源を選択的に明らかにする開口部を有する回転ディスクの場合には、各光源について所望の露光時間に従って、各光源と一致する開口部を回転させることによって達成され得る。一例において、所望の結果は、良好なカラーバランスを有するカラー画像である。連続的なカラー画像をカラービデオに組み合わせる場合、モノクロ画像の取り込み速度を最大化して、ビデオフレーム間の潜在的なラグを低減することが有利であり得る。したがって、いくつかの例では、各色の露光時間を最小限に抑えることが有益であり得る。ＬＥＤ源の強度に対する個々の調整（例えば、赤色、緑色、および青色のＬＥＤ源の強度を差分的かつ具体的に増加させる）は、結果として生じるカラー画像が良好なカラーバランスを保持することを可能にすることができる。

【0079】

図７Ａは、赤色、緑色、および青色のモノクロ画像の画像ストリーム１７０からカラービデオフレームのシーケンス１７２を生成するための１つのパラダイム１６８を示している。画像ストリーム１７０内の各モノクロ画像は、画像取得中に使用されるＬＥＤ源の色に対応する文字（すなわち、赤色については「Ｒ」、緑色については「Ｇ」、青色については「Ｂ」）として表されている。画像ストリーム１７０によって示されるように、ＬＥＤ源を環状ＲＧＢシーケンスで選択的に通電させ、「ＲＧＢＲＧＢＲＧＢＲ…」の画像ストリームを生成した。上述のように、他のシーケンスが使用され得るか、または色のうちの１つが異なる周波数（例えば、ＲＧＢＲＧＲＧＢ…、ＲＧＢＧＢＲＧＢ…、ＲＧＢＲＢＲＧＢ…、ＲＧＲＢＲＧＲＢ…、ＲＧＢＧＲＧＢＧ…、ＲＢＧＢＲＢＧＢ…、または同様のもの）で表され得ることを理解されたい。

【0080】

図７Ａに示されるように、カラービデオフレームのシーケンス１７２内の第１のカラービデオフレームは、各構成要素カラーＲ、Ｇ、およびＢの第１の実例のコンパイルを含む。第２のカラービデオフレームは、より新しい赤色のモノクロ画像を有する第１のカラービデオフレームからの緑色および青色のモノクロ画像のコンパイルである「ＧＢＲ」である。第３のカラービデオフレームは、「ＢＲＧ」であり、これは、第１のカラービデオフレームからの青色モノクロ画像、第２のビデオフレームからの赤色モノクロ画像、およびより新しい緑色モノクロ画像のコンパイルである。このパラダイム１６８は、（例えば、各画像と関連付けられたタイムスタンプによって決定されるように）３つの最も新しい構成要素画像のコンパイルとして汎用化され得る。連続的な各モノクロ画像が受信されると、それは、受信したモノクロ画像の色に対応していない２つの最も新しい構成要素のモノクロ画像でコンパイルされる。図７Ａから推定される一般的な例として、第１のビデオフレームは、光シーケンスの第１の段階に対応する第１のモノクロ画像、光シーケンスの第２の段階に対応する第２のモノクロ画像、および光シーケンスの第３の段階に対応する第３のモノクロ画像からコンパイルされ得る。光シーケンスの繰り返される第１の段階に対応する第４のモノクロ画像を、第２および第３の画像とコンパイルして、第２のビデオフレームを生成することができる。同様に、光シーケンスの繰り返される第２の段階に対応する第５のモノクロ画像を、第３および第４のモノクロ画像とコンパイルして、第３ビデオフレームを生成することができ、光シーケンスの繰り返される第３の段階に対応する第６のモノクロ画像を、第４および第５のモノクロ画像とコンパイルして、第４のビデオフレームを生成することができる。

【0081】

いくつかの実施形態において、画像ストリーム１７０において受信されたカラー画像は、各画像と関連付けられたタイムスタンプに基づいて（すなわち、時系列的に）、モノクロカメラによって受信された順序で、または受信された各画像と関連付けられた色を識別し、定義されたシーケンス（例えば、ＲＧＢＲＧＢＲＧＢ…）を有するその所与の色についての次の利用可能な位置内に画像を配置することによって、順序付けされ得る。後者は、タイミングエラーまたは複数の画像の重複受信に基づいて、構成要素カラーの予め定義されたシーケンス内にカラー画像を誤って配置することを防止することができる。

【0082】

図７Ａのパラダイム１６８は、最小限のラグを伴う高忠実度の応答性カラービデオを提供することができる。第１のカラービデオフレームが生成されるとき、カラービデオのフレームレートは、モノクロ画像の捕捉速度に等しい。しかしながら、このパラダイム１６８は、他のカラービデオ生成パラダイムよりも計算コストが高くなる可能性がある。

【0083】

図７Ｂは、赤色、緑色、および青色のモノクロ画像の画像ストリーム１７０からカラービデオフレームのシーケンス１７６を生成するための別のパラダイム１７４を示している。示されるように、カラービデオフレームのシーケンス１７６内の第１のカラービデオフレームは、各構成要素カラーＲ、Ｇ、およびＢの第１の実例のコンパイルを含む。第２のカラービデオフレームは、より新しい赤色および緑色のモノクロ画像を有する第１のカラービデオフレームからの青色のモノクロ画像のコンパイルである「ＢＲＧ」である。第３のカラービデオフレームは、「ＧＢＲ」であり、これは、第２のカラービデオフレームからの緑色のモノクロ画像と、より新しい青色および赤色のモノクロ画像のコンパイルである。このパラダイム１７４は、少なくとも２つのモノクロ画像を少なくとも１つの他の合成カラー画像と共有する合成カラー画像のコンパイルとして、またはより具体的には、最も古い構成要素カラー画像と、２つの最も新しい構成要素画像のコンパイルとして汎用化され得る。

【0084】

一般的な意味で、パラダイム１７４は、モノクロ画像データを共有する合成画像を使用して、カラービデオフレームシーケンスをコンパイルすることを可能にする。例えば、第１および第２のビデオフレームは、同じ２つのモノクロ画像を共有するが、残りのモノクロ画像に関して異なる合成画像を含むことができる。より詳細な実施例として、第１および第２のビデオフレーム（必ずしも時系列順になる必要はない）は、同じ青色および緑色のモノクロ画像を共有するが、各々が異なる赤色のモノクロ画像を使用して作られる合成画像を含むことができる。

【0085】

図７Ｂのパラダイム１７４は、図７Ａのパラダイム１６８の下で生成されるカラービデオよりもわずかに多くのラグを有する応答性の低いカラービデオを提供することができる。第１のカラービデオフレームが生成されるとき、カラービデオのフレームレートは、モノクロ画像の捕捉速度の２倍に等しい。しかしながら、このパラダイム１７４は、図７Ａのパラダイム１６８よりも計算コストが安くなり得る。

【0086】

図７Ｃは、赤色、緑色、および青色のモノクロ画像の画像ストリーム１７０からカラービデオフレームのシーケンス１８０を生成するための別のパラダイム１７８を示している。示されるように、カラービデオフレームのシーケンス１７６内の第１のカラービデオフレームは、各構成要素カラーＲ、Ｇ、およびＢの第１の実例のコンパイルを含む。各連続的なカラービデオフレームは、同様に「ＲＧＢ」であり、これは、前のカラービデオフレーム内で表現されているモノクロ画像を使用せずに、最も新しい赤色、緑色、および青色のモノクロ画像のコンパイルである。このパラダイム１７４は、ユニークなトリプレットＲＧＢ画像のコンパイルとして汎用化され得る。

【0087】

図７Ｃのパラダイム１７４は、図７Ａおよび図７Ｂの前のパラダイム１６８、１７４の下で生成されたカラービデオよりも多くのラグを有する応答性の低いカラービデオを提供する。カラービデオのフレームレートは、モノクロ画像の捕捉速度の３倍に等しい。

【0088】

カラーカメラは、各ピクセルが所与のピクセル位置で単色の強度情報のみを受信することを確実にするためのベイヤーフィルタを含む。カラー画像を作成するためには、各ピクセルの位置に対して３色全ての情報が必要であるため、デモザイク処理を使用して、各ピクセルで欠落したカラー情報が補間される。このプロセスは、色の急激な変化が生じる、またはサンプル中に存在する鋭いエッジに沿った画像アーチファクトをもたらす。

【0089】

図７Ａ～図７Ｃに概説されるカラー画像生成から生じる画像は、これらのアーチファクトの影響を受けることなく、動いていないサンプルのビデオおよび捕捉された画像について、よりよい画質をもたらす。動いているサンプルについては、個々の画像色構成要素情報が時間的により新しく、したがって、画像内の他の２つの構成要素色に対して新しい位置にあることによって引き起こされるサンプル移動中に、いくつかのカラーバンディングアーチファクトが発生し得る。これらのアーチファクトは、各構成要素画像は常にわずかに異なる時間で取得されるため、カラー画像の生成に含まれる新しい画像の数を変更することによって補正することができない可能性が高い。

【0090】

いくつかの実施形態において、カラーバンディングアーチファクトは、高いカメラフレームレートを維持することによって軽減され得、これは、フレーム間の時間差を小さく（したがって、移動差を小さく）維持する。いくつかの実施形態において、カラーバンディングは、サンプルを静止させることによって排除することができるか、または画像処理技術を使用して緩和することができる。そのような画像処理技術の１つでは、ビデオ内の各フレームの基礎となるオフセットを決定し、カラービデオフレームを構成する際に各カラー画像構成要素に対して補正オフセットを適用することができる。これは、例えば、カラービデオ内の各ビデオフレームの垂直方向および／または水平方向のオフセットを決定することと、影響を受けるビデオフレームを含む各モノクロ画像の全体またはその一部に垂直方向および／または水平方向のピクセル位置を調整することによって、垂直方向および／または水平方向のオフセットを補正することと、を含むことができる。これらのような補正は、特に、より遅いビデオフレームレートを有する実施形態（例えば、図７Ｃに示され、考察されたような）内で、ラグを低減または改善する上で有益であり得る。

【0091】

結果として生じるカラー画像フレームをもたらすいくつかの色は、カラーカメラを使用する場合と比較して、それほど明確に区別できない場合がある。例えば、赤対オレンジ、および青対バイオレットは、ベイヤーフィルタを使用してカラーカメラから生成される画像と比較して、区別できない傾向がある。ＲＧＢ ＬＥＤ照明下で同様に見える色を区別することを助けるために、追加のＬＥＤ色を使用して、ＲＧＢ色情報を補完することもできる。

【0092】

本明細書に開示されるシステムおよび方法は、有益に、モノクロビデオの動的生成を可能にする。例えば、ユーザ要求に応答して、カラービデオ生成（および表示）は、単一のＬＥＤ源に通電し、その色と関連付けられた露光率と同等のモノクロカメラで画像を捕捉することによって、モノクロビデオ生成（および表示）に切り替えることができる。モノクロビデオフレームは、その後に受信した各モノクロ画像を使用してコンパイルされる。カラービデオは、要求に応じて再開することができる。カラービデオの要求を受信すると、光アセンブリは、選択的に、シーケンス内で光源の通電を再開する。第１のカラービデオフレームは、１つの構成要素として、モノクロビデオ内で撮影された最後のモノクロ画像を含み、上で考察された例、またはその変形例に従ってカラービデオフレームをコンパイルすることができる。

【0093】

本明細書の様々な実施形態に関して説明された特徴は、任意の所望の組み合わせで混合および一致され得ることを理解されたい。加えて、本明細書に開示または想定される概念は、他の特定の形態で具現化され得る。説明される実施形態は、あらゆる点において単に例示的であり、限定的ではないと見なされるべきである。したがって、その範囲は、前述の説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味および同等性の範囲内に入る全ての変更は、それらの範囲内に包含されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【外国語明細書】