知財求人 - 知財ポータルサイト「IP Force」
特表2024-531132並列撮像システムでライブ試料モニタリング情報を提供するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-29
(54)【発明の名称】並列撮像システムでライブ試料モニタリング情報を提供するシステム及び方法
(51)【国際特許分類】
G02B 21/36 20060101AFI20240822BHJP
G02B 21/00 20060101ALI20240822BHJP
G02B 3/00 20060101ALI20240822BHJP
G01N 21/64 20060101ALI20240822BHJP
【ＦＩ】
G02B21/36
G02B21/00
G02B3/00 A
G01N21/64 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024507141
(86)(22)【出願日】2022-08-03
(85)【翻訳文提出日】2024-03-01
(86)【国際出願番号】 EP2022071873
(87)【国際公開番号】W WO2023012241
(87)【国際公開日】2023-02-09
(31)【優先権主張番号】63/229,258
(32)【優先日】2021-08-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/232,120
(32)【優先日】2021-08-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524046973
【氏名又は名称】サマンツリー メディカル エスアー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】シャフェー， エチエンヌ
(72)【発明者】
【氏名】オリスベルジェ， オレル ティモテ
(72)【発明者】
【氏名】ノーメンコ， アンドレイ
(72)【発明者】
【氏名】ジョス， ディエゴ
【テーマコード（参考）】
2G043
2H052
【Ｆターム（参考）】
2G043AA03
2G043BA16
2G043CA05
2G043EA01
2G043FA01
2G043FA02
2G043HA01
2G043HA02
2G043JA03
2G043KA02
2G043LA03
2G043NA01
2H052AA08
2H052AA09
2H052AB01
2H052AC04
2H052AC18
2H052AC34
2H052AD03
2H052AD34
2H052AD35
2H052AE13
2H052AF14
2H052AF21
2H052AF25
(57)【要約】
いくつかの実施形態では、方法は、連続画像（複数可）を生成し、任意選択で表示するマイクロ光学素子アレイをスキャンしないで、ライブビューモードを提供し、マイクロ光学素子アレイは、異なる空間的に別個の試料の場所について、アレイ内でマイクロ光学素子から受けた試料光を表す画像画素を含む。画像は、リアルタイムの試料状態を示す情報を取得するために有用なサイズ及び解像度であり得る。マイクロ光学素子アレイをスキャンすることによるフル画像収集は、試料が十分に（自己）安定化したときに開始し得る。いくつかの実施形態では、方法は、マイクロ光学素子アレイをスキャンしないで、安定化指標を含む画像を提供する。安定化の程度について経験的に導出された定量的評価を表す安定化指標は、画像の１つ以上の画像画素によってそれぞれ表された１つ以上のマイクロ光学素子から受けた試料光に関して判定（例えば、計算）され得る。
【選択図】図２Ａ
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
ユーザーにライブ試料モニタリング情報を提供する方法であって、コンピューティングデバイスのプロセッサによって、アレイまたは試料をスキャンしないで、マイクロ光学素子アレイ内のマイクロ光学素子（例えば、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズ）から受けた試料光（例えば、蛍光）に少なくとも部分的に基づいて、前記試料の１つ以上の画像（例えば、ビデオのフレーム）をリアルタイムで生成すること（例えば、また表示すること）、
を含む（例えば、撮像システムは、前記マイクロ光学素子アレイを含み、前記１つ以上の画像を生成する間（例えば、また、表示する間）、前記撮像システムのどの部分も移動しない（例えば、スキャンされない）］、
前記方法。
【請求項2】
前記１つ以上の画像のそれぞれについて、前記画像の隣接画素は、前記試料の異なる場所に対する前記マイクロ光学素子の部分から受けた前記試料光（例えば、蛍光）の部分を表し、前記異なる場所は、前記アレイに対して、（例えば、前記マイクロ素子アレイのピッチに対応する）特性距離だけ分離されている（例えば、前記マイクロ光学素子の隣接部分のスポットサイズの中心で分離が生じる）、請求項１に記載の方法。
【請求項3】
前記アレイは、前記生成中（例えば、また、前記表示中にも）固定位置に留まる、請求項１または２に記載の方法。
【請求項4】
前記試料は前記生成中に摂動しない、先行請求項のいずれか１項に記載の方法。
【請求項5】
前記１つ以上の画像のそれぞれの画像画素は、前記アレイ内のマイクロ光学素子から受けた試料光（例えば、蛍光）に対応する、先行請求項のいずれか１項に記載の方法。
【請求項6】
前記画像画素は、個々に、前記アレイ内の各々のマイクロ光学素子から受けた試料光（例えば、蛍光）に対応する、請求項２～５のいずれか１項に記載の方法。
【請求項7】
前記画像画素のそれぞれは、前記アレイ内の前記マイクロ光学素子の１つから受けた試料光に対応する（例えば、また、前記アレイ内の前記マイクロ光学素子のそれぞれは、前記画像画素の１つだけに対応する）（例えば、前記画像画素のそれぞれは、前記アレイ内の前記マイクロ光学素子の各々の１つから受けた試料光に対応する）、請求項２～６のいずれか１項に記載の方法。
【請求項8】
前記１つ以上の画像のうちの１つ以上において気泡が表されるかどうかを（例えば、前記プロセッサによって自動的に）判定することを含む、先行請求項のいずれか１項に記載の方法。
【請求項9】
気泡が表されるかどうかを判定することは、前記プロセッサによって、閾値エリア（例えば、前記アレイ内の５０個以下、２５個以下、１０個以下、または５個以下のマイクロ光学素子のクラスターのサイズに対応するエリア）よりも大きいゼロ画素値を有する画像画素のエリアが、（例えば、ある期間中、例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒にわたって）前記１つ以上の画像のうちの前記１つ以上に存在するかどうかを自動的に判定することを含む、請求項８に記載の方法。
【請求項10】
気泡が表されるかどうかを判定することは、前記プロセッサによって、非ゼロ画素値を有する画像画素によって画定されたゼロ画素値を有する画像画素のエリアの外周が、（例えば、ある期間中、例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒にわたって）前記１つ以上の画像のうちの前記１つ以上に存在するかどうかを自動的に判定することを含む、請求項８または９に記載の方法。
【請求項11】
気泡が前記１つ以上の画像のうちの前記１つ以上に表されていないと判定したことに応答して、（例えば、前記試料を加重及び／または再配置することによって）前記試料を調整することを含む、請求項８～１０のいずれか１項に記載の方法。
【請求項12】
前記試料が、前記１つ以上の画像のうちの１つ以上において焦点が合う十分に大きいエリアを有するかどうかを（例えば、前記プロセッサによって自動的に）判定することを含む、先行請求項のいずれか１項に記載の方法。
【請求項13】
前記試料が、焦点が合う前記十分に大きいエリアを有するかどうかを判定することは、前記プロセッサによって、非ゼロ画素値を伴う画像画素のエリアが、既定の閾値（例えば、例として、前記試料サイズに基づいて、ユーザーによって設定された値）を上回るかどうかを自動的に判定することを含む、請求項１２に記載の方法。
【請求項14】
前記試料が、焦点が合う前記十分に大きいエリアを有するかどうかを判定することは、前記プロセッサによって、非ゼロ画素値を伴う前記画像画素の部分の凸包が、例えば、ある期間（例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒）にわたって１０％以下（例えば、５％以下、または１％以下）だけ変化しているかどうかを自動的に判定することを含む、請求項１２または１３に記載の方法。
【請求項15】
前記試料が前記１つ以上の画像のうちの前記１つ以上に焦点が合う十分に大きいエリアを有するかどうかを判定したことに応答して、（例えば、前記試料を加重及び／または再配置することによって）前記試料を調整することを含む、請求項１２～１４のいずれか１項に記載の方法。
【請求項16】
前記１つ以上の画像に応答して、前記生成中（例えば、また、前記表示中）に前記試料を調整することを含む、先行請求項のいずれか１項に記載の方法。
【請求項17】
前記試料は、前記生成中（例えば、また、前記表示中）にユーザーがアクセス可能である［例えば、撮像中に（例えば、横方向の）試料アクセスを可能にする試料皿上に配置される］、先行請求項のいずれか１項に記載の方法。
【請求項18】
前記１つ以上の画像に基づいて［例えば、前記１つ以上の画像のうちの１つ以上が、前記試料が安定化している（例えば、自己安定化している）ことを示すのに十分であると判定したことに基づいて］、前記試料の撮像を開始することを含み、前記試料を撮像することは、前記マイクロ光学素子アレイをスキャンすることを含む、先行請求項のいずれか１項に記載の方法。
【請求項19】
前記１つ以上の画像のうちの１つ以上が、前記試料が安定化している（例えば、自己安定化している）ことを示すのに十分であると判定したことに応答して、前記プロセッサによって、自動的に前記撮像することを開始することを含む、請求項１８に記載の方法。
【請求項20】
前記１つ以上の画像のうちの前記１つ以上が、前記試料が安定化していることを示すのに十分であると判定することは、前記プロセッサによって自動的に発生する、請求項１９に記載の方法。
【請求項21】
前記１つ以上の画像のうちの前記１つ以上が、前記試料が安定化していることを示すのに十分であると判定することは、前記プロセッサによって、気泡が前記１つ以上の画像のうちの前記１つ以上に表されていないと判定することを含む、請求項２０に記載の方法。
【請求項22】
前記１つ以上の画像のうちの前記１つ以上が、前記試料が安定化していることを示すのに十分であると判定することは、前記プロセッサによって、前記試料が前記１つ以上の画像のうちの前記１つ以上で焦点が合う十分に大きいエリアを有すると判定することを含む、請求項２０または２１に記載の方法。
【請求項23】
前記１つ以上の画像はグレースケール画像（複数可）である、先行請求項のいずれか１項に記載の方法。
【請求項24】
前記１つ以上の画像は疑似カラー画像（複数可）である（例えば、前記画像（複数可）の画素は、パープル／ピンクのカラースケールで表示され、例えば、ヘマトキシリン及びエオシンが染色された光学顕微鏡画像を模倣する）、請求項１～２２のいずれか１項に記載の方法。
【請求項25】
前記画像画素の色相、彩度、輝度、またはそれらの組み合わせ（例えば、グレー値）は、受けた前記試料光の相対強度に対応する、請求項２～２４のいずれか１項に記載の方法。
【請求項26】
観察期間にわたって前記マイクロ光学素子から受けた前記試料光を比較したことに基づいて、前記プロセッサによって、前記アレイ内の前記マイクロ光学素子の少なくとも一部のそれぞれ（例えば、前記マイクロ光学素子の全て）に対して、前記試料光の安定化指標を判定することを含み、前記１つ以上の画像は、前記安定化指標のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、または色）を含む、先行請求項のいずれか１項に記載の方法。
【請求項27】
前記安定化指標は、前記観察期間にわたって動的である、請求項２６に記載の方法。
【請求項28】
前記安定化指標は、前記マイクロ光学素子から受けた前記試料光の変化に基づいて、前記観察期間にわたって変化する、請求項２６または２７に記載の方法。
【請求項29】
前記プロセッサによって、計算期間（例えば、前記観察期間のサブセットである期間）にわたって、前記マイクロ光学素子から受けた前記試料光の強度の変化を比較することによって、前記安定化指標を判定することを含む、請求項２６～２８のいずれか１項に記載の方法。
【請求項30】
前記試料光の強度の前記変化を比較することは、前記プロセッサによって、前記計算期間（例えば、例として、ユーザーによって設定された既定の検出フレームの数）にわたって、前記マイクロ光学素子のそれぞれから受けた前記試料光の最小強度及び最大強度を判定することを含む、請求項２９に記載の方法。
【請求項31】
前記最小強度及び前記最大強度は、それぞれ、前記計算期間にわたって前記マイクロ光学素子に対して、加重平均（例えば、指数加重平均）（例えば、加重時間平均）から判定される（例えば、１つ以上の加重パラメーターはユーザーによって設定される）（例えば、前記加重平均は、２つ以上の連続期間にわたって前記マイクロ光学素子から受けた試料光の強度を使用して計算される）、請求項３０に記載の方法。
【請求項32】
前記安定化指標は、前記最大強度と前記最小強度との差である、請求項３０または３１に記載の方法。
【請求項33】
前記１つ以上の画像のそれぞれは、領域に対応するすべてのマイクロ光学素子に関する前記安定化指標のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、または色）をそれぞれ含む前記領域を含む、先行請求項のいずれか１項に記載の方法。
【請求項34】
前記領域は、それぞれ、少なくとも９個のマイクロ光学素子（例えば、少なくとも１６個のマイクロ光学素子、少なくとも２５個のマイクロ光学素子、少なくとも４９個のマイクロ光学素子、または少なくとも６４個のマイクロ光学素子）の各々のクラスターに対応する、請求項３３に記載の方法。
【請求項35】
前記プロセッサによって、前記領域のそれぞれで、前記領域に対応する前記マイクロ光学素子の前記安定化指標の平均を判定することと、前記プロセッサによって、前記平均に基づいて前記領域の前記グラフィカルインジケーションを生成することと、
を含む、請求項３３または３４に記載の方法。
【請求項36】
前記グラフィカルインジケーションを生成することは、前記プロセッサによって、前記平均が（例えば、前記プロセッサによって、前記ユーザーからの入力として受信された）１つ以上の閾値（例えば、複数の閾値）を超えるかどうかを判定することを含み、そのような前記グラフィカルインジケーションは、（例えば、透明度、輝度、彩度、色相、またはそれらの組み合わせに基づいて）、前記平均が前記１つ以上の閾値を超えるかどうかを示す、請求項３５に記載の方法。
【請求項37】
前記１つ以上の画像のうちの１つ以上は、前記安定化指標の前記グラフィカルインジケーションと組み合わされた前記観察期間中、前記アレイ内のマイクロ光学素子から受けた第１の試料光（例えば、蛍光）に部分的に基づく画像画素を含む、請求項２６～３６のいずれか１項に記載の方法。
【請求項38】
前記１つ以上の画像のうちの前記１つ以上における前記安定化指標の前記グラフィカルインジケーションは、前記第１の試料光、及び前記第１の試料光の前に受けた第２の試料光に基づいている、請求項３７に記載の方法。
【請求項39】
前記１つ以上の画像のそれぞれの少なくとも一部は、領域に対する安定化指標の各々のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、またはカラー）をそれぞれ含む前記領域を含む、先行請求項のいずれか１項に記載の方法。
【請求項40】
前記プロセッサによって、前記１つ以上の画像のうちの１つの前に、前記１つ以上の画像のうちの１つ以上に基づいて、前記１つ以上の画像のうちの前記１つに対する前記安定化指標を判定することを含む、請求項３９に記載の方法。
【請求項41】
前記１つ以上の画像のそれぞれの少なくとも一部は、領域に対する前記試料の動きの各々のグラフィカルインジケーションをそれぞれ含む前記領域を含む、先行請求項のいずれか１項に記載の方法。
【請求項42】
前記グラフィカルインジケーションは前記領域内の色（例えば、緑または黄または赤）である（例えば、前記グラフィカルインジケーションは、前記領域に関する透明度、輝度、彩度、色相、またはそれらの組み合わせに基づいている）、請求項２６～４１のいずれか１項に記載の方法。
【請求項43】
前記グラフィカルインジケーションは、前記アレイ内のマイクロ光学素子から受けた試料光（例えば、蛍光）に対応する画像画素上に重ね合わされる、請求項２６～４２のいずれか１項に記載の方法。
【請求項44】
前記１つ以上の画像が生成される際、前記プロセッサによって、前記１つ以上の画像を表示することを含む、先行請求項のいずれか１項に記載の方法。
【請求項45】
前記１つ以上の画像が、少なくとも４画像／秒（例えば、少なくとも１０画像／秒、少なくとも２０画像／秒）の速度で生成及び表示されるように、ある期間にわたって前記マイクロ光学素子から受けた前記試料光を繰り返して収集することを含む、請求項４４に記載の方法。
【請求項46】
前記生成すること（例えば、また、前記表示すること）は、前記生成すること（例えば、また、前記表示すること）が、処理に必要な時間だけ遅延するように（例えば、時間オフセットがない）、リアルタイムで行われる、先行請求項のいずれか１項に記載の方法。
【請求項47】
前記１つ以上の画像のそれぞれの画像画素は、０．２５秒以下（例えば、０．１秒以下、０．０５秒以下、０．０２５秒以下、０．０１秒以下、または０．００５秒以下）の期間にわたって、前記マイクロ光学素子から受けた試料光に対応する、先行請求項のいずれか１項に記載の方法。
【請求項48】
前記期間は０．００５秒以下である、請求項４７に記載の方法。
【請求項49】
前記試料は、新たに切除された組織試料（例えば、染色剤で蛍光タグ付けされている試料）である、先行請求項のいずれか１項に記載の方法。
【請求項50】
検出器で前記試料光を受けることを含み、前記１つ以上の画像を生成すること（例えば、また、前記表示すること）は、前記プロセッサによって、前記検出器からの信号を処理することを含む、先行請求項のいずれか１項に記載の方法。
【請求項51】
前記１つ以上の画像は、（例えば、１つ以上のグラフィカルユーザーインターフェースを介して）ディスプレイ上に表示される、先行請求項のいずれか１項に記載の方法。
【請求項52】
前記ディスプレイ、前記プロセッサ、及び前記マイクロ光学素子アレイは、（例えば、病院の部屋、例えば手術室に位置する）撮像システム（例えば、モバイル撮像システム）に含まれる、請求項５１に記載の方法。
【請求項53】
前記アレイのマイクロ光学素子は、１０μｍ以下（例えば、５μｍ以下、２μｍ以下、または１μｍ以下）の横方向光学解像度を有する、先行請求項のいずれか１項に記載の方法。
【請求項54】
前記マイクロ光学素子アレイは、点スキャン撮像システム（例えば、共焦点撮像システム）に含まれる（例えば、焦点外光を前記マイクロ光学素子アレイから受ける際、前記焦点外光を除去するための１つ以上のアパーチャを含む）、先行請求項のいずれか１項に記載の方法。
【請求項55】
プロセッサ（例えば、前記プロセッサ）と、１つ以上の非一時的コンピューター可読媒体（例えば、また、ディスプレイ及び／または前記マイクロ光学素子アレイ）とを備える撮像システムであって、前記１つ以上の媒体は、前記プロセッサによって実行されるとき、前記プロセッサに、請求項１～１０、１２～１４、及び１７～５３のいずれか１項に記載の方法を行わせる命令を記憶している、前記撮像システム。
【請求項56】
ユーザーにライブ試料モニタリング情報を提供する方法であって、マイクロ光学素子アレイ内のマイクロ光学素子（例えば、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズ）から受けた試料光（例えば、蛍光）に少なくとも部分的に基づいて、試料の１つ以上の画像（例えば、ビデオのフレーム）をリアルタイムで生成すること（例えば、また、表示すること）を含み、
前記１つ以上の画像のそれぞれについて、前記画像の隣接画素は、前記試料の異なる場所に対する前記マイクロ光学素子の部分から受けた前記試料光（例えば、蛍光）の部分を表し、前記異なる場所は、前記アレイに対して、（例えば、前記マイクロ光学素子アレイのピッチに対応する）特性距離だけ分離されている（例えば、前記マイクロ光学素子の隣接部分のスポットサイズの中心で分離が生じる）、
前記方法。
【請求項57】
（ｉ）前記アレイ及び（ｉｉ）前記試料のいずれも、前記生成中（例えば、また、前記表示中）にスキャンされない、請求項５６に記載の方法。
【請求項58】
前記マイクロ光学素子アレイは、点スキャン撮像システム（例えば、共焦点撮像システム）に含まれる（例えば、焦点外光を前記マイクロ光学素子アレイから受ける際、前記焦点外光を除去するための１つ以上のアパーチャを含む）、請求項５６または５７に記載の方法。
【請求項59】
前記撮像システムは、点スキャン撮像システム（例えば、共焦点撮像システム）である（例えば、焦点外光を前記マイクロ光学素子アレイから受ける際、前記焦点外光を除去するための１つ以上のアパーチャを含む）、請求項５５に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
優先出願
本願は、米国仮特許出願第６３／２２９，２５８号（２０２１年８月４日に出願）、及び米国仮特許出願第６３／２３２，１２０号（２０２１年８月１１日に出願）の利益を主張しており、これらの出願の開示は、本明細書によって、全体として参照により本明細書に組み込まれる。
本願は、米国仮特許出願第６３／２２９，２５８号（２０２１年８月４日に出願）、及び米国仮特許出願第６３／２３２，１２０号（２０２１年８月１１日に出願）の利益を主張しており、これらの出願の開示は、本明細書によって、全体として参照により本明細書に組み込まれる。
【0002】
本開示は、概して、例えば、試料位置決め、運動、及び／または安定化に関して、ライブ試料モニタリング情報をユーザーに提供するために並列撮像システムを使用するシステム及び方法に関する。
【背景技術】
【0003】
従来、外科手術中に切除された組織は、組織が固定された後に行われる病理学的評価を用いて術後に評価される。そのようなプロセスは、高品質の評価を提供するが、組織を固定し、病理学的評価を得るためにかなりの時間が必要である。したがって、試料に関する重要な情報は、外科的処置が完了した後に長時間が経過するまで知ることができない。最近、新たに切除された組織試料を撮像する能力を有する並列撮像システムが開発されている。そのような撮像システムの例は、米国特許第１０，０９４，７８４号（特許文献１）及び米国特許第１０，５３９，７７６号（特許文献２）に開示されており、それらの特許のそれぞれは、全体として参照により本明細書に組み込まれる。組織を速く撮像できる並列撮像システムを用いても、新たに切除された組織は、固定されず、ひいては、短い時間スケールにわたってさえ移動する（例えば、弛緩する）傾向があるため、撮像するのが困難になる可能性がある。そのような試料運動を対処するための１つのオプションは、試料がその位置で平衡化することを可能にするために、撮像前の期間中に単に待機することであった。しかしながら、そうすることで、並列撮像システムが試料を撮像できる時間の長さに対して、撮像プロセスが顕著に遅くれる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第１０，０９４，７８４号明細書
【特許文献2】米国特許第１０，５３９，７７６号明細書
【発明の概要】
【課題を解決するための手段】
【0005】
試料の位置決め及び（自己）安定化等の試料モニタリング情報をユーザーに速く提供するために撮像システムを使用することは、試料の高品質画像を生成するために必要な時間の長さを顕著に短縮し得る。例えば、試料が（自己）安定化するのに適切な時間の長さを推定する必要がなく、十分な（自己）安定化が達成された直後に撮像を可能にする撮像システムを使用して、試料をリアルタイムで監視し得る。充足度は、撮像システムによって、または撮像を開始するため入力を後で提供するユーザーによって、自動的に判定され得る。例えば、特定の方法を使用して、部分的画像を生成するためにより低解像度で、または部分的スキャンパターンにわたってスキャンすることによってテスト画像を提供し得るが、テスト画像自体は、（望ましくなく）取得するのに相当な時間が必要であり得る。（テストスキャンを取得するための方法の例は、２０２１年２月１２日に出願された米国特許出願第１７／１７４，９１９号に開示されており、その開示は、本明細書によって、全体として参照により本明細書に組み込まれる。）本開示は、さらに、任意の対物レンズ（例えば、マイクロ光学素子アレイ）または試料をスキャンしないで、高速で画像を取得する方法を提供することによって、そのような「テスト画像」方法を改善する。固定マイクロ光学素子アレイは、試料からの光（例えば、蛍光）を速く収集し、その後、マイクロ光学素子アレイから（例えば、検出器で）受けて、リアルタイムで画像（複数可）を形成することを可能にする。そのような画像は、（スキャンによって作成されたフル解像度の画像と比較して）比較的低解像度であり得るが、それでも、ユーザーに貴重な試料情報を提供し得る。その情報を使用して、例えば、試料の位置決め、動き、及び／または安定化のリアルタイム評価を行うことができ、これは、過度の遅延が生じることなく、（例えば、マイクロ光学素子アレイをスキャンパターンにわたってスキャンすることによって）より高品質のフル解像度画像を後で生成することを支援でき、フル解像度画像は、少なくとも部分的に、試料運動アーチファクトの低減または除去に起因して、より高品質である。代替的に、または追加的に、情報は、より高品質の１つ以上の画像をより速く取得するために、ユーザーが試料を（再）位置決めするのを支援するために、ユーザーにライブフィードバックを提供できる。
【0006】
一般に、臨床診断法の一部として切除組織試料の表面を撮像するとき（例えば、術中断端評価）、高い臨床的関心の領域を撮像しない（例えば、断端陽性を見逃す）リスクを最小にするために、試料の撮像エリアのサイズを最大にすることが望ましい。これは、試料の異なる面を（例えば、連続的に）撮像することによって達成でき、また、所与の試料面の所与の画像に対して、その試料面のより大きな割合が焦点に合い、ひいては、撮像システムによって撮像されることを確実にすることによっても達成できる。また、（例えば、ユーザーによって、または画像処理アルゴリズムもしくは画像認識アルゴリズムによって）画像の読影を妨害し得る試料運動により誘発されるアーチファクトの存在を回避することが望ましく、ひいては、試料が試料運動を受けているかどうか、または撮像前に不安定であるかどうかを知ることが重要である。
【0007】
本明細書に開示されるシステム及び方法は、試料の現在の状態の急速な初期評価を行うことを可能にするために、（例えば、アレイまたは試料のいずれかに対して）スキャンを行わずに、（例えば、試料光を収集及び透過するマイクロ光学素子アレイを使用して）並列撮像システムを用いて試料を撮像することによって、急速な画像生成及び表示を利用する。高速の初期評価を使用して、試料が十分に安定する前に撮像を開始するのを避けることによって、焦点の合った試料のエリアを最大にし、フル画像における試料運動アーチファクトを低減するという上述の要望を達成し得る。スキャンパターンの複数の位置で光を別々に収集するのに必要な時間がなくなるため、撮像中にマイクロ光学素子アレイを固定するとき、撮像時間を短縮できる。スキャンしない撮像は比較的低解像度の画像をもたらし得、例えば、隣接する画像画素が、試料の異なる場所に対してアレイ内のマイクロ光学素子から受けた試料光に対応し、異なる場所は、マイクロ光学素子のピッチに対応する距離だけ分離される。すなわち、いくつかの実施形態では、スキャンなしで取得された画像は、アレイ内の１つのマイクロ光学素子によって収集された光に対応する値（例えば、強度値）を各画像画素に割り当てる再構成プロセスによって取得され得る。（他の実施形態は、他の方法、例えば、検出器を用いた直接撮像（再構成プロセスの必要性を前述したもの）または間接撮像を使用し得る。）しかしながら、低解像度であっても、そのような画像は、ユーザー、または画像処理アルゴリズムもしくは画像認識アルゴリズムに有用な情報を提供する。そのような画像を生成することが可能性であり、そして、いくつかの実施形態では、そのような画像をリアルタイムで表示することは、ユーザー、または画像処理アルゴリズムもしくは画像認識アルゴリズムが、例えば、試料の十分に最大のエリアが焦点を合わせているとき、及び／または試料が、動きアーチファクトを妨害しない、もしくは実質的に妨害しない画像を生成するように、高解像度画像の収集を開始する前に十分な程度まで（自己）安定化されているとき、速く判定することを可能にする。
【0008】
いくつかの実施形態では、本開示の方法は、ユーザー、及び／または画像処理アルゴリズムもしくは画像認識アルゴリズムにライブビューモードを提供する。いくつかの実施形態では、（例えば、マイクロ光学素子アレイの）スキャンなしに、試料の異なる空間的に別個の場所に対してアレイ内のマイクロ光学素子から受けた試料光を表す画像画素を含む連続画像（複数可）が生成され、選択的にユーザーに表示される。マイクロ光学素子アレイは、１つ以上の空間次元において比較的大きく、多数のマイクロ光学素子を含み得るため、画像は、試料のリアルタイム状態を示す試料情報を取得するために有用なサイズ及び解像度のものであり得る。このように、試料に対する現在の試料情報は取得及び監視できる。ユーザーは、ライブビューモードに基づいて（例えば、試料皿の）取り付け面上の試料を調整して、その位置を変更するか、または焦点が合っているそのエリアを増加させ得る。また、ユーザーは、試料が十分に（自己）安定化したと判定し、適宜、マイクロ光学素子アレイをスキャンすることによってフル画像収集を開始し得る。いくつかの実施形態では、（自己）安定化は、画像処理アルゴリズムまたは画像認識アルゴリズムによって判定され、次に、スキャンによる撮像は自動的に開始する。
【0009】
いくつかの実施形態では、本開示の方法は、安定化指標を含む画像をユーザー、及び／または画像処理アルゴリズムもしくは画像認識アルゴリズムに提供する。安定化の程度について経験的に導出された定量的評価を表す安定化指標は、画像の１つ以上の画像画素（例えば、各画像画素または画像画素の領域）によって表される１つ以上のマイクロ光学素子から受けた試料光について判定（例えば、計算）され得る。１つ以上の画像画素の安定化指標は、いくつかの期間にわたって１つ以上の画像画素に対して試料光の強度がどれくらい変化しているかを反映し得る。より高い安定化指標値は、より多くの変動を示し得、ひいては、より多くの試料運動がリアルタイムで発生していることを暗に示す。画像は、複数の領域のそれぞれに対する安定化指標のインジケーションを含み得、それぞれ、アレイ内のマイクロ光学素子のクラスターに対応する。安定化指標値を経時的に減少させることは、試料が（自己）安定化に近づいていることを示し得る。ライブビューモードは有用であり得るが、ユーザーが、リアルタイムでさえ、純粋に、試料光の強度の表現に基づいて、試料がどれくらい活発に安定しているか（例えば、弛緩しているか、またはそれでなければ移動しているか）を知ることは困難であり得る。試料が（自己）安定化されているか否かをより急速かつ容易に理解するのを支援する追加情報を、例えばユーザーに提供するために、ライブビューモードに安定化指標オーバーレイが提示され得る。
【0010】
いくつかの実施形態では、方法は、ライブ試料モニタリング情報をユーザーに提供することを対象とする。本方法は、コンピューティングデバイスのプロセッサによって、アレイまたは試料をスキャンしないで、マイクロ光学素子アレイ内のマイクロ光学素子（例えば、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズ）から受けた試料光（例えば、蛍光）に少なくとも部分的に基づいて、試料の１つ以上の画像（例えば、ビデオのフレーム）をリアルタイムで生成すること（例えば、また、表示すること）を含み得る。いくつかの実施形態では、撮像システムは、マイクロ光学素子アレイを備え、１つ以上の画像を生成する間（例えば、また、表示する間）、撮像システムのどの部分も移動しない（例えば、スキャンされない）。
【0011】
いくつかの実施形態では、１つ以上の画像のそれぞれについて、画像の隣接画素は、試料の異なる場所に対するマイクロ光学素子の部分から受けた試料光（例えば、蛍光）の部分を表し、異なる場所は、アレイに対して、（例えば、マイクロ素子アレイのピッチに対応する）特性距離だけ分離されている（例えば、マイクロ光学素子の隣接部分のスポットサイズの中心で分離が生じる）。いくつかの実施形態では、１つ以上の画像のそれぞれの画像画素は、アレイ内のマイクロ光学素子から受けた試料光（例えば、蛍光）に対応する。
【0012】
いくつかの実施形態では、アレイは、生成（例えば、また、表示）中に固定位置に留まる。いくつかの実施形態では、試料は、生成中に摂動しない（例えば、操作されない）。
【0013】
いくつかの実施形態では、画像画素は、アレイ内の各々のマイクロ光学素子から受けた試料光（例えば、蛍光）に個々に対応する。いくつかの実施形態では、画像画素のそれぞれは、アレイ内のマイクロ光学素子の１つから受けた試料光に対応する（例えば、また、アレイ内のマイクロ光学素子のそれぞれは、画像画素の１つだけに対応する）（例えば、画像画素のそれぞれは、アレイ内のマイクロ光学素子の各々の１つから受けた試料光に対応する）。
【0014】
いくつかの実施形態では、本方法は、気泡が１つ以上の画像のうちの１つ以上に表されるかどうかを（例えば、プロセッサによって自動的に）判定することを含む。いくつかの実施形態では、気泡が表されるかどうかを判定することは、プロセッサによって、閾値エリア（例えば、アレイ内の５０個以下、２５個以下、１０個以下、または５個以下のマイクロ光学素子のクラスターのサイズに対応するエリア）よりも大きいゼロ画素値を有する画像画素のエリアが、（例えば、ある期間中、例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒にわたって）１つ以上の画像のうちの１つ以上に存在するかどうかを自動的に判定することを含む。いくつかの実施形態では、気泡が表されるかどうかを判定することは、プロセッサによって、非ゼロ画素値を有する画像画素によって画定されたゼロ画素値を有する画像画素のエリアの外周が、（例えば、ある期間中、例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒にわたって）１つ以上の画像のうちの１つ以上に存在するかどうかを自動的に判定することを含む。いくつかの実施形態では、本方法は、気泡が１つ以上の画像のうちの１つ以上に表されていないと判定したことに応答して、（例えば、試料を加重及び／または再配置することによって）試料を調整することを含む。
【0015】
いくつかの実施形態では、本方法は、試料が１つ以上の画像のうちの１つ以上に焦点が合う十分に大きいエリアを有するかどうかを（例えば、プロセッサによって自動的に）判定することを含む。いくつかの実施形態では、試料が焦点が合う十分に大きいエリアを有するかどうかを判定することは、プロセッサによって、非ゼロ画素値を伴う画像画素のエリアが、既定の閾値（例えば、例として、試料サイズに基づいて、ユーザーによって設定された値）を上回るかどうかを自動的に判定することを含む。いくつかの実施形態では、試料が焦点が合う十分に大きいエリアを有するかどうかを判定することは、プロセッサによって、非ゼロ画素値を伴う画像画素の部分の凸包が、例えば、ある期間（例えば、少なくとも１秒、少なくとも２秒、または少なくとも５秒）にわたって１０％以下（例えば、５％以下、または１％以下）だけ変化しているかどうかを自動的に判定することを含む。いくつかの実施形態では、本方法は、試料が１つ以上の画像のうちの１つ以上に焦点が合う十分に大きいエリアを有するかどうかを判定したことに応答して、（例えば、試料を加重及び／または再配置することによって）試料を調整することを含む。
【0016】
いくつかの実施形態では、本方法は、１つ以上の画像に応答して、生成中（例えば、また、表示中）に試料を調整することを含む。
【0017】
いくつかの実施形態では、試料は、生成中（例えば、また、表示中）にユーザーがアクセス可能である［例えば、撮像中に（例えば、横方向の）試料アクセスを可能にする試料皿上に配置される］。
【0018】
いくつかの実施形態では、本方法は、１つ以上の画像に基づいて［例えば、１つ以上の画像のうちの１つ以上が、試料が安定化している（例えば、自己安定化している）ことを示すのに十分であると判定したことに基づいて］、試料の撮像を開始することを含み、試料を撮像することは、マイクロ光学素子アレイをスキャンすることを含む。いくつかの実施形態では、本方法は、１つ以上の画像のうちの１つ以上が、試料が安定化している（例えば、自己安定化している）ことを示すのに十分であると判定したことに応答して、プロセッサによって、自動的に撮像することを開始することを含む。いくつかの実施形態では、１つ以上の画像のうちの１つ以上が、試料が安定化していることを示すのに十分であると判定することは、プロセッサによって自動的に発生する。いくつかの実施形態では、１つ以上の画像のうちの１つ以上が、試料が安定化していることを示すのに十分であると判定することは、プロセッサによって、気泡が１つ以上の画像のうちの１つ以上に表されていないと判定することを含む。いくつかの実施形態では、１つ以上の画像のうちの１つ以上が、試料が安定化していることを示すのに十分であると判定することは、プロセッサによって、試料が１つ以上の画像のうちの１つ以上で焦点が合う十分に大きいエリアを有すると判定することを含む。
【0019】
いくつかの実施形態では、１つ以上の画像はグレースケール画像（複数可）である。いくつかの実施形態では、１つ以上の画像は疑似カラー画像（複数可）である（例えば、画像（複数可）の画素は、パープル／ピンクのカラースケールで表示され、例えば、ヘマトキシリン及びエオシンが染色された光学顕微鏡画像を模倣する）。いくつかの実施形態では、画像画素の色相、彩度、輝度、またはそれらの組み合わせ（例えば、グレー値）は、受けた試料光の相対強度に対応する。
【0020】
いくつかの実施形態では、本方法は、観察期間にわたってマイクロ光学素子から受けた試料光を比較したことに基づいて、プロセッサによって、アレイ内のマイクロ光学素子の少なくとも一部のそれぞれ（例えば、マイクロ光学素子の全て）に対して、試料光の安定化指標を判定することを含み、１つ以上の画像は、安定化指標のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、または色）を含む。いくつかの実施形態では、安定化指標は、観察期間にわたって動的である。いくつかの実施形態では、安定化指標は、マイクロ光学素子から受けた試料光の変化に基づいて、観察期間にわたって変化する。
【0021】
いくつかの実施形態では、本方法は、プロセッサによって、計算期間（例えば、観察期間のサブセットである期間）にわたって、マイクロ光学素子から受けた試料光の強度の変化を比較することによって、安定化指標を判定することを含む。いくつかの実施形態では、試料光の強度の変化を比較することは、プロセッサによって、計算期間（例えば、例として、ユーザーによって設定された既定の検出フレームの数）にわたって、マイクロ光学素子のそれぞれから受けた試料光の最小強度及び最大強度を判定することを含む。いくつかの実施形態では、最小強度及び最大強度は、それぞれ、計算期間にわたってマイクロ光学素子に対して、加重平均（例えば、指数加重平均）（例えば、加重時間平均）から判定される（例えば、１つ以上の加重パラメーターはユーザーによって設定される）（例えば、加重平均は、２つ以上の連続期間にわたってマイクロ光学素子から受けた試料光の強度を使用して計算される）。いくつかの実施形態では、安定化指標は、最大強度と最小強度との差である。
【0022】
いくつかの実施形態では、１つ以上の画像のそれぞれは、ある領域に対応するすべてのマイクロ光学素子に対する安定化指標のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、または色）をそれぞれ含む領域を含む。いくつかの実施形態では、領域は、それぞれ、少なくとも９個のマイクロ光学素子（例えば、少なくとも１６個のマイクロ光学素子、少なくとも２５個のマイクロ光学素子、少なくとも４９個のマイクロ光学素子、または少なくとも６４個のマイクロ光学素子）の各々のクラスターに対応する。いくつかの実施形態では、本方法は、プロセッサによって、領域のそれぞれで、領域に対応するマイクロ光学素子の安定化指標の平均を判定することと、プロセッサによって、平均に基づいて領域のグラフィカルインジケーションを生成することと、を含む。いくつかの実施形態では、グラフィカルインジケーションを生成することは、プロセッサによって、平均が（例えば、プロセッサによって、ユーザーからの入力として受信された）１つ以上の閾値（例えば、複数の閾値）を超えるかどうかを判定することを含み、そのようなグラフィカルインジケーションは、（例えば、透明度、輝度、彩度、色相、またはそれらの組み合わせに基づいて）、平均が１つ以上の閾値を超えるかどうかを示す。
【0023】
いくつかの実施形態では、１つ以上の画像のうちの１つ以上は、安定化指標のグラフィカルインジケーションと組み合わされた観察期間中、アレイ内のマイクロ光学素子から受けた第１の試料光（例えば、蛍光）に部分的に基づく画像画素を含む。いくつかの実施形態では、１つ以上の画像のうちの１つ以上における安定化指標のグラフィカルインジケーションは、第１の試料光、及び第１の試料光の前に受けた第２の試料光に基づいている。
【0024】
いくつかの実施形態では、１つ以上の画像のそれぞれの少なくとも一部は、それぞれ、その領域に対する安定化指標の各々のグラフィカルインジケーション（例えば、アイコン、インジケーション、図形、または色）を含む領域を含む。いくつかの実施形態では、本方法は、プロセッサによって、１つ以上の画像のうちの１つの前に、１つ以上の画像のうちの１つ以上に基づいて、１つ以上の画像のうちの１つに対する安定化指標を判定することを含む。
【0025】
いくつかの実施形態では、１つ以上の画像のそれぞれの少なくとも一部は、その領域に対する試料の運動の各々のグラフィカルインジケーションをそれぞれ含む領域を含む。
【0026】
いくつかの実施形態では、グラフィカルインジケーションは領域内の色（例えば、緑または黄または赤）である（例えば、グラフィカルインジケーションは、領域に関する透明度、輝度、彩度、色相、またはそれらの組み合わせに基づいている）。
【0027】
いくつかの実施形態では、グラフィカルインジケーションは、アレイ内のマイクロ光学素子から受けた試料光（例えば、蛍光）に対応する画像画素上に重ね合わされる。
【0028】
いくつかの実施形態では、本方法は、１つ以上の画像が生成される際、プロセッサによって、１つ以上の画像を表示することを含む。いくつかの実施形態では、本方法は、１つ以上の画像が、少なくとも４画像／秒（例えば、少なくとも１０画像／秒、少なくとも２０画像／秒）の速度で生成及び表示されるように、ある期間にわたってマイクロ光学素子から受けた試料光を繰り返して収集することを含む。
【0029】
いくつかの実施形態では、生成すること（例えば、また、表示すること）は、生成すること（例えば、また、表示すること）が、処理に必要な時間だけ遅延するように（例えば、時間オフセットがない）、リアルタイムで行われる。
【0030】
いくつかの実施形態では、１つ以上の画像のそれぞれの画像画素は、０．２５秒以下（例えば、０．１秒以下、０．０５秒以下、０．０２５秒以下、０．０１秒以下、または０．００５秒以下）のある期間にわたって、マイクロ光学素子から受けた試料光に対応する。いくつかの実施形態では、期間は０．００５秒以下である。
【0031】
いくつかの実施形態では、試料は、新たに切除された組織試料（例えば、染色剤で蛍光タグ付けされたもの）である。
【0032】
いくつかの実施形態では、本方法は、検出器で試料光を受けることを含み、１つ以上の画像を生成すること（また、例えば、表示すること）は、プロセッサによって、検出器からの信号を処理することを含む。いくつかの実施形態では、１つ以上の画像は、（例えば、１つ以上のグラフィカルユーザーインターフェースを介して）ディスプレイ上に表示される。いくつかの実施形態では、ディスプレイ、プロセッサ、及びマイクロ光学素子アレイは、（例えば、病院の部屋、例えば手術室に位置する）撮像システム（例えば、モバイル撮像システム）に含まれる。
【0033】
いくつかの実施形態では、アレイのマイクロ光学素子は、１０μｍ以下（例えば、５μｍ以下、２μｍ以下、または１μｍ以下）の横方向光学解像度を有する。
【0034】
いくつかの実施形態では、撮像システムは、プロセッサ（例えば、当該プロセッサ）と、１つ以上の非一時的コンピューター可読媒体（例えば、また、ディスプレイ及び／またはマイクロ光学素子アレイ）とを備え、１つ以上の媒体は、プロセッサによって実行されるとき、プロセッサに本明細書に開示される方法を行わせる命令を記憶している。
【0035】
いくつかの実施形態では、方法は、ライブ試料モニタリング情報をユーザーに提供することを対象とする。本方法は、マイクロ光学素子アレイ内のマイクロ光学素子（例えば、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズ）から受けた試料光（例えば、蛍光）に少なくとも部分的に基づいて、試料の１つ以上の画像（例えば、ビデオのフレーム）をリアルタイムで生成すること（例えば、また、表示すること）を含み得る。いくつかの実施形態では、１つ以上の画像のそれぞれについて、画像の隣接画素は、試料の異なる場所に対するマイクロ光学素子の部分から受けた試料光（例えば、蛍光）の部分を表し、異なる場所は、アレイに対して、（例えば、マイクロ光学素子アレイのピッチに対応する）特性距離だけ分離されている（例えば、マイクロ光学素子の隣接部分のスポットサイズの中心で分離が生じる）。いくつかの実施形態では、（ｉ）アレイ及び（ｉｉ）試料のいずれも、生成中（例えば、また、表示中）にスキャンされない。
【0036】
この概要セクションを含め、本明細書に説明される特徴のうち任意の２つ以上を組み合わせて、本明細書には具体的には明示的に説明されていない実施態様を形成し得る。
【0037】
本明細書で説明される方法、システム、及び技術の少なくとも一部は、１つ以上の処理デバイス上で、１つ以上の非一時的機械可読記憶媒体に記憶される命令を実行することによって制御され得る。非一時的機械可読記憶媒体の例は、リードオンリメモリ、光学ディスクドライブ、メモリディスクドライブ、及びランダムアクセスメモリを含む。本明細書で説明される方法、システム、及び技術の少なくとも一部はコンピューティングシステムを使用して制御され得、コンピューティングシステムは、１つ以上の処理デバイスと、様々な制御動作を行うために１つ以上の処理デバイスによって実行可能である命令を記憶するメモリとから成る。
【0038】
定義
本開示をより容易に理解するために、本明細書で使用する特定の用語を下記に定義する。以下の用語及び他の用語に対する追加の定義は、明細書の全体にわたって記載され得る。
本開示をより容易に理解するために、本明細書で使用する特定の用語を下記に定義する。以下の用語及び他の用語に対する追加の定義は、明細書の全体にわたって記載され得る。
【0039】
本願では、文脈から特に明らかでない限り、または特に明確に述べられない限り、（ｉ）「ａ」という用語は「少なくとも１つの」を意味するものと理解され得、（ｉｉ）「または」という用語は「及び／または」を意味するものと理解され得、（ｉｉｉ）「備える（ｃｏｍｐｒｉｓｉｎｇ）」及び「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、それら自体だけによって提示されるか、または１つ以上の追加のコンポーネントもしくはステップとともに提示されるかどうかに関わらず、箇条書きにしたコンポーネントまたはステップを包含するものと理解され得、（ｉｖ）「約（ａｂｏｕｔ）」及び「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」という用語は当業者によって理解されるであろうような標準的な変化を許容するものと理解され得、（ｖ）範囲が提供される場合、端点が含まれる。特定の実施形態では、「およそ」または「約」という用語は、特に記載のない限り、または別途内容から明らかでない限り（そのような数が可能な値の１００％を超えるであろう場合を除く）、記載された基準値のいずれかの方向（基準値を上回るまたは下回る方向）において、２５％、２０％、１９％、１８％、１７％、１６％、１５％、１４％、１３％、１２％、１１％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％または１％未満に含まれる値の範囲を指す。
【0040】
「画像」：本明細書で使用される場合、「画像」という用語は、例えば、組織（または他の試料）の２次元画像または３次元画像のように、例えば写真、ビデオフレーム、ストリーミングビデオ等の任意の視覚表現、及び写真、ビデオフレーム、またはストリーミングビデオの任意の電子的、デジタル的、または数学的な類似物を含む。いくつかの実施形態では、本明細書に開示される方法によって生成及び／または表示された１つ以上の画像は連続的に表示され得、この画像は、フレームレートが標準的なビデオフォーマット（例えば、３０または６０Ｈｚ）のフレームレートよりも低い場合でも、ビデオのように、特定のフレームレートを有する。本明細書に説明される任意のシステムまたは装置は、特定の実施形態では、プロセッサによって生成された画像または任意の他の結果を表示するためのディスプレイを含む。本明細書に説明される任意の方法は、特定の実施形態では、本方法によって生成された画像または任意の他の結果を表示するステップを含む。本明細書に説明される任意のシステムまたは装置は、特定の実施形態では、遠隔の受信デバイス［例えば、クラウドサーバー、遠隔モニター、または病院情報システム（例えば、画像保存通信システム（ＰＡＣＳ））］に、または、システムもしくは装置に接続できる外部ストレージデバイスに、画像を出力する。いくつかの実施形態では、蛍光撮像システム、発光撮像システム、及び／または反射率撮像システムを使用して、画像を生成する。いくつかの実施形態では、画像は２次元（２Ｄ）画像である。いくつかの実施形態では、画像は３次元（３Ｄ）画像である。いくつかの実施形態では、画像は再構成画像である。いくつかの実施形態では、画像は共焦点画像である。画像（例えば、３Ｄ画像）は単一画像または画像のセットであり得る。いくつかの実施形態では、試料運動が発生しているかどうかについて、画像（例えば、フル画像またはテスト画像）内の１つ以上の試料運動アーチファクトの存在によって反映される。１つ以上の試料運動アーチファクトは、撮像システムによって行われた画像処理によって検出可能であり得る。いくつかの実施形態では、１つ以上の試料運動アーチファクトが存在するかどうかを判定することは、試料運動が発生しているかどうかを判定する（例えば、決定する）。
【0041】
ユーザー：本明細書で使用される場合、ユーザーは、本明細書で開示される撮像システムを使用する任意の人である。ユーザーは、例えば、限定ではないが、外科医、手術スタッフ（例えば、手術室にいる看護師または医師）、検査技師、科学者、または病理医であり得る。アクションが外科医によって行われているものとして説明されるとき、いくつかの実施形態では、外科医ではないユーザーが同等の機能を行うことが理解される。
【0042】
リアルタイム：本明細書で使用される場合、画像は、「リアルタイム」で生成及び／または表示され得る。一般に、リアルタイムで発生するアクションは、意図的な遅延なしに発生する。（例えば、検出器から）信号を処理する及び／または光を収集する（例えば、試料を照らし、試料から逆放射試料光を受ける）ために必要な時間の長さが多少存在し得る。例えば、いくつかの実施形態では、画像生成は、マイクロ光学素子アレイを含む光学モジュールを通して照明光を提供することと、光学モジュールを通して試料から逆放射試料光を収集することと、検出器で試料光を受けることと、検出器からの信号を処理して、アレイ内のマイクロ光学素子のそれぞれに対する試料光の強度に基づいて生成される画像の各画像画素に対する画素値（例えば、グレースケール値）を判定することと、を含む。したがって、画像を生成及び表示できる「フレームレート」は、そのような処理時間及び／または収集時間によって制限され得る。例えば、有効フレームレートは、少なくとも４フレーム（画像）／秒（例えば、少なくとも１０フレーム／秒、少なくとも１５フレーム／秒、少なくとも２０フレーム／秒、または少なくとも３０フレーム／秒）であり得る。
【0043】
試料：本明細書で使用される場合、「試料」は特徴付けされることが望ましい任意の材料であり得る。いくつかの実施形態では、試料は生体試料である。いくつかの実施形態では、試料はヒト組織等の組織である。いくつかの実施形態では、組織は新鮮である（例えば、固定されていない）。いくつかの実施形態では、組織は新たに切除される。例えば、組織試料は、外科手術中に切除され、選択的に、手術中に、本明細書に開示される方法を使用して撮像され得る。同様に、「試料光」は試料からの光である。試料光は、例えば、反射光、屈折光、回折光、または逆放射光であり得る。いくつかの実施形態では、試料光は蛍光である。蛍光である試料光は、染色によって試料に適用される１つ以上の蛍光タグから放射される試料からの逆放射光であり得る（例えば、試料内の対象となる特徴（複数可）を選択的に染色する）。
【0044】
安定化：本明細書で使用される場合、「安定化」は、試料移動（例えば、ある期間にわたる）の低減（例えば、除去）を指す。安定化は、自己安定化であり得、例えば、試料の弛緩から生じる。文脈から特に明らかでない限り、「自己～」または「（自己～）」が前に付かない「安定化」への言及は、説明される安定化が自己安定化である実施形態が企図されることを示すと理解すべきである。また、安定化は、鉗子または試料加重ツール等の、ユーザーによって操作されるツールを使用しても達成され得る。任意の残りの試料運動が検出可能な閾値を下回ると、安定化が発生し得る（例えば、試料運動は、試料光がマイクロ光学素子アレイから受けるサンプリング周期よりもかなり長い時間スケールだけ発生する）。したがって、安定化指標は、例えば、アレイ内のマイクロ光学素子から受けた試料光の強度の変化によって判定される、特定の時間または特定の期間にわたって存在する安定化の程度について経験的に導出された定量的評価を表し得る。したがって、より高い安定化指標値は、受ける試料光の強度のより大きな変化から推測されるように、比較的より多くの試料運動を示し得る。
【0045】
本特許または出願書類は、カラーで作成された少なくとも１つの図面を含む。カラー図面（複数可）を含む本特許または特許出願公開のコピーは、要請に応じて及び必要な料金の支払いに応じて、特許庁より提供される。
【0046】
本明細書では、図面は例示を目的として示しており、限定するためのものではない。添付図面とともに以下の説明を参照することによって、本開示の前述及び他の目的、態様、特徴、及び利点が、より明らかになり、より良好に理解され得る。
【図面の簡単な説明】
【0047】
【図1A】本開示の例示的な実施形態による、正方格子に配置されたマイクロレンズのアレイを含む例示的な矩形光学チップを表す平面図である。
【図1B】本開示の例示的な実施形態による、正方格子に配置されたマイクロレンズのアレイを含む例示的な矩形光学チップを表す平面図である。
【0048】
【0049】
【図2A】本開示の例示的な実施形態による、組織試料の照明を示す例示的な撮像システムの概略図である。
【0050】
【0051】
【図3A】本開示の例示的な実施形態による、静止マイクロ光学素子アレイを使用して試料が移動しているかどうかを判定するための方法のプロセス図である。
【図3B】本開示の例示的な実施形態による、静止マイクロ光学素子アレイを使用して試料が移動しているかどうかを判定するための方法のプロセス図である。
【図3C】本開示の例示的な実施形態による、静止マイクロ光学素子アレイを使用して試料が移動しているかどうかを判定するための方法のプロセス図である。
【0052】
【図4A】本開示の例示的な実施形態による、スキャンしないでリアルタイムで画像を生成し、選択的に表示するための方法のプロセス図である。
【図4B】本開示の例示的な実施形態による、スキャンしないでリアルタイムで画像を生成し、選択的に表示するための方法のプロセス図である。
【図4C】本開示の例示的な実施形態による、スキャンしないでリアルタイムで画像を生成し、選択的に表示するための方法のプロセス図である。
【図4D】本開示の例示的な実施形態による、スキャンしないでリアルタイムで画像を生成し、選択的に表示するための方法のプロセス図である。
【0053】
【図4E】本開示の例示的な実施形態による、安定化指標を計算するための方法の説明図である。
【0054】
【図5A】本開示の例示的な実施形態による、ユーザーによる再配置に起因して成長する、経時的に焦点が合っている試料エリアを監視するためにライブビューモードを使用することを示す画像である。
【図5B】本開示の例示的な実施形態による、ユーザーによる再配置に起因して成長する、経時的に焦点が合っている試料エリアを監視するためにライブビューモードを使用することを示す画像である。
【図5C】本開示の例示的な実施形態による、ユーザーによる再配置に起因して成長する、経時的に焦点が合っている試料エリアを監視するためにライブビューモードを使用することを示す画像である。
【図5D】本開示の例示的な実施形態による、ユーザーによる再配置に起因して成長する、経時的に焦点が合っている試料エリアを監視するためにライブビューモードを使用することを示す画像である。
【0055】
【図6A】本開示の例示的な実施形態による、ユーザーによる再配置に起因して収縮する、試料を有する気泡の存在を監視するためにライブビューモードを使用することを示す画像である。
【図6B】本開示の例示的な実施形態による、ユーザーによる再配置に起因して収縮する、試料を有する気泡の存在を監視するためにライブビューモードを使用することを示す画像である。
【図6C】本開示の例示的な実施形態による、ユーザーによる再配置に起因して収縮する、試料を有する気泡の存在を監視するためにライブビューモードを使用することを示す画像である。
【図6D】本開示の例示的な実施形態による、ユーザーによる再配置に起因して収縮する、試料を有する気泡の存在を監視するためにライブビューモードを使用することを示す画像である。
【図6E】本開示の例示的な実施形態による、ユーザーによる再配置に起因して収縮する、試料を有する気泡の存在を監視するためにライブビューモードを使用することを示す画像である。
【0056】
【図7A】本開示の例示的な実施形態による、試料の弛緩に起因して経時的に減少する、試料運動及び経時的な安定化を監視するために、半透明の安定化指標ビューのオーバーレイを伴うライブビューモードを使用することを示す画像である。
【図7B】本開示の例示的な実施形態による、試料の弛緩に起因して経時的に減少する、試料運動及び経時的な安定化を監視するために、半透明の安定化指標ビューのオーバーレイを伴うライブビューモードを使用することを示す画像である。
【図7C】本開示の例示的な実施形態による、試料の弛緩に起因して経時的に減少する、試料運動及び経時的な安定化を監視するために、半透明の安定化指標ビューのオーバーレイを伴うライブビューモードを使用することを示す画像である。
【図7D】本開示の例示的な実施形態による、試料の弛緩に起因して経時的に減少する、試料運動及び経時的な安定化を監視するために、半透明の安定化指標ビューのオーバーレイを伴うライブビューモードを使用することを示す画像である。
【0057】
【図7E】本開示の例示的な実施形態による、安定化指標モードのオーバーレイがない試料のライブビューモードを示す。
【0058】
【図8A】本開示の例示的な実施形態による、安定化指標オーバーレイ及び要約統計を伴うライブビューモード画像を示す、グラフィックユーザーインターフェースの例示的なスクリーンキャプチャである。
【0059】
【図8B】本開示の例示的な実施形態による、安定化指標オーバーレイ及び時間分解された要約統計を伴うライブビューモード画像を示す、グラフィックユーザーインターフェースの例示的なスクリーンキャプチャである。
【0060】
【図8C】本開示の例示的な実施形態による、安定化指標オーバーレイと、ユーザーが選択可能な安定化指標加重パラメーターと、閾値化とを伴う、グレースケールのライブビューモード画像を示す、グラフィックユーザーインターフェースの例示的なスクリーンキャプチャである。
【0061】
【図8D】本開示の例示的な実施形態による、安定化指標オーバーレイと、ユーザーが選択可能な安定化指標加重パラメーターと、閾値化とを伴う、疑似カラー（組織学的染色の模倣）のライブビューモード画像を示す、グラフィックユーザーインターフェースの例示的なスクリーンキャプチャである。
【0062】
【図9】本開示の例示的な実施形態による、本明細書に説明される方法及びシステムにおける使用のための例示的なネットワーク環境のブロック図である。
【0063】
【図10】本開示の例示的な実施形態で使用するための、例示的なコンピューティングデバイス及び例示的なモバイルコンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【0064】
本開示のシステム、デバイス、方法、及びプロセスは、本明細書に説明される実施形態からの情報を使用して開発された変形及び改変を包含することが考えられる。本明細書に説明されるシステム、デバイス、方法、及びプロセスの改変及び／または変更は、当業者によって行われ得る。
【0065】
説明の全体を通して、物品、デバイス、及びシステムが、特定のコンポーネントを有する、含む、もしくは備えると説明している場合、またはプロセス及び方法が、特定のステップを有する、含む、もしくは備えると説明している場合、加えて、列挙したコンポーネントから本質的に成る、または列挙したコンポーネントから成る本開示の特定の実施形態による物品、デバイス、及びシステムが存在し、そして、列挙した処理ステップから本質的に成る、または列挙した処理ステップから成る本開示の特定の実施形態によるプロセス及び方法が存在すると考えられる。
【0066】
ステップの順序、または特定のアクションを行うための順序は、実施可能性が失われない限り、重要ではないことを理解すべきである。さらに、２つ以上のステップまたはアクションは、同時に実行され得る。
【0067】
見出しは、読み手の利便性のために提供され、特許請求される主題に関して限定することを意図しない。
【0068】
マイクロ光学素子及び撮像システムのアレイの例
いくつかの実施形態では、スキャンして、またはスキャンしないで（例えば、取得される画像タイプに応じて）撮像するために使用した撮像システムは、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズのうちの１つ以上を含み得るマイクロ光学素子のアレイを含む。マイクロ光学素子のアレイは、例えば、アクチュエーターを含むスキャンステージによって、撮像中にスキャンパターンにわたってスキャンされ得る。スキャンパターンは、マイクロ光学素子のアレイ内のマイクロ光学素子の単位セルのサイズに対応するサイズを有し得る（例えば、ほぼ同等のサイズの正方形であり得る）。そのように、マイクロ光学素子のアレイ内の各マイクロ光学素子は、マイクロ光学素子のアレイのようにサイズが対応する画像（例えば、同じオーダーのサイズを有する）を生成するために、その単位セルに対応するエリアをスキャンし得る。スキャンパターンは、撮像中に連続的に移動する一連の連続的な位置（例えば、規則的アレイ等のアレイに配置される位置）を含み得る。スキャンパターンを規定する連続位置のアレイは、概して、Ｍ×Ｎ個のアレイ（Ｍ＝ＮまたはＭ≠Ｎ）であり得る。照明光は、一連の連続位置のサブセット（例えば、全て）において、マイクロ光学素子のアレイを通して、試料に提供され得る。例えば、撮像システムが共焦点顕微鏡等の蛍光顕微鏡であるとき、一連の（例えば、アレイの）連続位置のサブセット（例えば、全て）にマイクロ光学素子のアレイを伴う試料から、逆放射光を収集し得る。
いくつかの実施形態では、スキャンして、またはスキャンしないで（例えば、取得される画像タイプに応じて）撮像するために使用した撮像システムは、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、及び屈折率（ＧＲＩＮ）レンズのうちの１つ以上を含み得るマイクロ光学素子のアレイを含む。マイクロ光学素子のアレイは、例えば、アクチュエーターを含むスキャンステージによって、撮像中にスキャンパターンにわたってスキャンされ得る。スキャンパターンは、マイクロ光学素子のアレイ内のマイクロ光学素子の単位セルのサイズに対応するサイズを有し得る（例えば、ほぼ同等のサイズの正方形であり得る）。そのように、マイクロ光学素子のアレイ内の各マイクロ光学素子は、マイクロ光学素子のアレイのようにサイズが対応する画像（例えば、同じオーダーのサイズを有する）を生成するために、その単位セルに対応するエリアをスキャンし得る。スキャンパターンは、撮像中に連続的に移動する一連の連続的な位置（例えば、規則的アレイ等のアレイに配置される位置）を含み得る。スキャンパターンを規定する連続位置のアレイは、概して、Ｍ×Ｎ個のアレイ（Ｍ＝ＮまたはＭ≠Ｎ）であり得る。照明光は、一連の連続位置のサブセット（例えば、全て）において、マイクロ光学素子のアレイを通して、試料に提供され得る。例えば、撮像システムが共焦点顕微鏡等の蛍光顕微鏡であるとき、一連の（例えば、アレイの）連続位置のサブセット（例えば、全て）にマイクロ光学素子のアレイを伴う試料から、逆放射光を収集し得る。
【0069】
いくつかの実施形態では、撮像システムは、手術室に配置され、外科的処置中（例えば、診断処置中または診断された疾患の処置中）に使用される。いくつかの実施形態では、手術中に、複数のシステムが使用される、及び／または複数の方法が行われる。
【0070】
マイクロ光学素子のアレイは、光学チップの表面上に配置され得る。例えば、マイクロ光学素子は、光学チップの基板の表面上に配置され得る。いくつかの実施形態では、光学チップは、アレイの周辺のホルダーに取り付けられたマイクロ光学素子のアレイを含む（例えば、基板上に配置されない）。一般に、光学チップの外周は、任意の形状を有し得る。いくつかの実施形態では、光学チップは、矩形（例えば、正方形または非正方形）である。例えば、いくつかの実施形態では、マイクロ光学素子のアレイは、光学チップの基板と一体である。マイクロ光学素子のアレイは、非一体である可能性があるが、光学チップの基板に取り付けできる。マイクロ光学素子のアレイは、少なくとも２５，０００個のマイクロレンズ（例えば、２００μｍ～３００μｍを伴う曲率半径（ＲＯＣ）を伴う）を含み得る。吸収層及び／または反射層は、（例えば、アパーチャとして作用するように）アレイ内のマイクロ光学素子の間の光学チップ上に提供され得る。光学チップは、溶融シリカで作られ得る。マイクロ光学素子は、光学チップ（例えば、正方格子）上の規則的アレイ内に配置され得る。いくつかの実施形態では、マイクロ光学素子のアレイは、１００μｍ～５００μｍ（例えば、２００μｍ～３００μｍ）のピッチを有する。いくつかの実施形態では、光学チップは、例えば、ｘ方向及びｙ方向に異なるピッチを有するマイクロ光学素子の非規則的アレイを有する。いくつかの実施形態では、光学チップは、高解像度撮像及びより効率的な背景除去のために高いアパーチャ数を有する。
【0071】
いくつかの実施形態では、マイクロ光学素子のアレイは、光学チップの一部ではない。例えば、いくつかの実施形態では、マイクロ光学素子のアレイは、例えば、固定された相対位置で（例えば、互いに、または物理的支持体に）搭載される別々の対物レンズのアレイである。
【0072】
いくつかの実施形態では、マイクロ光学素子のアレイは、規則的アレイであり、第１の方向におけるアレイ内のマイクロ光学素子のピッチは、第１の方向に垂直な第２の方向におけるアレイ内のマイクロ光学素子のピッチに等しい。例えば、マイクロ光学素子は、正方格子内に配置され得る。いくつかの実施形態では、マイクロ光学素子のアレイの各マイクロ光学素子は、少なくとも１つの凸面を有する。例えば、各マイクロ光学素子は、平凸レンズまたは両凸レンズであり得る。各マイクロ光学素子の凸面は、円錐断面の回転によって得られた形状を有し得る（例えば、２００μｍ～３００μｍの曲率半径を伴う）。いくつかの実施形態では、マイクロ光学素子のアレイ内の各マイクロ光学素子は、アレイのピッチ（例えば、当該ピッチ）よりも小さいエリア（スポット）上に光を集束させる。いくつかの実施形態では、マイクロ光学素子のアレイ内のマイクロ光学素子は、共通の焦点面上に集合的に集束する。例えば、マイクロ光学素子アレイの各素子は、共通焦点面上の単一点に焦点を合わせ得る。
【0073】
図１Ａ及び図１Ｂは、本明細書に開示されるシステムにおいて及び／または本明細書に開示される方法を行うために使用され得るマイクロ光学素子１０２のアレイを含む例示的な光学チップ１００の２つの図を概略的に示す。図１Ａは、光学チップ１００全体の平面図を示す（個々のマイクロ光学素子及びオプションの反射／吸収層は、図１Ａには示されていない）。光学チップ１００は、寸法Ｗ及びＬ（すなわち、Ｗ≠Ｌ）を有する矩形断面を有する。いくつかの実施形態では、Ｗ＝Ｌである。光学チップ１００は高い平行度を有し、光学チップ１００のエッジは、約±０．２５０ｍｒａｄよりも良好な平行度を有する（例えば、±０．１２５ｍｒａｄ以下または約±０．１２５ｍｒａｄである）。図５Ｂは、マイクロ光学素子１０２のアレイの一部を含む光学チップ１００の一部を示す。光学チップ１００の表面上に配置されたマイクロ光学素子のアレイは、少なくとも１，０００個のマイクロ光学素子、少なくとも５，０００個のマイクロ光学素子、少なくとも１０，０００個のマイクロ光学素子、少なくとも２０，０００個のマイクロ光学素子、少なくとも３０，０００個のマイクロ光学素子、少なくとも５０，０００個のマイクロ光学素子、少なくとも６０，０００個のマイクロ光学素子、または少なくとも１００，０００個のマイクロ光学素子を含み得る。マイクロ光学素子１０２のアレイは、光学チップ１００のエッジに対して平行性が高い。アレイ１０２は、光学チップのエッジに対する平行度が約±０．２５０ｍｒａｄよりも良好である（例えば、±０．１２５ｍｒａｄ以下または約±０．１２５ｍｒａｄである）。アレイ１０２は規則的アレイである。いくつかの実施形態では、マイクロ光学素子のアレイは非規則的である。破線ボックス１１２ａは、アレイ１０２内のマイクロ光学素子の単位セルの例を示す。破線ボックス１１２ｂは、破線ボックス１１２ａとは異なる原点で描かれたアレイ１０２内のマイクロ光学素子の単位セルの例を示す。一般に、原点の選択は任意である。アレイ１０２の各マイクロ光学素子における十字線は、マイクロ光学素子の各々の中心を示す。
【0074】
図１Ｃは、例示的な光学チップ１００の一部の断面の図を示す。光学チップ１００は、基板１０６と、マイクロ光学素子のアレイとを含む。各マイクロ光学素子１０２は凸マイクロレンズである。凸マイクロレンズ１０２は基板１０６と一体であり、その結果、基板１０６及びマイクロレンズ１０２が一緒に１つの連続材料であるようになる。例えば、それらは、製造中に同時に形成され得る。光学チップ１００の厚さ（Ｈ）は、示されるように、マイクロ光学素子の上部と、基板の反対面との間の距離として見なすことができる。光学チップの厚さは、２．０ｍｍ未満（例えば、１．５ｍｍ未満または約１．５ｍｍ）であり得る。光学チップは、２０μｍ未満（例えば、１５μｍ未満、１０μｍ未満、または５μｍ未満）の全厚さの変化及び／または全平面度のずれをもたらし得る。光学チップ１００は、クロムの反射層１０４で被覆される。反射層１０４は、マイクロ光学素子１０２間のレンズ間エリアに配置される。レンズ間エリアに配置された反射層は、図１Ａ及び図１Ｂに示されるように、レンズ（複数可）の周辺近くの１つ以上のレンズ上に部分的に延在し得ることが理解される。反射層１０４が、マイクロ光学素子の周辺近くのマイクロ光学素子の上に部分的に延在する場合、マイクロ光学素子の直径１１０は、反射層１０４によって形成された反射層のアパーチャ１０８よりも大きい。
【0075】
図２Ａは、組織試料の照射中の例示的なシステムの光学系の挙動を示す例示的な撮像システム２００の概略図である。撮像システム２００は、本明細書に記載される特徴を含み得る、及び／または本明細書に開示される方法を行うために使用され得る。図２Ｂは、検出器による試料からの逆放射光の検出を示す概略的な例示的な撮像システム２００である。ここで図２Ａを参照すると、４５０ｎｍ～４９０ｎｍの波長を伴う光を提供するレーザー２１８は、照明ビームを集束レンズ２１６に提供する。照明ビームは、ダイクロイックミラー２１４によって方向付けられる前に、集束レンズ２１６及び第１のアパーチャ２１４を通過する。ダイクロイックミラーは、照明ビームをコリメートレンズ２０２上に反射する。照明ビームは、コリメートレンズ２０２によってコリメートされ、コリメートされた照明ビームは、光学チップ２２２に伝搬する。光学チップは、マイクロ光学素子のアレイを含む。マイクロ光学素子のアレイ内のマイクロ光学素子は、屈折レンズ、フレネルゾーンプレート、反射対物レンズ、ＧＲＩＮレンズ、またはマイクロレンズであり得る。特定の実施形態では、光学チップは、屈折マイクロレンのアレイを含む。マイクロ光学素子は、コリメートされた照明ビームからの光を、撮像ウィンドウを通して試料上に集束させる。この場合、試料２２８は、撮像ウィンドウ２２４上に直接搭載される使い捨て試料ホルダー２２６上に配置される。いくつかの実施形態では、試料は、撮像中に撮像ウィンドウの上に（例えば、試料皿上に）（例えば、撮像ウィンドウに接触することなく）配置される。いくつかの実施形態では、試料ホルダー２２６は存在せず、試料は、撮像中に透明な撮像ウィンドウ上に直接載せられる。試料皿の使用は、試料を交換する際に透明な撮像ウィンドウを洗浄する（例えば、滅菌する）必要性を低らし得る、またはなくし得る。図２５は、試料皿２５０２とともに使用できる及び／または使用される撮像システム２５００の例として、試料２５２０が内部に配置された透明撮像ウィンドウ２５０２上に載せられた試料皿２５０４を示す。同様に、撮像システム２００は変更または設計され得る。
【0076】
再び図２Ａを参照すると、光学チップ２２２は、スキャンステージ２２０の支持体に接続される。スキャンステージ２２０は、支持体に接続されたコントローラー及びアクチュエーターを使用して、撮像中にスキャンパターンに沿って光学チップ２２２を移動させる。光学チップ２２２の各マイクロ光学素子は、試料上または試料内にある共通の焦点面（撮像面）上での撮像中、試料上または試料内のコリメートされた照明ビームからの光の緊密な焦点（例えば、小さなスポット、例えば、固有点）を生成する。光学チップ２２２を移動させるスキャンパターンは、１次元または２次元であり得る。
【0077】
図２Ｂは、検出中の図２Ａに示される光学系の挙動を示す例示的な撮像システム２００の概略図である。光学チップ２２２内のマイクロ光学素子のアレイによって試料２２８上に集束されたコリメートされた照明ビームからの光は、試料２２８内に光（例えば、蛍光または発光）を生成し、この光は、撮像ウィンドウ２２４を通って光学チップ２２２に向かって逆放射される。次に、逆放射光は、光学チップ２２２内のアレイ内のマイクロ光学素子によって収集され、検出器２１２に向けられる。逆放射光は、ミラーの透過帯域内にある際、ダイクロイックミラー２０４を通過する。次に、逆放射光は、第２のアパーチャ２０６を通過し、撮像レンズ２０８によってコリメートされる。コリメートされた逆放射光は、放射フィルター２１０を通過し、その後、検出器２１２上に到達する。検出器２１２は、光学チップ２２２における光学素子のアレイ内のマイクロ光学からの逆放射光をそれぞれが受ける検出素子のアレイ（例えば、カメラの画素）を含むＣＭＯＳカメラである。周囲光（例えば、迷光）が検出器２１２に入射するのをブロックするために、フィルター２１０を通過する逆放射光の光路の周りに不透明な筐体を配置し得る。
【0078】
いくつかの実施形態では、マイクロ光学素子アレイの画像は、検出器（例えば、ＣＭＯＳまたはＣＣＤカメラ等の検出素子アレイ）によってキャプチャされる。検出器のフレームを処理して、試料の画像を生成し得、この場合、各画像画素は、アレイ内の固有かつ異なるマイクロ光学素子からの信号を表す。これらの画像では、２つの隣接画素は、マイクロ素子アレイのピッチに対応する距離だけ離れた、試料中の２つの点から収集された強度を表す。
【0079】
いくつかの実施形態では、１つのマイクロ光学素子が正確に１つの検出素子上に撮像されるように、撮像システムを設計し、較正し得る。いくつかのそのような実施形態では、さらなる処理をしない検出フレームは、既に、１つの画素がアレイ内の固有かつ異なるマイクロ光学素子からの信号を表す試料の画像を構成する。
【0080】
いくつかの実施形態では、１つのマイクロ光学素子は、多くの検出素子（例えば、＞４、＞９、＞１６、＞２５、＞１００の個数の検出素子）にわたって撮像される。いくつかのそのような実施形態では、固有のマイクロ光学素子によって収集された強度は、各画像画素がアレイ内の固有かつ異なるマイクロ光学素子からの信号を表す画像を再構成するように、（例えば、検出素子の値を加算または補間することによって）このマイクロ光学素子が撮像される多くの検出素子の値から計算され得る。
【0081】
撮像システムは、手術（例えば、がん手術）中に切除された新鮮組織の手術室での撮像に使用され得る。いくつかの実施形態では、撮像システムは、１０分未満（例えば、５分未満、３分未満、または２分未満）で試料の一部を撮像するように動作可能である。いくつかの実施形態では、システムは、２分未満（例えば、９０秒未満、または１分未満）で試料の一部を撮像するように動作可能である。いくつかの実施形態では、試料の一部は、少なくとも１０ｃｍ２（例えば、少なくとも１２ｃｍ２、少なくとも１５ｃｍ２、または少なくとも１７ｃｍ２）の面積を有する。いくつかの実施形態では、試料は、１０ｃｍ×１０ｃｍ×１０ｃｍ以下の体積を有し、システムは、４５分以下（例えば、３０分以下）の撮像時間で試料の全外面を撮像するように構成される。
【0082】
本明細書に開示される方法を行うために使用可能な撮像システムは、概して、点スキャン撮像システムである。すなわち、いくつかの実施形態では、マイクロ光学素子アレイ内の各マイクロ光学素子は、（例えば、小さい視野とは対照的に）固有点を撮像する。いくつかの実施形態では、撮像システムは、共焦点撮像システム（例えば、共焦点顕微鏡）である。例として、共焦点撮像システムは、スキャンパターンにわたってマイクロ光学素子アレイ（例えば、光学チップに含まれるもの）をスキャンすることによって、試料の高解像度撮像を可能にする。ライブビューモード及び／または安定化指標モードは、下記にさらに説明されるように、スキャン中に画質をさらに改善するために（例えば、自己安定化前に発生する可能性が高い及び／または大きく発生する試料運動アーチファクトの低減に起因する画質を改善するために）、試料自己安定化の定性的評価等の試料情報を判定するためにスキャン前に使用され得る。
【0083】
一般に、撮像システムは、任意の適切な方法を使用して、スキャンして、またはスキャンしないで、マイクロ光学素子アレイによって収集された光（例えば、逆放射試料光）から画像を生成できる。いくつかの実施形態では、撮像システムは、例えば、米国特許第１０，０９４，７８４号に開示されている実施形態に説明されるように、横方向スキャンパターン（例えば、２Ｄスキャンパターン）でマイクロ光学素子アレイをスキャンすることによって、試料を特徴付けるための画像を生成する。検出器及び試料は、試料及びマイクロ光学素子アレイが相対運動している間、撮像中に固定された相対位置に留まり得る。再構成プロセスを使用して、横方向スキャンパターンの各位置で収集された光から導出された情報と、マイクロ光学素子アレイの既知の位置情報とを使用して、画像を再構成し得る。マイクロ光学素子アレイがスキャンされない（静止したままである）ときでさえ、試料運動が発生しているかどうかを判定するために試料モニタリングを行うとき、同様の再構成プロセスを使用し得る。すなわち、撮像システムは、後続の撮像中に使用される再構成プロセスと同様の試料運動モニタリング中の再構成プロセスを適用するように構築され得る。いくつかの実施形態では、再構成プロセスは、１つの画像画素に、アレイ内の１つのマイクロ光学素子によって収集された光に対応する値（例えば、強度値）を割り当てる。しかしながら、そのような再構成プロセスは、そのような再構成プロセスが後続の撮像に使用されるかどうかに関係なく、本明細書に開示される実施形態を実施するのに必要ではない。例えば、いくつかの実施形態では、試料運動モニタリングは、検出器からの直接撮像を使用して実施される。また、他の間接撮像法も使用され得る。
【0084】
本開示の特定の実施形態に従って（例えば、その実施形態を行うために）使用できる撮像システム（例えば、共焦点顕微鏡）は、米国特許第１０，０９４，７８４号及び第１０，５３９，７７６号に説明されており、それらの特許のそれぞれは、本明細書によって、全体として本明細書に組み込まれる。本開示の特定の実施形態で使用できる試料皿は、米国特許第１０，９２８，６２１号に説明されており、その特許の開示は、本明細書によって、全体として参照により本明細書に組み込まれる。試料は、撮像前に染色され得る。例えば、試料は、２０２０年３月２日に出願された米国特許出願第１６／８０６，５５５号に開示された染色剤溶液を使用して染色され得、その特許出願の開示は、本明細書によって、全体として参照により本明細書に組み込まれる。
【0085】
固定式マイクロ光学素子アレイを用いる試料モニタリング
例えば、マイクロ光学素子のアレイを含む並列撮像システムについて、大きな試料エリアの撮像は、光学素子（または試料）の動きを伴わずに達成できる。アレイ内のマイクロ光学素子から受けた試料光の強度を検出して、マイクロ光学素子に個々に対応する画像画素を含む画像を生成できる。各画像画素は、撮像システムにおける検出素子とマイクロ光学素子との比に応じて、複数の検出素子からの信号を表し得る。時間の強度変動は、（例えば、画像解像度及び／または撮像速度と比較して）有意に移動している試料に関して、（例えば、画像解像度及び／または撮像速度と比較して）有意に移動していない試料よりも大きい。閾値量は、例えば、画像の隣接画素間の典型的な強度変化（例えば、所与の試料タイプに対して）に基づいて設定され得、その強度変動を下回ると、画像画素（複数可）の強度変動は、（例えば、画像解像度及び／または撮像速度と比較して）試料運動が発生していないことを示すであろう。典型的な強度変化は、画像パラメーター（例えば、解像度）及び／または試料特性（複数可）に基づいて知られ得る及び／または判定され得る。閾値量は、例えば、初期期間にわたる強度変動の割合として、事前に設定され得る、またはモニタリング中に判定され得る。
例えば、マイクロ光学素子のアレイを含む並列撮像システムについて、大きな試料エリアの撮像は、光学素子（または試料）の動きを伴わずに達成できる。アレイ内のマイクロ光学素子から受けた試料光の強度を検出して、マイクロ光学素子に個々に対応する画像画素を含む画像を生成できる。各画像画素は、撮像システムにおける検出素子とマイクロ光学素子との比に応じて、複数の検出素子からの信号を表し得る。時間の強度変動は、（例えば、画像解像度及び／または撮像速度と比較して）有意に移動している試料に関して、（例えば、画像解像度及び／または撮像速度と比較して）有意に移動していない試料よりも大きい。閾値量は、例えば、画像の隣接画素間の典型的な強度変化（例えば、所与の試料タイプに対して）に基づいて設定され得、その強度変動を下回ると、画像画素（複数可）の強度変動は、（例えば、画像解像度及び／または撮像速度と比較して）試料運動が発生していないことを示すであろう。典型的な強度変化は、画像パラメーター（例えば、解像度）及び／または試料特性（複数可）に基づいて知られ得る及び／または判定され得る。閾値量は、例えば、初期期間にわたる強度変動の割合として、事前に設定され得る、またはモニタリング中に判定され得る。
【0086】
また、そのような変化を使用して、画像の対応する画像画素に対する画素値（例えば、グレースケール画像のグレー値）がゼロに設定される画素値以下の試料光の強度を判定（例えば、設定）し得る。すなわち、試料光の最小強度だけが特定のマイクロ光学素子に対して受ける場合、その強度は、ゼロの画素値が割り当てられるように背景と区別するのに十分でない場合がある。同様に、試料光の強度も閾値を設定して、強度の小さい範囲を、画像画素について別個の色相、輝度、彩度、またはそれらの組み合わせ（例えば、グレースケールにおける別個のグレー値）を区別するためにビン分けし得る。例えば、検出器信号は、判定された平均強度変化に対して正規化または基準化され得る。共焦点撮像システムの実施態様等のいくつかの実施形態では、撮像システム内の光学系は、１つ以上のアパーチャを用いて焦点外の背景強度を除去する。
【0087】
図３Ａ～図３Ｃは、試料が移動しているかどうかを判定するための方法３００のプロセス図である。ステップ３０２では、マイクロ光学素子のアレイ内のマイクロ光学素子に個々に対応する画像画素は、マイクロ光学素子が固定位置に留まっている間に監視される。画像画素の強度は、対応するマイクロ光学素子を通して収集されている検出器によって受けた逆放射光の量に基づく。ステップ３０４では、試料運動が発生しているかどうかが判定され、この例では、この試料運動は、画像画素の強度の変動が、ある期間中に閾値量以下であったかどうかに少なくとも部分的に基づいて判定される。いくつかの実施形態では、複数の画像画素は、試料運動が発生しているかどうかを判定するために、同時に監視される（例えば、それぞれ、マイクロ光学素子のアレイ内の各々のマイクロ光学素子に対応し、例えば、各々のマイクロ光学素子は、アレイ内のマイクロ光学素子の少なくとも１／４、少なくとも１／２、または全てである）。試料運動が発生しているかどうかを判定することは、閾値量を超えない各々の画像画素のそれぞれの変動、閾値を超えない各々の画像画素の平均強度の変動、または閾値量を超えない各々の画像画素の平均強度の変動に少なくとも部分的に基づき得る。その期間は、取得されるフル画像の収集時間に一致し得る。任意選択のステップ３０６では、画像画素（複数可）の強度の変動が、ある期間中に閾値量を超えないと判定すると、試料の画像が（例えば、自動的に）取得される。任意選択のステップ３０８では、ユーザーは、ステップ３０４における判定に基づいて、試料運動が発生しているかどうかを（例えば、自動的に）（例えば、グラフィカルユーザーインターフェースを介して、例えば、ポップアップ通知によって）通知される。システムは、画像収集を開始する最良の時期を決定する際にユーザーをサポートするために、試料の安定化状態についてユーザーに通知し得る。いくつかの実施形態では、ユーザーは、試料運動が所定のルールを満たすとき（例えば、試料運動が、取得されるフル画像で可視運動アーチファクトを生成しないように十分に小さくなったとき）、自動的にトリガーされた単一のイベントによって通知され得る。いくつかの実施形態では、試料全体に対して単一のスカラー（例えば、グラフィカルである場合は単一の色もしくは記号、またはテキストの場合は単一値（例えば、尺度））に低減され得る、連続的に更新されたインジケーター（例えば、グラフィカルインジケーターまたはテキストインジケーター）によって、試料運動の現在の状態を連続的にユーザーに通知する。いくつかの実施形態では、試料運動の状態を局所的に表す（例えば、試料のカラーコード化された小型マップとして表示される）連続的に更新されたインジケーターアレイによって、試料運動の現在の状態をユーザーに連続的に通知する。
【0088】
方法３００のいくつかの実施形態では、図３Ｂに示されるように、ステップ３１０では、強度を使用して、ある期間中に閾値量を超えて試料が局所的に移動しているかどうかを判定する。ステップ３１２では、試料が閾値量を超えて移動していることをユーザーに知らせる。ステップ３１４では、ユーザーからの明示的要求に応じて、画像が取得される。高時間の圧力下の適用状況では、ユーザーは、（例えば、試料運動の現在の状態の連続通知に基づいて）ユーザーが適切であると感じるいかなる瞬間（複数可）で、収集を開始する能力を用いる権限が与えられることを望み得る。
【0089】
図３Ｃは、方法３００に関する追加の例示的なプロセスフローを示す。
【0090】
いくつかの実施形態では、１つ以上の画像画素の強度が、ある期間中に閾値量以下だけ変動していると判定すると、試料の画像が取得される（例えば、自動的に、例えば、ユーザー入力なしで行われる）。いくつかの実施形態では、閾値量は、所定の（例えば、事前に定義された）閾値量であり、本方法は、監視を開始する前に取得される画像の解像度（例えば、選択された解像度）に基づいて、閾値量を事前に設定することを含む。いくつかの実施形態では、閾値量は、所定の（例えば、事前に定義された）閾値量であり、本方法は、試料の１つ以上の特性に基づいて閾値量を事前に設定することを含む。いくつかの実施形態では、閾値量は、２０％以下または１０％以下である。一般に、試料運動が遅くなるかまたは停止する際、概して、隣接画素間の強度に著しい不連続性がなく、試料運動による画素ドリフトが遅くなるため、強度変動が低減される。２０％以下または１０％以下の絶対閾値量を使用することは、いくつかの実施形態では、後で取得される画像から顕著な試料運動アーチファクトを低減または除去するのに十分であり得る。いくつかの実施形態では、期間は、少なくとも２秒～９０秒以下、または少なくとも０．１秒～２秒以下（例えば、少なくとも０．２５秒～１秒以下）である。いくつかの実施形態では、期間は少なくとも５秒～３０秒以下である。
【0091】
画像画素（複数可）の強度を監視することは、別個の短期間にわたって受けた逆放射光の離散測定を行うことを含み得る。例えば、第１の時間における強度は、第１の短期間（例えば、１０ミリ秒以下、５ミリ秒以下、３ミリ秒以下、２ミリ秒以下、または１ミリ秒未満）に、マイクロ光学素子（複数可）を通して検出器（例えば、ＣＣＤまたはＣＭＯＳカメラ）で受けた逆放射光に基づき得、第２の時間における強度は、第１の短期間に等しい長さの時間である第２の短期間中、マイクロ光学素子（複数可）を通して検出器で受けた逆放射光に基づき得る。第１の短期間と第２の短期間との間に遅延の期間（例えば、少なくとも１ミリ秒～１秒以下、または１００ミリ秒以下）が存在し得る。より長い遅延期間は、概して、本方法が移動に対してより高感度であるが、試料安定化（例えば、平衡化）を確実にするのに十分な時間を単に待つのと比較して、実際のまたは潜在的な時間節約も短縮することを意味する。加えて、遅延の期間が長くなると、提供される場合、モニタリングのグラフィカル出力を見るときにユーザーの混乱が生じ得る。したがって、いくつかの実施形態では、遅延時間は、０．２５秒～０．７５秒（例えば、約０．５秒）の範囲である。いくつかの実施形態では、遅延期間は、５秒以下（例えば、３秒以下、２秒以下、または１秒以下）である。
【0092】
試料が移動しているかどうかを判定することは、第１の時間における強度を第２の時間における強度と処理すること（例えば、比較する）を含み得る。いくつかの実施形態では、遅延期間は慎重に選ぶ必要がある。遅延期間が小さすぎる場合、試料の小さな動きは、この時間スケールでは知覚できないが、その後に取得されるフル画像で可視の動きアーチファクトが生じる。他方で、遅延期間が大きすぎる場合、観察期間の早期に発生している試料の動きは、試料がその間に安定した場合であっても、それでも、試料が依然として動いているという考えにつながり、したがって、時間の浪費をもたらす。画像の「リアルタイム」フレームレートをユーザーに提供することを可能にする遅延期間を選択することによって、ユーザーは、試料が安定しているか、または安定したかの判定を行うために発生する際に変動を観察できる。経時的な強度の変動は、モニタリング中の一連の時間で行われた強度の離散測定に基づき得る。
【0093】
強度変動は、遅延の周期だけ離れた２つの瞬間における画素の強度の差の絶対値を取得することによって単純に計算され得る。そのような手法は、スパースサンプリングだけを提供し、ひいては、サンプリングされた２つの瞬間の間に発生している強度変動に対して高感度ではない場合がある（例えば、強度は、変化しており、そして大体同じ値に戻り得る）。強度変動は、複数の瞬間における画像画素値（マイクロ光学素子に対する試料光強度を表す）を記録し、ある期間にわたって記録された最大値と最小値との間の強度差を取得することによって、より高感度に計算され得る。また、そのような強度変動メトリックは、その値を最大値と最小値との間の経過時間で割ることによって正規化され得る。強度変動は、複数の瞬間における画素値を記録し、ある期間にわたって記録された全ての連続値の間の強度の累積絶対差を取得することによって、より高感度に計算され得る。そのような強度変動メトリックは、それを計算される遅延期間で割ることによって正規化され得る。この手法は、画像画素の値（マイクロ光学素子に対する試料光の強度を表す値）を、時間内で非単調に変化する試料運動に対してより高感度であるという利点をもたらす。しかしながら、強度信号の雑音に対してより高感度であるという欠点がある。したがって、このように強度変動を計算する前に、例えば移動平均フィルターで強度信号を平滑化することが望ましい場合がある。例えば、連続的に記録された強度値に関して、約１～５ミリ秒の間隔で、少なくとも２５個の値にわたる（例えば、移動窓フィルターを用いる）平均化が望ましくなり得る。
【0094】
単一の画像画素の画素値を監視するとき、試料の性質に応じて、試料運動に対して十分な感度を提供するのに十分な空間周波数変調及び／または画素におけるコントラストの組織構造が存在しない可能性が比較的に高い。したがって、試料運動が発生しているか、または発生中であるかを評価するときに複数の画像画素を考慮することが有利であり得る。例えば、固有の強度変動メトリックは、複数の画像画素から構成されるエリアについて計算され得る（例えば、画像画素の領域の各画素における強度変動は、それらの画素に対する平均強度変動を与えるために平均化され得る）。これらの領域は、画像画素の等方性ビニング（例えば、２×２の画像画素、３×３の画像画素、４×４の画像画素、６×６の画像画素、８×８の画像画素、１６×１６の画像画素をグループ化したもの）から、または異方性ビニング（例えば、１×２の画像画素、３×４の画像画素、６×８の画像画素、１×１２の画像画素）から構築され得る。試料運動が時々比較的小さいエリアに局所化されるので、特に画素が互いに比較的遠く離れて位置する場合、所与のエリアにおいて多すぎる画像画素を一緒に組み合わせることは非生産的であり得る。
【0095】
ライブビューモード
いくつかの実施形態では、方法は、ライブ試料モニタリング情報をユーザーに提供する。いくつかの実施形態では、そのような方法は、リアルタイムで１つ以上の画像を生成し、任意選択で表示することも含み、画像（複数可）は、アレイまたは試料をスキャンしないで、マイクロ光学素子アレイ内のマイクロ光学素子から受けた試料光に基づいて生成される。したがって、画像（複数可）が生成できる前にスキャンパターンの複数の位置からの光を受ける必要がないので、光を受けるとすぐに画像（複数可）を生成できる。この手法は、画像を生成するのに十分な信号を受信するのに必要な時間を実質的に短縮できる。
いくつかの実施形態では、方法は、ライブ試料モニタリング情報をユーザーに提供する。いくつかの実施形態では、そのような方法は、リアルタイムで１つ以上の画像を生成し、任意選択で表示することも含み、画像（複数可）は、アレイまたは試料をスキャンしないで、マイクロ光学素子アレイ内のマイクロ光学素子から受けた試料光に基づいて生成される。したがって、画像（複数可）が生成できる前にスキャンパターンの複数の位置からの光を受ける必要がないので、光を受けるとすぐに画像（複数可）を生成できる。この手法は、画像を生成するのに十分な信号を受信するのに必要な時間を実質的に短縮できる。
【0096】
特定の実施形態では、有用な画像を生成するのに十分な強度の光は、露光時間＜２５０ミリ秒（ｍｓ）で、検出器においてマイクロ光学素子から受けることができ、少なくとも４フレーム／秒の画像のフレームレートを生成し、ユーザーに表示できる。（一部のユーザーに対して、少なくとも４フレーム／秒のフレームレートは、試料位置、動き、及び／または安定性の変化にリアルタイムで応答するために必要である。より短い露光時間（例えば、＜１０ｍｓ、＜５ｍｓ、または＜２ｍｓ）は、例えば、試料運動により高感度な方式でユーザーに情報を提供するより高いフレームレートを可能にし得る。また、より短い露光時間は、各画像がより瞬時の「スナップショット」に対応し、その結果、そのような画像の比較が、発生し得る試料運動のより高感度の評価を提供できることを意味する。露光時間中に固定位置に留まっている間にマイクロ光学素子から受けた試料光は、検出器（例えば、ＣＭＯＳまたはＣＣＤカメラ）で検出できる。露光時間にわたるアレイ内の特定のマイクロ光学素子に対応する検出素子（複数可）で受けた試料光の相対強度をリアルタイムで表す画像画素（「ライブビュー」モードの例）を含む画像を生成できる。試料及びマイクロ光学素子アレイが撮像中に固定されるとき、アレイ内の各マイクロ光学素子は、試料における異なる（例えば、別個の）場所を撮像し、異なる場所は、マイクロ光学素子アレイに対して特性距離（例えば、アレイ内のマイクロ光学素子のピッチ）によって空間的に分離される。もちろん、所与の画像画素は、（例えば、自然な弛緩に起因して）試料が動いている場合、経時的な試料の変化する場所を表し得、おそらく、連続画像間の所与の画像画素の強度の変動をもたらす。
【0097】
いくつかの実施形態では、（例えば、スキャンしないとき）１つのマイクロ光学素子が正確に１つの検出素子上に撮像されるように、撮像システムを設計し、較正し得る。いくつかのそのような実施形態では、（さらなる処理をしない）検出フレームは、既に、１つの画素がマイクロ光学素子アレイ内の固有かつ異なるマイクロ光学素子からの信号を表す試料の画像を構成する。いくつかの実施形態では、１つのマイクロ光学素子は、多くの検出素子（例えば、＞４、＞９、＞１６、＞２５、＞１００の個数の検出素子）にわたって撮像される。例えば、マイクロ光学素子アレイは、数万程度のマイクロ光学素子を有し得る一方、対応するサイズの検出器は、数百万または数千万の個数の検出素子（例えば、１０＋メガピクセルカメラ）を含み得る。いくつかのそのような実施形態では、固有のマイクロ光学素子によって収集された強度は、１つの画像画素が複数の検出素子から判定されたようなアレイ内の固有かつ異なるマイクロ光学素子からの信号を表す画像を生成するように、（例えば、検出素子の値を加算または補間することによって）このマイクロ光学素子が撮像される多くの検出素子の値から計算され得る。画像画素は、特定のマイクロ光学素子に対応する検出素子で受けた試料光の強度の和または平均を表し得る。
【0098】
一般に、マイクロ光学素子のより高い光学解像度は、ライブビューモードをより高感度にする。いくつかの実施形態では、マイクロ光学素子の光学解像度は、好ましくは、試料構造（例えば、組織試料マイクロ構造）と実質的に等しい（例えば、１０％以内）、またはその試料構造よりも小さく、例えば、好ましくは、横方向の点広がり関数＜１０μｍ、＜５μｍ、＜２μｍ、または＜１μｍを有する。より小さい光学解像度の場合、スキャンしないときに生成された画像の画像画素の空間解像度が向上し、動きまたは安定化がより明確に発生していることを示す傾向があり、ライブビューモードで観察するときの試料の現在の状態のより良い理解をユーザーに提供する。
【0099】
図４Ａ～図４Ｃは、ユーザーにライブ試料モニタリング情報を提供するために、１つ以上の画像を生成し、任意選択で表示するための例示的な方法４００を示す。ステップ４０２では、試料光はマイクロ光学素子アレイから受ける。図４Ｂを参照すると、ステップ４０２は、マイクロ光学素子のアレイを含む光学モジュールを使用して照明光で試料を照らすサブステップ４０２ａと、ある期間にわたって、検出器において、（例えば、光学モジュールを通して）マイクロ光学素子アレイから、試料からの試料光を受けるステップ４０２ｂと、検出器からの信号を処理して、収集期間（例えば、所与の露光時間でキャプチャされた検出フレーム）にわたる試料光の強度を判定するステップ４０２ｃと、を含み得る。図４Ａに戻って参照すると、ステップ４０４では、マイクロ光学素子から受けた試料光に基づいて、１つ以上の画像がリアルタイムで生成される。例えば、ステップ４０４では、１つ以上の画像が生成でき、その間、サブステップ４０２ａ～４０２ｃが新しい期間から新しい試料光に対して行われ、その結果、試料光を（ほぼ）連続的に受けて、処理するようになる。図４Ｃは、各画像に個々の画像画素を生成するサブステップ４０４ａを含むステップ４０４の例示的なサブルーチンを示し、画像画素のそれぞれは、検出器における（例えば、１つ以上の各々の検出素子における）マイクロ光学素子のうちの１つから受けた試料光の強度を表す。図４Ａに戻って参照すると、ステップ４０６では、１つ以上の画像が任意選択で表示される。ステップ４０６は、ステップ４０２及び／またはステップ４０４と同時に発生し得る。ステップ４０８では、マイクロ光学素子アレイをスキャンすることを含む撮像は、１つ以上の画像のうちの１つ以上に基づいて（例えば、自動的に）開始する。例えば、１つ以上の画像が、試料が（例えば、ある期間にわたって）十分に安定していることを（例えば、ユーザーに対して、または画像処理アルゴリズムもしくは画像認識アルゴリズムによって判定されるように）示す場合、スキャンによる撮像が開始し得る。試料は、（例えば、後続の段落で説明されるように）安定化指標に基づいて十分に安定化されると定量的に判定され得、その試料は、焦点が合っている特定の十分に大きいエリアを有する（例えば、ある期間にわたって１０％を超える等、顕著に変化しない）、及び／または（例えば、ある期間にわたって）気泡を含有しない。
【0100】
１つ以上の画像を生成することは、所定の強度閾値を上回る試料光を戻すマイクロ光学素子の絶対数及び／または割合を計算することを含み得る。マイクロ光学素子が閾値を下回る試料光を戻す場合、対応する画像画素はゼロ画素値を有し得る。閾値を上回る試料光を戻す場合、対応する画像画素は、非ゼロの画素値を有し得る。背景に対応する画像のエリア（例えば、試料エリアの焦点が合っていない画像エリア）（例えば、ラプラシアンに基づく演算子を用いて）を検出すること、ならびに背景に面していないマイクロ光学素子の絶対数及び／または割合を計算することは、試料面の撮像された表面のサイズを判定し、表示することの一部であり得る。いくつかの実施形態では、マイクロ光学素子は、試料光を戻さない場合がある、または対応する画像画素がゼロの画素値を有するような検出器の検出閾値を下回る試料光を戻さない場合がある。
【0101】
図５Ａ～図５Ｄは、本明細書に開示される方法に従って達成された試料のライブビューモードの使用例を示す。この例では、焦点が合っている試料エリアは、ライブビューモードで監視される。各画像画素は、画像生成の前に、短期間（例えば、１～３ミリ秒（ｍｓ））にわたって、試料中の別個の場所に対するアレイ内の個々のマイクロ光学素子から受けた光の強度を表す。破線の輪郭によって画定された領域は、ｔ０（図５Ａに示される）における領域内の全ての画像画素に対するゼロ画素値を示す（収集された試料光を表さず、ひいては、画像のその領域に対応する試料のエリア内で試料光を受けないことを表す）。画像画素のゼロ画素値は、試料がそれらの画像画素に対応するエリアにおいて焦点が合っていないことを示し得る（例えば、対応する検出素子（複数可）において検出されているだろう光がアパーチャ（複数可）で除去されている）。図５Ｂ～図５Ｄに示される後続の連続時間に、焦点が合っているエリアが増加し、その結果、破線の輪郭によって画定された領域が徐々に大きくなり、経時的に埋まっていく。したがって、経時的に、画像画素の徐々に大きくなるエリアは、非ゼロの画素値を有し、非ゼロの画素値を有する画像画素の凸包は、次第に遅くなる速度で成長する。試料は、非ゼロ画素値及び／または凸包の変化率を有する画像画素のエリアに基づいて、１つ以上の画像で焦点が合う（例えば、スキャンによる撮像の開始を保証する）十分に大きいエリアを有すると考えられ得る。図５Ａ～図５Ｄの時系列にわたって示される焦点が合っている増加エリアは、ユーザーが試料を調整して（例えば、操作して）、焦点が合っているエリアを有するように試料を再配置した結果であり得る。図５Ａ～図５Ｄは、試料中の異なる場所に対するマイクロ光学素子から受けた試料光の強度の範囲を表す画像画素を含むグレースケール画像である。
【0102】
図６Ａ～図６Ｅは、本明細書に開示される方法に従って達成された試料のライブビューモードの使用例を示す。この例では、試料中に気泡（複数可）が存在するかどうかを判定するために、ライブビューモードが監視される。各画像画素は、画像生成の前に、短期間にわたって、試料中の別個の場所に対するアレイ内の個々のマイクロ光学素子から受けた光の強度を表す。破線の輪郭によって画定された領域は、ｔ０（図６Ａに示される）における領域内の全ての画像画素に対するゼロ画素値を示す（収集された試料光を表さず、ひいては、画像のその領域に対応する試料のエリア内で試料光を受けないことを表す）。ゼロ画素値を有するそのような画像画素は、非ゼロ画素値を有する画像画素によって（例えば、少なくとも部分的に）囲まれ、気泡の存在を示す。図６Ａでは、２つの気泡が存在し、それぞれが、ゼロ画素値を有する画像画素のエリアの外周を強調する白い輪郭によって示され、外周は、非ゼロ画素値を有する画像画素によって画定される（例えば、外周上の画像画素の少なくとも７０％は非ゼロ画素値を有する）。画像処理アルゴリズムまたは画像認識アルゴリズムは、任意のそのような領域が画像に存在するか、または（例えば、複数の画像に）経時的に存在するかを自動的に判定するために適用され得る。経時的に、図６Ｂ～図６Ｅに示されるように、ライブビューモードは、非ゼロ画素値を有する主に（例えば、少なくとも７０％）の画像画素を含む外周によって囲まれたゼロ画素値を有する画像画素のエリアのシフト、縮小、及び最終的な消失を示す。ユーザーは、ライブビューが残りの気泡を示さないか、または特に、スキャンによる撮像前に気泡が存在しないことを要求すると、試料がスキャンによる撮像の準備ができていると考え得る。いくつかの実施形態では、プロセッサは、（例えば、画像処理アルゴリズムまたは画像認識アルゴリズムを使用して）気泡が存在しないと自動的に判定し得る。（例えば、ユーザーによって設定された）エリア閾値を使用して、非ゼロ画素値を有する画像画素（例えば、蛍光タグ付けされていない）を決して生じないであろう試料の領域からの気泡を区別し得る。図６Ａ～図６Ｅは、試料中の異なる場所に対するマイクロ光学素子から受けた試料光の強度の範囲を表す画像画素を含むグレースケール画像である。
【0103】
安定化指標を伴う画像
ライブビューモードは、先の段落に開示されているように、ユーザーが、試料の他の特性の中でも、試料の位置決め及び試料運動、及び（自己）安定化を監視するために使用できるリアルタイムの試料情報を見ることを可能にする。一般に、ライブビューモードでは、弛緩または他の機構に起因するかどうかにかかわらず、より多く移動している試料は、ある期間にわたって画像画素の強度においてより多くの変動をもたらすように見える。経験豊富なユーザーは、そのような変動が、スキャンパターンにわたってマイクロ光学素子アレイをスキャンすることによって後で取得されるフル画像が、十分に高品質である（例えば、試料運動アーチファクトを十分に欠く）ことを示すように十分に小さいときを判定することが可能であり得、これは、（例えば、がんを示す１つのもの（複数可）等の１つ以上の特徴が、画像に存在するかどうかを判定する際に）有用である。しかしながら、経験不足のユーザー、またはいくらかの経験のあるユーザーでも、そのようなスキルがない場合がある、または開発することが可能であり得る。したがって、特定の実施形態では、ある期間にわたる試料安定化の定量的評価、すなわち、安定化指標を提示することが有利である。
ライブビューモードは、先の段落に開示されているように、ユーザーが、試料の他の特性の中でも、試料の位置決め及び試料運動、及び（自己）安定化を監視するために使用できるリアルタイムの試料情報を見ることを可能にする。一般に、ライブビューモードでは、弛緩または他の機構に起因するかどうかにかかわらず、より多く移動している試料は、ある期間にわたって画像画素の強度においてより多くの変動をもたらすように見える。経験豊富なユーザーは、そのような変動が、スキャンパターンにわたってマイクロ光学素子アレイをスキャンすることによって後で取得されるフル画像が、十分に高品質である（例えば、試料運動アーチファクトを十分に欠く）ことを示すように十分に小さいときを判定することが可能であり得、これは、（例えば、がんを示す１つのもの（複数可）等の１つ以上の特徴が、画像に存在するかどうかを判定する際に）有用である。しかしながら、経験不足のユーザー、またはいくらかの経験のあるユーザーでも、そのようなスキルがない場合がある、または開発することが可能であり得る。したがって、特定の実施形態では、ある期間にわたる試料安定化の定量的評価、すなわち、安定化指標を提示することが有利である。
【0104】
単一の安定化指標または複数の安定化指標は、画像上のグラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、またはカラー）によってユーザーに提示され得る。閾値化は、異なる画像画素領域について計算された安定化指標に適用され、（例えば、ヌル、黄、赤、またはヌル、黄、オレンジ、赤のカラースキームを使用して）ユーザーが容易に読影するために、画像をシェーディング、または色付けすることを可能にし得る。１つ以上の安定化指標のグラフィカルインジケーションを使用すると、ユーザーは、撮像をいつ開始するかを決定するために、画像を容易に読影することが可能であり得る。また、そのような決定は、１つ以上の画像に対する安定化指標値を使用して、プロセッサによって自動的に行われ得る。
【0105】
多くの異なる安定化指標を計算し、ユーザーにグラフィカルインジケーション（複数可）を提示して、試料安定化の定量的評価を提供し得る。いくつかの実施形態では、各画像の安定化指標の全部が計算される。いくつかの実施形態では、安定化指標は、画像の画像画素のサブセットのそれぞれ（例えば、画像画素の領域内の各画像画素）について計算される。いくつかの実施形態では、アレイ内のマイクロ光学素子の少なくとも一部について、ある期間にわたってマイクロ光学素子から受けた試料光の強度の変化を比較することによって、安定化指標を判定する。マイクロ光学素子から受けた試料光の強度は、ある期間にわたって不均一に変化し得、安定化指標の判定に使用される試料光からの信号は、異なる事例における異なる期間（例えば、固定持続期間の移動期間を使用する）に対応し得るので、安定化指標は、経時的に動的／変化があり得る（例えば、連続画像間で変化する）。
【0106】
図４Ａを参照すると、いくつかの実施形態では、スキャンしないで、アレイ内のマイクロ光学素子から受けた試料光に基づいて１つ以上の画像を生成するステップ４０４は、図４Ｄに示されるサブルーチンを行って、安定化指標を計算することを含み得る。ステップ４０４ａでは、試料光は、マイクロ光学素子アレイを用いて複数の離散周期（例えば、別の周期が始まる際、１つの周期が終了する連続周期）にわたって収集される。ステップ４０４ｂでは、収集された試料光は、検出器においてマイクロ光学素子アレイから受ける。ステップ４０４ｃでは、検出器からの信号を処理して、各周期中に各マイクロ光学素子の強度を判定する。すなわち、マイクロ光学素子アレイを使用して、１周期につき１フレームずつ、一連の検出フレームをキャプチャする。ステップ４０４ｄでは、検出フレームを使用して、強度の加重平均（例えば、指数移動平均）を判定する。式１及び式２は、指数移動平均の算出例である。
ｔ＝１の場合（すなわち、第１のフレームの場合）、Ｉ’（ｍ，ｔ）＝Ｉ（ｍ，１）（式１）
ｔ＞１の場合（すなわち、後続のフレーム毎に対して）、Ｉ’（ｍ，ｔ）＝α＊Ｉ（ｍ，ｔ）＋（１－α）＊Ｉ’（ｍ，ｔ－１）（式２）
αは、０～１のユーザーが設定したパラメーターであり、例えば０．１である。加重平均及び／または安定化指標を判定する際に使用される検出フレームの数は、同様に、ユーザー設定可能パラメーターＮであり得る。ステップ４０４ｅでは、最小値（Ｉ’ｍｉｎ（ｍ））及び最大値（Ｉ’ｍａｘ（ｍ））の加重平均強度が、ある期間にわたって、例えば最後のＮ個の検出フレームにわたって、各マイクロ光学素子について計算される。次に、ステップ４０４ｆでは、安定化指標は、Ｉ’ｍａｘ（ｍ）とＩ’ｍｉｎ（ｍ）との差（Ｓ＝Ｉ’ｍａｘ（ｍ）－Ｉ’ｍｉｎ（ｍ））としてリアルタイムで判定できる。図４Ｅは、そのような計算の視覚的実証を提供する。
ｔ＝１の場合（すなわち、第１のフレームの場合）、Ｉ’（ｍ，ｔ）＝Ｉ（ｍ，１）（式１）
ｔ＞１の場合（すなわち、後続のフレーム毎に対して）、Ｉ’（ｍ，ｔ）＝α＊Ｉ（ｍ，ｔ）＋（１－α）＊Ｉ’（ｍ，ｔ－１）（式２）
αは、０～１のユーザーが設定したパラメーターであり、例えば０．１である。加重平均及び／または安定化指標を判定する際に使用される検出フレームの数は、同様に、ユーザー設定可能パラメーターＮであり得る。ステップ４０４ｅでは、最小値（Ｉ’ｍｉｎ（ｍ））及び最大値（Ｉ’ｍａｘ（ｍ））の加重平均強度が、ある期間にわたって、例えば最後のＮ個の検出フレームにわたって、各マイクロ光学素子について計算される。次に、ステップ４０４ｆでは、安定化指標は、Ｉ’ｍａｘ（ｍ）とＩ’ｍｉｎ（ｍ）との差（Ｓ＝Ｉ’ｍａｘ（ｍ）－Ｉ’ｍｉｎ（ｍ））としてリアルタイムで判定できる。図４Ｅは、そのような計算の視覚的実証を提供する。
【0107】
安定化指標の１つの特定の例を前段落で詳述したが、１つ以上の差、比、フロア、及び上限を含む異なる公式を使用して、強度の変化を判定できる。加重指数平均等の加重時間平均を使用して、安定化指標を計算し得る。さらに、判定された安定化指標は、アレイ内の個々のマイクロ光学素子に対応し、例えば、個々の画像画素に関するものであった。画像画素のそれぞれに対して個々の安定化指標を提供することは、通常のライブビューモードよりも少しも容易に（例えば、ユーザーによる）画像読影を行わない。したがって、いくつかの実施形態では、画像画素の領域（マイクロ光学素子のクラスターに対応する領域）に対する安定化指標を判定する。次に、グラフィカルインジケーション（例えば、アイコン、シェーディング、グラフィック、またはカラー）を読影し易いものを、その領域に対応するマイクロ光学素子の安定化指標を示す画像に含めることができる。クラスターは、少なくとも９個のマイクロ光学素子（例えば、少なくとも１６個のマイクロ光学素子、少なくとも２５個のマイクロ光学素子、少なくとも４９個のマイクロ光学素子、または少なくとも６４個のマイクロ光学素子）であり得る。インジケーションは、例えば、クラスター内のマイクロ光学素子から受けた試料光の最小値、最大値、または平均安定化指標に基づき得る。
【0108】
図７Ａ～図７Ｄは、半透明の安定化指標オーバーレイを用いて、試料に関して生成され、ユーザーに表示された画像の例を示し、安定化指標のインジケーションは、画像画素の領域に関するものである。安定化指標は、ライブビューモードにわたって重ね合わされるが、いくつかの実施形態では、画像は、（任意のライブビューモードがない）計算された安定化指標のインジケーションだけを含む。図７Ａ（任意に割り当てられたｔ０）では、試料の多くは、高い安定化指標値に起因する半透明の赤いオーバーレイを有する画像画素領域の大きな割合によって証明されるように動いており（低い安定化を有する）（ひいては、比較的大きな試料運動を示し）、その安定化指標値は、これらの場所に対してある期間にわたって受けた試料光の強度の変化を判定することによって計算される。高運動領域の周辺において、半透明の黄色のオーバーレイによって示されるように、中程度の量の試料運動を伴ういくつかの小さいエリアがある。黄色のインジケーションを伴う画像画素の領域は、相対的により安定した試料のエリアに対応し、ひいては、赤色のインジケーションを伴う画像画素の領域よりも低い安定化指標値を有する。図７Ｂ（ｔ１）、図７Ｃ（ｔ２）、及び図７Ｄ（ｔ３）の連続画像では、試料は次第に安定し、その結果、徐々に、安定化指標値が小さくなり、そして、試料のエリアが徐々に大きくなり、ひいては、赤色インジケーション及び黄色インジケーションが重ね合わされた画像画素の領域がどんどん小さくなる（試料光を受けるマイクロ光学素子のクラスターがどんどん少なくなり、試料運動が顕著に変化し、試料運動が小さくなることを示す）。ユーザーが、画像画素に対する画素値変動が、ライブビューモードにおいて経時的に顕著に低下しているかどうかを判定できない場合でも、図７Ａ～図７Ｄのグラフィカルインジケーションは読影が容易である。ｔ３における試料、またはｔ３の直後の試料は、存在する場合、少ない試料運動アーチファクトが存在するマイクロ光学素子アレイをスキャンすることによって撮像され得る。図７Ｅは、（例えば、マイクロ光学素子アレイをスキャンすることによる撮像の直前の）安定化指標モードのオーバーレイがない試料のライブビューモードを示す。
【0109】
画像表示
いくつかの実施形態では、画像は、それが生成される際にリアルタイムで表示される。いくつかの実施形態では、画像は、画像処理アルゴリズムまたは画像認識アルゴリズムによって自動的に処理され、したがって、少なくともリアルタイムではなく、別個に表示されない場合もある。表示される画像は、１つ以上のグラフィカルユーザーインターフェースに表示され得る。１つ以上のグラフィカルユーザーインターフェースは、画像を変更するユーザー入力を可能にし得る。例えば、ユーザーは、安定化指標ビュー（例えば、オーバーレイ）を示す、もしくは隠すこと、画像（複数可）に対する１つ以上の安定化指標に対する要約統計量を示す、もしくは隠すこと、またはライブビューモードを示す、もしくは隠すこと、が可能であり得る。
いくつかの実施形態では、画像は、それが生成される際にリアルタイムで表示される。いくつかの実施形態では、画像は、画像処理アルゴリズムまたは画像認識アルゴリズムによって自動的に処理され、したがって、少なくともリアルタイムではなく、別個に表示されない場合もある。表示される画像は、１つ以上のグラフィカルユーザーインターフェースに表示され得る。１つ以上のグラフィカルユーザーインターフェースは、画像を変更するユーザー入力を可能にし得る。例えば、ユーザーは、安定化指標ビュー（例えば、オーバーレイ）を示す、もしくは隠すこと、画像（複数可）に対する１つ以上の安定化指標に対する要約統計量を示す、もしくは隠すこと、またはライブビューモードを示す、もしくは隠すこと、が可能であり得る。
【0110】
いくつかの実施形態では、試料を位置決めするとき、安定化指標ビュー（例えば、オーバーレイ）を隠すことが好ましくなり得る。位置決め中、試料は有意に移動し、その結果、試料の広いエリアにわたって（例えば、試料全体にわたって）非常に高い安定化指標値が得られるだろう。したがって、安定化指標ビューは、その時間中に有用な情報を提供しないであろう。実際には、試料が配置される状態を判定しようと試みているユーザーに対して妨害し得る。したがって、コンピューティングデバイス（例えば、撮像システムに含まれる）は、（例えば、ユーザー入力により）試料位置決め期間中に安定化指標ビューを隠し、その後、位置決めが完了した後で試料の安定化を追跡するために、（例えば、さらなるユーザー入力により）安定化指標ビューを可能にし得る。１つ以上の画像安定化指標が十分な安定化が発生していることを示すと、（例えば、マイクロ光学素子アレイの）スキャンパターンを使用する画像収集は、（例えば、自動的に）開始し得る。
【0111】
（例えば、生成された画像をリアルタイムでユーザーに表示するために使用される）１つ以上のグラフィカルユーザーインターフェースを提供して、ユーザーが様々な入力を提供することを可能にし得る。いくつかの実施形態では、グラフィカルユーザーインターフェースは、ユーザーが、画像画素の安定化指標（例えば、加重平均の加重パラメーター（複数可））を計算するために使用したパラメーターを提供することを可能にする。いくつかの実施形態では、グラフィカルユーザーインターフェースは、ユーザーが、場所及び／または配向の情報を用いて、ライブビューモードまたは安定化指標ビュー（例えば、ライブビューモードにわたって重ね合わされる）から単一の画像または複数の画像をタグ付けするための入力を提供することを可能にする。いくつかの実施形態では、グラフィカルユーザーインターフェースは、ユーザーが、安定化指標（例えば、閾値、ビンサイズ、またはインジケーションの特性（例えば、色及び／または透明度）として機能する特定の閾値安定化指標値））を閾値化するための入力を提供することを可能にする。いくつかの実施形態では、グラフィカルユーザーインターフェースは、ユーザーが、生成及び／または表示されている画像（複数可）の輝度及び／またはコントラストをリアルタイムで調整することを可能にする。いくつかの実施形態では、グラフィカルユーザーインターフェースは、ユーザーが、ライブビューモードに対して、グレースケールビューと疑似カラービュー（例えば、組織学的に染色された試料を模倣する、例えば、パープルの影を示す）とを選択する（例えば、切り替える）ことを可能にする。
【0112】
図８Ａ～図８Ｄは、それぞれが安定化指標オーバーレイを伴う試料のライブビューモードを含むグラフィカルユーザーインターフェースの例を示す。図８Ａのグラフィカルユーザーインターフェース（複数可）では、画像８０２は、アレイ内のマイクロ光学素子から受けた試料光の蛍光強度を表すグレースケール画像である。いくつかの画像画素は明るく、いくつかは暗く、試料光を収集するために使用した露光時間にわたる強度の変動を示す。画像８０２は、画像が生成されて表示された時点で、大部分が画像の右側にいくつかの試料運動が発生していることを示す安定化指標オーバーレイも含む。ユーザーインターフェース８０４は、画像８０２に関する要約統計量を示す。要約統計量は、撮像される試料エリアの割合（焦点が合っており、ひいては撮像される固定マイクロ光学素子アレイを用いて撮像するために利用可能な全エリアの割合）と、重要な運動エリアの割合（試料運動が現在高く、それは高安定化指標値に対応する）と、実質的な運動エリアの割合（試料運動が著しいが、中間安定化指標値に対応する重要な運動エリアよりも小さい）と、を含む。インターフェース８０６は、ユーザーが場所及び／または配向の情報を画像８０２にタグ付けすることを可能にするとともに、マイクロ光学素子アレイのスキャンを開始することによってフル画像収集を開始することを可能にする。例えば、ユーザーは、画像８０２を見て、安定化指標オーバーレイによって示された試料運動の量が、高品質のフルスキャン画像が生成され得るほど十分に小さいと判定し得、ひいては、スキャンを開始するために「収集」ボタンをクリックし得る。
【0113】
図８Ｂは図８Ａと同様であるが、ただし、要約統計量が時間分解能で示されることを除く。それにより、ユーザーが、撮像試料エリアの割合、重要な運動エリアの割合、及び実質的運動エリアの割合の傾向を観察することが容易になり得る。これらの統計でより小さいまたは最小の変化が生じる長期間は、より良好な試料安定化を示すであろう。いくつかの実施形態では、重要な運動エリアの割合及び／または実質的運動エリアの割合は、スキャンによるフル撮像を開始する前に、ゼロに向かう傾向がある、またはゼロから少量（例えば、１～５％）の範囲内にあることが好ましい。
【0114】
図８Ｃは、図８Ａ及び図８Ｂと同様であるが、ただし、画像８０２を生成するために使用したパラメーターをユーザーが入力することを可能にするために、インターフェース８０８、８１０が提供されていることを除く。インターフェース８０８は、画像８０２に示される安定化指標オーバーレイに関連付けられたパラメーターの入力と、インターフェースを示す／隠すボタンとを含む。ユーザーによって変更できるパラメーターは、安定化指標のインジケーションの透明度（例えば、基礎となるライブビューモードを見やすくする、または見にくくするために、ユーザーによって変更され得る）、ビニング（例えば、インジケーションの領域が対応するマイクロ光学素子のクラスターの大きさ、現在４×４に設定されている）、及び各領域（４×４）を暗くする／色付けする色（ヌル、黄、または赤）を判定する安定化指標の閾値を含む。インターフェース８１０は、最小強度及び最大強度を判定するための加重パラメーター及び検出フレームの数を含む、個々の領域に対する安定化指標値を計算するために使用したパラメーターを含む。
【0115】
図８Ｄは図８Ｃと同様であるが、ただし、画像８０２がグレースケール画像ではなく、むしろ、画像８０２に含まれるライブビューモードの画像画素が組織学的染色を模倣する疑似カラー、この場合はパープルを有する画像であることを除く。
【0116】
スキャンなしでマイクロ光学素子アレイから受けた試料光から生成された画像は、それぞれがアレイ内の各々のマイクロ光学素子を表す画像画素を含み得る。したがって、アレイ内のマイクロ光学素子の数は、典型的な画像解像度に対して低くなり得るので、画像は、比較的低解像度であり得る。画像は、高い最大解像度を有する（例えば、撮像システムの）ディスプレイ（例えば、１０８０ｐまたは４Ｋモニターであり得る）を用いてユーザーに表示され得る。したがって、ディスプレイ上で画像を合理的な物理的サイズにするために、複数の表示画素を使用して、個々の画像画素を表示し得る。均一なスケーリングを使用する限り、画像に対する歪みは発生しない。補間は、画像を高解像度ディスプレイ上に表示するために、スケーリングの代わりに、または、それに加えて使用され得る。
【0117】
コンピューターシステム、コンピューティングデバイス、及びネットワークの実施態様
本明細書で開示されるシステム及び方法の例示的な実施形態は、コンピューティングデバイスによってローカルで行われた計算を参照して上記に説明した。しかしながら、ネットワークを通じて行われた計算も考えられる。図９は、本明細書に説明される方法及びシステムで使用するための例示的なネットワーク環境９００を示す。簡潔な概要では、ここで図９を参照して、例示的なクラウドコンピューティング環境９００のブロック図が示され及び説明される。クラウドコンピューティング環境９００は、１つ以上のリソースプロバイダー９０２ａ、９０２ｂ、９０２ｃ（まとめて、９０２）を含み得る。リソースプロバイダー９０２のそれぞれは、コンピューティングリソースを含み得る。いくつかの実施態様では、コンピューティングリソースは、データを処理するために使用した任意のハードウェア及び／またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータープログラム、及び／またはコンピューターアプリケーションを実行する能力を有するハードウェア及び／またはソフトウェアを含み得る。いくつかの実施態様では、例示的なコンピューティングリソースは、記憶能力及び検索能力を伴うアプリケーションサーバー及び／またはデータベースを含み得る。リソースプロバイダー９０２のそれぞれは、クラウドコンピューティング環境９００内の任意の他のリソースプロバイダー９０２に接続され得る。いくつかの実施態様では、リソースプロバイダー９０２は、コンピューターネットワーク９０８を通じて接続され得る。リソースプロバイダー９０２のそれぞれは、コンピューターネットワーク９０８を通じて、１つ以上のコンピューティングデバイス９０４ａ、９０４ｂ、９０４ｃ（まとめて、９０４）に接続され得る。
本明細書で開示されるシステム及び方法の例示的な実施形態は、コンピューティングデバイスによってローカルで行われた計算を参照して上記に説明した。しかしながら、ネットワークを通じて行われた計算も考えられる。図９は、本明細書に説明される方法及びシステムで使用するための例示的なネットワーク環境９００を示す。簡潔な概要では、ここで図９を参照して、例示的なクラウドコンピューティング環境９００のブロック図が示され及び説明される。クラウドコンピューティング環境９００は、１つ以上のリソースプロバイダー９０２ａ、９０２ｂ、９０２ｃ（まとめて、９０２）を含み得る。リソースプロバイダー９０２のそれぞれは、コンピューティングリソースを含み得る。いくつかの実施態様では、コンピューティングリソースは、データを処理するために使用した任意のハードウェア及び／またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータープログラム、及び／またはコンピューターアプリケーションを実行する能力を有するハードウェア及び／またはソフトウェアを含み得る。いくつかの実施態様では、例示的なコンピューティングリソースは、記憶能力及び検索能力を伴うアプリケーションサーバー及び／またはデータベースを含み得る。リソースプロバイダー９０２のそれぞれは、クラウドコンピューティング環境９００内の任意の他のリソースプロバイダー９０２に接続され得る。いくつかの実施態様では、リソースプロバイダー９０２は、コンピューターネットワーク９０８を通じて接続され得る。リソースプロバイダー９０２のそれぞれは、コンピューターネットワーク９０８を通じて、１つ以上のコンピューティングデバイス９０４ａ、９０４ｂ、９０４ｃ（まとめて、９０４）に接続され得る。
【0118】
クラウドコンピューティング環境９００は、リソースマネージャー９０６を含み得る。リソースマネージャー９０６は、コンピューターネットワーク９０８を通じて、リソースプロバイダー９０２及びコンピューティングデバイス９０４に接続され得る。いくつかの実施態様では、リソースマネージャー９０６は、１つ以上のコンピューティングデバイス９０４への１つ以上のリソースプロバイダー９０２によるコンピューティングリソースのプロビジョンを促進し得る。リソースマネージャー９０６は、特定のコンピューティングデバイス９０４からコンピューティングリソースについての要求を受信し得る。リソースマネージャー９０６は、コンピューティングデバイス９０４によって要求されたコンピューティングリソースを提供する能力を有する１つ以上のリソースプロバイダー９０２を識別し得る。リソースマネージャー９０６は、コンピューティングリソースを提供するためにリソースプロバイダー９０２を選択し得る。リソースマネージャー９０６は、リソースプロバイダー９０２と特定のコンピューティングデバイス９０４との間の接続を促進し得る。いくつかの実施態様では、リソースマネージャー９０６は、特定のリソースプロバイダー９０２と特定のコンピューティングデバイス９０４との間の接続を確立し得る。いくつかの実施態様では、リソースマネージャー９０６は、特定のコンピューティングデバイス９０４を、要求されるコンピューティングリソースを伴う特定のリソースプロバイダー９０２にリダイレクトし得る。
【0119】
図１０は、本開示で説明される方法及びシステムで使用できるコンピューティングデバイス１０００及びモバイルコンピューティングデバイス１０５０の例を示す。コンピューティングデバイス１０００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバー、ブレードサーバー、メインフレーム、及び他の適切なコンピューター等、様々な形式のデジタルコンピューターを表すことが意図される。モバイルコンピューティングデバイス１０５０は、携帯情報端末、携帯電話、スマートフォン、及び他の同様のコンピューティングデバイス等、様々な形式のモバイルデバイスを表すことが意図される。ここで示されるコンポーネント、それらの接続及び関係、ならびにそれらの機能は、実施例にすぎないことを意味し、限定することを意味しない。
【0120】
コンピューティングデバイス１０００は、プロセッサ１００２、メモリ１００４、ストレージデバイス１００６、メモリ１００４及び複数の高速拡張ポート１０１０に接続する高速インターフェース１００８、ならびに低速拡張ポート１０１４及びストレージデバイス１００６に接続する低速インターフェース１０１２を含む。プロセッサ１００２、メモリ１００４、ストレージデバイス１００６、高速インターフェース１００８、高速拡張ポート１０１０、及び低速インターフェース１０１２のそれぞれは、様々なバスを使用して相互接続され、必要に応じて共通のマザーボード上に、または他の方式で搭載され得る。プロセッサ１００２は、メモリ１００４またはストレージデバイス１００６に記憶された命令を含む、コンピューティングデバイス１０００内で実行するための命令を処理して、高速インターフェース１００８に結合されたディスプレイ１０１６等の外部入力／出力デバイス上に、ＧＵＩについてのグラフィカル情報を表示できる。他の実施態様では、複数のメモリ及び複数のタイプのメモリと一緒に、必要に応じて、複数のプロセッサ及び／または複数のバスを使用し得る。また、複数のコンピューティングデバイスは、（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステムとして）必要な演算の一部を提供する各デバイスと接続され得る。また、複数のコンピューティングデバイスは、（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステムとして）必要な演算の一部を提供する各デバイスと接続され得る。したがって、その用語が本明細書で使用される場合、複数の機能が「プロセッサ」によって行われているものとして説明される場合、これは、任意の数のコンピューティングデバイス（例えば、１つ以上のコンピューティングデバイス）の任意の数のプロセッサ（例えば、１つ以上のプロセッサ）によって複数の機能が行われる実施形態を包含する。さらに、機能が「プロセッサ」によって行われているものとして説明される場合、これは、（例えば、分散コンピューティングシステムにおいて）任意の数のコンピューティングデバイス（例えば、１つ以上のコンピューティングデバイス）の任意の数のプロセッサ（例えば、１つ以上のプロセッサ）によって機能が行われる実施形態を包含する。
【0121】
メモリ１００４は、コンピューティングデバイス１０００内に情報を記憶する。いくつかの実施態様では、メモリ１００４は、単数の揮発性メモリユニット、または複数の揮発性メモリユニットである。いくつかの実施態様では、メモリ１００４は、単数の不揮発性メモリユニット、または複数の不揮発性メモリユニットである。また、メモリ１００４は、磁気ディスクまたは光学ディスク等の別の形態のコンピューター可読媒体でもあり得る。
【0122】
ストレージデバイス１００６は、コンピューティングデバイス１０００に対して大容量ストレージを提供する能力を有する。いくつかの実施態様では、ストレージデバイス１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、もしくはテープデバイス、フラッシュメモリ、もしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイ等、コンピューター可読媒体であり得る、またはコンピューター可読媒体を含み得る。命令は情報キャリアに記憶できる。命令は、１つ以上の処理デバイス（例えば、プロセッサ１００２）によって実行されるとき、上記に説明した方法等、１つ以上の方法を行う。また、命令は、コンピューター可読媒体または機械可読媒体等の１つ以上のストレージデバイス（例えば、メモリ１００４、ストレージデバイス１００６、またはプロセッサ１００２上のメモリ）に記憶できる。
【0123】
高速インターフェース１００８は、コンピューティングデバイス１０００に対する帯域幅集約的演算を管理する一方、低速インターフェース１０１２は、より低い帯域幅集約的演算を管理する。そのような機能の割り当ては例にすぎない。いくつかの実施態様では、高速インターフェース１００８は、メモリ１００４、ディスプレイ１０１６（例えば、グラフィックプロセッサまたはアクセラレータを経由して）、及び様々な拡張カード（図示しない）を受け入れ得る高速拡張ポート１０１０に結合される。実施態様では、低速インターフェース１０１２は、ストレージデバイス１００６及び低速拡張ポート１０１４に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る低速拡張ポート１０１４は、例えば、ネットワークアダプタを経由して、キーボード、ポインティングデバイス、スキャナ等の１つ以上の入力／出力デバイス、またはスイッチもしくはルーター等のネットワーキングデバイスに結合され得る。
【0124】
コンピューティングデバイス１０００は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準サーバー１０２０として実装され得る、またはそのようなサーバーのグループで複数回実装され得る。加えて、それは、ラップトップコンピューター１０２２等のパーソナルコンピューターに実装され得る。また、それは、ラックサーバーシステム１０２４の一部として実装され得る。代替的に、コンピューティングデバイス１０００からのコンポーネントは、モバイルコンピューティングデバイス１０５０等のモバイルデバイス（図示しない）における他のコンポーネントと組み合わされ得る。そのようなデバイスのそれぞれは、コンピューティングデバイス１０００及びモバイルコンピューティングデバイス１０５０のうちの１つ以上を含み得、システム全体は、相互に通信する複数のコンピューティングデバイスから構成され得る。
【0125】
モバイルコンピューティングデバイス１０５０は、コンポーネントの中でも特に、プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４等の入力／出力デバイス、通信インターフェース１０６６、及び送受信機１０６８を含む。また、モバイルコンピューティングデバイス１０５０は、追加のストレージを提供するために、マイクロドライブまたは他のデバイス等のストレージデバイスが提供され得る。プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４、通信インターフェース１０６６、及び送受信機１０６８のそれぞれは、様々なバスを使用して相互接続され、コンポーネントのいくつかは、必要に応じて、共通のマザーボード上に、または他の方式で搭載され得る。
【0126】
プロセッサ１０５２は、メモリ１０６４に記憶された命令を含む、モバイルコンピューティングデバイス１０５０内で命令を実行できる。プロセッサ１０５２は、別個の及び複数のアナログプロセッサ及びデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ１０５２は、例えば、ユーザーインターフェースの制御、モバイルコンピューティングデバイス１０５０によって起動するアプリケーションの制御、及びモバイルコンピューティングデバイス１０５０による無線通信の制御等、モバイルコンピューティングデバイス１０５０の他のコンポーネントの調整を提供し得る。
【0127】
プロセッサ１０５２は、制御インターフェース１０５８と、ディスプレイ１０５４に結合されたディスプレイインターフェース１０５６とを経由して、ユーザーと通信し得る。ディスプレイ１０５４は、例えば、ＴＦＴディスプレイ（薄膜－トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース１０５６は、グラフィカル情報及び他の情報をユーザーに提供するようにディスプレイ１０５４を駆動するために、適切な回路を含み得る。制御インターフェース１０５８は、ユーザーからコマンドを受信し得、プロセッサ１０５２へのサブミッションのためにそれらを変換し得る。加えて、外部インターフェース１０６２は、他のデバイスとのモバイルコンピューティングデバイス１０５０の短距離通信を可能にするように、プロセッサ１０５２との通信を提供し得る。外部インターフェース１０６２は、いくつかの実施態様では、例えば、有線通信を提供し得、または、他の実施態様では、無線通信を提供し得、そして、複数のインターフェースも使用され得る。
【0128】
メモリ１０６４は、モバイルコンピューティングデバイス１０５０内に情報を記憶する。メモリ１０６４は、単数のコンピューター可読媒体もしくは複数のコンピューター可読媒体、単数の揮発性メモリユニットもしくは複数の揮発性メモリユニット、または単数の不揮発性メモリユニットもしくは複数の不揮発性メモリユニットのうちの１つ以上として実装できる。また、拡張メモリ１０７４も提供され得、拡張インターフェース１０７２を経由してモバイルコンピューティングデバイス１０５０に接続され得、拡張インターフェース１０７２は、例えば、ＳＩＭＭ（シングル・インライン・メモリ・モジュール）カードインターフェースを含み得る。拡張メモリ１０７４は、モバイルコンピューティングデバイス１０５０に対して特別のストレージスペースを提供し得、または、モバイルコンピューティングデバイス１０５０に対してアプリケーションもしくは他の情報も記憶し得る。具体的には、拡張メモリ１０７４は、上記に説明したプロセスを実施または補完する命令を含み得、また、セキュア情報を含み得る。したがって、例えば、拡張メモリ１０７４は、モバイルコンピューティングデバイス１０５０に対してセキュリティモジュールとして提供され得、モバイルコンピューティングデバイス１０５０の安全な使用を許可する命令がプログラムされ得る。加えて、セキュアアプリケーションは、ハッキングできない方式でＳＩＭＭカードに識別情報を配置すること等、追加情報と一緒に、ＳＩＭＭカードを介して提供され得る。
【0129】
メモリは、例えば、下記に説明されるように、フラッシュメモリ及び／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含み得る。いくつかの実施態様では、命令は、情報キャリアに記憶され、１つ以上の処理デバイス（例えば、プロセッサ１０５２）によって実行されるとき、上記に説明した方法等、１つ以上の方法を行う。また、命令は、コンピューター可読媒体または機械可読媒体等の１つ以上のストレージデバイス（例えば、メモリ１０６４、拡張メモリ１０７４、またはプロセッサ１０５２上のメモリ）に記憶できる。いくつかの実施態様では、命令は、送受信機１０６８または外部インターフェース１０６２を通じて、伝播信号で受信できる。
【0130】
モバイルコンピューティングデバイス１０５０は、必要な場合、デジタル信号処理回路を含み得る通信インターフェース１０６６を経由して無線で通信し得る。通信インターフェース１０６６は、とりわけ、ＧＳＭ（登録商標）ボイスコール（グローバルシステムフォーモバイルコミュニケーションズ）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（エンハンストメッセージングサービス）、またはＭＭＳメッセージング（マルチメディアメッセージングサービス）、ＣＤＭＡ（符号分割多重アクセス）、ＴＤＭＡ（時分割多重アクセス）、ＰＤＣ（パーソナルデジタルセルラー）、ＷＣＤＭＡ（登録商標）（広帯域符号分割多重アクセス）、ＣＤＭＡ２０００、またはＧＰＲＳ（ジェネラルパケットラジオサービス）等、様々なモードまたはプロトコルの下での通信を提供し得る。そのような通信は、例えば、無線周波数を使用して送受信機１０６８を経由して発生し得る。加えて、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（商標）、または他のそのような送受信機（図示しない）等を使用して、短距離通信が発生し得る。加えて、ＧＰＳ（グローバルポジショニングシステム）受信機モジュール１０７０は、モバイルコンピューティングデバイス１０５０に、必要に応じてモバイルコンピューティングデバイス１０５０上で起動するアプリケーションによって使用され得る、追加のナビゲーションデータ及び場所関連無線データを提供し得る。
【0131】
また、モバイルコンピューティングデバイス１０５０は、音声コーデック１０６０を使用して聴覚的に通信し得、音声コーデック１０６０は、ユーザーから発話された情報を受信し、その情報を使用可能なデジタル情報に変換し得る。同様に、音声コーデック１０６０は、例えば、モバイルコンピューティングデバイス１０５０のハンドセットにおいて、スピーカー等を経由して、ユーザーに対する可聴音を生成し得る。そのような音は、音声電話呼び出しからの音を含み得、記録された音（例えば、ボイスメッセージ、ミュージックファイル等）を含み得、また、モバイルコンピューティングデバイス１０５０上で動作するアプリケーションによって生成された音も含み得る。
【0132】
モバイルコンピューティングデバイス１０５０は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、携帯電話１０８０として実装され得る。また、それは、スマートフォン１０８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実装され得る。
【0133】
ここで説明されるシステム及び技術の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピューターハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせにおいて実現できる。これらの様々な実施態様は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／または解読可能である１つ以上のコンピュータープログラムにおける実施態様を含み得、少なくとも１つのプログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、それらにデータ及び命令を送信するために結合された、特殊または汎用のものであり得る。
【0134】
これらのコンピュータープログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサに対する機械命令を含み、高レベル手続き型プログラミング言語、及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、機械可読媒体及びコンピューター可読媒体という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／またはデータを提供するために使用される任意のコンピュータープログラム製品、装置、及び／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。機械可読信号という用語は、プログラマブルプロセッサに機械命令及び／またはデータを提供するために使用される任意の信号を指す。
【0135】
ユーザーとのインタラクションを提供するために、ここで説明されるシステム及び技術は、ユーザーに情報を表示するためのディスプレイデバイス（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）と、ユーザーがコンピューターに入力を提供できるキーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを有するコンピューター上に実装できる。同様に、他の種類のデバイスを使用して、ユーザーとのインタラクションを提供できる。例えば、ユーザーに提供されたフィードバックは、任意の形式の知覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触知的フィードバック）であり得、ユーザーからの入力は、音響入力、発話入力、または触知的入力を含む、任意の形式で受信できる。
【0136】
ここで説明されるシステム及び技術はコンピューティングシステムに実装でき、コンピューティングシステムはバックエンドコンポーネント（例えば、データサーバー等）を含む、またはコンピューティングシステムはミドルウェアコンポーネント（例えば、アプリケーションサーバー）を含む、あるいはコンピューティングシステムは、フロントエンドコンポーネント（例えば、ユーザーがここで説明されるシステム及び技術の実施態様とインタラクトできるグラフィカルユーザーインターフェースまたはウェブブラウザを有するクライアントコンピューター）、または、そのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせを含む。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットを含む。
【0137】
コンピューティングシステムは、クライアント及びサーバーを含み得る。クライアント及びサーバーは、概して、相互にリモートであり、典型的には、通信ネットワークを経由してインタラクトする。クライアント及びサーバーの関係は、各々のコンピューター上で起動し、相互にクライアント－サーバー関係を有するコンピュータープログラムにより生じる。
【0138】
本開示の特定の実施形態は上記に説明した。しかしながら、本開示はこれらの実施形態に限定されないが、むしろ本開示で明確に説明したことへの追加及び修正も本開示の範囲内に含まれることが意図されていることを特に留意されたい。さらに、本開示で説明した様々な実施形態の特徴は互いに排他的でなく、様々な組み合わせ及び並べ換えで存在する可能性があり、これは、そのような組み合わせまたは並べ換えが表されなかった場合でも、本開示の主旨及び範囲から逸脱することなく可能であることを理解されたい。本開示は、その特定の実施形態を特に参照して詳細に説明してきたが、変形及び修正は、特許請求される発明の主旨及び範囲内で生じる可能性があることを理解されよう。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【国際調査報告】