(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-08
(54)【発明の名称】カラー血液スミア画像の人工的な生成
(51)【国際特許分類】
G01N 33/49 20060101AFI20230201BHJP
G01N 21/27 20060101ALI20230201BHJP
G02B 21/36 20060101ALI20230201BHJP
G06T 7/90 20170101ALI20230201BHJP
G06V 10/56 20220101ALI20230201BHJP
【FI】
G01N33/49 K
G01N21/27 A
G02B21/36
G06T7/90 C
G06V10/56
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022534369
(86)(22)【出願日】2020-12-10
(85)【翻訳文提出日】2022-08-05
(86)【国際出願番号】 IB2020061736
(87)【国際公開番号】W WO2021116962
(87)【国際公開日】2021-06-17
(32)【優先日】2019-12-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】522138250
【氏名又は名称】エス.ディー.サイト ダイアグノスティックス リミテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ハルペリン,ヨナタン
(72)【発明者】
【氏名】グラック,ダン
(72)【発明者】
【氏名】ヨラフ-ラファエル,ノーム
(72)【発明者】
【氏名】エシェル,ヨーハイ シュロモ
(72)【発明者】
【氏名】レヴィー,サラ
(72)【発明者】
【氏名】ポラック,ジョゼフ ジョエル
【テーマコード(参考)】
2G045
2G059
2H052
5L096
【Fターム(参考)】
2G045BB24
2G045CA01
2G045FA13
2G045FA16
2G045FA17
2G045FA19
2G045GC10
2G045GC15
2G045HA16
2G059AA01
2G059AA05
2G059BB13
2G059BB14
2G059CC16
2G059DD03
2G059EE01
2G059EE07
2G059EE13
2G059FF01
2G059FF03
2G059GG02
2G059GG03
2G059HH02
2G059JJ02
2G059JJ11
2G059KK01
2G059KK04
2H052AC07
2H052AC14
2H052AC33
2H052AF14
2H052AF21
2H052AF25
5L096AA02
5L096BA06
5L096BA13
5L096CA18
5L096GA40
5L096GA41
5L096HA11
5L096KA04
(57)【要約】
【課題】 血液サンプルと共に用いるための装置及び方法を提供することである。
【解決手段】 顕微鏡(24)を用いて、血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得する。画像の各々はそれぞれ異なる撮像条件を用いて取得され、3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得される。少なくとも1つのコンピュータプロセッサ(28)を用いて、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成する。これは、3枚の画像のうち第1のものを人工カラー顕微鏡画像の赤チャネルにマッピングし、3枚の画像のうち第2のものを人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし、3枚の画像のうち第3のものを人工カラー顕微鏡画像の第3のカラーチャネルにマッピングすることによって行われる。他の適用例も記載される。
【選択図】
図4B
【特許請求の範囲】
【請求項1】
血液サンプルと共に用いるための方法であって、
顕微鏡を用いて前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得され、前記3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
前記3枚の画像のうち前記第1のものを前記人工カラー顕微鏡画像の赤チャネルにマッピングし、
前記3枚の画像のうち第2のものを前記人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし、
前記3枚の画像のうち第3のものを前記人工カラー顕微鏡画像の第3のカラーチャネルにマッピングする、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む方法。
【請求項2】
前記3枚の画像のうち前記第1のものは、オフフォーカス紫色光明視野撮像条件のもとで取得された画像である、請求項1に記載の方法。
【請求項3】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することを含む、請求項1又は2に記載の方法。
【請求項4】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む、請求項1から3のいずれか1項に記載の方法。
【請求項5】
前記3枚の画像のうち前記第1のものを前記人工RGB顕微鏡画像の前記赤チャネルにマッピングすることは、前記3枚の画像のうち前記第1のものの負コントラスト画像を生成すること、及び前記負コントラスト画像を前記人工RGB顕微鏡画像の前記赤チャネルにマッピングすることを含む、請求項1から4のいずれか1項に記載の方法。
【請求項6】
血液サンプルと共に用いるための装置であって、
前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得され、前記3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得される、顕微鏡と、
出力デバイスと、
前記出力デバイス上に前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
前記3枚の画像のうち前記第1のものを前記人工カラー顕微鏡画像の赤チャネルにマッピングし、
前記3枚の画像のうち第2のものを前記人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし、
前記3枚の画像のうち第3のものを前記人工カラー顕微鏡画像の第3のカラーチャネルにマッピングする、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されたコンピュータプロセッサと、
を備える装置。
【請求項7】
前記顕微鏡は、オフフォーカス紫色光明視野撮像条件のもとで取得された画像である前記3枚の画像のうち前記第1のものを取得するように構成されている、請求項6に記載の装置。
【請求項8】
前記コンピュータプロセッサは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項6に記載の装置。
【請求項9】
前記コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項6に記載の装置。
【請求項10】
前記コンピュータプロセッサは、前記3枚の画像のうち前記第1のものの負コントラスト画像を生成すること、及び前記負コントラスト画像を前記人工RGB顕微鏡画像の前記赤チャネルにマッピングすることによって、前記3枚の画像のうち前記第1のものを前記人工RGB顕微鏡画像の前記赤チャネルにするように構成されている、請求項6に記載の装置。
【請求項11】
血液サンプルと共に用いるための方法であって、
顕微鏡を用いて前記血液サンプルの顕微鏡撮像フィールドの複数の画像を取得することであって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、複数の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて、カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせることと、
を含む方法。
【請求項12】
カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせることは、ニューラルネットワークを用いて、カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせることを含む、請求項11に記載の方法。
【請求項13】
カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせることは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む、請求項11又は12に記載の方法。
【請求項14】
血液サンプルと共に用いるための装置であって、
前記血液サンプルの顕微鏡撮像フィールドの複数の画像を取得するように構成された顕微鏡であって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を前記出力デバイス上に生成するように前記複数の画像の各々からのデータを組み合わせるよう構成された少なくとも1つのコンピュータプロセッサと、
を備える装置。
【請求項15】
前記コンピュータプロセッサは、ニューラルネットワークを用いて、カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせるよう構成されている、請求項14に記載の装置。
【請求項16】
前記コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて、カラースミア画像のように見える前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように前記複数の画像の各々からのデータを組み合わせるよう構成されている、請求項14に記載の装置。
【請求項17】
血液サンプルと共に用いるための方法であって、
顕微鏡を用いて前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
閾値未満の強度を有する前記画像内の画素を除去するように、前記画像の各々の正規化バージョンを生成し、
前記画像の各々の前記正規化バージョンを加法カラーモデル内のそれぞれ異なるチャネルにマッピングする、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む方法。
【請求項18】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することを含む、請求項17に記載の方法。
【請求項19】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む、請求項17に記載の方法。
【請求項20】
前記画像の各々の正規化バージョンを生成することは、前記画像のうち少なくとも1枚において、
前記画像内の最大強度を決定することと、
前記最大強度の半分未満の強度を有する全ての画素を除去することと、
を含む、請求項17から19のいずれか1項に記載の方法。
【請求項21】
前記画像の各々の正規化バージョンを生成することは、前記画像のうち前記少なくとも1枚において、
前記画像の強度ヒストグラムを生成することと、
少なくとも前記最大強度の半分に等しい強度を有する前記画像内の各画素において、
前記画像内の前記最大強度の半分よりも大きい強度を有する前記強度ヒストグラム内の最近極大値を識別することと、
前記最大強度と前記極大値の前記強度との前記差に基づいて前記画素の前記強度を正規化することと、
を更に含む、請求項20に記載の方法。
【請求項22】
血液サンプルと共に用いるための装置であって、
前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
前記出力デバイス上に前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
閾値未満の強度を有する前記画像内の画素を除去するように、前記画像の各々の正規化バージョンを生成し、
前記画像の各々の前記正規化バージョンを加法カラーモデル内のそれぞれ異なるチャネルにマッピングする、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサと、
を備える装置。
【請求項23】
前記コンピュータプロセッサは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項22に記載の装置。
【請求項24】
前記コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて、前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項22に記載の装置。
【請求項25】
前記コンピュータプロセッサは、前記画像のうち少なくとも1枚において、
前記画像内の最大強度を決定すること、及び
前記最大強度の半分未満の強度を有する全ての画素を除去すること、
によって、前記画像の各々の前記正規化バージョンを生成するように構成されている、請求項22から24のいずれか1項に記載の装置。
【請求項26】
前記コンピュータプロセッサは、前記画像のうち前記少なくとも1枚において、
前記画像の強度ヒストグラムを生成すること、並びに、
少なくとも前記最大強度の半分に等しい強度を有する前記画像内の各画素において、
前記画像内の前記最大強度の半分よりも大きい強度を有する前記強度ヒストグラム内の最近極大値を識別すること、及び
前記最大強度と前記極大値の前記強度との前記差に基づいて前記画素の前記強度を正規化すること、
によって、前記画像の各々の前記正規化バージョンを生成するように構成されている、請求項25に記載の装置。
【請求項27】
血液サンプルと共に用いるための方法であって、
顕微鏡を用いて前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
前記画像の各々を加法カラーモデル内のそれぞれ異なるチャネルにマッピングして初期カラー画像を生成し、
閾値未満の強度を有する前記画像内の画素を除去するように前記初期カラー画像の正規化バージョンを生成する、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む方法。
【請求項28】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することを含む、請求項27に記載の方法。
【請求項29】
前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む、請求項27に記載の方法。
【請求項30】
前記初期カラー画像の前記正規化バージョンを生成することは、
前記初期カラー画像内の最大強度を決定することと、
前記最大強度の半分未満の強度を有する全ての画素を除去することと、
を含む、請求項27から29のいずれか1項に記載の方法。
【請求項31】
前記初期カラー画像の前記正規化バージョンを生成することは、
前記画像の強度ヒストグラムを生成することと、
少なくとも前記最大強度の半分に等しい強度を有する前記初期カラー画像内の各画素において、
前記画像内の前記最大強度の半分よりも大きい強度を有する前記強度ヒストグラム内の最近極大値を識別することと、
前記最大強度と前記極大値の前記強度との前記差に基づいて前記画素の前記強度を正規化することと、
を更に含む、請求項30に記載の方法。
【請求項32】
血液サンプルと共に用いるための装置であって、
前記血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、前記画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
前記出力デバイス上に前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
前記画像の各々を加法カラーモデル内のそれぞれ異なるチャネルにマッピングして初期カラー画像を生成し、
閾値未満の強度を有する前記画像内の画素を除去するように前記初期カラー画像の正規化バージョンを生成する、
ことによって、前記顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサと、
を備える装置。
【請求項33】
前記コンピュータプロセッサは、ニューラルネットワークを用いて前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項32に記載の装置。
【請求項34】
前記コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて、前記顕微鏡撮像フィールドの前記人工カラー顕微鏡画像を生成するように構成されている、請求項32に記載の装置。
【請求項35】
前記コンピュータプロセッサは、
前記初期カラー画像内の最大強度を決定すること、及び
前記最大強度の半分未満の強度を有する全ての画素を除去すること、
によって、前記初期カラー画像の前記正規化バージョンを生成するように構成されている、請求項32から34のいずれか1項に記載の装置。
【請求項36】
前記コンピュータプロセッサは、
前記画像の強度ヒストグラムを生成すること、並びに、
少なくとも前記最大強度の半分に等しい強度を有する前記初期カラー画像内の各画素において、
前記画像内の前記最大強度の半分よりも大きい強度を有する前記強度ヒストグラム内の最近極大値を識別すること、及び
前記最大強度と前記極大値の前記強度との前記差に基づいて、前記画素の前記強度を正規化すること、
によって、前記初期カラー画像の前記正規化バージョンを生成するように構成されている、請求項25に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2019年12月12日に出願された「Artificial generation of a color blood smear image」と題するHalperin等に対する米国仮特許出願第US62/946,988号の優先権を主張する。これは援用により本願に含まれる。
【0002】
ここに開示される主題のいくつかの適用例は、一般に身体サンプルの分析に関し、具体的には、血液サンプルに実行される光学密度測定及び顕微鏡下の測定に関する。
【背景技術】
【0003】
いくつかの光学に基づく方法(例えば診断法及び/又は分析法)では、光学測定を実行することによって、血液サンプル等の生物サンプルの特性が決定される。例えば、顕微鏡画像内の成分をカウントすることにより、成分の密度(例えば単位体積当たりの成分の数)を決定することができる。同様に、サンプルに光吸収、透過率、蛍光、及び/又は発光の測定を行うことにより、成分の濃度及び/又は密度を測定することができる。典型的には、サンプルをサンプルキャリアに載せ、サンプルキャリアのチャンバ内に含まれているサンプルの部分に対して測定を実行する。サンプルキャリアのチャンバ内に含まれているサンプルの部分に実行される測定は、サンプルの特性を決定するため分析される。
【発明の概要】
【0004】
本発明のいくつかの適用例によれば、血液サンプルの顕微鏡撮像フィールド(imaging field)の複数の画像を取得し、各画像をそれぞれ異なる撮像条件を用いて取得する。典型的に、画像のうち少なくとも1枚は、紫色照明条件のもとで(例えば、400nm~450nmの範囲内の波長の光による照明のもとで)取得される明視野画像である。更に典型的には、画像のうち少なくとも1枚は蛍光画像である。コンピュータプロセッサは、カラースミア画像(color smear image)のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように、複数の画像の各々からのデータを組み合わせる。いくつかの適用例では、コンピュータプロセッサは、画像を組み合わせてカラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように、ニューラルネットワークを動作させる。典型的に、RGB、CIE、HSV、及び/又はそれらの組み合わせのような1つ以上のカラーモデルを用いて、人工カラー顕微鏡画像を生成する。
【0005】
典型的に、明視野紫色照明条件のもとで取得された画像は、人工カラー顕微鏡画像の赤チャネルにマッピングされる。更に典型的には、画像は赤チャネルにマッピングされる前に負コントラスト画像(negative contrast image)に変換される。いくつかの適用例では、明視野紫色照明条件のもとで取得された画像を負コントラスト画像にマッピングした結果、赤血球は、カラースミア画像の赤血球の外観と同様の(例えばギムザスミア染色法又はライト-ロマノフスキースミア染色法を用いて生成したものと同様の)外観を有する。
【0006】
いくつかの適用例では、各撮像モダリティ(imaging modality)のもとで3枚の画像を取得する。例えば、明視野紫色照明条件のもとで取得される画像に加えて、2枚の蛍光画像を取得することができる。例えば、各波長帯の光(例えばUV光及び青色光)によって血液サンプルを励起した後に、2枚の蛍光画像を取得すればよい。あるいは、同一の波長帯の光によってサンプルを励起するが、それぞれ異なる吸収フィルタ(emission filter)を用いた後に、2枚の蛍光画像を取得すればよい。典型的に、第2の画像は人工カラー顕微鏡画像の第2のカラーチャネルにマッピングされ、第3の画像は人工カラー顕微鏡画像の第3のカラーチャネルにマッピングされる。例えばRGBカラーモデルを用いる場合、第1の画像を(上述のように)赤チャネルにマッピングし、第2の画像を緑チャネルにマッピングし、第3の画像を青チャネルにマッピングすることができる。
【0007】
従って、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための方法が提供される。この方法は、
顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、画像の各々はそれぞれ異なる撮像条件を用いて取得され、3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
3枚の画像のうち第1のものを人工カラー顕微鏡画像の赤チャネルにマッピングし、
3枚の画像のうち第2のものを人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし、
3枚の画像のうち第3のものを人工カラー顕微鏡画像の第3のカラーチャネルにマッピングする、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む。
【0008】
いくつかの適用例において、3枚の画像のうち第1のものは、オフフォーカス(off-focus)紫色光明視野撮像条件のもとで取得された画像である。
【0009】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することを含む。
【0010】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む。
【0011】
いくつかの適用例において、3枚の画像のうち第1のものを人工RGB顕微鏡画像の赤チャネルにマッピングすることは、3枚の画像のうち第1のものの負コントラスト画像を生成すること、及び負コントラスト画像を人工RGB顕微鏡画像の赤チャネルにマッピングすることを含む。
【0012】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための装置が提供される。この装置は、
血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、画像の各々はそれぞれ異なる撮像条件を用いて取得され、3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得される、顕微鏡と、
出力デバイスと、
出力デバイス上に顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
3枚の画像のうち第1のものを人工カラー顕微鏡画像の赤チャネルにマッピングし、
3枚の画像のうち第2のものを人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし、
3枚の画像のうち第3のものを人工カラー顕微鏡画像の第3のカラーチャネルにマッピングする、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されたコンピュータプロセッサと、
を含む。
【0013】
いくつかの適用例において、顕微鏡は、オフフォーカス紫色光明視野撮像条件のもとで取得された画像である3枚の画像のうち第1のものを取得するように構成されている。
【0014】
いくつかの適用例において、コンピュータプロセッサは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0015】
いくつかの適用例において、コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0016】
いくつかの適用例において、コンピュータプロセッサは、3枚の画像のうち第1のものの負コントラスト画像を生成すること、及び負コントラスト画像を人工RGB顕微鏡画像の赤チャネルにマッピングすることによって、3枚の画像のうち第1のものを人工RGB顕微鏡画像の赤チャネルにするように構成されている。
【0017】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための方法が提供される。この方法は、
顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの複数の画像を取得することであって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、複数の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせることと、
を含む。
【0018】
いくつかの適用例において、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせることは、ニューラルネットワークを用いて、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせることを含む。
【0019】
いくつかの適用例において、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせることは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む。
【0020】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための装置が提供される。この装置は、
血液サンプルの顕微鏡撮像フィールドの複数の画像を取得するように構成された顕微鏡であって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を出力デバイス上に生成するように複数の画像の各々からのデータを組み合わせるよう構成された少なくとも1つのコンピュータプロセッサと、
を含む。
【0021】
いくつかの適用例において、コンピュータプロセッサは、ニューラルネットワークを用いて、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせるよう構成されている。
【0022】
いくつかの適用例において、コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように複数の画像の各々からのデータを組み合わせるよう構成されている。
【0023】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための方法が提供される。この方法は、
顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
閾値未満の強度(intensity)を有する画像内の画素を除去するように、画像の各々の正規化バージョンを生成し、
画像の各々の正規化バージョンを加法カラーモデル(additive color model)内のそれぞれ異なるチャネルにマッピングする、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む。
【0024】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することを含む。
【0025】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む。
【0026】
いくつかの適用例において、画像の各々の正規化バージョンを生成することは、画像のうち少なくとも1枚において、
画像内の最大強度を決定することと、
最大強度の半分未満の強度を有する全ての画素を除去することと、
を含む。
【0027】
いくつかの適用例において、画像の各々の正規化バージョンを生成することは、画像のうち少なくとも1枚において、
画像の強度ヒストグラムを生成することと、
少なくとも最大強度の半分に等しい強度を有する画像内の各画素において、
画像内の最大強度の半分よりも大きい強度を有する強度ヒストグラム内の最近極大値(closest local maximum)を識別することと、
最大強度と極大値の強度との差に基づいて画素の強度を正規化することと、
を更に含む。
【0028】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための装置が提供される。この装置は、
血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
出力デバイス上に顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
閾値未満の強度を有する画像内の画素を除去するように、画像の各々の正規化バージョンを生成し、
画像の各々の正規化バージョンを加法カラーモデル内のそれぞれ異なるチャネルにマッピングする、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサと、
を含む。
【0029】
いくつかの適用例において、コンピュータプロセッサは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0030】
いくつかの適用例において、コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0031】
いくつかの適用例において、コンピュータプロセッサは、画像のうち少なくとも1枚において、
画像内の最大強度を決定すること、及び
最大強度の半分未満の強度を有する全ての画素を除去すること、
によって、画像の各々の正規化バージョンを生成するように構成されている。
【0032】
いくつかの適用例において、コンピュータプロセッサは、画像のうち少なくとも1枚において、
画像の強度ヒストグラムを生成すること、並びに、
少なくとも最大強度の半分に等しい強度を有する画像内の各画素において、
画像内の最大強度の半分よりも大きい強度を有する強度ヒストグラム内の最近極大値を識別すること、及び
最大強度と極大値の強度との差に基づいて画素の強度を正規化すること、
によって、画像の各々の正規化バージョンを生成するように構成されている。
【0033】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための方法が提供される。この方法は、
顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得することであって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、3枚の画像を取得することと、
少なくとも1つのコンピュータプロセッサを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することであって、
画像の各々を加法カラーモデル内のそれぞれ異なるチャネルにマッピングして初期カラー画像を生成し、
閾値未満の強度を有する画像内の画素を除去するように初期カラー画像の正規化バージョンを生成する、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することと、
を含む。
【0034】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することを含む。
【0035】
いくつかの適用例において、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成することは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いることを含む。
【0036】
いくつかの適用例において、初期カラー画像の正規化バージョンを生成することは、
初期カラー画像内の最大強度を決定することと、
最大強度の半分未満の強度を有する全ての画素を除去することと、
を含む。
【0037】
いくつかの適用例において、初期カラー画像の正規化バージョンを生成することは、
画像の強度ヒストグラムを生成することと、
少なくとも最大強度の半分に等しい強度を有する初期カラー画像内の各画素において、
画像内の最大強度の半分よりも大きい強度を有する強度ヒストグラム内の最近極大値を識別することと、
最大強度と極大値の強度との差に基づいて画素の強度を正規化することと、
を更に含む。
【0038】
更に、本発明のいくつかの適用例によれば、血液サンプルと共に用いるための装置が提供される。この装置は、
血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得するように構成された顕微鏡であって、画像の各々はそれぞれ異なる撮像条件を用いて取得される、顕微鏡と、
出力デバイスと、
出力デバイス上に顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサであって、
画像の各々を加法カラーモデル内のそれぞれ異なるチャネルにマッピングして初期カラー画像を生成し、
閾値未満の強度を有する画像内の画素を除去するように初期カラー画像の正規化バージョンを生成する、
ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成された少なくとも1つのコンピュータプロセッサと、
を含む。
【0039】
いくつかの適用例において、コンピュータプロセッサは、ニューラルネットワークを用いて顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0040】
いくつかの適用例において、コンピュータプロセッサは、RGB、CIE、HSV、及びそれらの組み合わせから成る群から選択されるカラーモデルを用いて含む、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように構成されている。
【0041】
いくつかの適用例において、コンピュータプロセッサは、
初期カラー画像内の最大強度を決定すること、及び
最大強度の半分未満の強度を有する全ての画素を除去すること、
によって、初期カラー画像の正規化バージョンを生成するように構成されている。
【0042】
いくつかの適用例において、コンピュータプロセッサは、
画像の強度ヒストグラムを生成すること、並びに、
少なくとも最大強度の半分に等しい強度を有する初期カラー画像内の各画素において、
画像内の最大強度の半分よりも大きい強度を有する強度ヒストグラム内の最近極大値を識別すること、及び
最大強度と極大値の強度との差に基づいて、画素の強度を正規化すること、
によって、初期カラー画像の正規化バージョンを生成するように構成されている。
【0043】
本発明は、実施形態の以下の詳細な説明を図面と共に検討することから、いっそう充分に理解されよう。
【図面の簡単な説明】
【0044】
【
図1】本発明のいくつかの適用例に従った生物サンプル分析システムのコンポーネントを示すブロック図である。
【
図2A】本発明のいくつかの適用例に従った光学測定ユニットの概略図である。
【
図2B】本発明のいくつかの適用例に従った光学測定ユニットの概略図である。
【
図2C】本発明のいくつかの適用例に従った光学測定ユニットの概略図である。
【
図3A】本発明のいくつかの適用例に従って顕微鏡下の測定と光学密度測定の双方を実行するために用いられるサンプルキャリアの各ビューの概略図である。
【
図3B】本発明のいくつかの適用例に従って顕微鏡下の測定と光学密度測定の双方を実行するために用いられるサンプルキャリアの各ビューの概略図である。
【
図3C】本発明のいくつかの適用例に従って顕微鏡下の測定と光学密度測定の双方を実行するために用いられるサンプルキャリアの各ビューの概略図である。
【
図4A】本発明のいくつかの適用例に従って実行される方法のステップを示すフローチャートである。
【
図4B】本発明のいくつかの適用例に従って実行される方法のステップを示すフローチャートである。
【
図4C】本発明のいくつかの適用例に従って実行される方法のステップを示すフローチャートである。
【
図4D】本発明のいくつかの適用例に従って実行される方法のステップを示すフローチャートである。
【発明を実施するための形態】
【0045】
これより、本発明のいくつかの適用例に従った生物サンプル分析システム20のコンポーネントを示すブロック図である
図1を参照する。典型的には、サンプルキャリア22内に生物サンプル(例えば血液サンプル)が配置される。サンプルがサンプルキャリアに置かれている間に、1つ以上の光学測定デバイス24を用いてサンプルに光学測定を実行する。例えば光学測定デバイスは、顕微鏡(例えばデジタル顕微鏡)、分光光度計、光度計、分光計、カメラ、スペクトルカメラ、ハイパースペクトルカメラ、蛍光光度計、蛍光分光計、及び/又は光検出器(フォトダイオード、フォトレジスタ、及び/又はフォトトランジスタ等)を含み得る。いくつかの適用例では、光学測定デバイスは、専用の光源(発光ダイオード、白熱光源等)、及び/又は、集光及び/又は発光を操作するための光学要素(レンズ、散光器、フィルタ等)を含む。
【0046】
典型的には、コンピュータプロセッサ28が、光学測定デバイスによって実行された光学測定を受信し処理する。更に典型的には、コンピュータプロセッサは、1つ以上の光学測定デバイスによって実行された光学測定の取得を制御する。コンピュータプロセッサはメモリ30と通信する。ユーザ(例えば検査技師、又はサンプルが採取された個人)は、ユーザインタフェース32を介してコンピュータプロセッサに命令を送信する。いくつかの適用例では、ユーザインタフェースは、キーボード、マウス、ジョイスティック、タッチスクリーンデバイス(スマートフォン又はタブレットコンピュータ等)、タッチパッド、トラックボール、音声コマンドインタフェース、及び/又は当技術分野において既知である他のタイプのユーザインタフェースを含む。典型的に、コンピュータプロセッサは出力デバイス34を介して出力を生成する。更に典型的には、出力デバイスはモニタ等のディスプレイを含み、出力はディスプレイに表示される出力を含む。いくつかの適用例では、プロセッサは、例えばスピーカ、ヘッドフォン、スマートフォン、又はタブレットコンピュータ等、異なるタイプの視覚、テキスト、グラフィック、触覚、聴覚、及び/又はビデオ出力デバイス上で出力を生成する。いくつかの適用例では、ユーザインタフェース32は入力インタフェース及び出力インタフェースの双方として機能する、すなわち入出力インタフェースとして機能する。いくつかの適用例では、プロセッサは、ディスク又は携帯型USBドライブ等のコンピュータ可読媒体(例えば非一時的コンピュータ可読媒体)上で出力を生成する、及び/又はプリンタで出力を生成する。
【0047】
これより、本発明のいくつかの適用例に従った光学測定ユニット31の概略図である
図2A、
図2B、及び
図2Cを参照する。
図2Aは、完全に組み立てたデバイスの外観の斜視図を示し、
図2B及び
図2Cは、カバーを透明にしてデバイス内部のコンポーネントを見えるようにしたデバイスの斜視図を示す。いくつかの適用例では、光学測定ユニット31内に、1つ以上の光学測定デバイス24(及び/又はコンピュータプロセッサ28及びメモリ30)が収容されている。サンプルに光学測定を実行するため、光学測定ユニット内にサンプルキャリア22が配置される。例えば、光学測定ユニットはスロット36を画定することができ、これを介してサンプルキャリアは光学測定ユニット内へ挿入される。典型的に、光学測定ユニットは、光学測定ユニット内でサンプルキャリア22を支持するように構成されているステージ64を含む。いくつかの適用例では、光学測定ユニットのカバー上のスクリーン63(例えば図示されている光学測定ユニットの前面カバー上のスクリーン)は、ユーザインタフェース32及び/又は出力デバイス34として機能する。
【0048】
典型的に、光学測定ユニットは、サンプルの一部分の顕微鏡撮像を実行するように構成された顕微鏡システム37(
図2Bから
図2Cに図示されている)を含む。いくつかの適用例では、顕微鏡システムは、光源セット65(典型的に、サンプルの明視野撮像のために使用されるよう構成された明視野光源(例えば発光ダイオード)のセット、サンプルの蛍光撮像のために使用されるよう構成された蛍光光源(例えば発光ダイオード)のセットを含む)と、サンプルを撮像するよう構成されたカメラ(例えばCCDカメラ又はCMOSカメラ)と、を含む。典型的に、光学測定ユニットは、サンプルの第2の部分に光学密度測定(例えば光吸収測定)を実行するように構成された光学密度測定ユニット39(
図2Cに示されている)も含む。いくつかの適用例において、光学密度測定ユニットは、サンプルに光学密度測定を実行するために構成された光学密度測定光源(例えば発光ダイオード)及び光検出器のセットを含む。いくつかの適用例では、前述の光源セットの各々(すなわち、明視野光源セット、蛍光光源セット、及び光学密度測定光源セット)は、複数の光源(例えば複数の発光ダイオード)を含み、それらの光源の各々は、各波長で又は各波長帯で発光するように構成されている。
【0049】
これより、本発明のいくつかの適用例に従ったサンプルキャリア22の各ビューの概略図である
図3A及び
図3Bを参照する。
図3Aはサンプルキャリアの上面図であり(説明の目的のため、
図3Aではサンプルキャリアの上部カバーは不透明なものとして図示されている)、
図3Bは下面図である(
図3Aに示されているビューに対してサンプルキャリアは短い縁部を中心に回転している)。典型的に、サンプルキャリアは、サンプルに顕微鏡分析を実行するため用いられる1つ以上のサンプルチャンバの第1のセット52と、サンプルに光学密度測定を実行するため用いられるサンプルチャンバの第2のセット54と、を含む。典型的に、サンプルキャリアのサンプルチャンバは、サンプル入口孔38を介して血液等の身体サンプルが充填される。いくつかの適用例では、サンプルチャンバは1つ以上の出口孔40を画定する。出口孔は、サンプルチャンバ内に存在する空気をサンプルチャンバから解放することによって、サンプルチャンバへの身体サンプルの充填を容易にするよう構成されている。典型的には、図示されているように、出口孔は(サンプルキャリアのサンプルチャンバに関して)入口孔の長手方向反対側に配置されている。いくつかの適用例では、出口孔はこれによって、入口孔のより近くに配置された場合に比べて、より効率的な空気逃し機構を提供する。
【0050】
本発明のいくつかの適用例に従ったサンプルキャリア22の分解組立図を示す
図3Cを参照する。いくつかの適用例では、サンプルキャリアは少なくとも3つのコンポーネントを含む。すなわち、成形コンポーネント42、ガラス層44(例えばガラスシート)、及び、ガラス層を成形コンポーネントの下側に付着するよう構成された接着層46である。成形コンポーネントは典型的に、所望の幾何学的形状を有するチャンバを提供するために(例えば射出成形によって)成形されるポリマー(例えばプラスチック)で作製される。例えば、図示されているように、成形コンポーネントは典型的に、入口孔38と、出口孔40と、各サンプルチャンバの中央部を取り囲む溝48と、を画定するように成形される。溝は典型的に、空気を出口孔へ流すことによって、及び/又は身体サンプルをサンプルチャンバの中央部の周りに流すことによって、サンプルチャンバへの身体サンプルの充填を容易にする。
【0051】
いくつかの適用例では、
図3Aから
図3Cに示されているようなサンプルキャリアは、血液サンプルの全血球計算を実行する場合に使用される。いくつかのそのような適用例では、サンプルキャリアは、
図2Aから
図2Cを参照して大まかに図示及び説明したように構成された光学測定ユニット31と共に用いられる。いくつかの適用例では、サンプルチャンバの第1のセット52(例えば、顕微鏡システム37(
図2Bから
図2Cに示されている)を用いてサンプルに顕微鏡分析を実行するため用いられる)内に血液サンプルの第1の部分を配置し、サンプルチャンバの第2のセット54(例えば、光学密度測定ユニット39(
図2Cに示されている)を用いてサンプルに光学密度測定を実行するため用いられる)内に血液サンプルの第2の部分を配置する。いくつかの適用例では、図示されているように、サンプルチャンバの第1のセット52は複数のサンプルチャンバを含み、サンプルチャンバの第2のセット54は1つだけのサンプルチャンバを含む。しかしながら、本発明の範囲は、サンプルチャンバの第1のセット内もしくはサンプルチャンバの第2のセット内のどちらかで任意の数のサンプルチャンバ(例えば単一のサンプルチャンバもしくは複数のサンプルチャンバ)を用いること、又はこれらの任意の組み合わせを含む。血液サンプルの第1の部分は、典型的に、血液サンプルの第2の部分に対して希釈されている。例えば希釈剤は、pH緩衝液、染料、蛍光染料、抗体、球状化剤(sphering agent)、溶解剤(lysing agent)等を含み得る。典型的に、サンプルチャンバの第2のセット54内に配置される血液サンプルの第2の部分は、天然の希釈されていない血液サンプルである。代替的に又は追加的に、血液サンプルの第2の部分は、例えば希釈(例えば制御された方法での希釈)、成分もしくは試薬の追加、又は分別のうち1つ以上を含む何らかの変更が行われたサンプルであってもよい。
【0052】
いくつかの適用例では、サンプルを顕微鏡で撮像する前に、1つ以上の染色物質を用いて血液サンプルの第1の部分(チャンバの第1のセット52内に配置される)を染色する。例えば染色物質は、他の細胞成分の染色よりもDNAを優先的に染色するよう構成され得る。あるいは染色物質は、他の細胞成分の染色よりも全ての細胞核酸を優先的に染色するよう構成され得る。例えばサンプルは、アクリジンオレンジ試薬、ヘキスト試薬、及び/又は、血液サンプル内のDNA及び/又はRNAを優先的に染色するよう構成された他の任意の染色物質によって染色され得る。任意選択的に、染色物質は全ての細胞核酸を染色するように構成されるが、例えばアクリジンオレンジについて既知であるように、一定の照明及びフィルタ条件のもとではDNA及びRNAのそれぞれの染色がいっそう顕著に視認できる。細胞の検出を可能とする撮像条件(例えば明視野)及び/又は染色された部分の可視化を可能とする撮像条件(例えば適切な蛍光照明)を用いて、サンプルの画像を取得することができる。典型的に、サンプルの第1の部分はアクリジンオレンジ及びヘキスト試薬によって染色される。例えば、血液サンプルの第1の(希釈された)部分は、Pollakに対する米国特許第US9,329,129号(援用により本願に含まれる)に記載されているような技法を用いて調製すればよい。米国特許第US9,329,129号は、分析のために血液サンプルを調製する方法を記載し、この方法は、サンプルの顕微鏡画像内の成分の識別及び/又はカウントを容易にする希釈ステップを含む。いくつかの適用例では、例えば上記で説明されているような明視野撮像条件下で及び/又は蛍光撮像条件下でサンプル内の血小板を可視化する1つ以上の染料を用いて、サンプルの第1の部分を染色する。例えば、サンプルの第1の部分は、メチレンブルー及び/又はロマノフスキー染料(Romanowsky stain)を用いて染色され得る。
【0053】
再び
図2Bを参照すると、典型的に、サンプルキャリア22は光学測定ユニット内でステージ64によって支持される。更に典型的には、ステージは分岐状設計を有するので、サンプルキャリアはエッジの周りでステージによって支持されるが、光学測定デバイスによるサンプルキャリアのサンプルチャンバの可視性をステージが妨げないようになっている。いくつかの適用例では、サンプルキャリアの成形コンポーネント42がガラス層44よりも上方に配置されると共に、光学測定ユニットの顕微鏡ユニットの対物レンズ66がサンプルキャリアのガラス層よりも下方に配置されるように、サンプルキャリアはステージ内に保持される。典型的には、サンプルに実行される顕微鏡測定中に用いられる少なくともいくつかの光源65(例えば明視野撮像中に用いられる光源)が、成形コンポーネントの上方からサンプルキャリアを照明する。更に典型的には、少なくともいくつかの追加光源(図示せず)が、サンプルキャリアの下方から(例えば対物レンズを介して)サンプルキャリアを照明する。例えば、蛍光顕微鏡検査中にサンプルを励起するため用いられる光源は、サンプルキャリアの下方から(例えば対物レンズを介して)サンプルキャリアを照明することができる。
【0054】
典型的には、顕微鏡で撮像を行う前に、例えばPollakに対する米国特許第US9,329,129号(援用により本願に含まれる)に記載されているような技法を用いて、細胞の単層を形成するように血液の第1の部分(サンプルチャンバの第1のセット52に配置されている)を沈降させる。いくつかの適用例では、血液の第1の部分は細胞懸濁液であり、チャンバの第1のセット52に属するチャンバはそれぞれ、ベース面57(
図3Cに示されている)を含むキャビティ55を画定する。典型的に、キャリアのサンプルチャンバのベース面上に細胞懸濁液中の細胞を沈降させて、サンプルチャンバのベース面上に細胞の単層を形成する。サンプルチャンバのベース面上に細胞を(例えば既定の時間間隔だけ沈降させたままにすることによって)沈降させたままにした後、典型的に、細胞の単層の少なくとも一部の少なくとも1枚の顕微鏡画像を取得する。典型的には、単層の複数の画像を取得し、各画像は、単層の撮像面内の異なる各エリアに位置する撮像フィールドに対応する。典型的に、例えば、援用により本願に含まれるGreenfieldに対する米国特許第US10,176,565号で記載されているような技法を用いて、単層を撮像するために顕微鏡の焦点を合わせる最適深度レベルを決定する。いくつかの適用例では、各撮像フィールドは相互に異なる最適深度レベルを有する。
【0055】
なお、本出願の文脈において、単層という用語は、顕微鏡の単一の焦点レベル内に配置されるように沈降した細胞の層を表すために用いられる。単層内には多少の細胞の重複が存在することがあり、例えば特定エリア内に細胞の2つ以上の重複層が存在し得る。例えば、単層内で赤血球が相互に重複する、及び/又は単層内で血小板が赤血球と重複するか又は赤血球の上にあることがある。
【0056】
いくつかの適用例では、血液サンプルの第1の部分の顕微鏡分析は細胞の単層に対して実行される。典型的に、血液サンプルの第1の部分は明視野撮像のもとで、すなわち1つ以上の光源(例えば1つ以上の発光ダイオードであり、典型的にそれぞれのスペクトル帯で発光する)からの照明のもとで撮像される。いっそう典型的には、血液サンプルの第1の部分は更に蛍光撮像のもとで撮像される。典型的に、蛍光撮像を行うには、既知の励起波長(すなわち、これらの波長の光で励起された場合に、染色された物体(すなわち1又は複数の染料を吸収した物体)が蛍光光を発することが既知である波長)の光をサンプルの方へ誘導することによって、サンプル内の染色された物体を励起し、蛍光光を検出する。典型的に、蛍光撮像では、別個の光源セット(例えば1つ以上の発光ダイオード)を用いて既知の励起波長でサンプルを照明する。
【0057】
Pollakに対する米国特許出願公開第US2019/0302099号(援用により本願に含まれる)を参照して記載されているように、いくつかの適用例では、セット52(顕微鏡下の測定のために用いられる)に属するサンプルチャンバは相互に異なる高さを有する。これの目的は、各サンプルチャンバの顕微鏡画像を用いた異なる測定量の測定を容易にすること、及び/又は各サンプルタイプの顕微鏡分析のために異なるサンプルチャンバを使用することである。例えば、血液サンプル及び/又はサンプルによって形成された単層が比較的低い密度の赤血球を有する場合、高さが大きいサンプルキャリアのサンプルチャンバ(すなわち、比較的高さが小さい異なるサンプルチャンバに比べて高さが大きいサンプルキャリアのサンプルチャンバ)内で測定を実行することで、充分な密度の細胞が存在するように、及び/又はサンプルによって形成された単層内に充分な密度の細胞が存在するようにして、統計的に信頼性の高いデータを提供することができる。このような測定は例えば、赤血球の密度測定、他の細胞属性(異常な赤血球の数、細胞内小体(intracellular body)(例えば病原体、ハウエルジョリー小体)等を含む赤血球の数)の測定、及び/又はヘモグロビン濃度の測定を含み得る。逆に、血液サンプル及び/又はサンプルによって形成された単層が比較的高い密度の赤血球を有する場合、比較的小さい高さのサンプルキャリアのチャンバでそのような測定を実行することで、例えば、充分な希薄度(sparsity)の細胞が存在するように、及び/又はサンプルによって形成された細胞の単層内に充分な希薄度の細胞が存在するようにして、顕微鏡画像内で細胞を識別することができる。いくつかの適用例では、セット52に属するチャンバ間の高さの差異が正確に分かっていなくても、そのような方法が実行される。
【0058】
いくつかの適用例では、測定される測定量に基づいて、光学測定を実行するサンプルキャリア内のサンプルチャンバを選択する。例えば、高さの大きいサンプルキャリアのサンプルチャンバを用いて、白血球のカウント(例えば、浅い領域内で数が少ないことから発生し得る統計誤差を減らすため)、白血球の分化、及び/又はまれな形態の白血球の検出を実行することができる。逆に、平均赤血球ヘモグロビン(MCH:mean corpuscular hemoglobin)、平均赤血球容積(MCV:mean corpuscular volume)、赤血球分布幅(RDW:red blood cell distribution width)、赤血球形態学的特徴、及び/又は赤血球異常を決定するために、比較的小さい高さのサンプルキャリアのサンプルチャンバから顕微鏡画像を取得することができる。これは、そのようなサンプルチャンバでは細胞が領域のエリア内に比較的まばらに分布しているから、及び/又は細胞が比較的まばらに分布している単層を形成するからである。同様に、血小板のカウント、血小板の分類、及び/又は血小板の他のいずれかの属性(容積等)の抽出を行うために、比較的小さい高さのサンプルキャリアのサンプルチャンバから顕微鏡画像を取得することができる。これは、そのようなサンプルチャンバ内では顕微鏡画像において及び/又は単層において血小板と(完全に又は部分的に)重複する赤血球が少ないからである。
【0059】
上述の例によれば、サンプル(血液サンプル等)内のある測定量を測定するため光学測定を実行するには高さの小さいサンプルキャリアのサンプルチャンバを使用することが好ましいが、そのようなサンプル内の他の測定量を測定するため光学測定を実行するには高さの大きいサンプルキャリアのサンプルチャンバを使用することが好ましい。従って、いくつかの適用例では、サンプルキャリアのセット52に属する第1のサンプルチャンバ内に配置されたサンプルの部分に(例えばこの部分の顕微鏡画像を取得することで)第1の光学測定を実行することによってサンプル内の第1の測定量が測定され、サンプルキャリアのセット52の第2のサンプルチャンバ内に配置されたサンプルの部分に(例えばこの部分の顕微鏡画像を取得することで)第2の光学測定を実行することによって同じサンプルの第2の測定量が測定される。いくつかの適用例では、例えば、援用により本願に含まれるZaitに対する米国特許出願公開第US2019/0145963号に記載されているような技法を用いて、第1及び第2の測定量は相互に対して正規化される。
【0060】
典型的に、サンプルに光学密度測定を実行するため、光学測定を実行したサンプルの部分の光路長、容積、及び/又は厚さをできる限り精密に知ることが望ましい。典型的に、光学密度測定は、サンプルの第2の部分(典型的に、希釈されていない形態でサンプルチャンバの第2のセット54内に配置される)に対して実行される。例えば、サンプルに対して光吸収、透過率、蛍光、及び/又は発光の測定を実行することにより、成分の濃度及び/又は密度を測定することができる。
【0061】
再び
図3Bを参照すると、いくつかの適用例では、セット54に属するサンプルチャンバ(光学密度測定に用いられる)は典型的に、少なくとも第1の領域56(典型的に深い)及び第2の領域58(典型的に浅い)を画定する。第1の領域と第2の領域とで、サンプルチャンバの高さは既定されるように異なっている。これは例えば、援用により本願に含まれるPollakに対する米国特許出願公開第US2019/0302099号に記載されている。サンプルチャンバの第1の領域56及び第2の領域58の高さは、ガラス層が画定する下面及び成形コンポーネントが画定する上面によって画定される。第2の領域の上面は第1の領域の上面に対して段差がある。第1及び第2の領域の上面間の段差は、これらの領域間に既定の高度差Δhを与えるので、これらの領域の絶対高さが(例えば製造プロセスの公差のため)充分な精度で分かっていない場合であっても、本明細書に記載され、Pollakに対する米国特許出願公開第US2019/0302099号(援用により本願に含まれる)に記載されているような技法を用いて、サンプルのパラメータを決定するには充分な精度で高度差Δhが分かる。いくつかの適用例では、サンプルチャンバの高さは第1の領域56から第2の領域58へと変動し、第2の領域58から第3の領域59へと再び変動するので、サンプルチャンバに沿って、第1の領域56は最大高さ領域を画定し、第2の領域58は中間高さ領域を画定し、第3の領域59は最小高さ領域を画定する。いくつかの適用例では、サンプルチャンバの長さに沿って更に別の高さ変動が存在する、及び/又はサンプルチャンバの長さに沿って高さが漸進的に変動する。
【0062】
上述した通り、サンプルキャリアにサンプルが配置されている間に、1つ以上の光学測定デバイス24を用いてサンプルに光学測定を実行する。典型的に、サンプルはガラス層を介して光学測定デバイスによって調べられる。ガラスは、少なくとも光学測定デバイスが典型的に使用する波長に対して透明である。典型的に、光学測定を実行する間、サンプルキャリアは、光学測定デバイスを収容している光学測定ユニット31内に挿入される。典型的には、ガラス層の上方に成形層が配置されるように、かつ、サンプルキャリアのガラス層の下方に光学測定ユニットが配置され、光学測定ユニットがガラス層を介してサンプルに光学測定を実行できるように、光学測定ユニットはサンプルキャリアを収容する。サンプルキャリアは、ガラス層を成形コンポーネントに付着させることによって形成される。例えばガラス層及び成形コンポーネントは、(例えば熱接合、溶媒を用いた接合、超音波溶接、レーザ溶接、熱かしめ(heat staking)、接着剤、機械的クランプ、及び/又は追加の基板を用いて)製造又は組み立て中に相互に接合することができる。いくつかの適用例では、ガラス層及び成形コンポーネントは、接着層46を用いて製造又は組み立て中に相互に接合される。
【0063】
いくつかの顕微鏡適用例では、複数の異なる撮像モダリティを用いて撮像フィールドの顕微鏡画像を取得する。例えば、上述したように、いくつかの異なる波長帯のサンプル照明のもとで明視野画像を取得することができる。明視野画像は、細胞(例えば細胞の単層)に焦点が合っている状態又は焦点が合っていない状態で取得され得る。代替的に又は追加的に、既知の励起波長(すなわち、これらの波長の光で励起された場合に、染色された物体(すなわち1又は複数の染料を吸収した物体)が蛍光光を発することが既知である波長)の光をサンプルの方へ誘導することによって、サンプル内の染色された物体を励起し、蛍光光を検出することによって、蛍光画像を取得する。各蛍光画像は、それぞれ異なる波長帯の光でサンプルを励起することにより取得されるか、又は、所与の波長帯の光でサンプルを励起し、次いでサンプルから放出される光を各波長帯でフィルタリングする吸収フィルタを用いることにより取得される。
【0064】
典型的に、コンピュータプロセッサは、サンプルの特性を決定するため、顕微鏡画像及び/又はサンプルに関する他のデータ(例えば光吸収測定値)を分析する。いくつかの適用例では、コンピュータプロセッサは更に、出力デバイス34を介してユーザにサンプルの画像を出力する。しかしながら、人の観察者がこれらの画像から有用な情報を抽出することは困難である可能性がある。これが特に当てはまるのは、異なる撮像モダリティを用いて取得された画像間の重複部分にその情報が含まれ、これらの画像が白黒画像又はグレースケール画像として相互に重なっている場合である。例えば、ある要素が赤血球内寄生虫であることを検証するためには、寄生中候補を視認できると共に赤血球を視認できる単一の画像を見ることが役立ち得る。赤血球は典型的に明視野画像(例えば紫色照明のもとで取得された明視野画像)内で視認することができ、寄生虫は典型的に蛍光画像内で視認することができる。従って、それらの画像を、相互に重なっているが各撮像モダリティからの要素が相互に干渉することなく視認できる状態で見ることが役立つ。同様に、白血球の形態学的特徴を調べる(要素を白血球及び/又は所与のタイプの白血球に分類する際に役立ち得る)ためには、典型的に、各蛍光照明条件のもとで取得された各蛍光画像を相互に重ねて見ることが役立つ。
【0065】
従って、本発明のいくつかの適用例によれば、血液サンプルの顕微鏡撮像フィールドの複数の画像を取得し、各画像をそれぞれ異なる撮像条件を用いて取得する。典型的に、画像のうち少なくとも1枚は、紫色照明条件のもとで(例えば、400nm~450nmの範囲内の波長の光による照明のもとで)取得される明視野画像である。いくつかの適用例では、明視野画像は、紫色照明条件のもとで取得されるオフフォーカス画像である。更に典型的には、画像のうち少なくとも1枚は蛍光画像である。コンピュータプロセッサは、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように、複数の画像の各々からのデータを組み合わせる。典型的に、RGB、CIE、HSV、及び/又はそれらの組み合わせのような1つ以上のカラーモデルを用いて、人工カラー顕微鏡画像を生成する。
【0066】
典型的に、明視野紫色照明条件のもとで取得された画像は、人工カラー顕微鏡画像の赤チャネルにマッピングされる。更に典型的には、画像は赤チャネルにマッピングされる前に負コントラスト画像に変換される。いくつかの適用例では、明視野紫色照明条件のもとで取得された画像を負コントラスト画像にマッピングした結果、赤血球は、カラースミア画像の赤血球の外観と同様の(例えばギムザスミア染色法又はライト-ロマノフスキースミア染色法を用いて生成したものと同様の)外観を有する。典型的に、紫色照明条件のもとで取得された明視野画像が上述のように用いられる理由は、紫色光がヘモグロビンによって強く吸収されるので、一度画像のコントラストを負にして画像を赤チャネルにマッピングしたら、赤血球が赤く見えるからである。
【0067】
いくつかの適用例では、各撮像モダリティのもとで3枚の画像を取得する。例えば、明視野紫色照明条件のもとで取得される画像に加えて、2枚の蛍光画像を取得することができる。例えば、各波長帯の光によって血液サンプルを励起した後に2枚の蛍光画像を取得すればよい。あるいは、同一の波長帯の光によってサンプルを励起するが、それぞれ異なる吸収フィルタを用いた後に、2枚の蛍光画像を取得すればよい。典型的に、第2の画像は人工カラー顕微鏡画像の第2のカラーチャネルにマッピングされ、第3の画像は人工カラー顕微鏡画像の第3のカラーチャネルにマッピングされる。例えばRGBカラーモデルを用いる場合、第1の画像を(上述のように)赤チャネルにマッピングし、第2の画像を緑チャネルにマッピングし、第3の画像を青チャネルにマッピングすることができる。いくつかの適用例では、細胞核(例えば細胞核のDNA)を蛍光発光させる光(例えばUV光)を用いてサンプルを励起しながら、第2及び第3の画像のうち一方を取得する。代替的に又は追加的に、RNA及び/又は細胞質を蛍光発光させる光(例えば青色光)を用いてサンプルを励起しながら、第2及び第3の画像のうち第2のものを取得する。いくつかの適用例では、ギムザスミア染色法又はライト-ロマノフスキースミア染色法を用いて生成される画像で使用されるものと同様の撮像モダリティを使用する。
【0068】
いくつかの適用例では、蛍光画像の各々は比較的長い露光時間を用いて取得される。例えばこれは、網状赤血球及び血小板を可視化するために使用され得る。あるいは、蛍光画像のうち一方は比較的短い露光時間を用いて取得し、蛍光画像のうち他方は比較的短い露光時間を用いて取得され得る。長い露光及び短い露光の蛍光画像は、典型的に異なる情報を含む。短い露光を用いて取得された画像は典型的に、白血球及び他の高強度物体に関するデータを提供するように最適化され、長い露光時間を用いて取得された画像は典型的に、網状赤血球、血小板、寄生生物、幽霊細胞等の低強度物体に関するデータを提供するように最適化される。
【0069】
いくつかの適用例では、短い露光時間の画像を長い露光時間の画像と組み合わせて、単一の蛍光画像にする(例えば、長い露光の画像内の露出オーバー領域を短い露光時間の画像内の対応領域で置き換えることによって)。いくつかの適用例では、これによって得られる複合画像(及び/又は異なる複合画像生成技法を用いて生成される複合画像)を、例えば上述した技法を用いて、人工カラー画像のチャネルのうち1つにマッピングする。
【0070】
いくつかの適用例では、人工カラー画像の生成においてニューラルネットワークが用いられる。場合によっては、上述した方法を用いて生成される人工カラー画像は、この分野で広く用いられる画像タイプとは異なる特性を有することがある。例えばこのような画像は、色、強度、解像度、シェーディング(shading)等が標準的な画像とは異なる可能性がある。いくつかの適用例では、この分野の標準的な画像にいっそう類似した画像を生成するため畳み込みニューラルネットワークを用いて、画像がカラースミア画像と同様の(例えば、ギムザスミア染色法又はライト-ロマノフスキースミア染色法を用いて生成される画像と同様の)外観を有するようにする。
【0071】
いくつかの適用例では、カラー画像にマッピングされる画像のうち1つ以上を正規化する。例えば、画像を背景マップで分割する(divide)ことによって画像を正規化すればよい。代替的に又は追加的に、カラー画像において画像の関数(光学密度等)を用いてもよい。いくつかの適用例では、表示されるカラー画像は、関連する特徴(feature)が全てのチャネルで同様の大きさとなるように正規化される。いくつかの適用例では、オリジナル画像のうち1つ以上及び/又は表示されるカラー画像を正規化するには、以下で記載するように、画像内の最大強度を決定し、この最大強度の所与の割合未満の(例えば最大強度の半分未満の)強度を有する全ての画素を除去し、画素強度を再正規化する。いくつかの適用例では、オリジナル画像のうち1つ以上及び/又は表示されるカラー画像は以下のように正規化される。画像の強度ヒストグラムを生成する。少なくとも最大強度の半分に等しい強度を有する画像内の各画素において、画像内の最大強度の半分よりも大きい強度を有する強度ヒストグラム内の最近極大値を識別する。次いで、最大強度と極大値の強度との差に基づいて画素の強度を正規化する。例えば、以下の式に基づいて所与の画素に強度を割り当てることができる。
【0072】
Vmin<=Ip<=Vmaxの場合、INp=N*(Ip-Vmin)/(Vmin-Vmax)、
Ip>Vmaxの場合、INp=N、
Ip<Vminの場合、INp=0。
ここで、INpは画素の正規化強度であり、
Nは整数(例えば255)であり、
Ipは画素の最初の強度であり、
Vmaxは画像内の最大強度であり、
Vminは、画像内の最大強度の半分よりも大きい強度を有する最近極大値(closest maximum)の強度である。
【0073】
これより、上述した技法に従って、本発明のいくつかの適用例に従って実行される方法のステップを示すフローチャートである
図4Aから
図4Dを参照する。
【0074】
図4を参照すると、いくつかの適用例では、ステップ100において、血液サンプルの顕微鏡撮像フィールドの複数の画像を取得する。各画像を、それぞれ異なる撮像条件を用いて取得する。次いでステップ102では、例えば、カラースミア画像のように見える顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成するように、複数の画像の各々からのデータを組み合わせる。ステップ102は典型的にコンピュータプロセッサ28によって実行される。
【0075】
図4Bを参照すると、いくつかの適用例では、ステップ110において、顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得する。各画像はそれぞれ異なる撮像条件を用いて取得し、3枚の画像のうち第1のものは紫色光明視野撮像のもとで取得する。次いでステップ112では、3枚の画像のうち第1のものを人工カラー顕微鏡画像の赤チャネルにマッピングし(サブステップ114)、3枚の画像のうち第2のものを人工カラー顕微鏡画像の第2のカラーチャネルにマッピングし(サブステップ116)、3枚の画像のうち第3のものを人工カラー顕微鏡画像の第3のカラーチャネルにマッピングする(サブステップ118)ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成する。ステップ112、及びサブステップ114~118は、典型的にコンピュータプロセッサ28によって実行される。
【0076】
図4Cを参照すると、いくつかの適用例では、ステップ120において、顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得する。各画像はそれぞれ異なる撮像条件を用いて取得する。次いでステップ122では、閾値未満の強度を有する画像内の画素を除去するように各画像の正規化バージョンを生成し(サブステップ124)、各画像の正規化バージョンを加法カラーモデル内の異なるチャネルにマッピングする(サブステップ126)ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成する。ステップ122、及びサブステップ124~126は、典型的にコンピュータプロセッサ28によって実行される。
【0077】
図4Dを参照すると、いくつかの適用例では、ステップ130において、顕微鏡を用いて血液サンプルの顕微鏡撮像フィールドの3枚の画像を取得する。各画像はそれぞれ異なる撮像条件を用いて取得する。次いでステップ132では、画像の各々を加法カラーモデル内の異なるチャネルにマッピングして初期カラー画像を生成し(サブステップ134)、閾値未満の強度を有する画像内の画素を除去するように初期カラー画像の正規化バージョンを生成する(サブステップ136)ことによって、顕微鏡撮像フィールドの人工カラー顕微鏡画像を生成する。ステップ132、及びサブステップ134~136は、典型的にコンピュータプロセッサ28によって実行される。
【0078】
いくつかの適用例では、本明細書に記載されている装置及び方法は、必要な変更を加えて、血液、唾液、精液、汗、痰、膣液、排泄物、母乳、気管支肺胞洗浄液、胃洗浄液、涙液、及び/又は鼻汁等の生物サンプルに適用される。生物サンプルは任意の生き物から採取することができ、典型的に温血動物からのものである。いくつかの適用例では、生物サンプルは哺乳動物からの、例えば人体からのサンプルである。いくつかの適用例では、サンプルは、限定ではないがイヌ、ネコ、ウマ、ウシ、及びヒツジを含む、飼われている動物、動物園の動物、及び家畜から採取される。代替的に又は追加的に、生物サンプルは、シカ又はネズミを含む病原媒介者として機能する動物から採取される。
【0079】
いくつかの適用例では、本明細書に記載されている装置及び方法は非身体サンプル(non-bodily sample)に適用される。いくつかの適用例では、サンプルは、必要な変更を加えた、水(例えば地下水)サンプル、表面スワブ、土壌サンプル、大気サンプル、又はそれらの任意の組み合わせ等の環境サンプルである。いくつかの実施形態では、サンプルは、肉サンプル、乳製品サンプル、水サンプル、洗液サンプル、飲料サンプル、及び/又はそれらの任意の組み合わせ等の食品サンプルである。
【0080】
いくつかの適用例では、本明細書で記載されているサンプルは、血液又はその成分を含むサンプル(例えば希釈されたかもしくは希釈されていない全血サンプル、主に赤血球を含むサンプル、又は主に赤血球を含む希釈サンプル)であり、例えば血小板、白血球、異常白血球、循環腫瘍細胞、赤血球、網状赤血球、ハウエルジョリー小体等、血液の成分に関するパラメータが決定される。
【0081】
本明細書に記載されている本発明の適用例は、コンピュータ又はコンピュータプロセッサ28のような任意の命令実行システムによって又はこれらと関連付けて用いるためのプログラムコードを提供するコンピュータ使用可能媒体又はコンピュータ可読媒体(例えば非一時的コンピュータ可読媒体)からアクセス可能なコンピュータプログラム製品の形態をとることができる。この記載の目的のため、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって又はこれらと関連付けて用いるためのプログラムを含有、記憶、通信、伝搬、又は転送できる任意の装置とすることができる。この媒体は、電子、磁気、光学、電磁、赤外線、もしくは半導体のシステム(もしくは装置もしくはデバイス)、又は伝搬媒体とすることができる。典型的に、コンピュータ使用可能媒体又はコンピュータ可読媒体は、非一時的なコンピュータ使用又はコンピュータ可読媒体である。
【0082】
コンピュータ可読媒体の例には、半導体又は固体メモリ、磁気テープ、着脱可能コンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、剛性磁気ディスク、及び光ディスクが含まれる。光ディスクの現在の例には、コンパクトディスクリードオンリメモリ(CD-ROM)、コンパクトディスクリード/ライト(CD-R/W)、及びDVDが含まれる。
【0083】
プログラムコードの記憶及び/又は実行に適したデータ処理システムは、システムバスを介してメモリ要素(例えばメモリ30)に直接又は間接的に結合された少なくとも1つのプロセッサ(例えばコンピュータプロセッサ28)を含む。メモリ要素は、プログラムコードの実際の実行中に用いられるローカルメモリと、大容量記憶装置と、実行中に大容量記憶装置からコードを検索しなければならない回数を減らすために少なくともいくつかのプログラムコードの一時記憶装置を提供するキャッシュメモリと、を含み得る。システムは、プログラム記憶デバイス上の本発明の命令を読み取り、これらの命令に従って本発明の実施形態の方法を実行することができる。
【0084】
プロセッサにネットワークアダプタを結合して、プライベートネットワーク又はパブリックネットワークを介してプロセッサを他のプロセッサ又は遠隔のプリンタもしくは記憶デバイスに結合することを可能とする。現在利用可能なタイプのネットワークアダプタのほんの数例として、モデム、ケーブルモデム、及びイーサネットカードが挙げられる。
【0085】
本発明の動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++等のオブジェクト指向プログラミング言語、及びCプログラミング言語又は同様のプログラミング言語等の従来の手続きプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書くことができる。
【0086】
本明細書に記載されているアルゴリズムがコンピュータプログラム命令によって実施され得ることは理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されてマシンを生成し、これによって、コンピュータのプロセッサ(例えばコンピュータプロセッサ28)又は他のプログラマブルデータ処理装置によって実行される命令が、本出願に記載されているアルゴリズムに規定された機能/作用を実施するための手段を生成することができる。また、これらのコンピュータプログラム命令はコンピュータ可読媒体(例えば非一時的コンピュータ可読媒体)に記憶することができ、コンピュータ又は他のプログラマブルデータ処理装置に特定の方法で機能するように指示することで、コンピュータ可読媒体に記憶された命令が、フローチャートのブロック及びアルゴリズムに規定された機能/行為を実施する命令手段を含む製造品(article of manufacture)を生成するようになっている。また、コンピュータプログラム命令を、コンピュータ又は他のプログラマブルデータ処理装置にロードして、そのコンピュータ又は他のプログラマブル装置上で一連の動作ステップを実行させてコンピュータ実施プロセスを生成することができ、これによって、コンピュータ又は他のプログラマブル装置上で実行する命令が、本出願で記載されているアルゴリズムに規定された機能/行為を実施するためのプロセスを提供するようになっている。
【0087】
コンピュータプロセッサ28は典型的に、専用コンピュータを生成するようにコンピュータプログラム命令を用いてプログラムされたハードウェアデバイスである。例えば、本明細書に記載されているアルゴリズムを実行するようにプログラミングされた場合、コンピュータプロセッサ28は典型的に、専用の人工画像生成コンピュータプロセッサとして機能する。典型的に、コンピュータプロセッサ28によって実行される本明細書に記載された動作は、実際の物理的物品であるメモリ30の物理的状態を変化させて、使用されるメモリの技術に応じて異なる磁気極性や電荷等を有するようにする。
【0088】
本明細書に記載されている装置及び方法は、以下の特許又は特許出願(全てが援用により本願に含まれる)のうちいずれか1つに記載されている装置及び方法と関連付けて用いることができる。
Bacheletに対する米国特許第US9,522,396号
Greenfieldに対する米国特許第US10,176,565号
Pollakに対する米国特許第US10,640,807号
Pollakに対する米国特許第US9,329,129号
Pollakに対する米国特許第US10,093,957号
Yorav Raphaelに対する米国特許第US10,831,013号
Bacheletに対する米国特許第US10,843,190号
Yorav Raphaelに対する米国特許第US10,482,595号
Eshelに対する米国特許第US10,488,644号
Eshelに対する国際公開第WO17/168411号
Pollakに対する米国特許出願公開第US2019/0302099号
Zaitに対する米国特許出願公開第US2019/0145963号
Yorav-Raphaelに対する国際公開第WO19/097387号
【0089】
本発明が具体的に図示し上述したものに限定されないことは、当業者によって認められよう。本発明の範囲は、前述の記載を読んだ当業者に想起される、上述した様々な特徴の組み合わせ及びサブコンビネーション(subcombination)の双方、並びに、従来技術に存在しないそれらの変形及び変更を含む。
【国際調査報告】