特表 2022-526084 ３次元定量的位相イメージングを用いる微生物の同定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-23

(54)【発明の名称】３次元定量的位相イメージングを用いる微生物の同定

(51)【国際特許分類】

   C12Q 1/02 20060101AFI20220516BHJP

   C12M 1/00 20060101ALI20220516BHJP

【ＦＩ】

C12Q1/02

C12M1/00 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021555105

(86)(22)【出願日】2019-09-27

(85)【翻訳文提出日】2021-11-05

(86)【国際出願番号】 IB2019058248

(87)【国際公開番号】W WO2020183231

(87)【国際公開日】2020-09-17

(31)【優先権主張番号】62/817,680

(32)【優先日】2019-03-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/856,290

(32)【優先日】2019-06-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】521412803

【氏名又は名称】トモキューブ， インク．

(71)【出願人】

【識別番号】514260642

【氏名又は名称】コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ

(74)【代理人】

【識別番号】100097456

【弁理士】

【氏名又は名称】石川 徹

(72)【発明者】

【氏名】キヒョン ホン

(72)【発明者】

【氏名】ヒュン‐ソク ミン

(72)【発明者】

【氏名】ヨンケウン パーク

(72)【発明者】

【氏名】ゴン キム

(72)【発明者】

【氏名】ヨンジュ ジョ

【テーマコード（参考）】

4B029

4B063

【Ｆターム（参考）】

4B029AA07

4B029BB02

4B029BB06

4B029BB13

4B063QQ06

4B063QQ07

4B063QQ10

4B063QR75

4B063QR76

4B063QR79

4B063QS39

(57)【要約】

1つ又は複数の微生物の予測される種類を同定するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む方法、システム、及び装置。一態様では、システムは、位相差顕微鏡及び微生物分類システムを含む。位相差顕微鏡は、1つ又は複数の微生物の3次元定量的位相画像を生成するように構成されている。微生物分類システムは、ニューラルネットワークを用いて3次元定量的位相画像を処理して、該微生物を特徴付けるニューラルネットワーク出力を生成し、その後、該ニューラルネットワーク出力を用いて該微生物の予測される種類を同定するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

位相差顕微鏡を用いて、1つ又は複数の微生物の3次元定量的位相画像を生成する工程であって、該3次元定量的位相画像が、該微生物の3次元表現を含む、該工程と；
ニューラルネットワークを用いて該3次元定量的位相画像を処理する工程であって：
該ニューラルネットワークが、1つ又は複数の3次元畳み込み層を含む畳み込みニューラルネットワークであり；且つ
該ニューラルネットワークが、ニューラルネットワークの学習済みパラメータ値に従って該3次元定量的位相画像を処理して、該微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている、該工程と；
該ニューラルネットワーク出力を用いて該微生物の予測される種類を同定する工程とを含む、方法。

【請求項2】

前記ニューラルネットワーク出力が、所定数の微生物の種類のそれぞれについてそれぞれの確率値を含み；且つ
所与の微生物の種類の確率値が、該微生物が該所与の微生物の種類である可能性を示す、請求項1記載の方法。

【請求項3】

前記ニューラルネットワーク出力を用いて微生物の予測される種類を同定する工程が：
該微生物の予測される種類を、該ニューラルネットワーク出力で最も高い確率値を有する微生物の種類として同定することを含む、請求項2記載の方法。

【請求項4】

前記ニューラルネットワーク出力が、前記微生物が前記微生物の種類である可能性を示す該微生物の種類の確率値を含む、請求項1記載の方法。

【請求項5】

前記微生物の予測される種類が、属、種、株、グラム染色性、代謝、形態、及び運動性からなる群から選択される、請求項1記載の方法。

【請求項6】

前記微生物の3次元定量的位相画像が3次元屈折率断層写真である、請求項1記載の方法。

【請求項7】

前記微生物が、細菌、ウイルス、真菌、寄生虫、及び微細藻類からなる群から選択される、請求項1記載の方法。

【請求項8】

前記微生物が細菌を含む、請求項7記載の方法。

【請求項9】

前記細菌が患者の血液試料中に存在する、請求項8記載の方法。

【請求項10】

前記細菌の予測される種類に基づいて前記患者に抗生物質療法を施すことをさらに含む、請求項9記載の方法。

【請求項11】

前記位相差顕微鏡を用いて微生物の3次元定量的位相画像を生成する工程が：
該位相差顕微鏡を用いて、複数の照明角度のそれぞれで該微生物の位相画像及び振幅画像を生成すること；及び
該位相画像及び振幅画像を用いて3次元屈折率断層写真を復元することを含む、請求項1記載の方法。

【請求項12】

最大で1時間かかる、請求項1記載の方法。

【請求項13】

ニューラルネットワークの学習済みパラメータ値に従って、該ニューラルネットワークを用いて1つ又は複数の微生物の3次元定量的位相画像を処理することによって該1つ又は複数の微生物の予測される種類を同定する工程を含む、方法。

【請求項14】

前記ニューラルネットワークが、1つ又は複数の3次元畳み込み層を含む、請求項13記載の方法。

【請求項15】

前記ニューラルネットワークが、前記微生物を特徴付けるニューラルネットワーク出力を生成するように構成され；且つ
前記微生物の予測される種類を同定する工程が、該ニューラルネットワーク出力に少なくとも部分的に基づいて該微生物の予測される種類を同定することを含む、請求項13記載の方法。最大で1時間かかる、請求項13記載の方法。

【請求項16】

細菌に感染した患者からの生物学的試料を用意する工程と；
該患者から生物学的試料を得てから1時間以内に該患者の細菌の予測される種類を特定する工程であって：
ニューラルネットワークの学習済みパラメータ値に従って、1つ又は複数の3次元畳み込み層を含む該ニューラルネットワークを用いて、該生物学的試料から分離された1つ又は複数の細菌の3次元定量的位相画像を処理して、該細菌を特徴付けるニューラルネットワーク出力を生成すること；及び
該ニューラルネットワーク出力を用いて該細菌の予測される種類を同定することを含む該工程とを含む、方法。

【請求項17】

前記生物学的試料が血液試料を含む、請求項15記載の方法。

【請求項18】

前記患者からの生物学的試料を用意してから45分以内に、前記患者の細菌の予測される種類が同定される、請求項15記載の方法。

【請求項19】

前記患者からの生物学的試料を用意してから30分以内に、前記患者の細菌の予測される種類が同定される、請求項15記載の方法。

【請求項20】

前記患者からの生物学的試料を用意してから15分以内に、前記患者の細菌の予測される種類が同定される、請求項13記載の方法。

【請求項21】

細菌感染が疑われる患者からの生物学的試料を用意する工程と、
該患者からの生物学的試料を用意してから1時間以内に、該患者の細菌の予測される種類を同定する工程であって：
ニューラルネットワークの学習済みパラメータ値に従って、1つ又は複数の3次元畳み込み層を含む該ニューラルネットワークを用いて、該生物学的試料から分離された1つ又は複数の細菌の3次元定量的位相画像を処理して、該細菌を特徴付けるニューラルネットワーク出力を生成すること；及び
該ニューラルネットワーク出力を用いて該細菌の予測される種類を同定することを含む該工程とを含む、方法。

【請求項22】

1つ又は複数の微生物の3次元定量的位相画像を生成するように構成された位相差顕微鏡であって、該3次元定量的位相画像が、該微生物の3次元表現を含む、該位相差顕微鏡と；
操作を実行するように構成された微生物分類システムとを含む、システムであって、
該操作が、
ニューラルネットワークを用いて該3次元定量的位相画像を処理する工程であって、
該ニューラルネットワークが、1つ又は複数の3次元畳み込み層を含む畳み込みニューラルネットワークであり；且つ
該ニューラルネットワークが、該ニューラルネットワークの学習済みパラメータ値に従って、該3次元定量的位相画像を処理して、該微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている、該工程と；
該ニューラルネットワーク出力を用いて該微生物の予測される種類を同定する工程とを含む、前記システム。

【請求項23】

1つ又は複数のコンピュータによって実行されると、1つ又は複数のコンピュータに操作を実行させる命令を格納する1つ又は複数の非一時的なコンピュータ可読記憶媒体であって、該操作が：
位相差顕微鏡を用いて生成された1つ又は複数の微生物の3次元定量的位相画像を受信する工程であって、該3次元定量的位相画像が、該微生物の3次元表現を含む、該工程と；
ニューラルネットワークを用いて該3次元定量的位相画像を処理する工程であって：
該ニューラルネットワークが、1つ又は複数の3次元畳み込み層を含む畳み込みニューラルネットワークであり；且つ
該ニューラルネットワークが、該ニューラルネットワークの学習済みパラメータ値に従って、該3次元定量的位相画像を処理して、該微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている、該工程と；
該ニューラルネットワーク出力を用いて該微生物の予測される種類を同定する工程とを含む、前記1つ又は複数の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、米国特許法第119条の下、2019年3月13日に出願された「生物学的実体の迅速な同定（RAPID IDENTIFICATION OF BIOLOGICAL ENTITIES）」という名称の米国仮特許出願第62／817,680号及び2019年6月3日に出願された「3次元定量的位相イメージングを用いる微生物の同定（IDENTIFYING MICROORGANISMS USING THREE-DIMENSIONAL QUANTITATIVE PHASE IMAGING）」という名称の米国仮特許出願第62／856,290号に基づき優先権を主張する。これらの2つの仮特許出願の全内容は、引用により本明細書中に組み込まれる。
（分野）
本明細書は、3次元（3D）定量的位相イメージングを用いて微生物を同定することに関する。本明細書は、2019年3月13日に出願された「生物学的実体の迅速な同定（Rapid identification of biological entities）」という名称の米国仮特許出願第62／817,680号の引用によってその全内容を組み込んでいる。

【背景技術】

【0002】

（背景）
微生物という用語は、例えば、細菌、ウイルス、又は真菌を指し得る。微生物の種類は、例えば、属、種、株、代謝、形態、運動性、又は微生物の他の適切な特性を意味し得る。

【0003】

定量的位相イメージングは、標本を通過する光に誘発される位相シフトを定量化することによって標本を特徴づける。

【発明の概要】

【課題を解決するための手段】

【0004】

（概要）
本明細書は、ニューラルネットワーク、例えば、3D畳み込みニューラルネットワークを用いて微生物の3D定量的位相画像（QPI）を処理することによって微生物を同定するための方法及び装置を説明する。

【0005】

第1の態様によると、1つ又は複数の微生物の予測される種類を同定するための方法が提供される。この方法は、位相差顕微鏡を使用して、1つ又は複数の微生物の3次元定量的位相画像を生成することを含み、該3次元定量的位相画像は、微生物の3次元表現を含む。3次元定量的位相画像は、1つ又は複数の3次元畳み込み層を有する畳み込みニューラルネットワークを用いて処理される。ニューラルネットワークは、該ニューラルネットワークの学習済みパラメータ値に従って3次元定量的位相イメージングを処理して、微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている。微生物の予測される種類は、ニューラルネットワーク出力を用いて同定される。

【0006】

いくつかの実施では、ニューラルネットワーク出力は、所定数の微生物の種類のそれぞれについてそれぞれの確率値を含む。所与の微生物の種類についての確率値は、微生物が該所与の微生物の種類である可能性を示す。

【0007】

いくつかの実施では、微生物の予測される種類は、ニューラルネットワーク出力において最も高い確率値を有する微生物の種類として同定される。

【0008】

いくつかの実施では、ニューラルネットワーク出力は、微生物がある微生物の種類である可能性を示す該微生物の種類の確率値を含む。

【0009】

いくつかの実施では、微生物の予測される種類は、属、種、株、グラム染色性、代謝、形態、及び運動性からなる群から選択される。

【0010】

いくつかの実施では、微生物の3次元定量的位相画像は、3次元屈折率断層写真である。

【0011】

いくつかの実施では、微生物は、細菌、ウイルス、真菌、寄生虫、及び微細藻類からなる群から選択される。

【0012】

いくつかの実施では、微生物は、患者の血液試料中に存在する細菌を含む。

【0013】

いくつかの実施では、この方法は、細菌の予測される種類に基づいて患者に抗生物質療法を施すことを含む。

【0014】

いくつかの実施では、位相差顕微鏡、定量的位相顕微鏡法、又はデジタルホログラフィック顕微鏡法を用いて、複数の照明角度のそれぞれで微生物の位相及び振幅画像を生成し、3次元屈折率断層写真を位相及び振幅画像を用いて復元する。

【0015】

いくつかの実施では、この方法は最大で1時間かかる。

【0016】

第2の態様によると、ニューラルネットワークの微生物の学習済みパラメータ値に従って、該ニューラルネットワークを使用して1つ又は複数の微生物の3次元定量的位相画像を処理することによって、1つ又は複数の微生物の予測される種類を同定するための方法が提供される。

【0017】

いくつかの実施では、ニューラルネットワークは、1つ又は複数の3次元畳み込み層を含む。

【0018】

いくつかの実施では、ニューラルネットワークは、微生物を特徴付けるニューラルネットワーク出力を生成するように構成され、微生物の予測される種類は、少なくとも部分的に該ニューラルネットワーク出力に基づいて同定される。

【0019】

いくつかの実施では、この方法は最大で1時間かかる。

【0020】

第3の態様によると、1つ又は複数の微生物の予測される種類を同定するための方法が提供される。この方法は、細菌に感染した患者からの生物学的試料を用意することを含む。患者の細菌の予測される種類は、1つ又は複数の3次元畳み込み層を有するニューラルネットワークの学習済みパラメータ値に従って、該ニューラルネットワークを使用して、生物学的試料から分離された1つ又は複数の細菌の3次元定量的位相画像を処理して、該細菌を特徴付けるニューラルネットワーク出力を生成することによって、該患者から生物学的試料を得てから1時間以内に同定される。細菌の予測される種類は、ニューラルネットワーク出力を用いて同定される。

【0021】

いくつかの実施では、生物学的試料は血液試料を含む。

【0022】

いくつかの実施では、患者の細菌の予測される種類は、該患者からの生物学的試料を用意してから45分以内に同定される。

【0023】

いくつかの実施では、患者の細菌の予測される種類は、該患者からの生物学的試料を用意してから30分以内に同定される。

【0024】

いくつかの実施では、患者の細菌の予測される種類は、該患者からの生物学的試料を用意してから15分以内に同定される。

【0025】

第4の態様によると、1つ又は複数の微生物の予測される種類を同定するための方法が提供される。この方法は、細菌感染が疑われる患者からの生物学的試料を用意することを含む。患者の細菌の予測される種類は、1つ又は複数の3次元畳み込み層を有するニューラルネットワークの学習済みパラメータ値に従って、該ニューラルネットワークを用いて、生物学的試料から分離された1つ又は複数の細菌の3次元定量的位相画像を処理して、細菌を特徴付けるニューラルネットワーク出力を生成することによって、患者から生物学的試料を用意してから1時間以内に同定される。細菌の予測される種類は、ニューラルネットワーク出力を用いて同定される。

【0026】

第5の態様によると、位相差顕微鏡及び微生物分類システムを含むシステムが提供される。位相差顕微鏡は、1つ又は複数の微生物の3次元定量的位相画像を生成するように構成され、該3次元定量的位相画像は、該微生物の3次元表現を含む。微生物分類システムは、ニューラルネットワークを用いて3次元定量的位相画像を処理するように構成され、該ニューラルネットワークは、1つ又は複数の3次元畳み込み層を有する畳み込みニューラルネットワークであり、該ニューラルネットワークは、該ニューラルネットワークの学習済みパラメータ値に従って3次元定量的位相画像を処理して、微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている。微生物の予測される種類は、ニューラルネットワーク出力を用いて同定される。

【0027】

第6の態様によると、1つ又は複数のコンピュータによって実行されると、該1つ又は複数のコンピュータに、位相差顕微鏡を用いて生成された1つ又は複数の微生物の3次元定量的位相画像を受信させる命令を格納する1つ又は複数の非一時的なコンピュータ可読記憶媒体が提供され、該3次元定量的位相画像は、微生物の3次元表現を含む。3次元定量的位相画像は、ニューラルネットワークを用いて処理され、該ニューラルネットワークは、1つ又は複数の3次元畳み込み層を有する畳み込みニューラルネットワークである。ニューラルネットワークは、該ニューラルネットワークの学習済みパラメータ値に従って、3次元定量的位相画像を処理して、微生物を特徴付けるニューラルネットワーク出力を生成するように構成されている。微生物の予測される種類は、ニューラルネットワーク出力を用いて同定される。

【0028】

本明細書に記載の主題の特定の実施態様は、以下の利点のうちの1つ又は複数を実現するように実装することができる。

【0029】

本明細書に記載の方法は、いくつかの従来の方法よりも迅速に且つ／又は一貫して微生物を同定することを可能にすることができる。

【0030】

例えば、血液培養に基づくスクリーニングは、細菌種を同定するための従来の方法である。血液培養は細菌の存在を明らかにし得るが、多くの場合、細菌を増殖させてはっきり見えるコロニーを形成するのに数時間から数日かかる。さらに、典型的には、様々な抗生物質に対する質量分析又は感受性試験を用いて細菌の正確な種類を決定する。抗血清試験、デオキシリボ核酸（DNA）マイクロアレイ、及びリアルタイムポリメラーゼ連鎖反応（PCR）を含む他の生化学的方法で、細菌の種類を同定することができる。しかしながら、生化学反応又は分子固有の信号に依存しているため、これらの従来の方法は、1時間から1日のプロセス、並びに特殊な生化学物質の維持及び使用も含み得る。

【0031】

対照的に、本明細書に記載の技術は、（場合によっては）1時間以内に正確な細菌の同定を可能にすることができる。例えば、マイクロ流体工学及び抗体工学の進歩により、細菌に感染した患者の血液濃度と同じくらい低い濃度からの細菌の1時間以内の分離を達成した。細菌試料の3D QPIを得るには、培養又は染色などの時間のかかるプロセスは必要なく、分類ニューラルネットワークは、入力データを使用して予測を行うのに数ミリ秒以下しかかからない。

【0032】

本明細書に記載の技術は、測定及び分析の両方の最中に人的要因に対する影響を受けにくくすることができるため、いくつかの従来の方法よりも一貫して微生物を同定することを可能にすることができる。例えば、一部の従来の方法は人間が行う物理実験に依存しているが、本明細書に記載の技術は、計算技術（即ち、分類ニューラルネットワーク）を用いて一貫した測定（即ち、定量的位相イメージングを用いて生成される）を利用することができる。

【0033】

3D QPIを処理することにより、本明細書に記載の技術は、（場合によっては）2D QPIを処理することによって可能になり得るよりも正確に微生物を同定することができる。特に、特定の照明角度に対応する2D QPIには、多くの場合、ダスト粒子による複数の反射又は散乱によって引き起こされる干渉に起因するノイズの多い画像アーチファクトが含まれる。厚みがわずか数百ナノメートルの微生物（例えば、細菌）の画像は、特にそのようなアーチファクトに対して脆弱である。複数の2D QPIから復元された3D QPIの信号対雑音比（SNR）は、ノイズの多いアーチファクトが照明角度に依存するのに対し、微生物の影響は一貫しているため、2D QPIよりも高くなり得る。

【0034】

3D畳み込みニューラルネットワークを使用することにより、本明細書に記載の技術は、（場合によっては）例えば、2D畳み込みニューラルネットワーク又は他の機械学習モデルを使用することによって可能になり得るよりも正確に微生物を同定することができる。特に、3D畳み込みニューラルネットワークは、3D QPIの異なる部分間の複雑な3D空間関係を利用して、3D QPIに示されている微生物を正確に同定するように学習させることができる。

【0035】

本明細書の主題の1つ又は複数の実施態様の特定の詳細は、添付の図面及び以下の説明に記載される。主題の他の特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0036】

（図面の簡単な説明）

【図1】図1は、1つ又は複数のセットの微生物の種類が該微生物の3D QPIから予測される環境の例のブロック図である。

【0037】

【図2】図2は、学習システムの例を示している。

【0038】

【図3】図3は、学習データのセットの例の図である。

【0039】

【図4】図4は、位相差顕微鏡及び微生物分類システムを使用して、細菌に感染した患者を治療するのに適切な抗生物質療法を決定するためのプロセスの例の図である。

【0040】

【図5】図5は、位相差顕微鏡を用いて微生物の3D QPIを生成するためのプロセスの例の図である。

【0041】

【図6】図6A～図6Gは、19種類の敗血症誘発細菌の種を細菌の3D屈折率断層写真から予測するように分類ニューラルネットワークが学習させられた実験の結果を例示する。

【0042】

【図7】図7は、微生物の3D QPIを処理して該微生物の予測される種類を特徴付ける分類出力を生成するように構成された分類ニューラルネットワークのアーキテクチャの例の図である。

【0043】

【図8】図8は、1つ又は複数の微生物の予測される種類を同定するためのプロセスの例の流れ図である。

【0044】

【図9】図9は、3D屈折率断層写真を生成するために使用されるマッハツェンダー位相差顕微鏡装置の図である。

【0045】

様々な図面における同様の参照番号及び名称は同様の要素を示す。

【発明を実施するための形態】

【0046】

（詳細な説明）
本明細書は、3D畳み込み分類ニューラルネットワークを用いて微生物（例えば、細菌）の3次元（3D）定量的位相画像（QPI）を処理することによって、該微生物の種類（例えば、種）を予測することができる微生物分類システムを説明する。微生物分類システムは、診断用途として臨床環境に配備することができる。これらの機能及び他の特徴については、以下でより詳細に説明する。

【0047】

図1は、1つ又は複数のセットの微生物104の種類102が該微生物104の3D QPI 106から予測される環境の例100のブロック図である。

【0048】

微生物104は、細菌、ウイルス、真菌、寄生虫、微細藻類、又はその他の適切な種類の微生物であり得る。微生物104は、疾患を引き起こし得る（例えば、敗血症を誘発し得る）が、必ずしも疾患を引き起こさなくてもよい。

【0049】

微生物104は、様々な供給源のいずれかに由来し得る。例えば、微生物104は、図4を参照してより詳細に説明するように、細菌（又は真菌）分離技術を使用して細菌（又は真菌）感染症の患者の血液試料を処理することによって得られる細菌（又は真菌）であり得る。

【0050】

微生物104の予測される種類102は、例えば、予測される種（例えば、アシノバクター・バウマンニ（Acinobacter baumannii）、バチルス・サブチリス（Bacillus subtilis）、又はエンテロバクター・クロアカエ（Enterobacter cloacae））、予測される属、予測される株、予測されるグラム染色性（例えば、グラム陽性又はグラム陰性）、予測される代謝（例えば、好気性又は嫌気性）、予測される形態（例えば、球菌、桿菌、又は球桿菌）、予測される運動性（例えば、運動性又は非運動性）、又はその他の適切な微生物の特徴を定義することができる。

【0051】

任意に、微生物104の予測される種類102は、該微生物104の複数の特徴についての予測を定義することができる。例えば、微生物104の予測される種類102は、該微生物の予測される種及び該微生物の予測される運動性の両方を定義することができる。

【0052】

環境100は、位相差顕微鏡108及び微生物分類システム110を含む。微生物分類システム110は、1つ又は複数の場所にある1つ又は複数のコンピュータ上のコンピュータプログラムとして実施することができる。

【0053】

位相差顕微鏡108を使用して、微生物104の3D定量的位相画像106（即ち、3D QPI 106）が生成される。概して、3D QPI 106は、微生物104を通過する光に誘発される位相シフトを定量化することによってそれらの形態学的及び生物物理学的特性を特徴付ける該微生物104の3D表現である。

【0054】

一般に、微生物104の3D QPI 106は、数値（例えば、浮動小数点値）の3D行列として表すことができ、該3D行列の各成分は、該微生物104の中又は周囲にあるそれぞれの3D空間位置に対応する。一例では、3D QPI 106は、「屈折率（RI）断層写真」であり得、ここで、3D行列の各成分は、構成成分に対応する空間位置での物質（例えば、微生物の一部）の屈折率を定義する。

【0055】

位相差顕微鏡108は、様々な異なる技術のいずれかを使用して、微生物104の3D QPI 106を生成することができる。位相差顕微鏡108を用いて微生物104の3D QPI 106を生成するための方法の例は、図5を参照してより詳細に説明する。

【0056】

微生物分類システム110は、分類ニューラルネットワーク112のモデルパラメータ114の学習済み値に従って、該分類ニューラルネットワーク112を用いて微生物104の3D QPI 106を処理して分類出力116を生成するように構成されている。その後、微生物分類システム110は、分類出力116を用いて、微生物104の予測される種類102を同定する。少数の例を以下に示す。

【0057】

一例では、分類出力116は、所定数の可能性のある微生物の種類に対する確率分布を定義する；即ち、該分類出力116は、それぞれの可能性のある微生物の種類に対応するそれぞれの数的確率値を含む。この例では、システム110は、微生物104の予測される種類102を、分類出力116によって確率値が最も高い微生物の種類として同定することができる。

【0058】

別の例では、分類出力116は、可能性のある指数の所定のセットからの指数（例えば、正の整数値）を定義し、各指数は、それぞれの可能性のある微生物の種類に対応する。この例では、システム110は、微生物104の予測される種類102を、分類出力116によって定義された指数に対応する微生物の種類として同定することができる。

【0059】

場合によっては、位相差顕微鏡108によって生成される3D QPI 106は、多数（例えば、数千）の微生物を示し得る。例えば、位相差顕微鏡108は、顕微鏡スライドに載せられた数千の微生物（例えば、細菌）を示す3D QPI 106を生成することができる。システム110は、（例えば、微生物を検出するように学習させられた物体検出ニューラルネットワークを用いて）3D QPI 106における個々の微生物を検出し、それぞれが1つ又は複数のそれぞれの微生物を示す3D QPI 106から複数の領域を切り取ることができる。3D QPI 106から切り取られた各領域について、システム110は、分類ニューラルネットワーク112を用いて該領域を処理して、切り取られた領域に示された1つ又は複数の微生物を特徴付けるそれぞれの分類出力116を生成することができる。その後、システム110は、切り取られた領域に対して生成されたそれぞれの分類出力を用いて、元の3D QPI 106に示されている微生物の種類について「全体的な」予測を生成することができる。少数の例を以下に示す。

【0060】

一例では、3D QPI 106から切り取られた各領域について分類ニューラルネットワーク112によって生成されたそれぞれの分類出力116は、（前述のように）可能性のある微生物の種類に対する確率分布を定義する。この例では、システム110は、3D QPI 106から切り取られた領域のそれぞれについて生成された可能性のある微生物の種類に対する確率分布を組み合わせて（例えば、平均して）、可能性のある微生物の種類に対する「全体的な」確率分布を生成することができる。システム110は、3D QPI 106に示されている微生物の全体的な予測される種類を、可能性のある微生物の種類に対する全体的な確率分布によって、確率値が最も高い微生物の種類として同定することができる。

【0061】

別の例では、3D QPI 106から切り取られた各領域について分類ニューラルネットワーク112によって生成されたそれぞれの分類出力116は、（前述のように）可能性のある微生物の種類に関連する指数を定義する。この例では、システム110は、3D QPI 106から切り取られた領域について分類ニューラルネットワーク112によって生成された指数のセットにおいて最も頻繁に発生する指数（即ち、「モード指数」）を決定することができる。システム110は、モード指数に関連する可能性のある微生物の種類として、3D QPI 106に示されている微生物の全体的な予測される種類を同定することができる。

【0062】

3D QPIから切り取られた複数の領域を処理することによって該3D QPIに示されている微生物の種類について全体的な予測を生成することにより、システム110のロバスト性を改善することができる。

【0063】

場合によっては、単一の分類ニューラルネットワーク112を用いるのではなく、システム110は、複数の分類ニューラルネットワーク112のアンサンブルを用いて、予測される微生物の種類102を決定することができる。アンサンブルにおける分類ニューラルネットワークは、様々な面のいずれかで互いに異なり得る。例えば、アンサンブルにおける分類ニューラルネットワークの一部又はすべては、異なるニューラルネットワークアーキテクチャ、例えば、異なる3D畳み込みニューラルネットワークアーキテクチャを有し得る。別の例として、アンサンブルにおける分類ニューラルネットワークの一部又はすべては、例えば、モデルパラメータ値を様々に初期化することによって様々に学習させることができる。アンサンブルにおける各分類ニューラルネットワークは、3D QPI 106を処理してそれぞれの分類出力116を生成することができ、システム110は、（前述のように）それぞれの分類出力を用いて該3D QPI 106に示されている微生物の種類の全体的な予測を生成することができる。

【0064】

任意に、3D QPI 106を処理することによって分類ニューラルネットワーク112によって生成される1つ又は複数の中間出力を、微生物104の特徴付けに使用するために提供することができる。中間出力（潜在的特徴とも呼ばれ得る）は、分類ニューラルネットワーク112の中間層（即ち、入力層と出力層との間の層）によって生成される出力を指す。中間出力は、数値の順序付けられた集合体、例えば、数値のベクトル又は行列として表すことができる。分類ニューラルネットワーク112によって生成される中間出力は、別の機械学習モデル（例えば、サポートベクトルマシン（SVM）又はランダムフォレスト（RF））によって処理して微生物104を特徴付ける予測出力を生成することができる3D QPI 106のコンパクトな記述子として使用することができる。図6Bは、分類ニューラルネットワーク112によって生成されたいくつかの中間出力（即ち、潜在的特徴）の例の図である。

【0065】

分類ニューラルネットワーク112のモデルパラメータ114は、該分類ニューラルネットワークの層によって実行される操作を定義するパラメータ、例えば、該分類ニューラルネットワーク112の層の重み行列及びバイアスベクトルを指す。

【0066】

分類ニューラルネットワーク112は、任意の適切なニューラルネットワークアーキテクチャを有し得る。例えば、分類ニューラルネットワーク112は、3D畳み込みニューラルネットワーク、即ち、1つ又は複数の3D畳み込み層を含むニューラルネットワークであり得る。3D畳み込み層は、1つ又は複数の3D畳み込みフィルタを用いて1つ又は複数の3D入力（例えば、数値の3D行列として表される）を処理して1つ又は複数の3D出力を生成するように構成された畳み込み層を指す。

【0067】

3D畳み込み層に加えて、分類ニューラルネットワーク112は、任意の適切な構成で接続された任意の適切な種類の追加のニューラルネットワーク層（例えば、プーリング又は完全に接続された層）を含み得る。分類ニューラルネットワークアーキテクチャの例を、図7を参照してより詳細に説明する。

【0068】

学習システムは、学習例のセットで分類ニューラルネットワーク112を学習させることによって、該分類ニューラルネットワーク112のモデルパラメータ114の学習済み値を決定することができる。学習システムの例を、図2を参照してより詳細に説明する。

【0069】

位相差顕微鏡108及び微生物分類システム110は、診断用途として臨床環境に配備することができる。例えば、図4を参照して説明するように、位相差顕微鏡108及び微生物分類システム110を用いて、細菌に感染した患者に適切な抗生物質療法を決定することができる。

【0070】

図2は、学習システムの例200を示す。学習システム200は、以下に説明するシステム、構成要素、及び技術が実施される1つ又は複数の場所にある1つ又は複数のコンピュータ上のコンピュータプログラムとして実装されるシステムの例である。

【0071】

学習システム200は、学習データ202のセット及び学習エンジン204を使用して、分類ニューラルネットワーク112のモデルパラメータ114の学習済み値を決定する。

【0072】

学習データ202は、複数の学習例を含む。各学習例には：（i）1つ又は複数の微生物（例えば、細菌）の3D QPI、及び（ii）3D QPIに示されている微生物の種類を定義する「標的の微生物の種類」が含まれる。標的の微生物の種類は、3D QPIの処理により分類ニューラルネットワーク112によって生成されるはずである分類出力を規定する。

【0073】

一般に、学習データ202は、各可能性のある微生物の種類（即ち、分類ニューラルネットワーク112によって予測され得る可能性のある微生物の種類の所定のセットからの）に対応する少なくとも1つの学習例を含む。図3は、学習データ202のセットの例の図を示す。

【0074】

学習エンジン204は、複数の学習反復のそれぞれにおいて、分類ニューラルネットワーク112のモデルパラメータ114の現在値を反復的に調整するように構成されている。

【0075】

各学習反復において、学習エンジン204は、学習データ202から1つ又は複数の学習例206のバッチ（即ち、セット）を選択（例えば、ランダムにサンプリング）し、各学習例206に含まれる3D QPIを処理して、対応する予測される微生物の種類208を生成する。

【0076】

次いで、学習エンジン204は、（i）分類ニューラルネットワーク112によって生成される微生物の予測される種類208、及び（ii）訓練の例206によって規定される標的の微生物の種類に基づいて、モデルパラメータ114の現在値に対するパラメータ値の更新210を決定する。より具体的には、現在の学習反復でパラメータ値の更新210を決定するために、学習エンジン204は、分類ニューラルネットワーク112のモデルパラメータ114に関する目的関数の勾配を決定する。一般に、目的関数は、分類ニューラルネットワーク112によって生成される予測される微生物の種類208と、学習例206によって規定される標的の微生物の種類に依存する。学習エンジン204は、例えば、任意の適切な勾配降下最適化アルゴリズム（例えば、Adam又はRMSprop）の更新規則に従って、目的関数の勾配に基づいてパラメータ値の更新210を決定することができる。

【0077】

パラメータ値の更新210は、任意の適切な数値形式で、例えば、分類ニューラルネットワーク112の各モデルパラメータ114に対応するそれぞれの数値を含む数値の順序付けられた集合体（例えば、数値のベクトル）として表すことができる。学習システム200は、パラメータ値の更新210をモデルパラメータ114の現在値に加えた結果として、学習反復時にモデルパラメータ114の更新された値を決定することができる。

【0078】

学習エンジン204は、例えば、逆伝搬技術を用いて、任意の適切な方法で目的関数の勾配を決定することができる。目的関数は、任意の適切な分類目的関数、例えば、クロスエントロピー目的関数であり得る。

【0079】

学習システム200は、学習終了基準が満たされると分類ニューラルネットワーク112の学習が完了したと決定することができる。例えば、学習終了基準は、所定数の学習反復が行われたことであり得る。別の例として、学習終了基準は、提供された学習例のセットで評価された分類ニューラルネットワーク112の精度が少なくとも所定の閾値を達成することであり得る。

【0080】

学習終了基準が満たされていると決定した後、学習システム200は、分類ニューラルネットワーク112のモデルパラメータ114の学習済み値を微生物分類システム110に提供することができる（即ち、図1を参照して説明されている）。モデルパラメータ114の「学習済み値」は、学習システム200によって行われた最後の学習反復の終了時のモデルパラメータ114の値を指す。

【0081】

学習システム200は、微生物分類システム110から離れて配置することができ、その場合、該学習システム200は、例えば、有線又は無線接続を介して、モデルパラメータ114の学習済み値を微生物分類システムに提供することができる。

【0082】

図3は、学習データ202のセットの例の図300である。学習データ202の学習例はそれぞれ、（i）敗血症誘発細菌の3D QPI、及び（ii）細菌の種を定義する標的の微生物の種類を含む。

【0083】

図300は、19の異なる敗血症誘発種のそれぞれに対応する細菌の3D QPIの例を示す。特に、画像ラベル（i）から（xix）に従って順序付けられた、図3の3D QPIはそれぞれ、A. バウマンニ（A. baumannii）、B. サブチリス（B. subtilis）、E. クロアカエ（E. cloacae）、E. フェカーリス（E. faecalis）、大腸菌（E. coli）、インフルエンザ菌（H. influenza）、肺炎桿菌（K. pneumonia）、リステリア菌（L. monocytogenes）、M. ルテウス（M. luteus）、P. ミラビリス（P. mirabilis）、緑膿菌（P. aeruginosa）、S. マルセッセンス（S. marcescens）、黄色ブドウ球菌（S. aureus）、表皮ブドウ球菌（S. epidermidis）、S. マルトフィリア（S. maltophilia）、S. アガラクティアエ（S. agalactiae）、S. アンギノーサス（S. anginosus）、肺炎球菌（S. pneumonia）、及び化膿連鎖球菌（S. pyogenes）の例を示す。

【0084】

任意に、（例えば、図2を参照して説明したように）学習データ202を使用して分類ニューラルネットワーク112を学習させる前に、該学習データ202を、拡張エンジン302を用いて「拡張」することができる。より具体的には、拡張エンジン302は、学習データ202における既存の学習例を処理して、分類ニューラルネットワーク112を学習させるために後で使用できる「新しい」学習例を生成することができる。

【0085】

既存の学習例から新しい学習例を生成するために、拡張エンジン302は、例えば、ランダムノイズ値を追加すること、回転させること、弾性変形させること、又は既存の学習例から3D QPI画像を変換することによって、既存の学習例から該3D QPI画像を修正することができる。新しい学習例には、（i）修正された3D QPI画像、及び（ii）既存の学習例と同じ標的の微生物の種類が含まれることになる。

【0086】

拡張エンジン302を用いて生成された新しい学習例で拡張された学習データ202を用いた分類ニューラルネットワーク112の学習により、例えば、過剰適合の潜在的影響を軽減することによって、学習済み分類ニューラルネットワークの精度を改善することができる。

【0087】

図4は、（例えば、図1を参照して説明したように）位相差顕微鏡108及び微生物分類システム110を用いて、細菌に感染した患者404を治療するのに適切な抗生物質療法402を決定するためのプロセスの例400の図である。

【0088】

患者404の血液試料406は、例えば、該患者404から血液を採取することによって用意される。便宜上、図4の説明は、「血液試料」を指すが、他の生物学的試料、例えば、組織生検試料、例えば、胃生検試料（例えば、胃組織から）、パップスメア試料（例えば、子宮頸部から）、尿試料、便試料、又は唾液試料を使用することができる。

【0089】

細菌分離技術を血液試料406に適用して、患者404の細菌感染に寄与する細菌408を分離する。即ち、細菌分離技術を適用して、細菌408の試料を血液試料406から除去する。任意の適切な細菌分離技術を適用して、細菌408を任意の適切なレベルの純度まで分離することができる。細菌分離技術の例には、遠心分離、細孔を備えたフィルタによる濾過、及びマイクロ流体又はマイクロチップデバイスを使用する分離が含まれる。

【0090】

位相差顕微鏡108を用いて、細菌408の3D QPI 412を生成する。例えば、位相差顕微鏡は、（前述のように）細菌408の3D屈折率断層写真を生成することができる。

【0091】

微生物分類システム110は、細菌408の3D QPI 412を処理して、患者404における細菌感染に寄与する細菌408の予測される種410を定義する出力を生成する。細菌408は、例えば、敗血症誘発性、マラリア誘発性、又は結核誘発性であり得る。

【0092】

細菌408の予測される種410を用いて、患者404の細菌感染を治療するのに適切な抗生物質療法402（又は他の治療）を選択する。特に、予測される細菌種410を阻害又は破壊するのに特に効果的な抗生物質療法を選択することができる。

【0093】

その後、選択された抗生物質療法402を用いて、例えば、選択された抗生物質を患者404に静脈内投与することによって、該患者404の細菌感染を治療することができる。

【0094】

プロセス400は、患者の感染に寄与する細菌種の迅速な同定を可能にすることができる。例えば、マイクロ流体工学及び抗体工学の進歩により、細菌に感染した患者の血液中に存在する濃度と同程度に低い濃度から1時間以内に細菌の分離が達成された。細菌試料の3D QPIを得るには、培養又は染色などの時間のかかるプロセスは必要なく、微生物分類システム（特に、学習済み分類ニューラルネットワーク）は、入力データを用いてミリ秒以下で予測を行うことができる。従って、場合によっては、プロセス400は、1時間以内での正確な細菌の同定を可能にすることができる。いくつかの特定の場合には、プロセス400は、45分未満、30分未満、又は15分未満での正確な細菌の同定を可能にすることができる。細菌408が血液試料406から分離された後（これは、プロセス400の最も時間のかかる工程であり得る）、3D QPI 412を生成し、細菌種410の予測を、10分未満、5分未満、3分未満、又は1分未満、例えば1～45秒（例えば、1～30秒、1～20秒、1～10秒）で行うことができる。

【0095】

対照的に、病院での典型的な細菌種の同定（即ち、3D定量的位相イメージング及び微生物分類システム110の恩恵がない同定）は、血液培養及びその後のアッセイが含まれるため、12時間以上を必要とし得る。

【0096】

患者に感染を引き起こす、又は感染に寄与する細菌の種を迅速に同定することにより、適切な抗生物質（即ち、細菌の種を効果的に阻害又は破壊する抗生物質）を患者に迅速に投与することを可能にすることができる。細菌に感染した患者に適切な抗生物質を迅速に投与することで、該患者の臨床転帰を劇的に改善することができる。

【0097】

例えば、場合によっては、敗血症患者の命を救えるかは、入院後の最初の数時間での患者の効果的な治療次第である。敗血症患者の死亡率は、最初の抗生物質療法が遅れると急上昇し得る。従って、3D位相差イメージング及び微生物分類システム110によって促進される迅速な抗生物質療法は、敗血症患者の死亡率を低下させる上で極めて重要な役割を果たし得る。

【0098】

プロセス400は、位相差顕微鏡108及び微生物分類システム110を使用することができる設定の一例にすぎない。他の少数の例を以下に示す。一例では、位相差顕微鏡108及び分類システム110を用いて、例えば、複数の時点のそれぞれで感染症に現在寄与している細菌の種を予測することによって、感染症の入院患者を連続的に監視することができる。別の例では、位相差顕微鏡108及び分類システム110を用いて、農業環境（例えば、養魚場）に存在する細菌の予測される種を同定することができる。別の例では、位相差顕微鏡108及び分類システム110を用いて、食品、医薬品、又は両方に存在する細菌の予測される種を同定することができる。

【0099】

図5は、位相差顕微鏡を用いて微生物の3D QPIを生成するためのプロセスの例の図である。位相差顕微鏡を用いて、微生物のそれぞれの位相画像（例えば、位相画像502）及びそれぞれの振幅画像（例えば、振幅画像504）が、複数の照明角度（例えば、照明角度θ₁～θ₇₀）から測定される。次いで、3D QPI（例えば、3D屈折率断層写真506）が、光回折トモグラフィ（ODT）技術（屈折率トモグラフィ技術及びトモグラフィ位相顕微鏡技術などとも呼ばれ得る）を用いて、位相画像及び振幅画像の複数の角度のセットに基づいて復元される。

【0100】

図6A～図6Gは、分類ニューラルネットワークが、細菌の3D QPIからの敗血症誘発細菌の19種類の種を予測するように学習させられた実験の結果を例示する。19種類の敗血症誘発細菌は：A. バウマンニ（A. baumannii）、B. サブチリス（B. subtilis）、E. クロアカエ（E. cloacae）、E. フェカーリス（E. faecalis）、大腸菌（E. coli）、インフルエンザ菌（H. influenza）、肺炎桿菌（K. pneumonia）、リステリア菌（L. monocytogenes）、M. ルテウス（M. luteus）、P. ミラビリス（P. mirabilis）、緑膿菌（P. aeruginosa）、S. マルセッセンス（S. marcescens）、黄色ブドウ球菌（S. aureus）、表皮ブドウ球菌（S. epidermidis）、S. マルトフィリア（S. maltophilia）、S. アガラクティアエ（S. agalactiae）、S. アンギノーサス（S. anginosus）、肺炎球菌（S. pneumonia）、及び化膿連鎖球菌（S. pyogenes）であった。この実験では、3D QPIは、7.2×7.2×4.0μm³の直方体領域にそれぞれ対応する屈折率断層写真であり、該直方体内にラベル付けされた種の1つ又は複数の標本が存在する。ピクセルのサイズは、x、y、及びz方向にそれぞれ0.1、0.1、及び0.2μmであった。この実験で使用された分類ニューラルネットワークのアーキテクチャを、図7を参照してより詳細に説明する。実験は、敗血症誘発細菌の5041 3D RI断層写真で行った：すべての種について、同数の断層写真を試験セット及び検証セットにランダムに割り当てた。

【0101】

学習済み分類ニューラルネットワークは、種分類の盲検法で94.6％正確であった。各種の平均感度、特異性、及び精度はそれぞれ、94.6％、99.7％、及び94.7％であった。感度、特異性、及び精度は、どの種でも85％を下回らなかった。大腸菌（E. coli）の肺炎桿菌（K. pneumoniae）としての誤分類及び肺炎球菌（S. pneumoniae）の化膿連鎖球菌（S. pyogenes）としての誤分類に関連するエラーは、大腸菌（E. coli）及び肺炎球菌（S. pneumoniae）それぞれで7.5％発生した。インフルエンザ菌（H. influenzae）、リステリア菌（L. monocytogenes）、緑膿菌（P. aeruginosa）、及びS. アンギノーサス（S. anginosus）を含む4種が100％の感度で同定された。P. ミラビリス（P. mirabilis）の同定感度は85％であった。P. ミラビリス（P. mirabilis）、緑膿菌（P. aeruginosa）、及びS. マルトフィリア（S. maltophilia）の同定特異性は100％であった。大腸菌（E. coli）及び肺炎桿菌（K. pneumonia）の特異性は99.17％であった。P. ミラビリス（P. mirabilis）、緑膿菌（P. aeruginosa）、及びS. マルトフィリア（S. maltophilia）のそれぞれの同定精度は100％であった。大腸菌（E. coli）の同定精度は85.7％であった。

【0102】

図6Aは、学習済み分類ニューラルネットワークの精度を表す表600の図である。i番目の行とj番目の列に対応する表600の影付き部分は、分類ニューラルネットワークが、行iに対応する種の細菌が行jに対応する種であると予測する頻度を表す。

【0103】

図6Bは、異なる細菌種の3D屈折率断層写真で学習済み分類ニューラルネットワークによって抽出された「潜在的特徴」を例示する散布図602を示す。特に、散布図の各点は、それぞれの3D屈折率断層写真についての分類ニューラルネットワークの最後の完全に接続された層（即ち、図7を参照して説明される完全に接続された層730）に提供された入力の表現である。高次元の潜在的特徴は、t分布型確率的近傍埋め込み法（t-SNE）を用いて2次元（2D）平面にマッピングされた。正しく分類された3D屈折率断層写真に対応する潜在的特徴は○として示され、誤って分類された3D屈折率断層写真に対応する潜在的特徴は、「×」記号で示されている。学習済み分類ニューラルネットワークは、3D屈折率断層写真を潜在的特徴の空間内におけるそれぞれの群にクラスター化する潜在的特徴を生成することを理解できよう。概して、散布図におけるクラスターのそれぞれは、それぞれの細菌種に対応する。例えば、クラスター604は、概して、A. バウマンニ（A. baumannii）細菌の3D屈折率断層写真に対応する（即ち、クラスター604内の点の大部分は、A. バウマンニ（A. baumannii）細菌の3D屈折率断層写真に対応する）。散布図602はまた、他の特性、例えば、グラム染色性及び代謝に基づいて3D屈折率断層写真をほぼクラスター化するように示すことができる。

【0104】

図6Cは、異なる形式の入力データを処理するように学習させた後の分類ニューラルネットワークの精度を例示する棒グラフ606を示す。合計6種類のデータを比較した：2D光学位相遅延画像、複数の照明角度からの2D光学位相遅延画像のセット（即ち、3D RI断層写真を生成するために処理できる）、3D RI断層写真、及び3種類の画像の閾値ベースのバイナリマスク（図6Dを参照すると例示されている）。3種類の画像及び対応する分類アプローチは、本明細書では、2D、マルチビュー、及び3Dと呼ばれる。2D位相及び3D RI画像の閾値は、細菌の様々な位相及びRI値に対応するために、0.05π及び1.3425に設定された。マルチビュー及び2Dアプローチでは、分類ニューラルネットワークは2D畳み込みニューラルネットワークであった。マルチビューアプローチでは、2D画像の予測が、マルチビューデータについての予測を行うためにアンサンブル平均された。棒グラフ606は、この実験において、3D RI断層写真の処理により、分類ニューラルネットワークが最も正確な細菌種予測を行うことを可能にしたことを実証している。学習済み分類ニューラルネットワークの精度は、2D、マルチビュー、及び3D断層写真でそれぞれ、74.2％、92.2％、及び94.6％であり、対応するバイナリマスク入力データで49.6％、75.9％、及び92.4％であった。

【0105】

図6Dは、対応するバイナリマスク画像610を生成するために0.05πで閾値化される2D位相画像608、対応するバイナリマスク画像614を生成するためにそれぞれ0.05πで閾値化される複数の照明角度からのマルチビュー位相遅延画像612のセット、及び対応するバイナリマスク画像618を生成するために1.3425で閾値化された3D RI断層写真616の図である。スケールバーは2μmを表す。

【0106】

図6Eは、学習済み分類ニューラルネットワークによって正しく分類された3D RI断層写真620、及び該学習済み分類ニューラルネットワークによって誤って分類された3D RI断層写真628を例示する。3D RI断層写真620は、バチルス・サブチリス（Bacillus subtilis）を示し、624は、該3D RI断層写真620の3つの断面を示し、626は、Grad-CAM＋＋技術を用いて3D RI断層写真620のために生成された顕著性マップの3つの断面を示している。3D RI断層写真の顕著性マップ内の点の強度は、3D RI断層写真の学習済み分類ニューラルネットワークによって生成された予測に対する点の重要性を示していると理解することができる。3D RI断層写真628は、黄色ブドウ球菌（Staphylococcus aureus）を示し、630は、3D RI断層写真図628の3つの断面を示し、632は、Grad-CAM＋＋技術を用いて3D RI断層写真628のために生成された顕著性マップの3つの断面を示している。スケールバーは2μmを表す。レジェンド（legend）622は、3D RI断層写真620及び628の視覚化を表し；横軸は、屈折率の値（単位なしにすることができる）を表し、縦軸は、屈折率の勾配（任意の単位で表すことができる）を表す。例えば、視覚化620及び628のより暗い領域は、屈折率勾配が10より大きく、1.375～1.4の範囲の屈折率を有する3D RI断層写真の部分に対応する。

【0107】

図6Fは、3D RI断層写真を処理することにより学習済み分類ニューラルネットワークによって正しく分類されたインフルエンザ菌（Haemophilus influenzae）を示す3D RI断層写真の3つの断面634、及びGrad-CAM ++技術を用いて3D RI断層写真のために生成された顕著性マップの3つの断面636を示す。638は、学習済み分類ニューラルネットワーク（即ち、2D畳み込みアーキテクチャ）によって処理され、黄色ブドウ球菌（Staphylococcus aureus）を示すとして誤って分類された同じインフルエンザ菌（Haemophilus influenzae）の複数の角度の2D位相画像のセットを示し、640は、Grad-CAM ++技術を用いて2D位相画像638のそれぞれに対して生成されたそれぞれの顕著性マップを示す。スケールバーは2μmを表す。

【0108】

図6Gは、学習済み分類ニューラルネットワークを用いて、細菌の様々な特性（例えば、属、運動性、形態、グラム染色性、及び好気性）をどれほど正確に同定できるかの例を例示する。学習済み分類ニューラルネットワークを用いて細菌の3D RI断層写真を処理して該細菌の種を予測し、次いで、予測される細菌の種に基づいて該細菌の特性を明らかにすることによって1つ又は複数の細菌のセットの特性を明らかにすることができる。表642は、19の敗血症誘発細菌種の15の属の同定において学習済み分類ニューラルネットワークを用いる際の精度（全体：95.5％）を表す。表644は、スタフィロコッカス（Staphylococcus）属に属する細菌の種の同定において学習済み分類ニューラルネットワークを用いる際の精度（全体：98.7％）を表す。表646は、ストレプトコッカス（Streptococcus）属に属する細菌の種の同定において学習済み分類ニューラルネットワークを用いる際の精度（全体：96.2％）を表す。棒グラフ648は、細菌の運動性の同定において学習済み分類ニューラルネットワークを使用する際の精度（全体：98.2％）を表す。棒グラフ650は、3つの群：バチルス（Bacillus）、ココバチルス（Coccobasillus）、及びコッカス（Coccus）における細菌の形態の同定において学習済み分類ニューラルネットワークを使用する際の精度（全体：98.0％）を表す。棒グラフ652は、細菌のグラム染色性の確認において学習済み分類ニューラルネットワークを使用する際の精度（全体：97.5％）を表す。細菌の好気性を確認するために学習済み分類ニューラルネットワークを用いると、98.2％の全体の精度が達成された。

【0109】

図7は、微生物の3D QPI 702を処理して、該微生物の予測される種類を特徴付ける分類出力704を生成するように構成された分類ニューラルネットワークのアーキテクチャの例の図である。このアーキテクチャは、次の順序で以下を含む一連の層を有する：次元7×7×7の畳み込みフィルタを有する3D畳み込み層706、一連の6つのボトルネック層708（スキップ接続により、最初のボトルネック層の後に各ボトルネック層への入力が、前のボトルネック層の出力と最初のボトルネック層への入力の合計を含む）、l×l×l畳み込みフィルタを有する3D畳み込み層710、3D 2×2×2平均プーリング層712、一連の12のボトルネック層714、l×l×l畳み込みフィルタを有する3D畳み込み層716、3D 2×2×2平均プーリング層718、一連の32のボトルネック層720、l×l×l畳み込みフィルタを有する3D畳み込み層722、3D 2×2×2平均プーリング層724、一連の32のボトルネック層726、3D 7×7×7全平均プーリング層728、完全に連結された層730、及びソフトマックス出力層732。

【0110】

分類ニューラルネットワークの特定のハイパーパラメータを、該分類ニューラルネットワークによって行われる予測の性質に基づいて選択することができる。例えば、分類ニューラルネットワークの1つ又は複数の畳み込み層のフィルタの次元を、予測される細菌種の細菌の（既知の）サイズに基づいて選択することができる。

【0111】

図8は、1つ又は複数の微生物の予測される種類を同定するためのプロセスの例800の流れ図である。

【0112】

位相差顕微鏡を用いて、1つ又は複数の微生物の3D QPIを生成する（802）。微生物の3D QPIには、該微生物の3D表現が含まれる。この3D QPIは、例えば、3D屈折率断層写真であり得る。微生物は、例えば、細菌、ウイルス、又は真菌であり得る。特定の例では、微生物は、細菌に感染した患者の血液試料から分離された細菌であり得る。

【0113】

3D QPIを、分類ニューラルネットワークの学習済みパラメータ値に従って、該分類ニューラルネットワークを用いて処理して、微生物を特徴付けるニューラルネットワーク出力を生成する（804）。分類ニューラルネットワークは、1つ又は複数の3D畳み込みニューラルネットワーク層を含む畳み込みニューラルネットワークであり得る。一例では、ニューラルネットワーク出力は、所定数の可能性のある微生物の種類に対する確率分布を定義する。別の例では、ニューラルネットワーク出力は、可能性のある指数の所定のセットからの指数を定義し、各指数は、それぞれの可能性のある微生物の種類に対応する。

【0114】

微生物の予測される種類を、ニューラルネットワーク出力を用いて同定する（806）。一例では、微生物の予測される種類は、ニューラルネットワーク出力によって確率値が最も高い微生物の種類として同定することができる。別の例では、微生物の予測される種類は、ニューラルネットワーク出力によって定義された指数に対応する微生物の種類として同定することができる。

【0115】

図9は、図6A～図6Gを参照して説明した実験において細菌の3D RI断層写真を生成するために使用される装置の例（マッハツェンダー位相差顕微鏡装置）900の図である。多方向2D QPI測定値のセットを空間周波数ドメインで組み立てて、光回折トモグラフィ（ODT）技術を用いて3D RI断層写真が生成した。各2D QPI測定値を、軸外ホログラフィを用いて得た。標本（例えば、細菌試料）を照明する光の入射角を、デジタルマイクロミラーデバイス（DMD）を用いて、即ち、該DMDに対する格子パターンによって回折された一次ビームを用いて制御した。波長532 nmの連続波レーザー及び開口数1.2の2つの水浸対物レンズを使用した場合、ナイキストの定理によると、光学分解能は、横軸が110 nm、縦軸が330nmであった。3D RI断層写真は、幅100nm及び高さ200nmのボクセルでリサンプリングした。装置6900の図では、「BC」はビームコリメータを指し、「BS」はビームスプリッタを指し、「CL」は集光レンズを指し、「FC」はファイバー結合器を指し、「LP」は直線偏光子を指し、「OL」は対物レンズを指し、「TL」はチューブレンズを指す。

【0116】

一般に、任意の適切な装置を用いて、3D RI断層写真を生成することができる。3D RI断層写真を生成するために使用できる装置の別の例は、論文で開示される装置のために引用により本明細書中に組み込まれている、K. Kim、H. Yoon、M. Diez-Silva、M. Dao、R.R. Dasari、及びY. Parkの論文「熱帯熱マラリア原虫（Plasmodium falciparum）によって寄生された赤血球及びin situヘモゾイン結晶の光回折トモグラフィを用いた高解像度3次元イメージング（High-resolution three-dimensional imaging of red blood cells parasitized by Plasmodium falciparum and in situ hemozoin crystals using optical diffraction tomography）」（Journal of Biomedical Optics 19(1), 011005 (25 June 2013)）を参照して説明する。3D RI断層写真を生成するために使用できる装置の別の例は、論文に開示される装置のために引用により本明細書中に組み込まれている、F. Charriere、A. Marian、F. Montfort、J. Kuehn、T. Colomb、E. Cuche、P. Marquet、及びC. Depeursingeの論文「デジタルホログラフィック顕微鏡法による細胞屈折率トモグラフィ（Cell refractive index tomography by digital holographic microscopy）」（Optics Letters, 31(2), pp. 178-180 (2006)）を参照して説明する。

【0117】

本明細書は、システム及びコンピュータプログラムの構成要素に関して「構成された」という用語を使用する。特定の操作又は動作を実行するように構成された1つ又は複数のコンピュータのシステムでは、操作中に該システムに操作又は動作を実行させるソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせが該システムにインストールされていることを意味する。特定の操作又は動作を実行するように構成された1つ又は複数のコンピュータプログラムでは、1つ又は複数のプログラムが、データ処理装置によって実行されると、該装置に操作又は動作を実行させる命令を含むことを意味する。

【0118】

本明細書に記載の主題及び機能的操作の実施態様は、デジタル電子回路、有形に実施されたコンピュータソフトウェア又はファームウェア、本明細書に開示された構造及びそれらの構造的同等物を含むコンピュータハードウェア、又はそれらの1つ又は複数の組み合わせで実装することができる。本明細書に記載の主題の実施態様は、1つ又は複数のコンピュータプログラム、即ち、データ処理装置による実行のため、又は該データ処理装置の操作を制御するために、有形の非一時的記憶媒体に符号化されたコンピュータプログラム命令の1つ又は複数のモジュールとして実装することができる。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセスメモリデバイス、又はそれらの1つ又は複数の組み合わせであり得る。別法では、又はこれに加えて、プログラム命令は、データ処理装置による実行のために適切な受信機装置に送信するための情報を符号化するために生成される、人工的に生成された伝搬信号、例えば、機械的に生成される電気信号、光信号、又は電磁信号に符号化することができる。

【0119】

「データ処理装置」という用語は、データ処理ハードウェアを指し、例えば、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含する。装置はまた、専用論理回路、例えば、FPGA（フィールドプログラマブルゲートアレイ）若しくはASIC（特定用途向け集積回路）であり得るか、又はこれらをさらに含み得る。装置は、ハードウェアに加えて、コンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ又は複数の組み合わせを構成するコードを任意に含み得る。

【0120】

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、モジュール、ソフトウェアモジュール、スクリプト、又はコードとしても呼ばれ得る又は説明され得るコンピュータプログラムは、コンパイラ型若しくはインタープリタ型言語、又は宣言型若しくは手続き型言語を含む、あらゆる形式のプログラミング言語で書くことができ；且つスタンドアロンプログラムとして、又はモジュール、構成要素、サブルーチン、若しくはコンピュータ環境での使用に適したその他のユニットとしてを含め、あらゆる形式で実施することができる。プログラムは、ファイルシステム内のファイルに対応し得るが、必ずしも対応する必要はない。プログラムは、他のプログラム若しくはデータ、例えば、マークアップ言語ドキュメントに保存された1つ又は複数のスクリプトを保持するファイルの一部に、当該プログラム専用の単一ファイルに、又は複数の協調ファイル、例えば、1つ若しくは複数のモジュール、サブプログラム、若しくはコードの一部を保存するファイルに保存することができる。コンピュータプログラムは、1つのコンピュータで、又は1つのサイトに配置されているか、若しくは複数のサイトに分散され、データ通信ネットワークによって相互接続されている複数のコンピュータで実行されるように実施することができる。

【0121】

本明細書では、「エンジン」という用語は、1つ又は複数の特定の機能を果たすようにプログラムされたソフトウェアベースのシステム、サブシステム、又はプロセスを指すために広く使用される。一般に、エンジンは、1つ又は複数のソフトウェアモジュール又は構成要素として実装され、1つ又は複数の場所にある1つ又は複数のコンピュータにインストールされる。場合によっては、1つ又は複数のコンピュータを特定のエンジン専用とし；その他の場合は、複数のエンジンを1つ又は複数の同じコンピュータにインストールして実行することができる。

【0122】

本明細書に記載のプロセス及び論理フローは、1つ又は複数のコンピュータプログラムを実行して、入力データを操作して出力を生成することによって機能を果たす1つ又は複数のプログラム可能なコンピュータによって実行することができる。プロセス及び論理フローはまた、専用論理回路、例えば、FPGA若しくはASICによって、又は専用論理回路と1つ又は複数のプログラムされたコンピュータとの組み合わせによって実行することができる。

【0123】

コンピュータプログラムの実行に適したコンピュータは、汎用若しくは専用マイクロプロセッサ、又はその両方、又はその他の種類の中央処理装置に基づき得る。一般に、中央処理装置は、読み取り専用メモリ若しくはランダムアクセスメモリ、又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実施又は実行するための中央処理装置と、命令及びデータを格納するための1つ又は複数のメモリデバイスである。中央処理装置及びメモリは、専用論理回路によって補完する、又は該専用論理回路に組み込むことができる。一般に、コンピュータはまた、データを格納するための1つ又は複数の大容量記憶装置、例えば、磁気、光磁気ディスク、若しくは光ディスクを含むか、又はデータの受信若しくはデータの転送のために動作可能に結合されるか、又はその両方である。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、いくつか例を挙げると、携帯電話、携帯情報端末（PDA）、携帯型オーディオ若しくはビデオプレーヤー、ゲームコンソール、全地球測位システム（GPS）受信機、又は携帯型記憶装置、例えば、ユニバーサルシリアルバス（USB）フラッシュドライブに組み込むことができる。

【0124】

コンピュータプログラム命令及びデータを格納するのに適したコンピュータ可読媒体には、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光磁気ディスク；並びにCD-ROM及びDVD-ROMディスクを含む、あらゆる形式の不揮発性メモリ、媒体、及びメモリデバイスが含まれる。

【0125】

ユーザとの相互作用を提供するために、本明細書に記載の主題の実施態様は、ユーザに情報を表示するためのディスプレイ装置、例えば、CRT（陰極線管）又はLCD（液晶ディスプレイ）モニタ、並びにユーザがコンピュータに入力できるようにするキーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータで実装することができる。他の種類のデバイスを用いても、ユーザとの対話を提供することができ；例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックであり得；且つユーザからの入力は、音響、音声、又は触覚入力を含むあらゆる形式で受け取ることができる。加えて、コンピュータは、ユーザが使用するデバイスとの間でドキュメントを送受信することによって；例えば、ユーザのデバイスのウェブブラウザから受信した要求に応答して、ウェブページを該ウェブブラウザに送信することによって該ユーザと対話することができる。また、コンピュータは、テキストメッセージ又は他の形式のメッセージをパーソナルデバイス、例えば、メッセージングアプリケーションを実行しているスマートフォンに送信し、次いで、ユーザから応答メッセージを受信することによって該ユーザと対話することができる。

【0126】

機械学習モデルを実施するためのデータ処理装置はまた、例えば、機械学習訓練又は生産の一般的な数値計算部分、即ち、推論、ワークロードを処理するための専用ハードウェアアクセラレータユニットを含み得る。

【0127】

機械学習モデルは、機械学習フレームワーク、例えば、TensorFlowフレームワーク、Microsoft Cognitive Toolkitフレームワーク、Apache Singaフレームワーク、又はApache MXNetフレームワークを用いて実装及び実施することができる。

【0128】

本明細書に記載の主題の実施態様は、コンピュータシステムで実装することができ、該コンピュータシステムは、バックエンド構成要素を、例えば、データサーバとして含むか、又はミドルウェア構成要素、例えば、アプリケーションサーバを含むか、又はフロントエンド構成要素、例えば、グラフィカルユーザインターフェイスを備えたクライアントコンピュータ、ウェブブラウザ、若しくはユーザが本明細書に記載の主題の実装と対話できるアプリ、又は1つ若しくは複数のそのようなバックエンド、ミドルウェア、若しくはフロントエンド構成要素の任意の組み合わせを含む。システムの構成要素は、あらゆる形式又は媒体のデジタルデータ通信、例えば通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（LAN）及びワイドエリアネットワーク（WAN）、例えば、インターネットが含まれる。

【0129】

コンピュータシステムは、クライアント及びサーバを含み得る。クライアントとサーバは一般に、互いに遠隔にあり、典型的には、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータで実行され、互いにクライアントとサーバの関係を有するコンピュータプログラムによって生まれる。いくつかの実施態様では、サーバは、例えば、クライアントとして機能するデバイスと対話するユーザにデータを表示し、且つ該ユーザのユーザ入力を受信する目的で、データ、例えば、ＨＴＭＬページをユーザデバイスに送信する。ユーザデバイスで生成されるデータ、例えば、ユーザの対話の結果は、該デバイスからサーバで受信することができる。

【0130】

本明細書は、多くの特定の実施の詳細を含むが、これらは、あらゆる発明の範囲又は請求され得るものの範囲に対する制限として解釈されるべきではなく、むしろ特定の発明の特定の実施態様に固有であり得る特徴の説明として解釈されるべきである。別個の実施態様の文脈で本明細書に記載されている特定の特徴はまた、単一の実施態様において組み合わせて実施することができる。逆に、単一の実施態様の文脈で説明されている様々な特徴はまた、複数の実施態様で別々に、又は任意の適切な部分的な組み合わせで実施することができる。さらに、特徴は、特定の組み合わせで機能するとして上記説明され、たとえ最初はそのように請求され得るとしても、請求される組み合わせの1つ又は複数の特徴は、場合によっては、該組み合わせから削除することができ、且つ請求される組み合わせは、部分的な組み合わせ又は部分的な組み合わせのバリエーションが該当し得る。

【0131】

同様に、操作は、図面に示され、且つ特定の順序で特許請求の範囲に記載されるが、これは、望ましい結果を達成するために、そのような操作が、示されている特定の順序若しくは連続した順序で実行されること、又はすべての例示された操作が実行されることを必要とすると解釈されるべきではない。特定の状況では、マルチタスクと並列処理が有利であり得る。さらに、上記の実施態様における様々なシステムのモジュール及び構成要素の分離は、すべての実施態様においてそのような分離を必要とすると解釈されるべきではなく、記載されたプログラムの構成要素及びシステムは、一般に、単一のソフトウェア製品で1つに統合してもよいし、又は複数のソフトウェア製品にパッケージ化してもよいと解釈されるべきである。

【0132】

特定の実施態様が記載されているが、本開示はそのような実施態様に限定されない。

【0133】

一例として、特定の細菌が上に開示されているが、いくつかの実施態様では、細菌は、例えば、淋病、梅毒、又はクラミジアなどの性感染症に関連し得る。そのような実施態様では、微生物分類システムは、細菌の種を、例えば、梅毒トレポネーマ（Treponema pallidium）、マイコプラズマ・ジェニタリウム（Mycoplasma genitalium）、淋菌（Neisseria gonorrhoeae）、ウレアプラズマ・パルバム（Ureaplasma parvum）、マイコプラズマ・ホミニス（Mycoplasma hominis）、ウレアプラズマ・ウレアリチカム（Ureaplasma urealyticum）、ガードネレラ・バギナリス（Gardnerella vaginalis）、クラミジア・トラコマチス（Chlamydia trachomatis）、トリコモナス・バギナリス（Trichomonas vaginalis）、カンジダ・アルビカンス（Candida albicans）、又はヘモフィルス・デュクレイ（Haemophilus ducreyi）として同定することができる。従って、本開示は、性感染症の比較的迅速な診断を提供し、この診断は、そのような感染症の比較的迅速な治療を可能にし得る。

【0134】

主題の特定の実施態様を説明してきた。他の実施態様は、以下の特許請求の範囲内である。例えば、特許請求の範囲に記載されている動作は、異なる順序で実行することができ、それでも望ましい結果を達成し得る。一例として、添付の図面に示されているプロセスは、望ましい結果を達成するために、示されている特定の順序又は順番を必ずしも必要としない。場合によっては、マルチタスクと並列処理が有利であり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A-B】

【図6C-D】

【図6E】

【図6F】

【図6G】

【図7】

【図8】

【図9】

【国際調査報告】