特表 2023-546190 試料中の粒子を含む入力画像の分類方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-01

(54)【発明の名称】試料中の粒子を含む入力画像の分類方法

(51)【国際特許分類】

   C12Q 1/02 20060101AFI20231025BHJP

   C12M 1/34 20060101ALI20231025BHJP

【ＦＩ】

C12Q1/02

C12M1/34 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023524071

(86)(22)【出願日】2021-10-19

(85)【翻訳文提出日】2023-06-14

(86)【国際出願番号】 FR2021051818

(87)【国際公開番号】W WO2022084617

(87)【国際公開日】2022-04-28

(31)【優先権主張番号】2010740

(32)【優先日】2020-10-20

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】304043936

【氏名又は名称】ビオメリュー

【氏名又は名称原語表記】ＢＩＯＭＥＲＩＥＵＸ

(71)【出願人】

【識別番号】518294579

【氏名又は名称】ビオアステル

【氏名又は名称原語表記】ＢＩＯＡＳＴＥＲ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マエー，ピエール

(72)【発明者】

【氏名】エル アザミ，メリエム

(72)【発明者】

【氏名】デグー‐シャルメット，エロディ

(72)【発明者】

【氏名】セダガート，ゾーレ

(72)【発明者】

【氏名】ジョッソ，クエンティン

(72)【発明者】

【氏名】ロール，ファビアン

【テーマコード（参考）】

4B029

4B063

【Ｆターム（参考）】

4B029AA08

4B029BB01

4B029FA03

4B063QA01

4B063QA18

4B063QQ05

4B063QS39

4B063QX10

(57)【要約】

本発明は、試料（１２）中の標的粒子（１１ａ～１１ｆ）を含む少なくとも１つの入力画像を分類するための方法に関し、本方法は、クライアント（２）のデータ処理手段（２０）を介して、（ｂ）上記標的粒子（１１ａ～１１ｆ）の特性のベクトルを抽出するステップであって、上記特性は、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が、入力画像内の上記標的粒子（１１ａ～１１ｆ）の表現を近似する、ステップと、（ｃ）上記抽出された特性のベクトルに応じて上記入力画像を分類するステップを実施することを含むことを特徴とする。

【特許請求の範囲】

【請求項1】

試料中の標的粒子を表す少なくとも１つの入力画像を分類するための方法であって、クライアントのデータ処理手段によって、
（ｂ）前記標的粒子の特徴の特徴ベクトルを抽出するステップであって、前記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、前記係数によって重み付けされた前記基本画像の線形結合が前記入力画像内の前記標的粒子の表現を近似するようになっている、ステップと、
（ｃ）前記抽出された特徴ベクトルに応じて前記入力画像を分類するステップ
の実施を含むことを特徴とする、方法。

【請求項2】

前記粒子は、前記入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる、請求項１に記載の方法。

【請求項3】

前記標的粒子を前記一様な方法で表すために、前記試料の全体画像から前記入力画像を抽出するステップ（ａ）を含む、請求項２に記載の方法。

【請求項4】

ステップ（ａ）は、前記試料中の前記標的粒子を検出するように前記全体画像をセグメント化し、次いで、前記検出された標的粒子に前記入力画像をクロッピングすることを含む、請求項３に記載の方法。

【請求項5】

ステップ（ａ）は、前記試料の強度画像から前記全体画像を取得することを含み、前記画像は観察装置によって取得される、請求項３または４に記載の方法。

【請求項6】

前記試料中の粒子のトレーニング画像のデータベースを使用して、前記基本画像の教師なし学習を行うステップ（ｂ０）を含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記学習された基準画像は、前記基本画像の線形結合によって前記トレーニング画像内の前記粒子の前記表現の最良近似を可能にする画像である、請求項６に記載の方法。

【請求項8】

ステップ（ｃ）は、分類器によって実施され、前記方法は、サーバのデータ処理手段によって、試料中の粒子のすでに分類された特徴ベクトル／行列のトレーニングデータベースを使用して、前記分類器のパラメータをトレーニングするステップ（ａ０）を含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記分類器は、サポートベクターマシン、ｋ最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される、請求項８に記載の方法。

【請求項10】

ステップ（ｃ）は、ｔ－ＳＮＥアルゴリズムによって、前記特徴ベクトルの変数の数を減らすことを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

試料中の前記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であって、ステップ（ｂ）は、前記シーケンスの各入力画像の前記抽出された特徴ベクトルを連結することによって前記標的粒子の特徴行列を取得することを含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

データ処理手段を備える少なくとも１つのクライアントを備える、試料中の標的粒子を表す少なくとも１つの入力画像を分類するためのシステムであって、前記データ処理手段が、
－ 前記標的粒子の特徴の特徴ベクトルを抽出することであって、前記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、前記係数によって重み付けされた前記基本画像の線形結合が前記入力画像内の前記標的粒子の表現を近似するようになっている、抽出することと、
－ 前記抽出された特徴ベクトルに応じて前記入力画像を分類することと
を実施するように構成されることを特徴とする、システム。

【請求項13】

前記試料中の前記標的粒子を観察するための装置をさらに備える、請求項１２に記載のシステム。

【請求項14】

コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されると、試料中の標的粒子を表す少なくとも１つの入力画像を分類するための請求項１から１１のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータプログラム製品。

【請求項15】

コンピュータ機器によって読み取り可能な記憶媒体であって、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも１つの入力画像を分類するための請求項１から１１のいずれか一項に記載の方法を実行するためのコード命令を含む、記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生物学的粒子の光学的取得の分野に関する。生物学的粒子は、例えば、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。

【0002】

本発明は、例えば、抗生物質の適用後の細菌の代謝状態を決定する目的とした生物学的粒子の状態の分析に特に有利に適用可能である。本発明により、例えば、細菌についてのアンチバイオグラムを実施することができる。

【背景技術】

【0003】

アンチバイオグラムは、１つまたは複数の抗生物質に対する細菌株の表現型を試験することを目的とした実験技法である。従来、アンチバイオグラムは、細菌と抗生物質とを含む試料を培養することにより実施される。

【0004】

欧州特許出願第２ ６０３ ６０１号には、抗生物質の存在下でのインキュベーション期間後の細菌の状態を可視化することを含む、アンチバイオグラムを実施するための方法が記載されている。細菌を可視化するために、細菌を蛍光マーカーで標識して、それらの構造を明らかにする。次いで、マーカーの蛍光を測定することで、抗生物質が細菌に対して効果的に作用したかどうかを決定することができる。

【0005】

所与の細菌株に対して有効な抗生物質を決定するための従来のプロセスは、当該株を含む試料を（例えば、患者、動物、食品バッチなどから）採取し、次いで試料を分析センターに送ることにある。分析センターは、試料を受け取ると、まず、細菌株の少なくとも１つのコロニーを得るために細菌株を培養するが、これには２４時間～７２時間かかる。次いで、このコロニーから、異なる抗生物質および／または異なる濃度の抗生物質を含むいくつかの試料を調製し、再び試料をインキュベートする。同じく２４～７２時間を要する新たな培養期間の後、各試料を手作業で分析して、抗生物質が有効に作用したかどうかを決定する。そして、その結果は、プラクティショナ（practitioner）が最も有効な抗生物質および／または抗生物質濃度を適用することができるように、プラクティショナに返される。

【0006】

しかしながら、標識プロセスは、実施するのに特に長く複雑であり、これらの化学マーカーは、細菌に対して細胞毒性効果を有する。したがって、この可視化方法では、培養中に細菌を何度も観察することができず、その結果、測定の信頼性を保証するためには、２４～７２時間程度の十分に長い時間、細菌を培養する必要がある。生物学的粒子を可視化する他の方法では、試料の非破壊測定を可能にする顕微鏡を使用する。

【0007】

デジタルホログラフィック顕微鏡法すなわちＤＨＭは、従来の光学顕微鏡法の被写界深度の制約を克服することができる撮像技法である。概略的には、これは、観察される物体によって回折された光波と空間的にコヒーレントな参照波との間の干渉によって形成されるホログラムを記録することにある。この技法は、SPIE Reviews Vol. 1, No. 1, January 2010で発表されたMyung K. Kimによる「Principles and techniques of digital holography microscopy」と題する総説に記載されている。

【0008】

近年では、デジタルホログラフィック顕微鏡法を使用して、自動化された方法で微生物を同定することが提案されている。したがって、国際出願ＷＯ２０１７／２０７１８４には、粒子を取得するための方法が記載されており、この方法は、取得時間を制限しながら生物学的粒子を観察することを可能にするために、単純なデフォーカス取得をデジタル焦点再構成と関連付ける。

【0009】

典型的には、このソリューションにより、数日かかり得る上述の従来のプロセスとは異なり、わずか１０分程度のインキュベーション後に抗生物質の存在下での細菌に対する構造修飾を検出し、２時間後にその感度を検出すること（分裂の有無または分裂を示すパターンの検出）が可能になる。具体的には、測定は非破壊的であるので、試料を破壊するリスク、したがって分析時間を延長するリスクを冒すことなく、培養プロセスの非常に早い段階で分析を実施することが可能である。

【0010】

粒子の挙動、例えば、その移動速度またはその細胞分裂プロセスを可視化するために、経時的な粒子の進行を表すフィルムを形成するように、複数の連続画像にわたって粒子を追跡することさえ可能である（粒子は最初の分析後に損なわれないので）。

【0011】

したがって、この可視化方法は優れた結果をもたらすことが理解されよう。例えば、試料中に存在する抗生物質に対する細菌の感受性に関する結論に達することが望まれる場合、これらの画像またはこのフィルムをそれ自体で解釈することは困難である。

【0012】

単に経時的に細菌を計数することから、画像分析を介して特定の「構成」を検出することを目的とするいわゆる形態学的分析まで、様々な技法が提案されている。例えば、細菌が分裂する準備をしている場合、分裂自体のかなり前に２つの極が分布に現れ、その結果、分布が２つの異なるセグメントに分かれる。

【0013】

これらの２つの技法を組み合わせて抗生物質の有効性を評価することが、Ｃｈｏｉら（２０１４）による論文において提案されている。しかしながら、著者らが強調しているように、彼らのアプローチは、抗生物質によって引き起こされる形態学的変化の性質に強く依存する、ある特定の数の閾値の非常に微細な較正を必要とする。

【0014】

より最近では、Ｙｕら（２０１８）による論文に、深層学習に基づくアプローチが記載されている。著者らは、畳み込みニューラルネットワーク（ＣＮＮ）を使用して形態学的特徴および細菌の動きに関連する特徴を抽出することを提案している。しかしながら、このソリューションは、コンピューティングリソースに関して非常に集中的であることが判明しており、ＣＮＮをトレーニングするためにトレーニング画像の膨大なデータベースを必要とする。

【0015】

したがって、本発明の目的とする技術的課題は、より効果的であるとともに資源集約的でない、生物学的粒子の画像を分類するためのソリューションを提供することを可能にすることである。

【発明の概要】

【0016】

第１の態様によれば、本発明は、試料中の標的粒子を表す少なくとも１つの入力画像を分類するための方法に関し、この方法は、クライアントのデータ処理手段によって、以下のステップの実施を含むことを特徴とする：
（ｂ）上記標的粒子の特徴の特徴ベクトルを抽出するステップであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、ステップ；
（ｃ）上記抽出された特徴ベクトルに応じて上記入力画像を分類するステップ。

【0017】

有利であるが非限定的な特徴によれば：

【0018】

粒子は、入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる。

【0019】

本方法は、上記標的粒子を上記一様な方法で表すために、試料の全体画像から上記入力画像を抽出するステップ（ａ）を含む。

【0020】

ステップ（ａ）は、試料中の上記標的粒子を検出するように上記全体画像をセグメント化し、次いで、上記検出された標的粒子に入力画像をクロッピングすることを含む。

【0021】

ステップ（ａ）は、試料の強度画像から上記全体画像を取得することを含み、上記画像は観察装置によって取得される。

【0022】

本方法は、上記試料中の粒子のトレーニング画像のデータベースを使用して、基本画像の教師なし学習を行うステップ（ｂ０）を含む。

【0023】

学習された基準画像は、上記基本画像の線形結合によってトレーニング画像内の粒子の表現の最良近似を可能にする画像である。

【0024】

ステップ（ｃ）は、分類器によって実施され、本方法は、サーバのデータ処理手段によって、試料中の粒子のすでに分類された特徴ベクトル／行列のトレーニングデータベースを使用して、上記分類器のパラメータをトレーニングするステップ（ａ０）を含む。

【0025】

上記分類器は、サポートベクターマシン、ｋ最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される。

【0026】

ステップ（ｃ）は、ｔ－ＳＮＥアルゴリズムによって、特徴ベクトルの変数の数を減らすことを含む。

【0027】

本方法は、試料中の上記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であり、ステップ（ｂ）は、上記シーケンスの各入力画像の抽出された特徴ベクトルを連結することによって上記標的粒子の特徴行列を取得することを含む。

【0028】

第２の態様によれば、データ処理手段を備える少なくとも１つのクライアントを備える、試料中の標的粒子を表す少なくとも１つの入力画像を分類するためのシステムが提供され、上記データ処理手段が、以下を実施するように構成されることを特徴とする：
－ 上記標的粒子の特徴の特徴ベクトルを抽出することであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、抽出すること；
－ 上記抽出された特徴ベクトルに応じて上記入力画像を分類すること。

【0029】

有利であるが非限定的な特徴によれば、システムは、試料中の上記標的粒子を観察するための装置をさらに備える。

【0030】

第３および第４の態様によれば、試料中の標的粒子を表す少なくとも１つの入力画像を分類するための第１の態様による方法を実行するためのコード命令を含むコンピュータプログラム製品と、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも１つの入力画像を分類するための第１の態様による方法を実行するためのコード命令を含む、コンピュータ機器によって読み取り可能な記憶媒体とが提供される。

【図面の簡単な説明】

【0031】

本発明の他の特徴および利点は、好ましい実施形態の以下の説明を読めば明らかになるであろう。この説明は、添付の図面を参照して与えられるであろう。

【図1】本発明による方法を実施するためのアーキテクチャの概略図である。

【図2】本発明による方法の好ましい一実施形態において使用される、試料中の粒子を観察するための装置の一例を示す。

【図3a】本発明による方法の一実施形態における入力画像の取得を示す。

【図3b】本発明による方法の好ましい実施形態における入力画像の取得を示す。

【図4】本発明による方法の好ましい実施形態のステップを示す。

【図5a】本発明による方法の好ましい実施形態において使用される基本画像の辞書の一例を示す。

【図5b】本発明による方法の好ましい実施形態における特徴ベクトルおよび行列の抽出の一例を示す。

【図6】本発明による方法の好ましい実施形態において使用されるｔ－ＳＮＥ埋め込みの一例を表す。

【発明を実施するための形態】

【0032】

アーキテクチャ
本発明は、標的粒子と呼ばれる、試料１２中に存在する粒子１１ａ～１１ｆを表す少なくとも１つの入力画像を分類するための方法に関する。この方法は、試料１２中に存在する粒子１１ａ～１１ｆのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。

【0033】

理解されるように、この方法は、１つまたは複数の機械学習コンポーネント、特に、畳み込みニューラルネットワーク（ＣＮＮ）を含む１つまたは複数の分類器を含み得る。

【0034】

入力またはトレーニングデータは、画像タイプのものであり、試料１２中の標的粒子１１ａ～１１ｆを表す（言い換えれば、これらは、標的粒子を視認できる試料の画像である）。理解されるように、同じ標的粒子１１ａ～１１ｆの画像のシーケンス（または、必要に応じて、複数の粒子が考慮される場合には、試料１２の粒子１１ａ～１１ｆの画像の複数のシーケンス）が入力として提供され得る。

【0035】

試料１２は、観察されるべき粒子１１ａ～１１ｆが位置している、水、緩衝液、培地、または反応性媒体（抗生物質を含む場合も含まない場合もある）などの液体から構成される。

【0036】

変形形態として、試料１２は、粒子１１ａ～１１ｆが位置している、好ましくは半透明の、寒天などの固体媒体の形態をとり得る。試料１２は、ガス状媒体であってもよい。粒子１１ａ～１１ｆは、媒体の内部または試料１２の表面に位置してもよい。

【0037】

粒子１１ａ～１１ｆは、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。残りの説明では、粒子が細菌である（そして、理解されるように、試料１２が抗生物質を組み込んでいる）好ましい例について考える。観察された粒子１１ａ～１１ｆのサイズは、５００ｎｍから数百μｍ、さらには数ミリメートルの間で変化する。

【0038】

入力画像（または入力画像のシーケンス）の「分類」は、画像を記述する可能なクラスのセットの中から少なくとも１つのクラスを決定することにある。例えば、細菌タイプの粒子の場合、バイナリ分類が採用され得、すなわち、抗生物質に対する耐性の有無をそれぞれ証明する「分裂あり」または「分裂なし」を示す２つの可能なクラスが採用され得る。上記標的粒子１１ａ～１１ｆに対する抗生物質の効果のバイナリ分類の例が主に説明されるが、本発明は、任意の１つの特定の種類の分類に限定されるものではない。

【0039】

本方法は、サーバ１およびクライアント２によって、図１に示されるようなアーキテクチャ内で実施される。サーバ１は、トレーニングされる（トレーニング方法を実施する）機器であり、クライアント２は、（分類方法を実施する）ユーザ機器、例えば、医者または病院の端末である。

【0040】

２つの機器１、２を組み合わせることは十分に可能であるが、好ましくは、サーバ１はリモートの機器であり、クライアント２は大量市場の機器、特に、デスクトップコンピュータ、ラップトップコンピュータなどである。クライアント機器２は、典型的には直ちに処理する目的で、有利には、上記入力画像（または、以下から分かるように、試料１２の全体画像などの「生の」取得データ、さらには電磁マトリックス）を直接取得することができるように、観察装置１０に接続される。代替的に、入力画像は、クライアント機器２にロードされる。

【0041】

いずれにしても、各機器１、２は、典型的には、データを交換する目的でローカルネットワークまたはインターネットなどのワイドエリアネットワークに接続されたリモートのコンピュータ機器である。各々は、プロセッサタイプのデータ処理手段３、２０と、コンピュータメモリ、例えば、フラッシュメモリまたはハードディスクなどのデータ記憶手段４、２１とを備える。クライアント２は、典型的には、対話を可能にする画面などのユーザインターフェース２２を備える。

【0042】

サーバ１は、有利には、トレーニングデータベース、すなわち、様々な条件（以下を参照）における粒子１１ａ～１１ｆの画像のセットおよび／またはすでに分類された特徴ベクトル／行列のセット（例えば、抗生物質に対する感受性または耐性を示す「分裂あり」または「分裂なし」という標識に関連付けられている）を記憶する。トレーニングデータは、場合によっては、例えば、細菌の培養に関して、「株」、「抗生物質条件」、「時間」などを示す、試験条件を定義する標識に関連付けられることに留意されたい。

【0043】

取得
以上のように、本方法は、任意の方法で得られた標的粒子１１ａ～１１ｆの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置１０によって提供されるデータから入力画像を取得するステップ（ａ）から開始する。

【0044】

既知の方法で、当業者は、特に、国際出願ＷＯ２０１７／２０７１８４に記載されているようなＤＨＭ技法（ＤＨＭはデジタルホログラフィック顕微鏡法（digital holographic microscopy）を表す）を使用することができる。特に、標的粒子に焦点が合っていない（画像は「ピンぼけ（out of focus）」していると考えられる）が、データ処理手段（これは、例えば、装置１０またはクライアント２の装置２０のいずれかに統合されている、以下を参照）によって処理することができる試料１２の強度画像が取得され得、そのような画像はホログラムと呼ばれる。ホログラムは、試料中のすべての粒子１１ａ～１１ｆを特定の方法で「表す」ことが理解されよう。

【0045】

図２は、試料１２中に存在する粒子１１ａ～１１ｆを観察するための装置１０の一例を示す。試料１２は、空間的および時間的にコヒーレントである光源１５（例えば、レーザ）または擬似コヒーレントである光源１５（例えば、発光ダイオード、レーザダイオード）と、光源のスペクトル領域において感度を有するデジタルセンサ１６との間に配置される。好ましくは、光源１５は、狭いスペクトル幅、例えば、２００ｎｍよりも狭い、１００ｎｍよりも狭い、さらには２５ｎｍよりも狭いスペクトル幅を有する。以下では、例えば、可視領域にある光源の中心発光波長に言及する。光源１５は、試料の第１の面１３に向かってコヒーレント信号Ｓｎを放出し、信号は、例えば、光ファイバなどの導波路によって伝達される。

【0046】

試料１２（典型的には培地として説明される）は、下部スライドおよび上部スライド、例えば、従来の顕微鏡スライドによって垂直方向に境される分析チャンバ内に収容される。分析チャンバは、接着剤または任意の他の密封材料によって横方向に境される。下部スライドおよび上部スライドは、光源１５の波長に対して透明であり、試料およびチャンバは、例えば、光源の波長の５０％超が、下部スライドへの垂直入射下で通過することを可能にする。

【0047】

好ましくは、粒子１１ａ～１１ｆは、上部スライドに隣接した試料１２中に位置する。この目的のために、上部スライドの底面は、粒子の付着を可能にするリガンド、例えば、微生物の文脈ではポリカチオン（例えば、ポリ－Ｌ－リジン）を含む。これにより、光学システムの被写界深度に等しいかまたは近い厚さ、すなわち、１ｍｍより小さい厚さ（例えば、チューブレンズ）、好ましくは１００μｍより小さい厚さ（例えば、顕微鏡対物レンズ）で粒子を含むことができる。それにもかかわらず、粒子１１ａ～１１ｆは、試料１２内を移動し得る。

【0048】

好ましくは、装置は、例えば、顕微鏡対物レンズおよびチューブレンズから構成され、空気中に、試料から一定の距離に配置された光学システム２３を備える。光学システム２３は、任意に、対物レンズの前または対物レンズとチューブレンズとの間に位置し得るフィルタを備える。光学システム２３は、その光軸と、対物レンズからある距離にあるその物体平面（焦点面（plane of focus）とも呼ばれる）と、光学システムによって物体平面と共役になるその像平面とによって特徴付けられる。言い換えれば、物体平面に位置する物体には、焦平面（focal plane）とも呼ばれる像平面におけるこの物体の鮮明な像が対応する。システム２３の光学特性は固定されている（例えば、固定焦点距離光学系）。物体平面および像平面は、光軸に直交している。

【0049】

画像センサ１６は、試料の第２の面１４に面して、焦平面に、または焦平面に近接して位置する。センサ、例えば、ＣＣＤまたはＣＭＯＳセンサは、基本感知部位の周期的な２次元アレイと、それ自体既知の方法で露光時間を調整し部位をゼロにする関連電子機器とを備える。基本部位から出力される信号は、露光時間中に当該部位に入射するスペクトル領域の放射の量に依存する。その後、この信号は、例えば、関連電子機器によって、デジタル画像の画像点、すなわち「画素」に変換される。したがって、センサは、Ｃ列およびＬ行の行列の形態をとるデジタル画像を生成する。行列の座標（ｃ，ｌ）のこの行列の各画素は、それ自体既知の方法で、光学システム２３の焦平面内のデカルト座標（ｘ（ｃ，ｌ），ｙ（ｃ，ｌ））の位置、例えば、矩形形状の基本感知部位の中心の位置に対応する。

【0050】

周期的アレイのピッチおよびフィルファクタは、観察される粒子のサイズに関してナイキスト基準を満たすように選択され、それにより、粒子ごとに少なくとも２つの画素が定義される。したがって、画像センサ１６は、光源のスペクトル領域における試料の透過画像を取得する。

【0051】

画像センサ１６によって取得される画像は、粒子１１ａ～１１ｆによって回折された波と、試料と相互作用することなく試料を通過した参照波との間の干渉から生じる限り、ホログラフィック情報を含む。上述したように、ＣＭＯＳまたはＣＣＤセンサの文脈では、取得されたデジタル画像は強度画像であり、したがってここでは位相情報がこの強度画像に符号化されることは明らかである。

【0052】

代替的に、光源１５によって生成されたコヒーレント信号Ｓｎを、例えば、半透明板によって２つの成分に分割することが可能である。そして、第１の成分が参照波として働き、第２の成分が試料１２によって回折され、光学システム２３の像平面内の像が回折波と参照波との間の干渉から生じる。

【0053】

図３ａを参照すると、ステップ（ａ）において、ホログラムから試料１２の少なくとも１つの全体画像を再構成し、次いで、試料の全体画像から上記入力画像を抽出することが可能である。

【0054】

具体的には、標的粒子１１ａ～１１ｆは、入力画像において一様な方法で表され、特に、中心に配置され、所定の方向（例えば、水平方向）に位置合わせされる必要があることが理解されよう。入力画像はさらに、標準化されたサイズを有している必要がある（入力画像内に標的粒子１１ａ～１１ｆのみが見えることも望ましい）。したがって、入力画像は「サムネイル」と呼ばれ、そのサイズは、例えば、２５０×２５０画素となるように定義され得る。入力画像のシーケンスの場合、例えば、１２０分の時間間隔の間に１分ごとに１つの画像が撮影され、したがって、シーケンスは、２５０×２５０×１２０サイズの３Ｄ「スタック」を形成する。

【0055】

全体画像は、説明したように、装置１０のデータ処理手段またはクライアント２のデータ処理手段２０によって再構成される。

【0056】

典型的には、「電磁マトリックス」と呼ばれる一連の複素行列が（所与の取得時間ごとに）構成され、これらの行列は、試料１２の強度画像（ホログラム）に基づいて、光学システム２３の焦点面に対する複数の偏差、特に、試料内に位置する偏差について、光軸に沿って伝播する光波の波面をモデル化する。

【0057】

これらの行列は、様々な焦点距離における全体画像のスタックを形成するために、（例えば、エルミートノルム（Hermitian norm）を介して）実空間に投影され得る。

【0058】

そこから、平均焦点距離を決定すること（および対応する全体画像を選択すること、またはホログラムからそれを再計算すること）、または、標的粒子に対する最適な焦点距離を決定すること（および再び対応する全体画像を選択すること、またはホログラムからそれを再計算すること）さえ可能である。

【0059】

いずれの場合も、図３ｂを参照すると、ステップ（ａ）は、有利には、試料中の上記標的粒子を検出するために上記１つまたは複数の全体画像をセグメント化し、次いでクロッピングすることを含む。特に、上記入力画像は、上記一様な方法で上記標的粒子を表すように、試料の全体画像から抽出され得る。

【0060】

一般に、セグメント化は、１つまたは複数の全体画像を改善するためにフィラメントまたはマイクロコロニーなどのアーチファクトを除去しながら、関心のあるすべての粒子を検出することを可能にし、次いで、検出された粒子のうちの１つが標的粒子として選択され、対応するサムネイルが抽出される。説明したように、これは、すべての検出された粒子に対して行われ得る。

【0061】

セグメント化は、任意の既知の方法で実施され得る。図３ｂの例では、まず細かいセグメント化を実行してアーチファクトを除去した後に、粗いセグメント化を実行して粒子１１ａ～１１ｆを検出する。当業者に知られている任意のセグメント化技法が使用され得る。

【0062】

標的粒子１１ａ～１１ｆについての入力画像のシーケンスを取得することが望まれる場合、追跡技法を使用して、ある全体画像から次の全体画像への粒子の任意の移動を追跡し得る。

【0063】

図３ａの右側に見られるように、所与の試料について（試料１２の複数の粒子、さらにはすべての粒子について）経時的に得られたすべての入力画像がプールされて、試料１２を記述するコーパス（言い換えれば、実験を記述するコーパス）が形成され得、このコーパスは、特に、クライアント２の記憶手段２１にコピーされることに留意されたい。これは、「粒子」レベルとは対照的な「フィールド」レベルである。例えば、粒子１１ａ～１１ｆが細菌であり、試料１２が抗生物質を含む（または含まない）場合、この記述コーパスは、取得の全フィールドにわたるこれらの細菌の成長、形態、内部構造、および光学特性に関するすべての情報を含む。理解されるように、この記述コーパスは、上記トレーニングデータベースへの統合のためにサーバ１に送信され得る。

【0064】

特徴抽出
図４を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴ベクトルを抽出するステップ（ｂ）が、上記特徴ベクトルに応じて入力画像を分類するステップ（ｃ）とは別に実施されるという点で特に注目に値する。理解されるように、各ステップは、独立した機械学習機構を含み得、したがって、サーバ１の上記トレーニングデータベースは、必ずしもすでに分類されていない粒子画像および特徴ベクトルを含み得る。

【0065】

したがって、主ステップ（ｂ）は、クライアント２のデータ処理手段２０によって、上記標的粒子の特徴ベクトルを抽出するステップ、すなわち、標的粒子を「コーディング」するステップである。

【0066】

本明細書の残りの部分では、幾何学的な意味での特徴ベクトル／行列の「次元」の数、すなわち、これらのマップが延びる独立した方向の数（例えば、ベクトルは次元１のオブジェクトであり、行列は次元２、有利には次元３のオブジェクトである）と、これらの特徴ベクトル／行列の「変数」の数、すなわち、各次元におけるサイズ、すなわち、独立した自由度の数（これは、実際には、ベクトル空間における次元の概念に対応するものであり、より正確には、所与の数の変数を有する特徴ベクトル／行列のセットが、この変数の数に等しい次元のベクトル空間を形成する）との間で区別がなされる。

【0067】

そこで、ステップ（ｂ）の終わりに抽出された特徴行列が、６０×２５サイズ、したがって１５００個の変数を有する２次元オブジェクト（すなわち、次元２のオブジェクト）である例について以下で説明する。

【0068】

この場合、本コーディングの特異性は、上記特徴が、それぞれが基準粒子を表す基本画像のセットのうちの１つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が、入力画像内の上記粒子の表現を近似するという事実にある。

【0069】

これは「スパースコーディング」と呼ばれる。上記基本画像は「アトム」と呼ばれ、アトムのセットは「辞書」と呼ばれる。スパースコーディングの背後にある考え方は、辞書の単語から類推して、任意の入力画像を上記アトムの線形結合として表現することである。より正確には、
サイズｐの辞書Ｄについて、同じくサイズｐの特徴ベクトルをαとすると、
入力画像ｘの最良近似Ｄαが求められる。言い換えれば、最適ベクトル（入力画像ｘのスパースコード）をα＊とすると、ステップ（ｂ）は、λを正則化パラメータとする関数の最小化問題を解くことにある（これは、近似の品質とベクトルのスパース性との間の妥協を行うこと、すなわち、可能な限り少ないアトムを含むことを可能にする）。例えば、制約付き最小化問題は、以下のように記述され得る：

【数1】

【0070】

また、変分定式化問題としても表現され得る：

【数2】

【0071】

上記係数は、有利には、区間［０，１］内の値を有し（これは、Ｒの場合よりも単純である）、一般に、コーディングの「スパース」特性のために、係数の大部分は０の値を有することが理解されよう。非ゼロ係数に関連付けられたアトムは、活性化アトムと呼ばれる。

【0072】

当然ながら、基本画像は、入力画像に匹敵するサムネイルであり、すなわち、基準粒子は、入力画像と同じ一様な方法でその中に表され、特に、中心に配置され、上記所定の方向に位置合わせされ、基本画像は、有利には、入力画像と同じサイズ（例えば、２５０×２５０）を有する。

【0073】

したがって、図５ａは、３６個の基本画像の辞書の一例を示す（抗生物質のセフポドキシムと細菌の大腸菌の場合）。

【0074】

入力画像のシーケンスが供給される場合、ステップ（ｂ）は、有利には、入力画像ごとに１つの特徴ベクトルを抽出することを含み、その特徴マップは、標的粒子の「プロファイル」と呼ばれる特徴行列に組み合わされ得る。より正確には、ベクトルはすべて、同じサイズ（アトムの数）を有し、ベクトルのシーケンスを形成しているので、（時空間情報、したがって２次元をコーディングする）スパースな２次元コードを取得するためには入力画像の順序でそれらを並置すれば十分である。

【0075】

代替的または追加的に、試料１２の複数の粒子１１ａ～１１ｆに関連付けられた複数の入力画像に対応する特徴ベクトル／行列が合計されてもよい。

【0076】

したがって、本技法では、大量の計算能力も注釈付きデータベースも必要とすることなく、高いセマンティックレベルの特徴ベクトルを得ることができる。

【0077】

図５ｂは、特徴ベクトルを抽出する別の例を示しており、今度は２５個のアトムの辞書を用いている。所与の時間Ｔ１で得られた全体画像の全体と、（検出された粒子に対応する）様々な抽出された入力画像とが示されている。これにより、第２の標的粒子を表す画像は、０．３３×アトム１３＋０．２１×アトム２＋０．１６×アトム９（すなわち、ベクトル（０；０．２１；０；０；０；０；０；０；０．１６；０；０；０；０．３３；０；０；０；０；０；０；０；０；０；０；０；０）として近似され得る。

【0078】

「累積ヒストグラム」と呼ばれる合計されたベクトルが中央に示されている。有利には、係数は、それらの合計が１に等しくなるように正規化される。「活性化プロファイル」と呼ばれる、合計された行列（６０分間の合計）が右側に示されており、６０×２５のサイズを有することが分かる。

【0079】

この活性化プロファイルは、試料１２を（経時的に）表す大まかな（high-level）特徴マップであることが理解されよう。

【0080】

アトムの学習
基準画像（アトム）は予め定義され得る。しかしながら、好ましくは、本方法は、トレーニングデータベースから学習するステップ（ｂ０）を含み、このステップでは、基準画像（すなわち、辞書の画像）が、特にサーバ１のデータ処理手段３によって学習され、その結果、本方法は、いかなる時点においても人間の介入を必要としない。

【0081】

この学習方法は、辞書を学習することを含むので「辞書学習」と呼ばれ、トレーニングデータベースの画像が注釈付けされることを必要としない限り教師なしであり、したがって、実装するのが極めて簡単である。具体的には、手作業で何千もの画像に注釈を付けることは、非常に時間がかかり、非常に高価であることが理解されよう。

【0082】

この考えは、単に、トレーニングデータベースにおいて、様々な条件で粒子１１ａ～１１ｆを表すサムネイルを提供し、それに基づいて、任意のサムネイルを可能な限り容易に表されることを可能にするアトムを見つけることである。

【0083】

好ましくは、粒子１１ａ～１１ｆのタイプごとおよび／または試料１２のタイプごとに異なる辞書が存在し得る。特に、粒子１１ａ～１１ｆが細菌である実施形態では、細菌のタイプごとおよび抗生物質ごとに１つの辞書がある。様々な条件は、特に、様々な濃度の抗生物質を使用して得られる。しかしながら、複数の抗生物質に対して同じトレーニングデータベースを採用することなどが想定され得る。

【0084】

ステップ（ｂ０）は、非常に上流で実施されてもよいし、結果を精緻化するためにステップ（ａ）の結果（進行中の実験を表すデータベース）を待ってもよいことに留意されたい。

【0085】

いずれの場合も、学習は、当業者に知られている任意の方法で行われ得、特に、ここでも最適化問題に対応し得る。トレーニングデータベースの画像がｘ_ｉ（ｉ≦Ｎ）と示される場合、問題は、例えば、以下のようになる：

【数3】

【0086】

具体的には、その目的は、各トレーニング画像ｘ_ｉの最良近似Ｄα_ｉを可能にする辞書Ｄを見つけることである。

【0087】

例えば、場合によっては、ＳＰＡＭＳツールボックスを使用して学習を行う（ＳＰＡＭＳはスパースモデリングソフトウェア（SPArse Modeling Software）を表す）。

【0088】

このように、最大４つの異なる濃度のセフポドキシムがある場合（＋抗生物質が存在しない場合）における、６株（２つの非耐性株および４つの耐性株）の大腸菌の培養物から６１分かけて取得された数万の入力画像のデータベースを使用して図５ａの３６個のアトムを学習した。正則化パラメータλを、０．２に設定して３６個のアトムを得た。アトム５、１６、１９、３２は、（正常な）分裂の過程にある細菌に対応し、アトム９、１１、１２、２６、２７、３３は、セフポドキシムによって誘導される形態学的変化を示す。

【0089】

黄色ブドウ球菌のような他の細菌および／またはセフォキシチン、ゲンタマイシンなどの他の抗生物質について、他の辞書が継続的に学習されている。

【0090】

分類
ステップ（ｃ）において、上記入力画像は、上記抽出された特徴ベクトルに応じて分類される。

【0091】

１つまたは複数の特徴ベクトル／行列の記述的分析を可能にする任意の技法、特に、上記トレーニングデータベースに対してトレーニングされた分類器（いくつかの例が以下に与えられる）が潜在的に使用されることが理解されよう。この点に関して、ステップ（ｂ０）と同様に、本方法は、サーバ１のデータ処理手段３によって、トレーニングデータベースを使用して、分類器をトレーニングするステップ（ａ０）を含み得る。具体的には、このステップは、典型的には、非常に上流で、特にリモートサーバ１によって実施される。説明したように、トレーニングデータベースは、トレーニング画像の特徴ベクトル／行列、すなわち、それらのスパースコードを特定の数含み得、これは、ほとんど空間を取らない。

【0092】

ステップ（ｂ）で得られたスパースコード（特に行列の場合）は、非常に多数の変数を有し得るので、分析結果の可視化および解釈が複雑になり得、削減技法を使用することが好ましい。

【0093】

したがって、データ可視化のための変数の数の削減を達成する非線形方法であるｔ－ＳＮＥアルゴリズム（ｔ－ＳＮＥは、ｔ分布型確率的近傍埋め込み法（t-distributed stochastic neighbor embedding）を表す）を使用することで、高次元空間の点のセットを２次元または３次元の空間で表すことができ（スパースコード／活性化プロファイルの値空間）、散布図を用いてデータを可視化することが可能である。ｔ－ＳＮＥアルゴリズムは、情報理論基準にしたがって、点の近接性に関して最適な構成（ｔ－ＳＮＥ埋め込みと呼ばれる）を見つけようとする。
元の空間で近くにある（それぞれ遠く離れている）２つの点は、低次元空間では近くにあるはずである（それぞれ遠く離れているはずである）。

【0094】

ｔ－ＳＮＥアルゴリズムは、粒子レベル（トレーニングデータベースにおいてベクトルが利用可能である個々の粒子に関する標的粒子１１ａ～１１ｆ）とフィールドレベル（試料１２全体について－複数の粒子１１ａ～１１ｆを表す複数の入力画像の場合）の両方で、特に特徴行列ではなく単一ベクトルの場合に実装され得る。

【0095】

ｔ－ＳＮＥ埋め込みは、特に、例えば、パイソンでの実装により効率的に達成され得、したがってリアルタイムで実施することができることに留意されたい。また、計算の速度を上げ、メモリフットプリントを低減するために、最初に、次元の線形低減（例えば、ＰＣＡ－主成分分析（Principal Component Analysis））のステップを経てから、トレーニングデータベースおよび問題の入力画像のｔ－ＳＮＥ埋め込みを計算することも可能である。この場合、トレーニングデータベースのＰＣＡ埋め込みがメモリに記憶され得、その後には、問題の入力画像のスパースコードを用いて埋め込みを完了することだけが残る。

【0096】

実際の分類器については、特に、ｔ－ＳＮＥアルゴリズムの結果（得られた埋め込み）に対して、ｋ－ＮＮ法（ｋ－ＮＮは、ｋ近傍方（k-nearest neighbors）を表す）を使用することが可能である。

【0097】

この考えは、問題の１つまたは複数の入力画像の特徴ベクトルに対応する点の近傍点を見て、それらの分類を見るというものである。例えば、近傍点が「分裂なし」に分類される場合、問題の入力画像は「分裂なし」に分類されるはずであると仮定することができる。考慮される近傍は、例えば、株、抗生物質などに応じて、制限される可能性があることに留意されたい。図６は、様々な濃度のセフポドキシムに対する大腸菌株について得られたｔ－ＳＮＥ埋め込みの２つの例を示す。上の例では、２つのブロックがはっきりと確認でき、超えた場合に形態ひいては細胞分裂が影響を受ける最小阻害濃度（ＭＩＣ）が存在することが視覚的に示されている。上部に近いベクトルは「分裂あり」に分類され、下部に近いベクトルは「分裂なし」に分類される。下の例では、最高濃度のみが際立っている（したがって、抗生物質効果を有するように見える）ことが分かる。

【0098】

第２の実施形態によれば、サポートベクターマシン（ＳＶＭ）が分類器として使用され、同じくバイナリ分類（例えば、この場合も同様に「分裂あり」または「分裂なし」）を得る。この単純な方法は、単一の入力画像（特徴ベクトルにＳＶＭが適用されたもの）に対して特に有効である。ＳＶＭのハイパーパラメータＣは、グリッドサーチおよびいわゆるｋ分割交差検証（特にｋ＝５で、元のデータベースがｋ個の試料に分割され、次いでｋ個の試料のうちの１つが検証セットとして選択され、ｋ－１個の他の試料がトレーニングセットを形成する）を使用して最適化され得る。

【0099】

第３の実施形態によれば、入力画像のシーケンス（３Ｄスタック）、したがって特徴行列の場合、畳み込みニューラルネットワーク（ＣＮＮ）が分類器として使用される。

【0100】

このＣＮＮは、比較的単純なアーキテクチャ、例えば、１つの畳み込み層、１つの活性化層（例えば、ＲｅＬＵ関数）、および１つのプーリング層（例えば、最大プーリング層）の一連のブロックから構成されるアーキテクチャを有し得る。そのようなブロックが２つあれば、効果的なバイナリ分類を達成するのに十分である。さらに、入力を（特に「時間」次元において）ダウンサンプリングして、そのメモリフットプリントをさらに減少させることが可能である。

【0101】

ＣＮＮは、従来の方法でトレーニングされ得る。トレーニングコスト関数は、従来のコスト関数（例えば、クロスエントロピー）と、全変動正則化とから構成され得る。

【0102】

すべての実施形態において、トレーニングされた分類器は、必要に応じて、分類のためにクライアント２のデータ記憶手段２１に記憶され得る。同じ分類器が多くのクライアント２にインストールしても、必要なトレーニング段階は１つだけであり得ることに留意されたい。

【0103】

コンピュータプログラム製品
第２および第３の態様によれば、本発明は、試料１２中の標的粒子１１ａ～１１ｆを表す少なくとも１つの入力画像を分類するための方法を（特にサーバ１および／またはクライアント２のデータ処理手段３、２０上で）実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器（サーバ１および／またはクライアント２のメモリ４、２１）によって読み取り可能な記憶手段に関する。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図6】

【国際調査報告】