IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ビオメリューの特許一覧 ▶ ビオアステルの特許一覧

特表2023-546191試料中の粒子を表す入力画像の分類方法
<図1>
  • 特表-試料中の粒子を表す入力画像の分類方法 図1
  • 特表-試料中の粒子を表す入力画像の分類方法 図2
  • 特表-試料中の粒子を表す入力画像の分類方法 図3a
  • 特表-試料中の粒子を表す入力画像の分類方法 図3b
  • 特表-試料中の粒子を表す入力画像の分類方法 図4
  • 特表-試料中の粒子を表す入力画像の分類方法 図5
  • 特表-試料中の粒子を表す入力画像の分類方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-01
(54)【発明の名称】試料中の粒子を表す入力画像の分類方法
(51)【国際特許分類】
   G06V 10/764 20220101AFI20231025BHJP
   C12M 1/34 20060101ALI20231025BHJP
   C12Q 1/06 20060101ALI20231025BHJP
   G06V 10/82 20220101ALI20231025BHJP
   G06T 7/00 20170101ALI20231025BHJP
   G06V 20/69 20220101ALI20231025BHJP
【FI】
G06V10/764
C12M1/34 Z
C12Q1/06
G06V10/82
G06T7/00 350C
G06V20/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023524072
(86)(22)【出願日】2021-10-19
(85)【翻訳文提出日】2023-06-14
(86)【国際出願番号】 FR2021051819
(87)【国際公開番号】W WO2022084618
(87)【国際公開日】2022-04-28
(31)【優先権主張番号】2010741
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】304043936
【氏名又は名称】ビオメリュー
【氏名又は名称原語表記】BIOMERIEUX
(71)【出願人】
【識別番号】518294579
【氏名又は名称】ビオアステル
【氏名又は名称原語表記】BIOASTER
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】マエー,ピエール
(72)【発明者】
【氏名】エル アザミ,メリエム
(72)【発明者】
【氏名】デグー‐シャルメット,エロディ
(72)【発明者】
【氏名】セダガート,ゾーレ
(72)【発明者】
【氏名】ジョッソ,クエンティン
(72)【発明者】
【氏名】ロール,ファビアン
【テーマコード(参考)】
4B029
4B063
5L096
【Fターム(参考)】
4B029AA07
4B029BB01
4B029CC01
4B029CC02
4B029FA01
4B029FA12
4B029FA15
4B063QA01
4B063QA18
4B063QQ05
4B063QS40
4B063QX01
5L096EA35
5L096FA02
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
本発明は、試料(12)中の標的粒子(11a~11f)を表す少なくとも1つの入力画像を分類するための方法に関し、本方法は、クライアント(2)のデータ処理手段(20)によって、(b)公開画像に基づいて事前トレーニングされた畳み込みニューラルネットワークによって標的粒子(11a~11f)の特性マップを抽出するステップと、(c)上記抽出された特性マップにしたがって入力画像を分類するステップとを実施することを含むことを特徴とする。
【特許請求の範囲】
【請求項1】
試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法であって、クライアントのデータ処理手段によって、
(b)公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって前記標的粒子の特徴マップを抽出するステップと
(c)前記抽出された特徴マップに応じて前記入力画像を分類するステップと
の実施を含むことを特徴とする、方法。
【請求項2】
前記粒子は、前記入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる、請求項1に記載の方法。
【請求項3】
前記標的粒子を前記一様な方法で表すために、前記試料の全体画像から前記入力画像を抽出するステップ(a)を含む、請求項2に記載の方法。
【請求項4】
ステップ(a)は、前記試料中の前記標的粒子を検出するように前記全体画像をセグメント化し、次いで、前記検出された標的粒子に前記入力画像をクロッピングすることを含む、請求項3に記載の方法。
【請求項5】
ステップ(a)は、前記試料の強度画像から前記全体画像を取得することを含み、前記画像は観察装置によって取得される、請求項3または4に記載の方法。
【請求項6】
ステップ(b)は、前記事前トレーニングされた畳み込みニューラルネットワークの特徴抽出サブネットワークによって実施される、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記事前トレーニングされた畳み込みニューラルネットワークは、特に、VGG、AlexNet、Inception、またはResNetタイプの画像分類ネットワークである、請求項6に記載の方法。
【請求項8】
前記特徴抽出サブネットワークの最後にグローバルプーリング層が追加され、その結果、前記抽出された特徴マップが1×1の空間サイズを有する、請求項6または7に記載の方法。
【請求項9】
ステップ(c)は、分類器によって実施され、前記方法は、サーバのデータ処理手段によって、前記試料中の粒子のすでに分類された特徴マップのトレーニングデータベースを使用して、前記分類器のパラメータをトレーニングするステップ(a0)を含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記分類器は、サポートベクターマシン、k最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される、請求項9に記載の方法。
【請求項11】
ステップ(c)は、前記t-SNEアルゴリズムによって前記特徴マップの前記変数の数を減らすことを含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
試料中の前記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であって、ステップ(b)は、前記シーケンスの各入力画像の前記抽出された特徴マップを連結することを含む、請求項1から11のいずれか一項に記載の方法。
【請求項13】
データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムであって、前記データ処理手段が、
- 公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって前記標的粒子の特徴マップを抽出することと、
- 前記抽出された特徴マップに応じて前記入力画像を分類することと
を実施するように構成されることを特徴とする、システム。
【請求項14】
前記試料中の前記標的粒子を観察するための装置をさらに備える、請求項12に記載のシステム。
【請求項15】
コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されると、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から12のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータプログラム製品。
【請求項16】
コンピュータ機器によって読み取り可能な記憶媒体であって、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から12のいずれか一項に記載の方法を実行するためのコード命令を含む、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生物学的粒子の光学的取得の分野に関する。生物学的粒子は、例えば、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。
【0002】
本発明は、例えば、抗生物質の適用後の細菌の代謝状態を決定する目的とした生物学的粒子の状態の分析に特に有利に適用可能である。本発明により、例えば、細菌についてのアンチバイオグラムを実施することができる。
【背景技術】
【0003】
アンチバイオグラムは、1つまたは複数の抗生物質に対する細菌株の表現型を試験することを目的とした実験技法である。従来、アンチバイオグラムは、細菌と抗生物質とを含む試料を培養することにより実施される。
【0004】
欧州特許出願第2 603 601号には、抗生物質の存在下でのインキュベーション期間後の細菌の状態を可視化することを含む、アンチバイオグラムを実施するための方法が記載されている。細菌を可視化するために、細菌を蛍光マーカーで標識して、それらの構造を明らかにする。次いで、マーカーの蛍光を測定することで、抗生物質が細菌に対して効果的に作用したかどうかを決定することができる。
【0005】
所与の細菌株に対して有効な抗生物質を決定するための従来のプロセスは、当該株を含む試料を(例えば、患者、動物、食品バッチなどから)採取し、次いで試料を分析センターに送ることにある。分析センターは、試料を受け取ると、まず、細菌株の少なくとも1つのコロニーを得るために細菌株を培養するが、これには24時間~72時間かかる。次いで、このコロニーから、異なる抗生物質および/または異なる濃度の抗生物質を含むいくつかの試料を調製し、再び試料をインキュベートする。同じく24~72時間を要する新たな培養期間の後、各試料を手作業で分析して、抗生物質が有効に作用したかどうかを決定する。そして、その結果は、プラクティショナ(practitioner)が最も有効な抗生物質および/または抗生物質濃度を適用することができるように、プラクティショナに返される。
【0006】
しかしながら、標識プロセスは、実施するのに特に長く複雑であり、これらの化学マーカーは、細菌に対して細胞毒性効果を有する。したがって、この可視化方法では、培養中に細菌を何度も観察することができず、その結果、測定の信頼性を保証するためには、24~72時間程度の十分に長い時間、細菌を培養する必要がある。生物学的粒子を可視化する他の方法では、試料の非破壊測定を可能にする顕微鏡を使用する。
【0007】
デジタルホログラフィック顕微鏡法すなわちDHMは、従来の光学顕微鏡法の被写界深度の制約を克服することができる撮像技法である。概略的には、これは、観察される物体によって回折された光波と空間的にコヒーレントな参照波との間の干渉によって形成されるホログラムを記録することにある。この技法は、SPIE Reviews Vol. 1, No. 1, January 2010で発表されたMyung K. Kimによる「Principles and techniques of digital holographic microscopy」と題する総説に記載されている。
【0008】
近年では、デジタルホログラフィック顕微鏡法を使用して、自動化された方法で微生物を同定することが提案されている。したがって、国際出願WO2017/207184には、粒子を取得するための方法が記載されており、この方法は、取得時間を制限しながら生物学的粒子を観察することを可能にするために、単純なデフォーカス取得をデジタル焦点再構成と関連付ける。
【0009】
典型的には、このソリューションにより、数日かかり得る上述の従来のプロセスとは異なり、わずか10分程度のインキュベーション後に抗生物質の存在下での細菌に対する構造修飾を検出し、2時間後にその感度を検出すること(分裂の有無または分裂を示すパターンの検出)が可能になる。具体的には、測定は非破壊的であるので、試料を破壊するリスク、したがって分析時間を延長するリスクを冒すことなく、培養プロセスの非常に早い段階で分析を実施することが可能である。
【0010】
粒子の挙動、例えば、その移動速度またはその細胞分裂プロセスを可視化するために、経時的な粒子の進行を表すフィルムを形成するように、複数の連続画像にわたって粒子を追跡することさえ可能である(粒子は最初の分析後に損なわれないので)。
【0011】
したがって、この可視化方法は優れた結果をもたらすことが理解されよう。例えば、試料中に存在する抗生物質に対する細菌の感受性に関する結論に、特に自動的に、達することが望まれる場合、これらの画像またはこのフィルムをそれ自体で解釈することは困難である。
【0012】
単に経時的に細菌を計数することから、画像分析を介して特定の「構成」を検出することを目的とするいわゆる形態学的分析まで、様々な技法が提案されている。例えば、細菌が分裂する準備をしている場合、分裂自体のかなり前に2つの極が分布に現れ、その結果、分布が2つの異なるセグメントに分かれる。
【0013】
これらの2つの技法を組み合わせて抗生物質の有効性を評価することが、Choi, J., Yoo, J., Lee, M.ら(2014)による論文「A rapid antimicrobial susceptibility test based on single-cell morphological analysis」Science Translational Medicine, 6(267). https://doi.org/10.1126/scitranslmed.3009650において提案されている。しかしながら、著者らが強調しているように、彼らのアプローチは、抗生物質によって引き起こされる形態学的変化の性質に強く依存する、ある特定の数の閾値の非常に微細な較正を必要とする。
【0014】
より最近では、Yu, H., Jing, W., Iriya, R.ら(2018)による論文「Phenotypic Antimicrobial Susceptibility Testing with Deep Learning Video Microscopy.」Analytical Chemistry, 90(10), 6314-6322. https://doi.org/10.1021/acs.analchem.8b01128に、深層学習に基づくアプローチが記載されている。著者らは、畳み込みニューラルネットワーク(CNN)を使用して形態学的特徴および細菌の動きに関連する特徴を抽出することを提案している。しかしながら、このソリューションは、コンピューティングリソースに関して非常に集中的であることが判明しており、CNNをトレーニングするためにトレーニング画像の膨大なデータベースを必要とする。
【0015】
したがって、本発明の目的とする技術的課題は、より効果的であるとともに資源集約的でない、生物学的粒子の画像を分類するためのソリューションを提供することを可能にすることである。
【発明の概要】
【0016】
第1の態様によれば、本発明は、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法に関し、この方法は、クライアントのデータ処理手段によって、以下のステップの実施を含むことを特徴とする:
(b)公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって上記標的粒子の特徴マップを抽出するステップ;
(c)上記抽出された特徴マップに応じて上記入力画像を分類するステップ。
【0017】
有利であるが非限定的な特徴によれば:
【0018】
粒子は、入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる。
【0019】
本方法は、上記標的粒子を上記一様な方法で表すために、試料の全体画像から上記入力画像を抽出するステップ(a)を含む。
【0020】
ステップ(a)は、試料中の上記標的粒子を検出するように上記全体画像をセグメント化し、次いで、上記検出された標的粒子に入力画像をクロッピングすることを含む。
【0021】
ステップ(a)は、試料の強度画像から上記全体画像を取得することを含み、上記画像は観察装置によって取得される。
【0022】
ステップ(b)は、上記事前トレーニングされた畳み込みニューラルネットワークの特徴抽出サブネットワークによって実施される。
【0023】
上記事前トレーニングされた畳み込みニューラルネットワークは、特に、VGG、AlexNet、Inception、またはResNetタイプの画像分類ネットワークである。
【0024】
上記特徴抽出サブネットワークの最後にグローバルプーリング層が追加され、その結果、抽出された特徴マップが1×1の空間サイズを有する。
【0025】
ステップ(c)は、分類器によって実施され、本方法は、サーバのデータ処理手段によって、上記試料中の粒子のすでに分類された特徴マップのトレーニングデータベースを使用して、上記分類器のパラメータをトレーニングするステップ(a0)を含む。
【0026】
上記分類器は、サポートベクターマシン、k最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される
【0027】
ステップ(c)は、t-SNEアルゴリズムによって特徴マップの変数の数を減らすことを含む。
【0028】
本方法は、試料中の上記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であり、ステップ(b)は、上記シーケンスの各入力画像の抽出された特徴マップを連結することを含む。
【0029】
第2の態様によれば、データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムが提供され、上記データ処理手段が、以下を実施するように構成されることを特徴とする:
- 公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって上記標的粒子の特徴マップを抽出すること;
- 上記抽出された特徴マップに応じて上記入力画像を分類すること。
【0030】
有利であるが非限定的な特徴によれば、システムは、試料中の上記標的粒子を観察するための装置をさらに備える。
【0031】
第3および第4の態様によれば、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含むコンピュータプログラム製品と、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含む、コンピュータ機器によって読み取り可能な記憶媒体とが提供される。
【図面の簡単な説明】
【0032】
本発明の他の特徴および利点は、好ましい実施形態の以下の説明を読めば明らかになるであろう。この説明は、添付の図面を参照して与えられるであろう。
図1】本発明による方法を実施するためのアーキテクチャの概略図である。
図2a】本発明による方法の好ましい一実施形態において使用される、試料中の粒子を観察するための装置の一例を示す。
図3a】本発明による方法の一実施形態における入力画像の取得を示す。
図3b】本発明による方法の好ましい実施形態における入力画像の取得を示す。
図4】本発明による方法の好ましい実施形態のステップを示す。
図5】本発明による方法の好ましい実施形態において使用される畳み込みニューラルネットワークアーキテクチャの一例を示す。
図6】本発明による方法の好ましい実施形態において使用されるt-SNE埋め込みの一例を表す。
【発明を実施するための形態】
【0033】
アーキテクチャ
本発明は、標的粒子と呼ばれる、試料12中に存在する粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法に関する。この方法は、試料12中に存在する粒子11a~11fのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。
【0034】
理解されるように、この方法は、1つまたは複数の機械学習コンポーネント、特に、畳み込みニューラルネットワーク(CNN)を含む1つまたは複数の分類器を含み得る。
【0035】
入力またはトレーニングデータは、画像タイプのものであり、試料12中の標的粒子11a~11fを表す(言い換えれば、これらは、標的粒子を視認できる試料の画像である)。理解されるように、同じ標的粒子11a~11fの画像のシーケンス(または、必要に応じて、複数の粒子が考慮される場合には、試料12の粒子11a~11fの画像の複数のシーケンス)が入力として提供され得る。
【0036】
試料12は、観察されるべき粒子11a~11fが位置している、水、緩衝液、培地、または反応性媒体(抗生物質を含むかは問わない)などの液体から構成される。
【0037】
変形形態として、試料12は、粒子11a~11fが位置している、好ましくは半透明の、寒天などの固体媒体の形態をとり得る。試料12は、ガス状媒体であってもよい。粒子11a~11fは、媒体の内部または試料12の表面に位置してもよい。
【0038】
粒子11a~11fは、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。残りの説明では、粒子が細菌である(そして、理解されるように、試料12が抗生物質を組み込んでいる)好ましい例について考える。観察された粒子11a~11fのサイズは、500nmから数百μm、さらには数ミリメートルの間で変化する。
【0039】
入力画像(または入力画像のシーケンス)の「分類」は、画像を記述する可能なクラスのセットの中から少なくとも1つのクラスを決定することにある。例えば、細菌タイプの粒子の場合、バイナリ分類が採用され得、すなわち、抗生物質に対する耐性の有無をそれぞれ証明する「分裂あり」または「分裂なし」を示す2つの可能なクラスが採用され得る。上記標的粒子11a~11fに対する抗生物質の効果のバイナリ分類の例が主に説明されるが、本発明は、任意の1つの特定の種類の分類に限定されるものではない。
【0040】
本方法は、サーバ1およびクライアント2によって、図1に示されるようなアーキテクチャ内で実施される。サーバ1は、トレーニングされる(トレーニング方法を実施する)機器であり、クライアント2は、(分類方法を実施する)ユーザ機器、例えば、医者または病院の端末である。
【0041】
2つの機器1、2を組み合わせることは十分に可能であるが、好ましくは、サーバ1はリモートの機器であり、クライアント2は大量市場の機器、特に、デスクトップコンピュータ、ラップトップコンピュータなどである。クライアント機器2は、有利には、典型的には直ちに処理する目的で、上記入力画像(または、以下から分かるように、試料12の全体画像などの「生の」取得データ、さらには電磁マトリックス)を直接取得することができるように、観察装置10に接続される。代替的に、入力画像は、クライアント機器2にロードされる。
【0042】
いずれにしても、各機器1、2は、典型的には、データを交換する目的でローカルネットワークまたはインターネットなどのワイドエリアネットワークに接続されたリモートのコンピュータ機器である。各々は、プロセッサタイプのデータ処理手段3、20と、コンピュータメモリ、例えば、フラッシュメモリまたはハードディスクなどのデータ記憶手段4、21とを備える。クライアント2は、典型的には、対話を可能にする画面などのユーザインターフェース22を備える。
【0043】
サーバ1は、有利には、トレーニングデータベース、すなわち、様々な条件(以下を参照)における粒子11a~11fの画像のセットおよび/またはすでに分類された特徴マップのセット(例えば、抗生物質に対する感受性または耐性を示す「分裂あり」または「分裂なし」という標識に関連付けられている)を記憶する。トレーニングデータは、場合によっては、例えば、細菌の培養に関して、「株」、「抗生物質条件」、「時間」などを示す、試験条件を定義する標識に関連付けられることに留意されたい。
【0044】
取得
以上のように、本方法は、任意の方法で得られた標的粒子11a~11fの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置10によって提供されるデータから入力画像を取得するステップ(a)から開始する。
【0045】
既知の方法で、当業者は、特に、国際出願WO2017/207184に記載されているようなDHM技法(DHMはデジタルホログラフィック顕微鏡法(digital holographic microscopy)を表す)を使用することができる。特に、標的粒子に焦点が合っていない(画像は「ピンぼけ(out of focus)」していると考えられる)が、データ処理手段(これは、例えば、装置10またはクライアント2の装置20のいずれかに統合されている、以下を参照)によって処理することができる試料12の強度画像が取得され得、そのような画像はホログラムと呼ばれる。ホログラムは、試料中のすべての粒子11a~11fを特定の方法で「表す」ことが理解されよう。
【0046】
図2は、試料12中に存在する粒子11a~11fを観察するための装置10の一例を示す。試料12は、空間的および時間的にコヒーレントである光源15(例えば、レーザ)または擬似コヒーレントである光源15(例えば、発光ダイオード、レーザダイオード)と、光源のスペクトル領域において感度を有するデジタルセンサ16との間に配置される。好ましくは、光源15は、狭いスペクトル幅、例えば、200nmよりも狭い、100nmよりも狭い、さらには25nmよりも狭いスペクトル幅を有する。以下では、例えば、可視領域にある光源の中心発光波長に言及する。光源15は、試料の第1の面13に向かってコヒーレント信号Snを放出し、信号は、例えば、光ファイバなどの導波路によって伝達される。
【0047】
試料12(典型的には培地として説明される)は、下部スライドおよび上部スライド、例えば、従来の顕微鏡スライドによって垂直方向に境される分析チャンバ内に収容される。分析チャンバは、接着剤または任意の他の密封材料によって横方向に境される。下部スライドおよび上部スライドは、光源15の波長に対して透明であり、試料およびチャンバは、例えば、光源の波長の50%超が、下部スライドへの垂直入射下で通過することを可能にする。
【0048】
好ましくは、粒子11a~11fは、上部スライドに隣接した試料12中に位置する。この目的のために、上部スライドの底面は、粒子の付着を可能にするリガンド、例えば、微生物の文脈ではポリカチオン(例えば、ポリ-L-リジン)を含む。これにより、光学システムの被写界深度に等しいかまたは近い厚さ、すなわち、1mmより小さい厚さ(例えば、チューブレンズ)、好ましくは100μmより小さい厚さ(例えば、顕微鏡対物レンズ)で粒子を含むことができる。それにもかかわらず、粒子11a~11fは、試料12内を移動し得る。
【0049】
好ましくは、装置は、例えば、顕微鏡対物レンズおよびチューブレンズから構成され、空気中に、試料から一定の距離に配置された光学システム23を備える。光学システム23は、任意に、対物レンズの前または対物レンズとチューブレンズとの間に位置し得るフィルタを備える。光学システム23は、その光軸と、対物レンズからある距離にあるその物体平面(焦点面(plane of focus)とも呼ばれる)と、光学システムによって物体平面と共役になるその像平面とによって特徴付けられる。言い換えれば、物体平面に位置する物体には、焦平面(focal plane)とも呼ばれる像平面におけるこの物体の鮮明な像が対応する。システム23の光学特性は固定されている(例えば、固定焦点距離光学系)。物体平面および像平面は、光軸に直交している。
【0050】
画像センサ16は、試料の第2の面14に面して、焦平面に、または焦平面に近接して位置する。センサ、例えば、CCDまたはCMOSセンサは、基本感知部位の周期的な2次元アレイと、それ自体既知の方法で露光時間を調整し部位をゼロにする関連電子機器とを備える。基本部位から出力される信号は、露光時間中に当該部位に入射するスペクトル領域の放射の量に依存する。その後、この信号は、例えば、関連電子機器によって、デジタル画像の画像点、すなわち「画素」に変換される。したがって、センサは、C列およびL行の行列の形態をとるデジタル画像を生成する。行列の座標(c,l)のこの行列の各画素は、それ自体既知の方法で、光学システム23の焦平面内のデカルト座標(x(c,l),y(c,l))の位置、例えば、矩形形状の基本感知部位の中心の位置に対応する。
【0051】
周期的アレイのピッチおよびフィルファクタは、観察される粒子のサイズに関してナイキスト基準を満たすように選択され、それにより、粒子ごとに少なくとも2つの画素が定義される。したがって、画像センサ16は、光源のスペクトル領域における試料の透過画像を取得する。
【0052】
画像センサ16によって取得される画像は、粒子11a~11fによって回折された波と、試料と相互作用することなく試料を通過した参照波との間の干渉から生じる限り、ホログラフィック情報を含む。上述したように、CMOSまたはCCDセンサの文脈では、取得されたデジタル画像は強度画像であり、したがってここでは位相情報がこの強度画像に符号化されることは明らかである。
【0053】
代替的に、光源15によって生成されたコヒーレント信号Snを、例えば、半透明板によって2つの成分に分割することが可能である。そして、第1の成分が参照波として働き、第2の成分が試料12によって回折され、光学システム23の像平面内の像が回折波と参照波との間の干渉から生じる。
【0054】
図3aを参照すると、ステップ(a)において、ホログラムから試料12の少なくとも1つの全体画像を再構成し、次いで、試料の全体画像から上記入力画像を抽出することが可能である。
【0055】
具体的には、標的粒子11a~11fは、入力画像において一様な方法で表され、特に、中心に配置され、所定の方向(例えば、水平方向)に位置合わせされる必要があることが理解されよう。入力画像はさらに、標準化されたサイズを有している必要がある(入力画像内に標的粒子11a~11fのみが見えることも望ましい)。したがって、入力画像は「サムネイル」と呼ばれ、そのサイズは、例えば、250×250画素となるように定義され得る。入力画像のシーケンスの場合、例えば、120分の時間間隔の間に1分ごとに1つの画像が撮影され、したがって、シーケンスは、250×250×120サイズの3D「スタック」を形成する。
【0056】
全体画像は、説明したように、装置10のデータ処理手段またはクライアント2のデータ処理手段20によって再構成される。
【0057】
典型的には、「電磁マトリックス」と呼ばれる一連の複素行列が(所与の取得時間ごとに)構成され、これらの行列は、試料12の強度画像(ホログラム)に基づいて、光学システム23の焦点面に対する複数の偏差、特に、試料内に位置する偏差について、光軸に沿って伝播する光波の波面をモデル化する。
【0058】
これらの行列は、様々な焦点距離における全体画像のスタックを形成するために、(例えば、エルミートノルム(Hermitian norm)を介して)実空間に投影され得る。
【0059】
そこから、平均焦点距離を決定すること(および対応する全体画像を選択すること、またはホログラムからそれを再計算すること)、または、標的粒子に対する最適な焦点距離を決定すること(および再び対応する全体画像を選択すること、またはホログラムからそれを再計算すること)さえ可能である。
【0060】
いずれの場合も、図3bを参照すると、ステップ(a)は、有利には、試料中の上記標的粒子を検出するために上記1つまたは複数の全体画像をセグメント化し、次いでクロッピングすることを含む。特に、上記入力画像は、上記一様な方法で上記標的粒子を表すように、試料の全体画像から抽出され得る。
【0061】
一般に、セグメント化は、1つまたは複数の全体画像を改善するためにフィラメントまたはマイクロコロニーなどのアーチファクトを除去しながら、関心のあるすべての粒子を検出することを可能にし、次いで、検出された粒子のうちの1つが標的粒子として選択され、対応するサムネイルが抽出される。説明したように、これは、すべての検出された粒子に対して行われ得る。
【0062】
セグメント化は、任意の既知の方法で実施され得る。図3bの例では、まず細かいセグメント化を実行してアーチファクトを除去した後に、粗いセグメント化を実行して粒子11a~11fを検出する。当業者に知られている任意のセグメント化技法が使用され得る。
【0063】
標的粒子11a~11fについての入力画像のシーケンスを取得することが望まれる場合、追跡技法を使用して、ある全体画像から次の全体画像への粒子の任意の移動を追跡し得る。
【0064】
図3aの右側に見られるように、所与の試料について(試料12の複数の粒子、さらにはすべての粒子について)経時的に得られたすべての入力画像がプールされて、試料12を記述するコーパス(言い換えれば、実験を記述するコーパス)が形成され得、このコーパスは、特に、クライアント2の記憶手段21にコピーされることに留意されたい。これは、「粒子」レベルとは対照的な「フィールド」レベルである。例えば、粒子11a~11fが細菌であり、試料12が抗生物質を含む(または含まない)場合、この記述コーパスは、取得の全フィールドにわたるこれらの細菌の成長、形態、内部構造、および光学特性に関するすべての情報を含む。理解されるように、この記述コーパスは、上記トレーニングデータベースへの統合のためにサーバ1に送信され得る。
【0065】
特徴抽出
図4を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴マップを抽出するステップ(b)を、上記特徴マップに応じて入力画像を分類するステップ(c)と切り離すという点で特に注目に値する。理解されるように、各ステップは、独立した学習機構を含み得、したがって、サーバ1の上記トレーニングデータベースは、必ずしもすでに分類されていない粒子画像および特徴マップを含み得る。
【0066】
したがって、主ステップ(b)は、クライアント2のデータ処理手段20によって、上記標的粒子の特徴マップを抽出するステップ、すなわち標的粒子を「コーディング」するステップである。
【0067】
本明細書の残りの部分では、幾何学的な意味での特徴マップの「次元」の数、すなわち、これらのマップが延びる独立した方向の数(例えば、ベクトルは次元1のオブジェクトであり、本特徴マップは少なくとも次元2、有利には次元3である)と、これらの特徴マップの「変数」の数、すなわち、各次元におけるサイズ、すなわち、独立した自由度の数(これは、実際には、ベクトル空間における次元の概念に対応するものであり、より正確には、所与の数の変数を有する特徴マップのセットが、この変数の数に等しい次元のベクトル空間を形成する)との間で区別がなされる。
【0068】
そこで、ステップ(b)の終わりに抽出された特徴マップが、7×7×512サイズ、したがって25088個の変数を有する3次元オブジェクト(すなわち、次元3のオブジェクト)である例について以下で説明する。
【0069】
ここで、ステップ(b)に畳み込みニューラルネットワーク(CNN)を使用することが提案される。CNNは特に視覚関連タスクに適していることが想起されよう。一般に、CNNは、入力画像を直接分類する(すなわち、ステップ(b)および(c)を同時に行う)ことができる。
【0070】
ここで、ステップ(b)とステップ(c)とを分離することにより、CNNの使用を特徴抽出に限定することができ、このステップ(b)では、公開画像データベースに対して事前トレーニングされたCNN、すなわち、すでに独立してトレーニングされているCNNを単独で使用することができる。これを「転移学習」と呼ぶ。
【0071】
言い換えれば、粒子11a~11fの画像のトレーニングデータベースに対してCNNをトレーニングまたは再トレーニングする必要はなく、したがって、注釈付けされなくてもよい。具体的には、手作業で何千もの画像に注釈を付けることは、非常に時間がかかり、非常に高価であることが理解されよう。加えて、細菌の場合には、各細菌の分裂時間に関して決定を下す必要があるため、複雑であると判明する可能性がある。しかしながら、この時間は、個々の細菌のスケールではうまく定義されない場合がある。
【0072】
具体的には、特徴抽出のタスクを実行するためには、CNNが、現在の入力画像とは何ら関係のない公開画像データベースを含む画像間の差異を区別すること、すなわち、識別することができれば十分である。有利には、上記CNNは、そのようなネットワークが、画像クラスに関して特に区別できる特徴マップを操作することが知られている限り、画像分類ネットワークであり、したがって、CNNが元々トレーニングされたタスクではない場合であっても、分類されるべき粒子11a~11fの現在の文脈において特に適している。画像検出、認識、またはセグメンテーションネットワークでさえ、実際には(画像全体または画像内のオブジェクトの)分類のタスクに加えて別のタスク(検出ネットワークの場合には分類されたオブジェクトの境界ボックスの座標を決定すること、またはセグメンテーションネットワークの場合にはセグメンテーションマスクを生成することなど)を実行するので、分類ネットワークの特定のケースであることが理解されよう。
【0073】
公開トレーニング画像データベースに関しては、例えば、周知の公開データベースImageNetが潜在的に使用され、このデータベースは、150万を超える注釈付き画像を含んでおり、(分類、認識などのタスクのための)ほとんどすべての画像処理CNNの教師あり学習を達成するために使用可能である。
【0074】
したがって、有利には、トレーニングの必要さえない「既製の」CNNを使用することが可能である。ImageNetデータベースに対して事前トレーニングされた(すなわち、ImageNetに対するトレーニングの結果として正しい値に初期化されたそれらのパラメータを用いて取得され得る)様々な分類CNNが知られており、例えば、VGGモデル(VGGは、Visual Geometry Groupを表す)、例えば、VGG-16モデル、AlexNet、Inception、またさらにはResNetである。図5は、VGG-16アーキテクチャ(16層を有する)を表す。
【0075】
一般に、CNNは、次の2つの部分から構成される:
- 特徴抽出第1サブネットワーク、これは、ほとんどの場合、特徴マップの深さを増加させるために、畳み込み層および(例えば、ReLU関数を採用する)活性化層から構成される一連のブロックを含み、これらのブロックは、特徴マップのサイズを(一般に2分の1に)低減することを可能にするプーリング層によって終端される。したがって、図5の例では、VGG-16は、説明したように、5つのブロックに分割された16個の層を有する。入力として(画像のRGB特性に対応する3つのチャネルを有する、224×224空間サイズの)入力画像を受け取る第1のブロックは、深度を64に増加させる2つの畳み込み+ReLuシーケンス(1つの畳み込み層および1つのReLu関数活性化層)と、次いで、最大プーリング層(グローバル平均プーリングも使用され得る)とを含み、出力は、112×112×64サイズの特徴マップである(最初の2つの次元は空間次元であり、第3の次元は深度であり、したがって、各空間次元は、2で除算される)。第2のブロックは、第1のブロックと同一のアーキテクチャを有し、最後の畳み込み+ReLUシーケンスの出力において、112×112×128サイズ(深度2倍)の特徴マップを生成し、最大プーリング層の出力として、56×56×128サイズの特徴マップを生成する。第3のブロックは、今度は3つの畳み込み+ReLUシーケンスを有し、最後の畳み込み+ReLUシーケンスから、56×56×256サイズ(深度2倍)の特徴マップを生成し、最大プーリング層からの出力として、28×28×256サイズの特徴マップを生成する。第4および第5のブロックは、第3のブロックと同一のアーキテクチャを有し、14×14×512および7×7×512サイズ(深度はもはや増加しない)の特徴マップを出力として連続的に生成する。この特徴マップは、「最終」マップである。いずれのレベルにおいてもマップサイズに関して制限はなく、上述のサイズは単なる例であることが理解されよう。
- 特徴処理第2サブネットワーク、特に、CNNが分類ネットワークである場合には分類器。このサブネットワークは、第1サブネットワークによって生成された最終特徴マップを入力として受け取り、期待される結果、例えば、CNNが分類を実行する場合には入力画像のクラスを返す。この第2サブネットワークは、典型的には、1つまたは複数の全結合(FC)層と、例えば、softmax関数(VGG-16の場合)を採用する最終活性化層とを含む。両方のサブネットワークは、一般に、教師あり方式で同時にトレーニングされる。
【0076】
したがって、ステップ(b)は、好ましくは、上記事前トレーニングされた畳み込みニューラルネットワークの特徴抽出サブネットワーク、すなわち、VGG-16の例について図5において強調されているような第1の部分によって実施される。
【0077】
より正確には、上記事前トレーニングされたCNN(VGG-16など)は、いかなる特徴マップも送達することを意図されておらず、これらは単に内部使用のためのものである。事前トレーニングされたCNNを「切り捨てる」ことによって、すなわち、第1サブネットワークの層のみを使用することによって、「最も深い」情報を含む最終特徴マップが出力として得られる。
【0078】
特徴抽出サブネットワークとして、最終特徴マップが生成される層の前で終了する部分を採用すること、例えば、ブロック1~5の代わりにブロック1~3のみを採用することも完全に可能であることが理解されよう。情報は、より広範囲であるが、それほど深くない。
【0079】
したがって、入力画像のシーケンスが供給される場合、ステップ(b)は、有利には、入力画像ごとに1つの特徴マップを抽出することを含み、その特徴マップは、標的粒子の「プロファイル」と呼ばれる単一の特徴マップに組み合わされ得る。より正確には、マップはすべて、同じサイズを有し、マップのシーケンスを形成するので、「高深度」特徴マップを取得するためには、入力画像の順序でそれらを連結すれば十分である。
【0080】
代替的または追加的に、試料12の複数の粒子11a~11fに関連付けられた複数の入力画像に対応する特徴マップが合計されてもよい。
【0081】
したがって、本技法では、大量の計算能力も注釈付きデータベースも必要とすることなく、高いセマンティックレベルの特徴マップを得ることができる。
【0082】
特徴マップの変数の数は、特に入力画像のシーケンスの場合、依然として膨大であり得ることに留意されたい。
【0083】
この数を減らす目的では、特徴マップにおける活性領域の位置は重要ではないことに留意されたい。具体的には、粒子11a~11fは、通常、入力画像の中央に単独で存在するが、小さな塊が観察されることもある。いずれの場合も、粒子11a~11fの位置を特定することが求められていないことを考えると、画像全体にわたって平均化された情報でも、効果的な区別を達成するのに十分である。
【0084】
したがって、特徴マップの空間サイズは、1×1に低減され得(深度に触れることなく、すなわち、抽出されたマップは、サイズが1×1×Pである)、
すなわち、このマップは、例えば、グローバルプーリング層、特に、グローバル平均プーリング層(2つの空間次元における平均化)によって、(特徴マップの深度と同じサイズPの)ベクトルに変換される。
【0085】
言い換えれば、上記グローバルプーリング層は、特徴抽出サブネットワークの終わりに(最後のブロックの最大プーリング層の後に)追加される。これは、特徴マップの所望の深度に応じて、任意のブロックに対して行われてもよく、空間次元はより大きくなり深度はより小さくなるため、グローバルプーリング層を「早く」挿入すればするほど効果が大きくなることが理解されよう。
【0086】
例えば、ブロック5の後が切り捨てられたVGG-16を考えると、7×7×512サイズの特徴マップは、1×1×512サイズの特徴マップ、すなわち、512サイズのベクトルに変換される。120枚の入力画像のスタックの場合、512×120=61440サイズのベクトルが得られる。ブロック2の後が切り捨てられたVGG-16を考えると、56×56×128サイズの特徴マップは、1×1×128サイズの特徴マップ、すなわち、128サイズのベクトルに変換される。120枚の入力画像のスタックの場合、128×120=15360サイズのベクトルが得られる。
【0087】
分類
ステップ(c)において、上記入力画像は、上記抽出された特徴マップ(または必要に応じて縮小マップ)に応じて分類される。
【0088】
1つまたは複数の特徴マップの記述的分析を可能にする任意の技法、特に、上記トレーニングデータベースに対してトレーニングされた分類器が潜在的に使用されることが理解され、そのいくつかの例が以下に与えられる。この点に関して、ステップ(b0)と同様に、本方法は、サーバ1のデータ処理手段3によって、トレーニングデータベースを使用して、分類器をトレーニングするステップ(a0)を含み得る。具体的には、このステップは、典型的には、非常に上流で、特にリモートサーバ1によって実施される。説明したように、トレーニングデータベースは、トレーニング画像の特定の数の特徴マップを含み得、これは、ほとんど空間を取らない。
【0089】
ステップ(b)で得られた特徴マップ(特に、入力画像のスタックの場合)は、非常に多数の変数を有し得るので、削減技法を使用することが好ましい。
【0090】
このように、データ可視化のための変数の数を減らすための非線形方法であるt-SNEアルゴリズム(t-SNEは、t分布型確率的近傍埋め込み法(t-distributed stochastic neighbor embedding)を表す)を使用することで、高次元空間(特徴マップの値空間)の点のセットを2次元または3次元の空間で表すことができ、散布図を用いてデータを可視化することが可能である。t-SNEアルゴリズムは、情報理論基準にしたがって、点の近接性に関して最適な構成(t-SNE埋め込みと呼ばれる)を見つけようとする。
元の空間で近くにある(遠く離れている)2つの点は、それぞれ、低次元空間では近くにあるはずである(遠く離れているはずである)。
【0091】
t-SNEアルゴリズムは、粒子レベル(トレーニングデータベースにおいてマップが利用可能である個々の粒子に関する標的粒子11a~11f)とフィールドレベル(試料12全体について-複数の粒子11a~11fを表す複数の入力画像の場合)の両方で、特にスタックではなく単一画像の場合に実装され得る。
【0092】
トレーニングデータベースのt-SNE埋め込みは、非常に上流で生成され得、その後には、問題の入力画像の特徴マップをその中に配置することだけが残ることに留意されたい。実際には、埋め込み関数は必ずしも明示的に定式化されるわけではなく、したがって、毎回埋め込みを再計算することが必要であり得る。しかしながら、計算の速度を上げ、メモリフットプリントを低減するために、最初に、変数の数の直線的な削減のステップ(例えば、PCA-主成分分析(Principal Component Analysis)を経てから、トレーニングデータベースの特徴マップおよび問題の入力画像のt-SNE埋め込みを計算することが可能である。この場合、トレーニングデータベースのPCA埋め込みは、メモリに記憶され得る。
【0093】
実際の分類器に関しては、特に、t-SNEアルゴリズムの結果(得られた埋め込み)に対してk-NN法(k-NNは、k最近傍(k-nearest neighbors)を表す)を使用することが可能である。
【0094】
この考えは、問題の1つまたは複数の入力画像の特徴マップに対応する点の近傍点を見て、それらの分類を見るというものである。例えば、近傍点が「分裂なし」に分類される場合、問題の入力画像は「分裂なし」に分類されるはずであると仮定することができる。考慮される近傍は、例えば、株、抗生物質などに応じて、制限される可能性があることに留意されたい。図6は、様々な濃度のセフポドキシムに対する大腸菌株についてフィールドレベルで得られたt-SNE埋め込みの2つの例を示す。上の例では、2つのブロックがはっきりと確認でき、超えた場合に形態ひいては細胞分裂が影響を受ける最小阻害濃度(MIC)が存在することが視覚的に示されている。上部に近いマップは「分裂あり」に分類され、下部に近いマップは「分裂なし」に分類される。下の例では、最高濃度のみが際立っている(したがって、抗生物質効果を有するように見える)ことが分かる。
【0095】
第2の実施形態によれば、サポートベクターマシン(SVM)が分類器として使用され、同じくバイナリ分類(例えば、この場合も同様に「分裂あり」および「分裂なし」)を得る。この単純な方法は、単一の入力画像(特徴マップにSVMが適用されたもの)に対して特に有効である。SVMのハイパーパラメータCは、グリッドサーチおよびいわゆるk分割交差検証(特にk=5で、元のデータベースがk個の試料に分割され、次いでk個の試料のうちの1つが検証セットとして選択され、k-1個の他の試料がトレーニングセットを形成する)を使用して最適化され得る。
【0096】
第3の実施形態によれば、入力画像のシーケンス(3Dスタック)、したがってより深い特徴マップの場合、畳み込みニューラルネットワーク(CNN)が分類器として使用される。
【0097】
このCNNは、比較的単純なアーキテクチャ、例えば、1つの畳み込み層、1つの活性化層(例えば、ReLU関数)、および1つのプーリング層(例えば、最大プーリング層)の一連のブロックから構成されるアーキテクチャを有し得る。そのようなブロックが2つあれば、効果的なバイナリ分類を達成するのに十分である。さらに、入力を(特に「時間」次元において)ダウンサンプリングして、そのメモリフットプリントをさらに減少させることが可能である。
【0098】
CNNは、従来の方法でトレーニングされ得る。トレーニングコスト関数は、勾配降下アルゴリズムを介して最小化される従来のコスト関数(クロスエントロピー)であり得る。
【0099】
すべての実施形態において、トレーニングされた分類器は、必要に応じて、分類のためにクライアント2のデータ記憶手段21に記憶され得る。同じ分類器が多くのクライアント2にインストールしても、必要なトレーニング段階は1つだけであり得ることに留意されたい。
【0100】
コンピュータプログラム製品
第2および第3の態様によれば、本発明は、試料12中の標的粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法を(特にサーバ1および/またはクライアント2のデータ処理手段3、20上で)実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器(サーバ1および/またはクライアント2のメモリ4、21)によって読み取り可能な記憶手段に関する。
図1
図2
図3a
図3b
図4
図5
図6
【国際調査報告】