知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】微細藻類培養物サンプルの顕微鏡画像の解析
(51)【国際特許分類】
G06T 7/00 20170101AFI20240319BHJP
G06V 10/25 20220101ALI20240319BHJP
G06V 10/82 20220101ALI20240319BHJP
G06V 20/69 20220101ALI20240319BHJP
【ＦＩ】
G06T7/00 350C
G06V10/25
G06V10/82
G06V20/69
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023562801
(86)(22)【出願日】2021-04-13
(85)【翻訳文提出日】2023-12-08
(86)【国際出願番号】 IB2021000279
(87)【国際公開番号】W WO2022219368
(87)【国際公開日】2022-10-20
(81)【指定国・地域】
(71)【出願人】
【識別番号】522232558
【氏名又は名称】トタルエナジーズ ワンテク
【氏名又は名称原語表記】ＴＯＴＡＬＥＮＥＲＧＩＥＳ ＯＮＥＴＥＣＨ
(74)【代理人】
【識別番号】100094640
【弁理士】
【氏名又は名称】紺野 昭男
(74)【代理人】
【識別番号】100103447
【弁理士】
【氏名又は名称】井波 実
(74)【代理人】
【識別番号】100111730
【弁理士】
【氏名又は名称】伊藤 武泰
(74)【代理人】
【識別番号】100180873
【弁理士】
【氏名又は名称】田村 慶政
(72)【発明者】
【氏名】エラン、トマ
(72)【発明者】
【氏名】アレ、リュディヴァン
(72)【発明者】
【氏名】ポシュリュ、ピエリック
(72)【発明者】
【氏名】サンビュシティ、セシリア
(72)【発明者】
【氏名】サードゥニ、ミリアム
(72)【発明者】
【氏名】バルバラン、ニコラ
(72)【発明者】
【氏名】バユオー、ミシェル
(72)【発明者】
【氏名】コンシュ、ブリュノ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096DA01
5L096DA05
5L096EA12
5L096EA43
5L096FA18
5L096FA69
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
本開示は、１またはそれ以上の生物学的属性に関して微細藻類培養物サンプルの顕微鏡画像を解析するために構成された人工ニューラルネットワーク関数を機械学習することに関する、方法、デバイス、プログラムおよび他のデータ構造に関する。１またはそれ以上の生物学的属性は、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含むカテゴリーの所定のセットの中のカテゴリーを含む。１またはそれ以上の生物学的属性は、微細藻類の生理学的状態の所定のセットの中の生理学的状態をさらに含む。人工ニューラルネットワーク関数は、微細藻類培養物サンプルを解析するための改善された解決法を形成する。
【特許請求の範囲】
【請求項1】
１またはそれ以上の生物学的属性に関して微細藻類培養物サンプルの顕微鏡画像を解析するために構成された、コンピュータ実行される機械学習方法であって、前記１またはそれ以上の生物学的属性が、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含むカテゴリーの所定のセットの中のカテゴリーを含み、前記１またはそれ以上の生物学的属性が、微細藻類の生理学的状態の所定のセットの中の生理学的状態をさらに含み、前記方法が、
－ トレーニングパターンを含むデータセットを提供する工程であって、各トレーニングパターンが、微細藻類培養物サンプルの顕微鏡画像と複数の注釈とを含み、各注釈が、少なくとも１つの所与の微生物を含有する前記画像中の位置特定を含み、各注釈が、前記少なくとも１つの所与の微生物についての前記１またはそれ以上の生物学的属性の値をさらに含む、工程と；
－ 前記提供されたデータセットに基づいてＡＮＮ関数をトレーニングする工程であって、前記ＡＮＮ関数が、微細藻類培養物サンプルのインプット顕微鏡画像を処理し、各々が少なくとも１つのそれぞれの微生物を含有する前記画像中の複数の位置特定の中の各それぞれの位置特定について、前記少なくとも１つのそれぞれの微生物についての前記１またはそれ以上の生物学的属性の値を示すそれぞれのアウトプットを計算するように構成される、工程と
を少なくとも含む、方法。
【請求項2】
微細藻類の生理学的状態の前記所定のセットが、１またはそれ以上の微細藻類の健康状態を含む、請求項１に記載の機械学習方法。
【請求項3】
微細藻類の生理学的状態の前記所定のセットが、凝集状態および／または複製状態を含む、請求項１または２に記載の機械学習方法。
【請求項4】
前記複数の微細藻類の種および／または属が、以下の科：Ｃｈｌｏｒｏｐｈｙｃｅａｅ、Ｘａｎｔｈｏｐｈｙｃｅａｅ、Ｃｈｒｙｓｏｐｈｙｃｅａｅ、Ｂａｃｉｌｌａｒｉｏｐｈｙｃｅａｅ、Ｃｒｙｐｔｏｐｈｙｃｅａｅ、Ｄｉｎｏｐｈｙｃｅａｅ、Ｃｈｌｏｒｏｍｏｎａｄｉｎｅａｅ、Ｅｕｇｌｅｎｉｎｅａｅ、Ｐｈａｅｏｐｈｙｃｅａｅ、Ｒｈｏｄｏｐｈｙｃｅａｅおよび／またはＣｙａｎｏｐｈｙｃｅａｅからの１またはそれ以上の種および／または属を含む、請求項１～３のいずれか一項に記載の機械学習方法。
【請求項5】
前記データセットを提供する工程が、各トレーニングパターンについて、－ 前記顕微鏡画像を捕捉すること；および
－ 前記捕捉された顕微鏡画像を、前記画像のカラーバランシングとコントラスト強調とのうち一方または両方によって事前処理すること
を少なくとも含む、請求項１～４のいずれか一項に記載の機械学習方法。
【請求項6】
前記データセットを提供する前記工程が、各トレーニングパターンについて、前記注釈の前記位置特定を、例えば、関心領域アルゴリズムなどを決定論的に用いて決定することを含む、請求項１～５のいずれか一項に記載の機械学習方法。
【請求項7】
前記関心領域アルゴリズムが、各トレーニングパターンの前記顕微鏡画像について、－ 二値画像をアウトプットするローパスフィルタを適用することであって、値０を有する前記二値画像のピクセルは、背景のピクセルに対応し、値１を有する前記二値画像のピクセルは、前記培養物の各微細藻類のピクセルに対応する、こと；
－ 前記二値画像中の連結成分を検出すること；および
－ 各連結成分について、バウンディングボックスを決定すること
を含む、請求項６に記載の機械学習方法。
【請求項8】
前記人工ニューラルネットワーク関数が、各それぞれの位置特定について、前記少なくとも１つのそれぞれの微生物が微細藻類であるか非藻類微生物であるかを決定するために構成された二項分類器を含む、請求項１～７のいずれか一項に記載の機械学習方法。
【請求項9】
前記人工ニューラルネットワーク関数が、微細藻類微生物を含有する各それぞれの位置特定について、それぞれのクラスを、微細藻類の種または属および生理学的状態の両方の組み合わせを含むクラスの所定のセットから決定するために構成された多クラス分類器を含む、請求項８に記載の機械学習方法。
【請求項10】
前記人工ニューラルネットワーク関数が、前記画像のカラーバランシングとコントラスト強調とのうち一方または両方を含む事前処理を含む、請求項１～９のいずれか一項に記載の機械学習方法。
【請求項11】
前記人工ニューラルネットワーク関数が、前記複数の位置特定の決定のために構成された決定論的サブ関数、例えば、関心領域検出アルゴリズムを含む、請求項１～１０のいずれか一項に記載の機械学習方法。
【請求項12】
前記関心領域アルゴリズムが、前記インプット顕微鏡画像について、－ 二値画像をアウトプットするローパスフィルタを適用することであって、値０を有する前記二値画像のピクセルは、前記背景のピクセルに対応し、値１を有する前記二値画像のピクセルは、前記培養物の微細藻類および非藻類微生物のピクセルに対応する、こと；
－ 前記二値画像中の連結成分を検出すること；および
－ 各連結成分について、バウンディングボックスを決定すること
を含む、請求項１１に記載の機械学習方法。
【請求項13】
前記人工ニューラルネットワーク関数が、前記複数の位置特定の決定のために構成された物体検出ニューラルネットワークを含む、請求項１～１０のいずれか一項に記載の機械学習方法。
【請求項14】
微細藻類培養物サンプルの顕微鏡画像を解析するためのコンピュータ実行される方法であって、前記画像解析方法が、－ 請求項１～１３のいずれか一項に記載の方法に従ってトレーニングされた人工ニューラルネットワーク関数を提供する工程；および
－ 前記人工ニューラルネットワーク関数に、微細藻類培養物サンプルの顕微鏡画像をインプットして、各々が少なくとも１つのそれぞれの微生物を含有する前記画像中の複数の位置特定の中の各それぞれの位置特定について、前記少なくとも１つのそれぞれの微生物についての前記１またはそれ以上の生物学的属性の値を示すそれぞれのアウトプットを計算する工程
を含む、方法。
【請求項15】
請求項１～１３のいずれか一項に記載の方法を用いてＡＮＮ関数を機械学習するために構成されたデータセットを形成するためのコンピュータ実行される方法であって、前記データセット形成方法が、－ 微細藻類培養物サンプルの各々について顕微鏡画像を提供する工程；および
－ 各顕微鏡画像について、複数の注釈を決定する工程であって、各注釈が、少なくとも１つの所与の微生物を含有する前記画像中の位置特定を含み、各注釈が、前記１またはそれ以上の生物学的属性の値をさらに含む、工程
を含む、方法。
【請求項16】
前記顕微鏡画像を提供する前記工程が、各顕微鏡画像について、－ 前記顕微鏡画像を捕捉すること；および
－ 前記捕捉された顕微鏡画像を、前記画像のカラーバランシングとコントラスト強調とのうち一方または両方によって事前処理すること
を含む、請求項１５に記載のデータセット形成方法。
【請求項17】
前記複数の注釈を決定する前記工程が、各顕微鏡画像について、関心領域アルゴリズムを用いて前記注釈の前記位置特定を決定することを含む、請求項１５または１６に記載のデータセット形成方法。
【請求項18】
前記関心領域アルゴリズムが、各顕微鏡画像について、－ 二値画像をアウトプットするローパスフィルタを適用することであって、値０を有する前記二値画像のピクセルは、前記背景のピクセルに対応し、値１を有する前記二値画像のピクセルは、前記培養物の各微細藻類のピクセルに対応する、こと；
－ 前記二値画像中の連結成分を検出すること；および
－ 各連結成分について、バウンディングボックスを決定すること
を含む、請求項１７に記載のデータセット形成方法。
【請求項19】
－ 請求項１～１３のいずれか一項に記載の方法、請求項１４に記載の方法および／もしくは請求項１５～１８のいずれか一項に記載の方法を実施するための命令を含む、コンピュータプログラム、－ 請求項１～１３のいずれか一項に従ってトレーニングされたニューラルネットワーク関数、ならびに／または
－ 請求項１５～１８のいずれか一項に従って形成されたデータセット
を含むデータ構造。
【請求項20】
請求項１９に記載のデータ構造が記憶されたコンピュータ可読媒体を含むデバイス。
【請求項21】
前記コンピュータ可読媒体にカップリングされたプロセッサーをさらに含む、請求項２０に記載のデバイス。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータプログラムおよびシステムの分野、より具体的には、微細藻類培養物サンプルの顕微鏡画像を解析するために構成された人工ニューラルネットワーク（ＡＮＮ）関数を機械学習することに関する方法、デバイス、プログラムおよび他のデータ構造に関する。
【背景技術】
【0002】
微細藻類は、海洋または淡水培地中で通常見出される単細胞微生物である。微細藻類のサイズは、１～１００マイクロメートルの範囲であり得る。
【0003】
科学文献上、５つの一般的綱：珪藻類、緑藻類、褐藻類、紅藻類および藍藻類が認められている。微細藻類の生物多様性は膨大であり、様々な属または科の中に、２０万～８０万の間の種が存在すると推定されている。
【0004】
また、微細藻類は、光合成生物、即ち、光合成を介した代謝のためのエネルギー源として可視光を使用する生物である。産業用途、例えば、生物学的廃水処置システムおよびバイオリアクタシステムにおける微細藻類の使用は、長年にわたり、関心を集めてきた。微細藻類は、光合成を介して酸素および炭素（例えば、炭水化物、藻類細胞、脂質などが含まれる）を産生するために二酸化炭素（ＣＯ２）を捕捉するために、廃水システムにおいて用いられる。細菌は、アンモニウムを硝酸塩に酸化するために、廃水中に存在する産生された酸素を使用し得る。微細藻類は、栄養素、例えば、アンモニウム、硝酸塩およびリン酸塩を取り込み、バイオ燃料または他の付加価値のある産物を産生するために、バイオリアクタシステムにおいて使用される。
【0005】
廃水またはバイオリアクタシステム中に存在する、おそらくは複数の種の微細藻類の集団の活性および健康は、いくつかの因子、例えば、光の強度、気象条件、ｐＨ、塩分、および微細藻類と他の生物、例えば細菌との相互作用に依存する。
【0006】
廃水またはバイオリアクタシステム中の微細藻類群集の活動および健全性をモニタリングすることにより、生物学的廃水処置またはバイオマス産生を最適化するために、微細藻類の成長に最適な条件を記述するために必要な速度論的および化学量論的パラメーターを決定することを可能になる。
【0007】
開放池システムなどのバイオリアクタシステムは、微細藻類の群集の健全性をモニタリングすることを困難にするいくつかの課題をもたらす。開放池は、バイオ燃料産生のためのバイオマス培養物の産業的産生において広く使用されている。開放池には、異なるサイズおよび形態のもの、例えば、人工池、流域、自然湖沼または水路がある。
【0008】
一方で、開放池は、建造および維持の簡易かつ職人的なプロセスのおかげで、建設および稼働が容易である。さらに、開放池はエネルギー消費が低いため、閉鎖システムと比較して稼働費用が低くなる。
【0009】
他方で、開放池は、環境に曝露される大きい表面に起因して、微細藻類集団の健康（健全性）に影響し得る複数の環境因子にさらされる。例えば、それらの大きい表面は、（大気との交換に起因して）池内で他の生物が成長することができ、資源獲得に関して、微細藻類培養物との競争につながる可能性がある。さらにその結果、他の種が微細藻類培養物よりも優位に立ち、意図した培養物の代わりに発展する可能性がある。さらに、微細藻類培養物は、終日にわたる日光強度、開放池が位置する地域の日光入射角、および１年の季節に対応する光強度によって影響される。微細藻類は、大気ＣＯ２への曝露、または気象条件における変化によっても影響され得る。微細藻類集団の健康に影響を与える別の因子は、開放池の蒸発速度であり、水位を定期的に調整しなければならない。微細藻類培養物に影響を与える因子が軽減されない場合、これは、バイオリアクタの生産性にとっての不都合を生み出す培養崩壊をもたらし得る。
【0010】
したがって、バイオリアクタシステム内の微細藻類集団は、微細藻類培養物サンプルをバイオリアクタシステムから採取し、サンプルを解析することによって、定期的に解析しなければならない。これは、培養物内に存在する真核生物集団および原核生物集団を検出するためのハイスループットシーケンシング方法またはｑＰＣＲ（定量的ポリメラーゼ連鎖反応）を使用して、現在実施されている。モニタリングは、藻類の性質（科または属内の種）およびそれらの健康状態（ストレス下にある細胞、良好な健康状態にある細胞、微生物汚染の存在など）に関する定性的断定を行うことを可能にする。
【0011】
ｑＰＣＲによる定量化の既存の方法は、以下の刊行物に記載されている：
－ 細菌１６Ｓ（細菌全体）：Ｙｕ，Ｙｏｕｎｇｓｅｏｂ、Ｃｈａｎｇｓｏｏ Ｌｅｅ、Ｊａａｉ ＫｉｍおよびＳｅｏｋｈｗａｎ Ｈｗａｎｇ．２００５．「Ｇｒｏｕｐ－Ｓｐｅｃｉｆｉｃ Ｐｒｉｍｅｒ ａｎｄ Ｐｒｏｂｅ Ｓｅｔｓ ｔｏ Ｄｅｔｅｃｔ Ｍｅｔｈａｎｏｇｅｎｉｃ Ｃｏｍｍｕｎｉｔｉｅｓ Ｕｓｉｎｇ Ｑｕａｎｔｉｔａｔｉｖｅ Ｒｅａｌ－Ｔｉｍｅ Ｐｏｌｙｍｅｒａｓｅ Ｃｈａｉｎ Ｒｅａｃｔｉｏｎ」．Ｂｉｏｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｂｉｏｅｎｇｉｎｅｅｒｉｎｇ ８９（６）：６７０～７９．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１００２／ｂｉｔ．２０３４７．
－ １８Ｓ真核生物（真核生物全体）：Ｌａｋａｎｉｅｍｉ、Ａｉｎｏ－Ｍａｉｊａ、Ｃｈｒｉｓ Ｊ．Ｈｕｌａｔｔ、Ｋａｔｈｒｙｎ Ｄ．Ｗａｋｅｍａｎ、Ｄａｖｉｄ Ｎ．ＴｈｏｍａｓおよびＪａａｋｋｏ Ａ．Ｐｕｈａｋｋａ．２０１２．「Ｅｕｋａｒｙｏｔｉｃ Ａｎｄ Ｐｒｏｋａｒｙｏｔｉｃ Ｍｉｃｒｏｂｉａｌ Ｃｏｍｍｕｎｉｔｉｅｓ Ｄｕｒｉｎｇ Ｍｉｃｒｏａｌｇａｌ Ｂｉｏｍａｓｓ Ｐｒｏｄｕｃｔｉｏｎ」．Ｂｉｏｒｅｓｏｕｒｃｅ Ｔｅｃｈｎｏｌｏｇｙ １２４（Ｂｏｖｅｍｂｅｒ）：３８７～９３．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／ｊ．ｂｉｏｒｔｅｃｈ．２０１２．０８．０４８．
－ 細菌１６Ｓ（細菌全体）：Ｙｕ，Ｙｏｕｎｇｓｅｏｂ、Ｃｈａｎｇｓｏｏ Ｌｅｅ、Ｊａａｉ ＫｉｍおよびＳｅｏｋｈｗａｎ Ｈｗａｎｇ．２００５．「Ｇｒｏｕｐ－Ｓｐｅｃｉｆｉｃ Ｐｒｉｍｅｒ ａｎｄ Ｐｒｏｂｅ Ｓｅｔｓ ｔｏ Ｄｅｔｅｃｔ Ｍｅｔｈａｎｏｇｅｎｉｃ Ｃｏｍｍｕｎｉｔｉｅｓ Ｕｓｉｎｇ Ｑｕａｎｔｉｔａｔｉｖｅ Ｒｅａｌ－Ｔｉｍｅ Ｐｏｌｙｍｅｒａｓｅ Ｃｈａｉｎ Ｒｅａｃｔｉｏｎ」．Ｂｉｏｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｂｉｏｅｎｇｉｎｅｅｒｉｎｇ ８９（６）：６７０～７９．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１００２／ｂｉｔ．２０３４７．
－ １８Ｓ真核生物（真核生物全体）：Ｌａｋａｎｉｅｍｉ、Ａｉｎｏ－Ｍａｉｊａ、Ｃｈｒｉｓ Ｊ．Ｈｕｌａｔｔ、Ｋａｔｈｒｙｎ Ｄ．Ｗａｋｅｍａｎ、Ｄａｖｉｄ Ｎ．ＴｈｏｍａｓおよびＪａａｋｋｏ Ａ．Ｐｕｈａｋｋａ．２０１２．「Ｅｕｋａｒｙｏｔｉｃ Ａｎｄ Ｐｒｏｋａｒｙｏｔｉｃ Ｍｉｃｒｏｂｉａｌ Ｃｏｍｍｕｎｉｔｉｅｓ Ｄｕｒｉｎｇ Ｍｉｃｒｏａｌｇａｌ Ｂｉｏｍａｓｓ Ｐｒｏｄｕｃｔｉｏｎ」．Ｂｉｏｒｅｓｏｕｒｃｅ Ｔｅｃｈｎｏｌｏｇｙ １２４（Ｂｏｖｅｍｂｅｒ）：３８７～９３．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／ｊ．ｂｉｏｒｔｅｃｈ．２０１２．０８．０４８．
【0012】
ハイスループットシーケンシングによる定量化の既存の方法は、以下の刊行物に記載されている：
－ 細菌１６Ｓ：Ｐａｒａｄａ，Ａｌｍａ Ｅ．、Ｄａｖｉｄ Ｍ．ＮｅｅｄｈａｍおよびＪｅｄ Ａ．Ｆｕｈｒｍａｎ．２０１６．「Ｅｖｅｒｙ Ｂａｓｅ Ｍａｔｔｅｒｓ：Ａｓｓｅｓｓｉｎｇ Ｓｍａｌｌ Ｓｕｂｕｎｉｔ ＲＲＮＡ Ｐｒｉｍｅｒｓ Ｆｏｒ Ｍａｒｉｎｅ Ｍｉｃｒｏｂｉｏｍｅｓ Ｗｉｔｈ Ｍｏｃｋ Ｃｏｍｍｕｎｉｔｉｅｓ、Ｔｉｍｅ Ｓｅｒｉｅｓ Ａｎｄ Ｇｌｏｂａｌ Ｆｉｅｌｄ Ｓａｍｐｌｅｓ」．Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｍｉｃｒｏｂｉｏｌｏｇｙ １８（５）：１４０３～１４．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１１１／１４６２－２９２０．１３０２３．ｏ Ｅｕｋａｒｙｏｔｉｃ １８Ｓ：（Ｂｒａｄｌｅｙら、２０１６）
－ 藻類および藍藻類色素体に特異的な２３Ｓ：Ｓｈｅｒｗｏｏｄ，Ａｌｉｓｏｎ Ｒ．およびＧｅｒｎｏｔ Ｇ．Ｐｒｅｓｔｉｎｇ．２００７．「Ｕｎｉｖｅｒｓａｌ Ｐｒｉｍｅｒｓ Ａｍｐｌｉｆｙ Ａ ２３ｓ Ｒｄｎａ Ｐｌａｓｔｉｄ Ｍａｒｋｅｒ Ｉｎ Ｅｕｋａｒｙｏｔｉｃ Ａｌｇａｅ Ａｎｄ Ｃｙａｎｏｂａｃｔｅｒｉａ１」．Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｃｏｌｏｇｙ ４３（３）：６０５～８．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１１１／ｊ．１５２９－８８１７．２００７．００３４１．ｘ．
－ 細菌１６Ｓ：Ｐａｒａｄａ，Ａｌｍａ Ｅ．、Ｄａｖｉｄ Ｍ．ＮｅｅｄｈａｍおよびＪｅｄ Ａ．Ｆｕｈｒｍａｎ．２０１６．「Ｅｖｅｒｙ Ｂａｓｅ Ｍａｔｔｅｒｓ：Ａｓｓｅｓｓｉｎｇ Ｓｍａｌｌ Ｓｕｂｕｎｉｔ ＲＲＮＡ Ｐｒｉｍｅｒｓ Ｆｏｒ Ｍａｒｉｎｅ Ｍｉｃｒｏｂｉｏｍｅｓ Ｗｉｔｈ Ｍｏｃｋ Ｃｏｍｍｕｎｉｔｉｅｓ、Ｔｉｍｅ Ｓｅｒｉｅｓ Ａｎｄ Ｇｌｏｂａｌ Ｆｉｅｌｄ Ｓａｍｐｌｅｓ」．Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｍｉｃｒｏｂｉｏｌｏｇｙ １８（５）：１４０３～１４．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１１１／１４６２－２９２０．１３０２３．ｏ Ｅｕｋａｒｙｏｔｉｃ １８Ｓ：（Ｂｒａｄｌｅｙら、２０１６）
－ 藻類および藍藻類色素体に特異的な２３Ｓ：Ｓｈｅｒｗｏｏｄ，Ａｌｉｓｏｎ Ｒ．およびＧｅｒｎｏｔ Ｇ．Ｐｒｅｓｔｉｎｇ．２００７．「Ｕｎｉｖｅｒｓａｌ Ｐｒｉｍｅｒｓ Ａｍｐｌｉｆｙ Ａ ２３ｓ Ｒｄｎａ Ｐｌａｓｔｉｄ Ｍａｒｋｅｒ Ｉｎ Ｅｕｋａｒｙｏｔｉｃ Ａｌｇａｅ Ａｎｄ Ｃｙａｎｏｂａｃｔｅｒｉａ１」．Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｃｏｌｏｇｙ ４３（３）：６０５～８．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１１１／ｊ．１５２９－８８１７．２００７．００３４１．ｘ．
【0013】
しかし、これらの方法は、結果を得るための長い待ち時間（典型的には６か月間）という特徴があり、その結果、これらの方法による定期的なモニタリングは、とりわけ変動する気象条件（例えば、数日内の温度の変化）を考慮すると、非現実的である。
【0014】
以上に関連し、微細藻類培養物サンプルを解析するための改善された方法が依然として必要とされている。
【発明の概要】
【0015】
そこで、微細藻類培養物サンプルの顕微鏡画像を解析するために構成された人工ニューラルネットワーク（ＡＮＮ）関数を機械学習するコンピュータ実行される方法を提供する。この人工ニューラルネットワークは、１またはそれ以上の生物学的属性に関して顕微鏡画像を解析する。この１またはそれ以上の生物学的属性は、カテゴリーの所定のセットの中のカテゴリーを含む。このカテゴリーの所定のセットは、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含む。１またはそれ以上の生物学的属性は、微細藻類の生理学的状態の所定のセットの中の生理学的状態をさらに含む。
【0016】
当該機械学習方法は、トレーニングパターンを含むデータセットを提供する工程を含む。各トレーニングパターンは、微細藻類培養物サンプルの顕微鏡画像と複数の注釈とを含む。各注釈は、少なくとも１つの所与の微生物を含有する画像中の位置特定を含む。各注釈は、少なくとも１つの所与の微生物についての１またはそれ以上の生物学的属性の値をさらに含む。
【0017】
当該機械学習方法は、提供されたデータセットに基づいてＡＮＮ関数をトレーニングする工程もまた含む。ＡＮＮ関数は、微細藻類培養物サンプルのインプット顕微鏡画像を処理するために構成される。ＡＮＮ関数は、各々が少なくとも１つのそれぞれの微生物を含有する画像中の複数の位置特定の中の各それぞれの位置特定について、それぞれのアウトプットを計算する。それぞれのアウトプットは、少なくとも１つのそれぞれの微生物についての１またはそれ以上の生物学的属性の値を示す。
【0018】
実施例にあっては、微細藻類の生理学的状態の所定のセットは、１またはそれ以上の微細藻類の健康状態を含み得る。
【0019】
実施例にあっては、微細藻類の生理学的状態の所定のセットは、凝集状態および／または複製状態を含み得る。
【0020】
実施例にあっては、複数の微細藻類の種および／または属は、以下の科：Ｃｈｌｏｒｏｐｈｙｃｅａｅ、Ｘａｎｔｈｏｐｈｙｃｅａｅ、Ｃｈｒｙｓｏｐｈｙｃｅａｅ、Ｂａｃｉｌｌａｒｉｏｐｈｙｃｅａｅ、Ｃｒｙｐｔｏｐｈｙｃｅａｅ、Ｄｉｎｏｐｈｙｃｅａｅ、Ｃｈｌｏｒｏｍｏｎａｄｉｎｅａｅ、Ｅｕｇｌｅｎｉｎｅａｅ、Ｐｈａｅｏｐｈｙｃｅａｅ、Ｒｈｏｄｏｐｈｙｃｅａｅおよび／またはＣｙａｎｏｐｈｙｃｅａｅからの１またはそれ以上の種および／または属を含み得る。
【0021】
実施例にあっては、データセットを提供する工程は、各トレーニングパターンについて、顕微鏡画像を捕捉することを含み得る。また、データセットを提供する工程は、捕捉された顕微鏡画像を、画像のカラーバランシングとコントラスト強調とのうち一方または両方によって事前処理することを含み得る。
【0022】
実施例にあっては、データセットを提供する工程は、各トレーニングパターンについて、注釈の位置特定を決定することを含み得る。例えば、決定は、関心領域アルゴリズムなどを決定論的に用いて実施され得る。
【0023】
実施例にあっては、関心領域アルゴリズムは、各トレーニングパターンの顕微鏡画像について、二値画像をアウトプットするローパスフィルタを適用することを含み得る。値０を有する二値画像のピクセルは、背景のピクセルに対応し、値１を有する二値画像のピクセルは、培養物の各微細藻類のピクセルに対応する。次いで、関心領域アルゴリズムは、二値画像中の連結成分を検出することを含み得る。次いで、関心領域アルゴリズムは、各連結成分について、バウンディングボックスを決定することを含み得る。
【0024】
実施例にあっては、人工ニューラルネットワーク関数は、二項分類器を含み得る。二項分類器は、各それぞれの位置特定について、少なくとも１つのそれぞれの微生物が微細藻類であるか非藻類微生物であるかを決定するために構成され得る。
【0025】
実施例にあっては、人工ニューラルネットワーク関数は、多クラス分類器を含み得る。多クラス分類器は、微細藻類微生物を含有する各それぞれの位置特定について、それぞれのクラスを、微細藻類の種または属および生理学的状態の両方の組み合わせを含むクラスの所定のセットから決定するために構成され得る。
【0026】
実施例にあっては、人工ニューラルネットワーク関数は、事前処理を含み得る。事前処理は、顕微鏡画像に適用され得る。事前処理は、画像のカラーバランシングとコントラスト強調とのうち一方または両方を含み得る。
【0027】
実施例にあっては、人工ニューラルネットワーク関数は、複数の位置特定の決定のために構成された決定論的サブ関数を含み得る。例えば、決定論的サブ関数は、関心領域検出アルゴリズムであり得る。
【0028】
実施例にあっては、関心領域アルゴリズムは、インプット顕微鏡画像について、二値画像をアウトプットするローパスフィルタを適用することを含み得る。値０を有する二値画像のピクセルは、背景のピクセルに対応し、値１を有する二値画像のピクセルは、培養物の微細藻類および非藻類微生物のピクセルに対応する。次いで、関心領域アルゴリズムは、二値画像中の連結成分を検出し得る。関心領域アルゴリズムはまた、各連結成分について、バウンディングボックスを決定し得る。
【0029】
実施例にあっては、人工ニューラルネットワーク関数は、物体検出ニューラルネットワークを含み得る。物体検出ニューラルネットワークは、複数の位置特定の決定のために構成され得る。
【0030】
さらに、微細藻類培養物サンプルの顕微鏡画像を解析するためのコンピュータ実行される方法が提供される。画像解析方法は、機械学習方法に従ってトレーニングされた人工ニューラルネットワーク関数を提供する工程を含む。画像解析方法は、人工ニューラルネットワーク関数に、微細藻類培養物サンプルの顕微鏡画像をインプットする工程を含む。画像解析方法は、各々が少なくとも１つのそれぞれの微生物を含有する画像中の複数の位置特定の中の各それぞれの位置特定について、それぞれのアウトプットを計算する。アウトプットは、少なくとも１つのそれぞれの微生物についての１またはそれ以上の生物学的属性の値を示す。
【0031】
さらに、機械学習方法を用いてＡＮＮ関数を機械学習するために構成されたデータセットを形成するためのコンピュータ実行される方法が提供される。データセット形成方法は、微細藻類培養物サンプルの各々について顕微鏡画像を提供する工程を含む。また、各顕微鏡画像について、データセット形成方法は、複数の注釈を決定する。各注釈は、少なくとも１つの所与の微生物を含有する画像中の位置特定を含む。各注釈は、１またはそれ以上の生物学的属性の値をさらに含む。
【0032】
実施例にあっては、顕微鏡画像を提供する工程は、各顕微鏡画像について、顕微鏡画像を捕捉することを含み得る。また、顕微鏡画像を提供する工程は、捕捉された顕微鏡画像を事前処理し得る。事前処理は、画像のカラーバランシングとコントラスト強調とのうち一方または両方によって実施され得る。
【0033】
実施例にあっては、複数の注釈を決定する工程は、各顕微鏡画像について、関心領域アルゴリズムを用いて注釈の位置特定を決定することを含み得る。
【0034】
実施例にあっては、関心領域アルゴリズムは、各顕微鏡画像について、二値画像をアウトプットするローパスフィルタを適用することを含み得る。値０を有する二値画像のピクセルは、背景のピクセルに対応し、値１を有する二値画像のピクセルは、培養物の各微細藻類のピクセルに対応する。また、関心領域アルゴリズムは、二値画像中の連結成分を検出し得る。また、関心領域アルゴリズムは、各連結成分について、バウンディングボックスを決定することを含み得る。
【0035】
さらに、コンピュータプログラムを含むデータ構造が提供される。コンピュータプログラムは、機械学習方法、画像解析方法および／またはデータセット形成方法を実施するための命令を含む。データ構造は、さらにまたはあるいは、機械学習方法に従ってトレーニングされたニューラルネットワーク関数を含み得る。データ構造は、さらにまたはあるいは、データセット形成方法に従って形成されたデータセットを含み得るもまた含み得る。
【0036】
さらに、データ構造が記憶されたコンピュータ可読媒体を含むデバイスが提供される。
【0037】
実施例にあっては、デバイスは、コンピュータ可読媒体にカップリングされたプロセッサーをさらに含み得る。
【0038】
非限定的とされる例を、添付の図面を参照して以下に説明する。
【図面の簡単な説明】
【0039】
【図1】提供される方法の実施例としてのフローチャートである。
【図2】提供される方法の実施例としてのフローチャートである。
【図3】提供される方法の実施例としてのフローチャートである。
【図4】コンピュータシステムの一例である。
【図5】バイオリアクタの一例を示す。
【図8】トレーニングサンプルの注釈の一例を示す。
【図9】ＡＮＮ関数の一部の一例を示す。
【図10】ＡＮＮ関数をトレーニングするためのパフォーマンスメトリックの一例を示す。
【図11】トレーニングされたＡＮＮ関数を用いて解析した画像の一例を示す。
【図13】物体検出ニューラルネットワークをトレーニングするためのパフォーマンスメトリックの一例を示す。
【図14】Ｉｎｔｅｒｓｅｃｔｉｏｎ－Ｏｖｅｒ－Ｕｎｉｏｎコンストレイントを使用してＡＮＮ関数をトレーニングする一例を示す。
【図15】ＡＮＮ関数を利用する、画像解析のために使用されるウェブアプリケーションの一例を示す。
【発明を実施するための形態】
【0040】
図１のフローチャートを参照すると、人工ニューラルネットワーク（ＡＮＮ）関数を機械学習するコンピュータ実行される方法が提案される。ＡＮＮ関数は、１またはそれ以上の生物学的属性に関して微細藻類培養物サンプルの顕微鏡画像を解析するために構成される。１またはそれ以上の生物学的属性は、カテゴリーの所定のセットの中のカテゴリーを含む。カテゴリーの所定のセットは、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含む。１またはそれ以上の生物学的属性は、微細藻類の生理学的状態の所定のセットの中の生理学的状態をさらに含む。
【0041】
図１のコンピュータ実行される方法は、「機械学習方法」とも呼ばれ、トレーニングパターンを含むデータセットを提供する工程Ｓ１１０を含む。各トレーニングパターンは、微細藻類培養物サンプルの顕微鏡画像と複数の注釈とを含む。各注釈は、少なくとも１つの所与の微生物を含有する画像中の位置特定を含む。各注釈は、少なくとも１つの所与の微生物についての１またはそれ以上の生物学的属性の値をさらに含む。
【0042】
次いで、機械学習方法は、提供されたデータセットに基づいてＡＮＮ関数をトレーニングする工程Ｓ１２０を含む。ＡＮＮ関数は、微細藻類培養物サンプルのインプット顕微鏡画像を処理するために構成される。ＡＮＮ関数は、各々が少なくとも１つのそれぞれの微生物を含有する画像中の複数の位置特定の中の各それぞれの位置特定について、それぞれのアウトプットを計算する。それぞれのアウトプットは、少なくとも１つのそれぞれの微生物についての１またはそれ以上の生物学的属性の値を示す。
【0043】
【0044】
画像解析方法は、機械学習方法に従ってトレーニングされた人工ニューラルネットワーク関数を提供する工程Ｓ２１０を含む。画像解析方法は、人工ニューラルネットワーク関数に、微細藻類培養物サンプルの顕微鏡画像をインプットする工程Ｓ２２０もまた含む。人工ニューラルネットワークは、各々が少なくとも１つのそれぞれの微生物を含有する画像中の複数の位置特定の中の各それぞれの位置特定について、それぞれのアウトプットを計算するＳ２３０。それぞれのアウトプットは、少なくとも１つのそれぞれの微生物についての１またはそれ以上の生物学的属性の値を示す。
【0045】
前記の方法は、微細藻類培養物サンプルを解析するための改善された解決法を形成する。
【0046】
これらの方法は、微細藻類培養物サンプルの解析への機械学習パラダイムの適用を提案し、そうして、自動的な、実質的にリアルタイムの（例えば、１時間未満、１０分未満、またはさらには１分未満での）正確な解析を可能にする。それを行うために、これらの方法は、微細藻類培養物サンプルが、画像ベースの機械学習解法の実行を可能にするために、その顕微鏡画像を介して効率的かつ正確に解析され得ることを確認する。かかる解法は長く開発されてきたので、ＡＮＮ関数アーキテクチャおよびトレーニングは、容易かつロバストに実行され得る。
【0047】
加えて、ＡＮＮ関数は、解析された微細藻類培養物サンプルに関する特に関連する情報を提供する。特に、ＡＮＮ関数は、画像中に存在する異なる微細藻類の種および／または属の微生物ならびに非藻類微生物だけでなく、検出された微細藻類微生物の生理学的状態もまた、少なくとも検出する。これは、解析された微細藻類培養物サンプルが汚染されているか否かだけでなく、微細藻類の生理学的な状態もまた、一度に決定することを可能にする。異なる微細藻類の種および／または属間の区別、非藻類微生物の同定、ならびに生理学的状態の特定は、画像ベースの機械学習を介して効率的に測定され得る属性であることが確認されている。これらの属性は、実際に、顕微鏡画像中に異なる視覚的パターンを生じ、かかるパターンは、トレーニングされたニューラルネットワーク、例えばＡＮＮ関数によって認識可能である。
【0048】
さらに、これらの結果は、顕微鏡画像に関して位置特定されるため、人間工学的かつロバストな検証が可能になるだけでなく、多数の微生物（例えば、培養物の成長および／または汚染微生物の増殖）の視覚的識別を可能にする。実施例にあっては、画像解析方法は、位置特定のグラフィック表示（例えば、バウンディングボックス）によって強化されたインプット顕微鏡画像のグラフィック表示、および各位置特定表示に加えて（aside）、対応するアウトプットのそれぞれのグラフィック表示（例えば、当該位置特定についての１またはそれ以上の生物学的属性の値を示すテキスト情報）を表示する工程を含み得る。「～に加えて（aside）」は、各値の表示が、他の位置特定表示に対してよりも、そのそれぞれの位置特定表示により近く表示され、したがって、グラフィック表示を一緒に非曖昧に視覚的に関連付けることを可能にすることを意味する。
【0049】
さらに、画像解析方法は、標準的な実験室装置を使用して、標準的な実験室条件下で、顕微鏡画像を捕捉／撮影する工程を含み得る。したがって、かかる獲得は、特に速い可能性がある。画像解析方法は、顕微鏡画像を、処理のためにＡＮＮ関数に直接的に（即ち、写真を撮影した後のさらなる処理なしに）、または例えば、処理の前に画像の品質を増強するために事前処理を急いで（即ち、比較的短い処理時間、例えば、１時間未満または１０分未満で）実施した後に、インプットする工程を含み得る。また、ＡＮＮ関数は、少なくとも１つのそれぞれの微生物（例えば、おそらくは群集）を含有する任意の顕微鏡画像を処理するため、および各それぞれの微生物についてそれぞれのアウトプットを計算するために構成され得る。この処理は比較的速く、要求に応じて微生物の生物学的属性に関する情報を得ることを可能にし得る。
【0050】
画像解析方法は、微細藻類の少なくとも１つの培養物を含む設備の維持プロセスの一部であり得る。設備は、例えば、バイオリアクタ（例えば、バイオ燃料産生のためのバイオマス培養物の産業的産生を実施する）または生物学的廃水処置システムであり得る。例では、設備は、開放池構成（例えば、開放池バイオリアクタ）を示し得る。例では、微細藻類の培養物は、１００ｍ×１００ｍを上回る面積を示す区域を占有し得る。
【0051】
維持プロセスは、設備から微細藻類培養物の１またはそれ以上のサンプルを（例えば、異なる場所において、例えば、１０個よりも多くもしくは２０個よりも多くの場所において、ならびに／または異なる時点において、例えば、毎週よりも長い頻度で、および／もしくは２か月よりも長い持続時間にわたって）採取することを含む。維持プロセスは、１またはそれ以上のサンプルの各々から少なくとも１つのそれぞれの顕微鏡画像を得る（例えば、捕捉／撮影する）ことをさらに含む。次いで、維持プロセスは、画像解析方法を実施するために、少なくとも１つの（例えば、いくつかの、例えば、各々の）画像を（トレーニングされた）ＡＮＮ関数にインプットし、それにより、各インプットされた画像についてそれぞれのアウトプットをアウトプットすることを含む。維持プロセスは、ＡＮＮ関数のそれぞれのアウトプットの結果に基づいて、設備に対して１またはそれ以上の（フィードバック）作用を実施することをさらに含み得る。例えば、このプロセスは、培養物を攪拌することを含み得る（例えば、アウトプットが、培養物が凝集しているという情報を与える場合）。さらにまたはあるいは、このプロセスは、空気および／またはＣ０２を培養物に供給することを含み得る（例えば、アウトプットが、培養物がそれぞれ空気および／またはＣ０２を欠如しているという情報を与える場合）。さらにまたはあるいは、このプロセスは、培養物の一部を除去および／または置き換えすること、例えば、同じ種または属の新たな培養物による置き換えを含み得る（例えば、アウトプットが、培養物が非藻類微生物によって修復可能性閾値を超えて汚染されているという情報を与える場合）。
【0052】
このプロセスは、ＡＮＮ関数のそれぞれのアウトプットの結果の、ユーザーによる評価によって、またはアウトプットを参照と比較する少なくともある程度の自動化を用いて、バイオリアクタに対してフィードバック作用を実施することを含み得る。例えば、システムは、健康な藻類の不健康な藻類に対する比率および／または藻類の細菌に対する比率をカウントし、それを参照比率と比較し得る。したがって、バイオリアクタプロセスは、それぞれのアウトプットを参照近くで維持するために、バイオリアクタを攪拌するなど、バイオリアクタに対して完全に自動的なフィードバック作用を実施し得る。人間の介入の程度は、所望のレベルのオートマティズムに従って確立され得る。
【0053】
したがって、これらの方法は、設備（例えば、バイオリアクタ）の生産性を最適化することを可能にする。汚染に起因して、藻類よりも他の種、例えば、細菌もしくは藍藻類または他の生物が優位に立ち得、それにより、培養崩壊が生じる。これらの方法は、生産性を維持し、汚染に起因する培養崩壊を未然に防ぐことを可能にする。これは、胞子などの外部要素によって定期的に汚染され得る開放池バイオリアクタのために特に有用である。
【0054】
ＡＮＮ関数の出力結果は、機械学習方法に従ってトレーニングされた提供されたＡＮＮ関数によって達成された自動化のおかげで、画像の手動解析を実施する場合と比較して比較的高速である。この自動化により、バイオリアクタに対してアクションを実施するための反応時間が短縮され、それによりバイオリアクタの生産性が向上する。
【0055】
図３を参照すると、機械学習方法および／または画像解析方法を用いてＡＮＮ関数を機械学習するために構成された（トレーニングパターンの）データセットを形成するためのコンピュータ実行される方法もまた提供される。この方法は、「データセット形成方法」とも呼ばれる。
【0056】
データセット形成方法は、微細藻類培養物サンプルの各々について顕微鏡画像を提供する工程Ｓ３１０を含む。工程Ｓ３１０における提供は、顕微鏡を用いて画像を獲得すること、および／または顕微鏡によって獲得された画像を取り出すことを含み得る。提供する工程Ｓ３１０は、獲得された生画像を事前処理することをさらに含み得る。次いで、この方法は、各顕微鏡画像について、複数の注釈を決定する工程Ｓ３２０を含む。各注釈は、少なくとも１つの所与の微生物を含有する画像中の位置特定を含む。各注釈は、１またはそれ以上の生物学的属性の値をさらに含む。決定Ｓ３２０は、注釈を作成するための手動方法を含み得る。決定Ｓ３２０は、例えば、注釈の位置特定を決定するために、自動的なプロセスをさらに含み得る。例では、決定する工程Ｓ３２０は、注釈と顕微鏡画像との間の任意の関連付けを含み得、それにより、トレーニングパターン、例えば、データ構造、例えば、タプルのリストにおける関連を形成する。
【0057】
機械学習方法は、工程Ｓ１１０において、データセット形成方法によって形成されたデータセットを提供する工程を含み得る。提供されたデータセットは、データセット形成方法を用いて、異なる時点において、異なる場所において、異なるシステムを用いて、および／または異なる人もしくは実体によって、形成されたものであり得る。
【0058】
機械学習方法、画像解析方法およびデータセット形成方法は、コンピュータで実行される。これは、これらの方法の工程（または実質的に全ての工程）が、少なくとも１つのコンピュータ、または同様の任意のシステムによって実行されることを意味する。したがって、これらの方法のうちのいずれかの工程は、コンピュータによって、おそらくは完全に自動的に、または半自動的に、実施される。例では、これらの方法のうちのいずれかの工程のうち少なくとも一部のトリガリングは、ユーザー－コンピュータインタラクションを介して実施され得る。要求されるユーザー－コンピュータインタラクションのレベルは、予見されるオートマティズムのレベルに依存し得、ユーザーの希望を実行する必要性とバランスを取ったものであり得る。例では、このレベルは、ユーザー定義され得るおよび／または事前定義され得る。
【0059】
これらの方法のうちのいずれかのコンピュータ実行の典型的な例は、この目的のために適応されたシステムを用いて当該方法を実施することである。このシステムは、メモリおよびグラフィカルユーザーインターフェース（ＧＵＩ）にカップリングされたプロセッサーを含み得、このメモリには、これらの方法のうちのいずれかを実施するための命令を含むコンピュータプログラムが記録されている。メモリは、データセット形成方法によって形成されたデータセットもまた記憶し得る。メモリは、いくつかの物理的な別個の部分（例えば、１つはプログラムのため、おそらくは１つはデータセットのため）をおそらくは含む、かかる記憶のために適応された任意のハードウェアである。
【0060】
図４は、システムの一例を示し、ここで、このシステムは、クライアントコンピュータシステム、例えば、ユーザーのワークステーションである。
【0061】
この例のクライアントコンピュータは、内部連絡ＢＵＳ １０００に接続された中央処理装置（ＣＰＵ）１０１０、これもまたＢＵＳに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０を含む。クライアントコンピュータには、ＢＵＳに接続されたビデオランダムアクセスメモリ１１００に関連するグラフィカル処理ユニット（ＧＰＵ）１１１０がさらに提供される。ビデオＲＡＭ １１００は、当該分野でフレームバッファとしても公知である。大容量記憶デバイスコントローラ１０２０は、大容量メモリデバイス、例えば、ハードドライブ１０３０へのアクセスを管理する。コンピュータプログラム命令およびデータを有形的に具体化するために適切な大容量メモリデバイスには、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイス；磁気ディスク、例えば、内部ハードディスクおよびリムーバブルディスク；光磁気ディスク；ならびにＣＤ－ＲＯＭディスク１０４０が含まれる、全ての形態の非揮発性メモリが含まれる。上述のうちのいずれかは、特に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完され得、またはその中に組み込まれ得る。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータは、力覚デバイス１０９０、例えば、カーソル制御デバイス、キーボードなどもまた含み得る。カーソル制御デバイスは、ユーザーがディスプレイ１０８０上の任意の所望の場所にカーソルを選択的に配置するのを可能にするために、クライアントコンピュータにおいて使用される。さらに、カーソル制御デバイスは、ユーザーが種々のコマンドを選択し、制御シグナルをインプットするのを可能にする。カーソル制御デバイスには、システムに制御シグナルをインプットするためのいくつかのシグナル生成デバイスが含まれる。典型的には、カーソル制御デバイスは、シグナルを生成するために使用されているマウス、マウスのボタンであり得る。あるいはまたはさらに、クライアントコンピュータシステムは、高感度パッドおよび／または高感度スクリーンを含み得る。
【0062】
コンピュータプログラムは、コンピュータによって実行可能な命令、上記システムにこれらの方法のうちのいずれかを実施させるための手段を含む命令を含み得る。このプログラムは、システムのメモリが含まれる任意のデータ記憶媒体上に記録可能であり得る。このプログラムは、例えば、デジタル電子回路において、もしくはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、またはそれらの組み合わせにおいて実行され得る。このプログラムは、プログラム可能なプロセッサーによる実行のために機械可読記憶デバイスで有形的に具体化される製品などの装置として実行され得る。方法工程は、インプットデータに作用しアウトプットを生成することによってこの方法の関数を実施するための命令のプログラムを実行するプログラム可能なプロセッサーによって実施され得る。したがって、プロセッサーは、プログラム可能であり得、データ記憶システム、少なくとも１つのインプットデバイスおよび少なくとも１つのアウトプットデバイスからデータおよび命令を受け取り、データおよび命令をそれらに送信するためにカップリングされ得る。アプリケーションプログラムは、所望により、高レベル手続き型もしくはオブジェクト指向プログラミング言語で、またはアセンブリで、または機械語で、実行され得る。いずれの場合にも、言語は、コンパイラ型またはインタープリタ型言語であり得る。プログラムは、完全インストールプログラムまたは更新プログラムであり得る。システムに対するプログラムの適用は、いずれの場合にも、これらの方法のうちのいずれかを実施するための命令をもたらす。
【0063】
機械学習方法の態様をさらに説明する。
【0064】
機械学習の分野からそれ自体公知のように、人工ニューラルネットワーク（ＡＮＮ）関数は、１またはそれ以上のニューラルネットワークを含む関数である。これらの方法の場合、ＡＮＮ関数は、微細藻類培養物サンプルのインプット顕微鏡画像が提供されるように、かつインプット画像中の位置特定に関連する１またはそれ以上の生物学的属性の値をアウトプットするために構成される。したがって、ＡＮＮ関数は、インプット顕微鏡画像をかかる生物学的属性情報で強化することを可能にする。ＡＮＮ関数は、例えば、１またはそれ以上の決定論的関数と１またはそれ以上のニューラルネットワークとの間の複合からなり得る。
【0065】
ニューラルネットワークは、「ニューロン」とも呼ばれる接続されたノードの収集を含む関数である。各人工ニューロンは、インプットを受け取り、それに接続された他のニューロンに結果をアウトプットする。人工ニューロンおよびそれらの各々を連結する接続は、トレーニングを介して調整される重みを有する。「ＡＮＮ関数をトレーニングする」は、この関数の少なくとも１つのニューラルネットワークをトレーニングすることを意味する。インプット顕微鏡画像は、この関数に生で（即ち、獲得されたままで）提供され得る、あるいは処理された後に提供され得る。この関数自体は、後で詳述するように、事前処理サブ関数を含み得る。
【0066】
ＡＮＮ関数の少なくとも１つの（例えば、各々の）ニューラルネットワークは、例えば、畳み込みニューラルネットワークを含み得る。畳み込みニューラルネットワークは、正確な画像処理を可能にする。これらの方法は、文献から公知の以下の畳み込みニューラルネットワークアーキテクチャ：ＩｎｃｅｐｔｉｏｎＶ３、ＲｅｓＮｅｔ５０、ＧｏｏｇｌｅＮｅｔ、ＹｏｌｏＶ５を用いて首尾よく試験されてきた。ＡＮＮ関数は、場合により、非ニューラルネットワーク関数、例えば、決定論的関数を含み得る。
【0067】
Ｓ１２０において、機械学習方法は、ＡＮＮ関数の少なくとも１つの（例えば、各々の）ニューラルネットワークをトレーニングする工程を含む。機械学習方法は、全ての１またはそれ以上のニューラルネットワークの全ての重みを調整する工程を含み得る。場合により、ＡＮＮ関数は、１またはそれ以上の事前トレーニングされたニューラルネットワークを含み得、機械学習方法は、トレーニングされていないニューラルネットワークの重みを調整するだけであり得る。
【0068】
ＡＮＮ関数は、１またはそれ以上の生物学的属性に関して微細藻類培養物サンプルの顕微鏡画像を解析するために構成される。「解析する」とは、ＡＮＮ関数が、微細藻類培養物サンプルの所与のインプット顕微鏡画像から、１またはそれ以上の生物学的属性に関する情報を提供するそれぞれのアウトプットを計算するために構成されていることを意味する。
【0069】
「生物学的属性」とは、少なくとも１つの微生物の生物学的特徴を示す情報の断片を各々が形成する値を有する任意の変数を意味する。各生物学的属性は、個々の微生物の生物学的特徴、またはその培地および／もしくは他の微生物と相互作用する生物の生物学的特徴に関連し得る。
【0070】
１またはそれ以上の生物学的属性は、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含むカテゴリーの所定のセットの中のカテゴリーである第１の生物学的属性を含む。言い換えれば、当該第１の生物学的属性は、カテゴリーの当該所定のセット中の値を取る。さらに言い換えれば、ＡＮＮ関数によってアウトプットされた当該第１の生物学的属性の値は、カテゴリーの当該所定のセットの任意の要素、即ち、当該所定のセットの任意のカテゴリー（即ち、微細藻類の種および／もしくは属のうちのいずれか１つ、または少なくとも１つの非藻類微生物カテゴリーのうちのいずれか１つ）であり得る。
【0071】
場合により、複数の微細藻類の種および／または属は、少なくとも１つの属カテゴリーを含み得、例えば、複数の微細藻類属（即ち、カテゴリーの所定のセット中の微細藻類種ではないカテゴリー）からなり得る。同じ属であるが異なる種の微細藻類は、類似の視覚的特徴を示し得る。したがって、ＡＮＮ関数は、微細藻類種ではなく微細藻類属を認識するようにトレーニングされ得る。あるいは、複数の微細藻類の種および／または属は、複数の微細藻類種（即ち、カテゴリーの所定のセット中の微細藻類ではない属）からなり得る。
【0072】
１またはそれ以上の生物学的属性は、微細藻類の生理学的状態の所定のセットの中の生理学的状態である第２の生物学的属性をさらに含む。言い換えれば、当該第２の生物学的属性は、生理学的状態の当該所定のセット中の値を取る。さらに言い換えれば、ＡＮＮ関数によってアウトプットされた当該第２の生物学的属性の値は、生理学的状態の当該所定のセットの任意の要素、即ち、当該所定のセットの任意の生理学的状態（例えば、場合による１またはそれ以上の微細藻類の健康状態、場合による凝集状態および／または場合による複製状態の結合体の中の任意の状態）であり得る。
【0073】
したがって、ＡＮＮ関数は、画像中の複数の位置特定の中の各それぞれの位置特定（例えば、座標（ｘ，ｙ）によって示される境界（バウンディング）ボックスならびにサイズ、例えば、幅および高さ）について、少なくとも１つのそれぞれの微生物についての１またはそれ以上の生物学的属性の値を示すそれぞれのアウトプットを計算し、各それぞれの位置特定は、少なくとも１つのそれぞれの微生物を含有する。言い換えれば、各々が少なくとも１つの微生物を含有する位置特定について、ＡＮＮ関数は、各かかる位置特定の少なくとも１つのそれぞれの微生物の１またはそれ以上の生物学的属性を測定する。ＡＮＮ関数は、１またはそれ以上の生物学的属性の各アウトプットされた値を、１またはそれ以上のラベルの形態で提供し得る。
【0074】
ＡＮＮ関数は、位置特定をさらに計算し得る。ＡＮＮ関数は、決定論的関数を介して、またはあるいはニューラルネットワークを介して、位置特定を計算し得る。詳細は後に述べる。
【0075】
生物学的属性が、少なくとも１つの微生物の型に当てはまらない場合、ＡＮＮ関数は、当該生物学的属性について値をアウトプットしない場合がある、または等価に、ヌル値をアウトプットし得ることが理解される。例えば、位置特定が、非藻類微生物を含有する（即ち、第１の生物学的属性のアウトプットされた値は、したがって、少なくとも１つの非藻類微生物カテゴリーの中の１つである）場合、ＡＮＮ関数は、微細藻類の生理学的状態をアウトプットしない、またはヌル値をアウトプットする（即ち、第２の生物学的属性の特定の値をアウトプットしないが、それは、これが微細藻類のみに当てはまるからである）。
【0076】
ＡＮＮ関数は、位置特定あたりおよび生物学的属性あたり多くても１つの値をアウトプットするために構成され得る。あるいは、ＡＮＮ関数は、位置特定あたりおよび生物学的属性あたりいくつかの値をアウトプットするために構成され得る。これは、例えば、いくつかの型の微生物が当該位置特定において存在することを意味し得る。あるいは、ＡＮＮ関数は、少なくとも１つの生物学的属性の値の領域にわたる確率分布、即ち、各々が確率に関連する少なくとも１つの生物学的属性のいくつかの値をアウトプットするために構成され得る。
【0077】
カテゴリーの所定のセットは、微細藻類培養物サンプル中に存在する微生物の産業的規格に従って事前に決定することができる。カテゴリーの所定のセットは、複数の微細藻類の種および／または属ならびに少なくとも１つの非藻類微生物カテゴリーを含む。
【0078】
例として、複数の微細藻類の種および／または属は、以下の科：Ｃｈｌｏｒｏｐｈｙｃｅａｅ、Ｘａｎｔｈｏｐｈｙｃｅａｅ、Ｃｈｒｙｓｏｐｈｙｃｅａｅ、Ｂａｃｉｌｌａｒｉｏｐｈｙｃｅａｅ、Ｃｒｙｐｔｏｐｈｙｃｅａｅ、Ｄｉｎｏｐｈｙｃｅａｅ、Ｃｈｌｏｒｏｍｏｎａｄｉｎｅａｅ、Ｅｕｇｌｅｎｉｎｅａｅ、Ｐｈａｅｏｐｈｙｃｅａｅ、Ｒｈｏｄｏｐｈｙｃｅａｅおよび／またはＣｙａｎｏｐｈｙｃｅａｅからの１またはそれ以上の種および／または属を含み得る。あるいはまたはさらに、複数の微細藻類の種および／または属は、以下の属：Ｔｅｔｒａｓｅｌｍｉｓ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ、Ｄｕｎａｌｉｅｌｌａおよび／もしくはＣｈｏｒｅｌｌａのうちの１またはそれ以上の種、ならびに／またはこれらの属のうちの１またはそれ以上を含み得る。したがって、ＡＮＮ関数は、上記の任意の組み合わせからなる任意の好ましい分類学的分類に関して、顕微鏡画像中の微細藻類生物の分類を決定する。
【0079】
「少なくとも１つの非藻類微生物カテゴリー」とは、カテゴリーの所定のセットが、微細藻類を含まない微生物の少なくとも１つのカテゴリーを含むことを意味する。少なくとも１つの非藻類微生物カテゴリーは、微生物の型、例えば、「他の」カテゴリーに関するさらなる情報なしに、任意の種類の位置特定された非藻類微生物をグループ分けする１つの単一のカテゴリーからなり得る。あるいは、少なくとも１つの非藻類微生物カテゴリーは、１またはそれ以上の非微細藻類の種および／もしくは属ならびに／または１またはそれ以上の非微細藻類の科を含み得る。したがって、分類は、非藻類微生物を識別し、それにより、微細藻類の健康の改善された評価を間接的に可能にし得る。
【0080】
トレーニングされたＡＮＮ関数は、インプット顕微鏡画像を処理し得、培養物中に存在する非藻類微生物種をアウトプットし得、そこから、当該非藻類微生物の量および型が決定され得る。したがって、機械学習方法はさらに、微生物の分類を改善するが、それは、分類が、微細藻類の健康において異なる役割を有する微生物の存在に関する定量的評価を提供するからである。
【0081】
例えば、１またはそれ以上の非微細藻類の種および／もしくは属ならびに／または１またはそれ以上の非微細藻類の科は、１またはそれ以上の細菌種および／もしくは属ならびに／または１またはそれ以上の細菌科を含み得る。例では、細菌は、微細藻類培養物サンプルの水性培地に自生するものであり得、したがって、それらの存在は、微細藻類の集団がバイオリアクタ中で育つように、水中のＣＯ２の量を増加させることによって微細藻類成長を増強するために有益であり得る。これは、例えば、独立栄養性細菌、例えば、アンモニア酸化細菌（アンモニアを亜硝酸塩に酸化する細菌）および／または亜硝酸塩酸化細菌（亜硝酸塩を硝酸塩に酸化する細菌）の場合に当てはまる。他の例では、細菌または他の微生物は、外部環境因子を介してもたらされたものであり得、したがって、それらの存在は、望ましくない場合がある。したがって、微細藻類培養物中に存在する細菌の制御されない集団は、十分な光および／または鉱物リソースを得るための、微細藻類との競合をもたらし得る。
【0082】
さらにまたはあるいは、１またはそれ以上の非微細藻類の種および／もしくは属ならびに／または１またはそれ以上の非微細藻類の科は、１またはそれ以上の真菌の種および／もしくは属ならびに／または１またはそれ以上の真菌の科を含み得る。
【0083】
したがって、機械学習方法に従ってトレーニングされたＡＮＮ関数は、異なる微細藻類の種および／または属の微生物を検出するだけでなく、画像中に存在する非藻類微生物の決定を改善する。即ち、ＡＮＮ関数は、異なる微細藻類種の微生物と相互作用する非藻類微生物を少なくとも決定するために、より正確である。次に、介入が、微細藻類の種の健康を改善するため、または他の微生物の成長を阻害するために、バイオリアクタに対して実施され得る。
【0084】
１またはそれ以上の生物学的属性は、微細藻類の生理学的状態の所定のセットの中の生理学的状態をさらに含む。したがって、機械学習関数は、分類学的分類を超える微生物の分類を、それらの培地中の微生物の機能に従う分類へと増強する。次に、ＡＮＮ関数は、顕微鏡画像の微細藻類の健康状態に関するより正確な分類を実施し得、それにより、生理学的状態に基づいてフィードバック作用を適用するための具体的な情報を提供する。
【0085】
ここで、機械学習関数は、微細藻類の種および／または属の、他の微生物の分類学的分類の組み合わせに従って、ならびに微細藻類の生理学的機能に関して、顕微鏡画像中に存在する微生物の分類を計算する。したがって、機械学習関数は、その機能的様相に関して微生物を分類するようにＡＮＮ関数をトレーニングし、それにより、その培地中の培養物の健康の定性的評価を提供する。実際、微細藻類培養物サンプル中に存在する微細藻類の生理学的機能は、その健康に関する、および他の微生物とのその相互作用に関する、個々の微細藻類の機能を含み得る。
【0086】
実施例にあっては、微細藻類の生理学的状態の所定のセットは、１またはそれ以上の微細藻類の健康状態を含む。「健康状態」とは、対応する培養物サンプルの画像中に存在する微細藻類の健康に関する情報の所定の断片を意味する。１またはそれ以上の健康状態は、対応する微細藻類培養物サンプルの画像中に存在する微細藻類の健康を評価するための任意の所与の基準に従って与えられ得る。
【0087】
例えば、微細藻類の健康状態は、１つの（例えば、単一の）「健康な」または「正常な」状態（即ち、微細藻類培養物サンプル中の良好／正常な生理学的機能を有する状態）および１つの（例えば、単一の）「病気の」状態（即ち、健康な微細藻類と比較して、微細藻類培養物サンプル中の減少した生理学的機能を有する状態）を含み得る、またはそれからなり得る。したがって、（トレーニングされた）ＡＮＮ関数は、微細藻類の健康状態を幾何学的形態または外観と相関付ける。画像ベースの機械学習は、かかる状態間の認識および判別を可能にすることが確認されている。
【0088】
ＡＮＮ関数は、対応する微細藻類培養物サンプルの画像中に存在する微細藻類の健康の二項分類を計算するために構成され得る。
【0089】
あるいは、健康状態は、「細胞破裂」状態、「形状変形」状態および／または「色変化」状態が含まれ得るいくつかの病気のまたは不健康な状態を含み得る。したがって、ＡＮＮ関数は、そのような場合、微細藻類の細胞壁の破裂（即ち、細胞の内側の内容物が欠如している）、微細藻類の形状の変形（例えば、鞭毛の喪失）および／または微細藻類の色における変化に関して、画像中に存在する微細藻類の病的状態を詳述する情報の断片を計算するために構成される。したがって、ＡＮＮ関数は、構造的損傷、例えば、微細藻類の細胞壁の破裂、微細藻類の形状の変形および／または微細藻類の色における変化に従って、微生物を分類する。
【0090】
実施例にあっては、微細藻類の生理学的状態の所定のセット（例えば、さらなる）は、例えば、微生物が、同じ種および／または属の他の微生物と凝集していることを示す、微生物についての凝集状態をさらに含む。あるいはまたはさらに、微細藻類の生理学的状態の所定のセットは、例えば、微細藻類培養物サンプル中の微生物が、その再生産プロセスのある段階にあることを示す、複製状態を含み得る。したがって、ＡＮＮ関数は、培養物サンプルのある領域中の同じ種の微生物の群の密度（即ち、群の凝集）および／または複製された微細藻類の存在に対応する微細藻類の病的状態を示す、対応する培養物サンプルの画像の各微生物に関する情報の断片を計算するために構成される。したがって、ＡＮＮ関数は、顕微鏡画像のある領域中の同じ種の微生物の群の密度（即ち、群の凝集）および／または複製された微細藻類の存在に従って、微生物を分類する。同じ種の群の高い密度は、微細藻類の良くない健康を全てが示す、微細藻類培養物サンプル中のリソースについての競合、生物綿状沈殿、即ち、微細藻類に対するストレスに起因して引き起こされ得る。さらに、複製された微細藻類の存在（またはその欠如）は、集団の健康を示す。実際、再生産中の微細藻類の欠如は、微細藻類培養物サンプル中に存在する微細藻類の良くない健康を示す。画像ベースの機械学習は、かかる状態の認識および判別を可能にすることが確認されている。
【0091】
図１に再度戻り、機械学習方法は、トレーニングパターンを含むデータセットを提供する工程Ｓ１１０を含む。機械学習の分野からそれ自体公知のように、データセットは、ＡＮＮ関数の学習の速度および学習の品質、即ち、顕微鏡画像を解析するためのトレーニングされたＡＮＮ関数の精度に影響を与える。データセットには、企図した学習品質に依存するトレーニングパターンの総数が提供され得る。この数字は、微細藻類の企図した種および／または生物学的属性を含む１０００、１００００またはさらには１０００００個よりも多くのトレーニングサンプルであり得る。データセット中のデータの量は、ＡＮＮ関数によって達成すべき精度とトレーニングの速度との間でのトレードオフに従う。
【0092】
各トレーニングパターンは、微細藻類培養物サンプルの顕微鏡画像と複数の注釈とを含む。各注釈は、微細藻類培養物サンプルの顕微鏡画像中に存在する微生物の生物学的属性のインスタンス化を示すデータの断片である。各注釈は、微細藻類培養物サンプルの顕微鏡画像中に存在する少なくとも１つの所与の微生物を含有する画像中の位置特定を含む。例えば、注釈は、少なくとも１つの所与の微生物の位置特定に添付されたまたはそれに関連するラベルを含み得るまたはそれからなり得る。各注釈は、少なくとも１つの所与の微生物についての１またはそれ以上の生物学的属性の値をさらに含む。１またはそれ以上の生物学的属性は、少なくとも１つの所与の微生物についてのカテゴリーの所定のセットのうちのいずれかからであり得る。例えば、微生物の注釈は、少なくとも１つの所与の微生物を含有する画像中の位置特定を定義する値、例えば、座標（ｘ，ｙ）によって示されるバウンディングボックスならびにサイズ仕様、例えば、幅および高さ、ならびに１またはそれ以上の生物学的属性（例えば、微細藻類の種および／または非微細藻類のステータス、ならびに微細藻類の場合には生理学的状態が含まれる）の値を含み得る。
【0093】
データセットには、所望の精度のトレーニングを達成するために、企図された種々のトレーニングサンプルおよび注釈が提供され得る。例えば、データセットは、複数の微細藻類の種および／または属を含む所定のセットの中の各カテゴリーの少なくとも１００個のトレーニングサンプルを含み得る。例えば、データセットは、各カテゴリーについて少なくとも２００個のトレーニングサンプルを含み得、ここで、例えば、総トレーニングサンプルの８０％は、トレーニングのために使用され、残りの２０％は、仮説検定のために使用される。
【0094】
次いで、機械学習方法は、提供されたデータセットに基づいてＡＮＮ関数をトレーニングする工程Ｓ１２０を含む。即ち、ＡＮＮ関数を構成する接続されたニューラルネットワークの中の人工ニューロンおよびそれらの各々を連結する接続の（トレーニングされていない）重みは、トレーニングを介して調整される。ＡＮＮ関数は、微細藻類培養物サンプルのインプット顕微鏡画像を処理するために構成される。
【0095】
例えば、ＡＮＮ関数は、数学的表記ｆ（Ｉ）によって示され得、式中、独立変数Ｉは、データセットの画像である。ＡＮＮ関数は、例えば、ｆ（Ｉ）＝ｆｋ（ｆ（ｋ－１）（...ｆ１（Ｉ）））のようにｋ個の関数によって示されるように、１またはそれ以上のニューラルネットワークおよび／または１またはそれ以上の決定論的関数を含み得、これらは各々、任意の接続トポロジーを介して互いの間で接続され、例えば、一部のニューラルネットワークは、順番にもしくは並行してまたはそれらの他の組み合わせで接続される。
【0096】
機械学習からそれ自体公知のように、トレーニングは、計算されたアウトプットに従って、ＡＮＮ関数のトレーニングされていないニューラルネットワークの重みを調整するように進行する。それ自体公知のように、アウトプットは、トレーニングサンプル中の注釈の値と比較され、重みは、例えば、損失の最適化を介して、例えば、最急降下法アルゴリズムを使用することによって、かかる比較に従って調整され得る。学習に起因する精度のパフォーマンスは、標準的な機械学習方法を使用して追跡され得る。
【0097】
ＡＮＮ関数は、いくつかのニューラルネットワークを含み得る。場合により、このような場合、各ニューラルネットワークは、別々にトレーニングされ得、したがって、各ネットワークについて、ネットワークのそれぞれの重みを設定するためにそれぞれの損失の別個の最適化を実施する。あるいは、ネットワークは、同じ最適化内で一緒にトレーニングされ得る。
【0098】
機械学習方法は、微細藻類培養物サンプルの顕微鏡画像を解析するための改善された解法を構成する。実際、機械学習方法に従ってトレーニングされたＡＮＮ関数は、微細藻類培養物サンプルのインプット画像を処理し、微細藻類培養物サンプルの集団の健康に関する定性的評価を行うことを可能にする少なくとも１つのそれぞれの微生物の各位置特定における生物学的属性に関する情報をアウトプットするために構成される。とりわけ、トレーニングされたＡＮＮ関数によって実施される処理は、微細藻類集団を検出するための先行技術の方法、例えば、ハイスループットシーケンシング方法またはｑＰＣＲを使用することによる微細藻類の健康の手動評価と比較して、特に速い。当該方法は、結果を得るために、最大で数か月かかり得る。対照的に、機械学習方法に従ってトレーニングされたＡＮＮ関数は、かなりの短時間で、例えば、ほんの数分間で、微細藻類の画像を処理し得る。
【0099】
これは次に、バイオリアクタ維持プロセス中への、機械学習方法に基づく画像解析方法の組み込みのおかげで、産業的バイオリアクタシステムプロセス、例えば、バイオディーゼル産生のためのプロセスの改善をもたらす。画像解析方法は、バイオリアクタ中の微細藻類の健康の定量的評価を実施することを可能にする生物学的属性の自動化された検出を達成する。バイオリアクタシステム中の微細藻類の健康に影響を与える環境条件または内部条件は、ほんの数日で（例えば、２週間）、さらには数時間で生じ得る。方法に従ってトレーニングされたＡＮＮ関数は、より短い期間（例えば、数分程度）で結果を得ることを可能にする。したがって、バイオリアクタに対する修正作用は、バイオリアクタに生息している微細藻類の良くない健康の評価後短期間で実施され得、それにより、維持を改善する。
【0100】
実施例にあっては、Ｓ１１０、Ｓ２２０および／またはＳ３１０において各顕微鏡画像を提供する工程は、顕微鏡画像捕捉された顕微鏡画像を捕捉することを含むことができる。顕微鏡画像は、顕微鏡と一体型のカメラまたは顕微鏡に関連したカメラを用いて捕捉され得、このとき、カメラは、その目的のために構成される、例えば、標準的な実験室条件下で顕微鏡画像を捕捉するために特に適応された、露光時間、写真撮影される領域および／またはピクセル解像度で構成される。
【0101】
実施例にあっては、ＡＮＮ関数は事前処理を含むことができる。「事前処理」とは、それが捕捉された後にインプット顕微鏡画像を処理し、ＡＮＮ関数のアウトプット（即ち、１またはそれ以上の生物学的属性の値）を生じる前に、インプットされた中間結果を１またはそれ以上の他のサブ関数／プロセスにアウトプットする、任意のサブ関数を意味する。中間結果は、インプット画像とは異なるが、ＡＮＮ関数のアウトプットをまだ含有していない画像である。したがって、事前処理は、オンラインで使用される場合に（即ち、画像解析方法の間に）ＡＮＮ関数によって実施される初期操作の一部、またはオフラインの場合に（即ち、機械学習方法の間に）、注釈付けの前もしくは後のいずれかに、トレーニング前に実施されるデータセットの調製の一部であり得る。事前処理は、決定論的であり得る。あるいは、事前処理は、１またはそれ以上の事前トレーニングされたニューラルネットワークを含み得る。
【0102】
事前処理は、画像の（例えば、決定論的）カラーバランシングと（例えば、決定論的）コントラスト強調との一方または両方を含み得るまたはそれからなり得る。かかる特定の事前処理は、微細藻類種の認識、微細藻類と非藻類藻類微生物との間の区別、および微細藻類の生理学的状態の認識を改善することが確認されている。
【0103】
「カラーバランシング」とは、例えば、ＲＧＢ画像の色成分に関して、画像の色の強度を調整する、画像処理の任意の方法を意味する。色のスケーリングは、例えば、スケーリングカメラＲＧＢまたはＶｏｎ Ｋｒｉｅｓ法が含まれる任意の方法によって実施され得る。これは、顕微鏡の型によって導入されたノイズまたはバイアスを低減させるための、画像の色の正規化を可能にする。即ち、カラーバランシングは、異なるデバイス（顕微鏡、カメラ）からの画像を均質化することによって、カメラセンサーによって誘導されたバイアスをリバランスすることによって画像の再現性を促進し、光源（ＬＥＤ、ハロゲンランプなど）における変動を相殺する。
【0104】
「コントラスト強調」とは、任意の公知の式を介して定義された画像のコントラスト、例えば、Ｗｅｂｅｒコントラスト、ＭｉｃｈｅｌｓｏｎコントラストまたはＲＭＳコントラストを改変するための画像処理の任意の方法を意味する。コントラスト強調は、細胞の観察を改善するために、画像の最大強度および最小強度を生じ得る。実際、顕微鏡画像の背景が白であるはずであることを仮説として設定すると、藻類は、最も不透明な物体とみなされ得、したがって、コントラスト強調は、より良い区別を可能にすることが判明してきた。この仮説は、最良の結果を提供するが、それは、サンプルが、自然光の下で撮影され得るが、例えば、偏光の下ではそれが異なるからであることが判明してきた。したがって、水は、透明／白であるはずと推定され、その結果、コントラスト強調は最良の結果を提供する。
【0105】
したがって、事前処理は、顕微鏡画像の要素の、とりわけ画像中に存在する微生物の、輝度、色および明度を改善し得る。実際、事前処理は、微細藻類培養物が置かれる水性培地に通常は対応する背景画像に関して微生物の識別可能性を増強するために構成された較正を形成し得る。較正は、観察された微細藻類細胞の中心にある緑の葉緑素の認識を改善し、微細藻類の形状および構造認識を増強する。事前処理は、他の微生物、例えば、非藻類微生物の色を強調する場合もあり得る。したがって、事前処理は、その特定もまた改善し得、ＡＮＮ関数は、光品質とは無関係に、微生物を分類するためにより正確である。
【0106】
ＡＮＮ関数は、複数の位置特定（例えば、バウンディングボックス）の決定のために構成され得る。したがって、複数の位置特定の決定は、オンラインで使用される場合にＡＮＮ関数によって実施される初期操作の一部であり得る。このような場合、複数の位置特定の決定は、オフライントレーニングの前に実施されるデータセットの調製の一部であり得る。例えば、データセットの調製における複数の位置特定の決定は、注釈付けの際に（例えば、手動で）実施され得る。
【0107】
複数の位置特定の決定は、決定論的であり得る。このような場合、複数の位置特定の決定は、注釈付けを容易にするために、注釈付けの前にオフラインで実施され得る。あるいは、複数の位置特定の決定は、１またはそれ以上のニューラルネットワークによって実施され得る。このような場合、複数の位置特定の決定のために構成された当該１またはそれ以上のニューラルネットワークは、事前トレーニングされ得るか、または機械学習方法の間にトレーニングされ得る。
【0108】
実施例にあっては、ＡＮＮ関数は、複数の位置特定（例えば、バウンディングボックス）のかかる決定のために構成された（例えば、決定論的）関心領域アルゴリズムを含み得る。関心領域アルゴリズムは、インプットとして顕微鏡画像を受け取り、各々が少なくとも１つのそれぞれの微生物を含有する画像中の領域（即ち、画像のピクセルの領域）を各々が取り囲む１またはそれ以上の閉曲線、例えば、バウンディングボックスのセットをアウトプットするために構成された画像処理のアルゴリズムである。
【0109】
実施例にあっては、関心領域アルゴリズムは、インプット顕微鏡画像について、二値画像をアウトプットするローパスフィルタを適用することを含む。値０を有する二値画像のピクセルは、背景のピクセルに対応し得、値１を有する二値画像のピクセルは、培養物の各微細藻類のピクセルに対応し得る。
【0110】
ローパスフィルタは、（例えば、所定の）カットオフ周波数に従って二値画像のピクセルをアウトプットし得る。例えば、ローパスフィルタのカットオフ周波数を下回る周波数を有するピクセルは、背景中の、したがって、値０を有するピクセルに対応し、ローパスフィルタのカットオフ周波数を上回るピクセルは、培養物の（同定された）微生物（微細藻類および非藻類微生物）の、したがって、値１を有するピクセルに対応する。カットオフ周波数は、任意の様式で設定され得る。
【0111】
関心領域アルゴリズムは、二値画像中の連結成分を検出することをさらに含み得る。「連結成分」とは、同じ特性（例えば、同じ値）を有し、群の各対について１つの単一の連続ピクセルパスによって互いに接続されている、画像中のピクセルの任意の群を意味する。関心領域アルゴリズムは、検出された連結成分にインデックスを付け得る。
【0112】
関心領域アルゴリズムは、各連結成分について、バウンディングボックスを決定することをなおさらに含み得る。バウンディングボックスは、検出された連結成分にフレームを嵌めることによって決定され得る。例えば、関心領域アルゴリズムは、上、下、左および右において境界を追加し得、検出された成分を境界で取り囲む（最小サイズの）バウンディングボックスを決定し得る。例では、関心領域アルゴリズムは、決定されたバウンディングボックスの４つの値、例えば、（画像中の左上隅のｘ位置、画像中の左上隅のｙ位置、ボックスの幅、ボックスの高さ）と共にタプルのリストを含むデータ構造をアウトプットし得る。
【0113】
ローパスフィルタは直接適用され得るので、関心領域アルゴリズムは、決定論的アルゴリズムであり得る。したがって、関心領域は、自己適応性の様式で、教師あり学習なしで見出される。決定論的関心領域アルゴリズムを事前構成することは要求されず、その結果、ＡＮＮ関数は、比較的均一な画像背景を示す培養物サンプルの顕微鏡画像のおかげで、高い精密さで種々の物体（微細藻類）を位置決めすることができる。培養物サンプルは、数千個の微生物を含むので、関心領域アルゴリズムは、各画像について、数千個の目的の物体（例えば、３０００個よりも多く）を提供し得る。
【0114】
他の例では、ＡＮＮ関数は、複数の位置特定の決定のために構成された非決定論的関数、例えば、ニューラルネットワーク、例えば、物体検出ニューラルネットワークを含み得る。物体検出ニューラルネットワークは、コンテキストのおかげで検出を改善し、複製と凝集との間の区別を改善する。実際、物体検出ニューラルネットワークは、コンテキストベースの学習を可能にする。
【0115】
ＡＮＮ関数は、１またはそれ以上のニューラルネットワーク分類器を含み得る。「ニューラルネットワーク分類器」とは、インプットとして画像を取得し、インプット画像の少なくとも一部に、クラスの所定のセットの中の１つのクラスを示す情報の断片、例えば、クラスの所定のセットのそれぞれの１つに各々が対応するラベルのセットの中のラベルを割り当てる情報をアウトプットするために構成された単一のニューラルネットワークを意味する。「単一の」ニューラルネットワークとは、機械学習の分野から周知のように、クラスの所定のセットの全てのクラスに関与する単一の損失を最小化することによって、分類器が単一のトレーニングプロセスで完全にトレーニングされることを意味する。したがって、クラスの所定のセットに対応する単一の分類器は、クラスの同じ所定のセットの中の分類を完全に達成する一連の分類器とは異なる。
【0116】
１またはそれ以上のニューラルネットワーク分類器は、インプットとして、顕微鏡画像（例えば、事前処理サブ関数の適用後の生顕微鏡画像）、またはあるいは顕微鏡画像からの（例えば、事前処理サブ関数の適用後の生顕微鏡画像からの）抽出（例えば、部分）を受け取り得る。特に、ＡＮＮ関数は、位置特定（例えば、バウンディングボックス）の決定のために構成されたサブ関数を含み得、１またはそれ以上のニューラルネットワーク分類器には、各々がそれぞれの決定された位置特定（例えば、それぞれのバウンディングボックスの内容）である抽出が提供され得る。したがって、１またはそれ以上のニューラルネットワーク分類器は、各抽出を独立して（例えば、逐次または並行して）処理し得る。あるいは、１またはそれ以上のニューラルネットワーク分類器は、物体を分類しかつその位置特定を決定するために構成されている物体検出ニューラルネットワーク分類器（例えば、初期分類器、即ち、ＡＮＮ関数の任意の他の分類器の前に適用される）を含み得る。このような場合、物体検出分類器には、顕微鏡画像全体（例えば、事前処理サブ関数の適用後の完全な生顕微鏡画像）が提供され、場合による引き続くニューラルネットワークにだけ、各々がそれぞれの決定された位置特定（例えば、それぞれのバウンディングボックスの内容）である抽出が提供され得る。
【0117】
ＡＮＮ関数は、二項分類器（例えば、初期分類器）を含み得る。したがって、二項分類器は、分類規則に基づいて、２つの群のセットで画像中の要素を分類し得る。例えば、分類規則は、各それぞれの位置特定について、少なくとも１つのそれぞれの微生物が微細藻類であるか非藻類微生物であるかを決定することであり得る。したがって、二項分類器は、微細藻類を他の（即ち、非藻類）微生物から判別するための単純な規則を提供し得る。二項分類器は、場合により、物体検出分類器であってもよい。
【0118】
ＡＮＮ関数は、多クラス分類器をさらに含み得る。多クラス分類器は、クラスの所定のセットに従ってインプット画像中の物体を分類する人工ニューラルネットワークである。多クラス分類器は、二項分類器が微細藻類を含有することを特定した画像の位置特定中に含有される微細藻類についての１またはそれ以上の生物学的属性の値を少なくとも部分的に決定するために構成され得る。各分類器は、藻類および非藻類、ならびに異なるクラスの藻類をそれぞれ識別するために適切に特殊化し得るので、二項分類器と多クラス分類器との間でのかかる逐次アプローチは、効率を改善する。
【0119】
多クラス分類器は、微細藻類微生物を含有する各それぞれの位置特定について、微細藻類の種または属および生理学的状態の両方の組み合わせを含むクラスの所定のセットからそれぞれのクラスを決定するために構成され得る。言い換えれば、単一の多クラス分類器のクラスの少なくとも一部は、種／属および生理学的状態の両方に関する情報を組み合わせる（種／属分類のために１つのニューラルネットワークを使用し、生理学的状態分類のために別のニューラルネットワークを使用するのではなく）。
【0120】
複数の微細藻類種の中でのカテゴリー化と微細藻類の生理学的状態の中での同定を組み合わせることは共に、機械学習フレームワーク中の個々の態様を改善することが確認されている。言い換えれば、種情報だけでなく生理学的情報によってもデータセットを注釈付けすることによって、ＡＮＮ関数は、情報の各断片を個々に調べ、各属性を連続的に認識する必要がある場合よりも正確に、一緒に組み合わされた情報の両方の断片を同時に調べ、種および生理学的状態の両方を一度に認識することができる。これは、その視覚的様相に対して、したがって、その画像ベースの解析に対して顕著な影響を有する微細藻類種の生理学的状態に起因する。言い換えれば、多クラス分類器は、情報を相互化し、別々に調べる場合よりも組み合わさって多くを語る。
【0121】
二項分類器および／または多クラス分類器は、例えば、任意の技術水準の分類ニューラルネットワーク、例えば、ＩｎｃｅｐｔｉｏｎＶ３、ＲｅｓＮｅｔ５０またはＧｏｏｇｌｅＮｅｔのアーキテクチャを示し得る。二項分類器が物体検出を実施する場合、二項分類器は、あるいはＹｏｌｏＶ５のアーキテクチャを示し得る。
【0122】
微細藻類培養物サンプルの顕微鏡画像は、数千個の微生物（即ち、数ヘクタールの培養物）を含有し得、このことが、サンプルの視覚的評価を非現実的なものにしている。ＡＮＮ関数は、トレーニングのおかげで、数千個の微生物の中で健康状態を得ることを可能にする。
【0123】
ここで、画像解析方法が、微細藻類培養物サンプルの獲得された顕微鏡画像に適用され得る。顕微鏡画像は、バイオリアクタからの液滴サンプルが置かれる薄いスライド上での顕微鏡による写真撮影から獲得され得る。
【0124】
その場合、例えば、インプット顕微鏡画像の解析は、５つの工程の結果である：
（工程１）カラーバランシングアルゴリズムをインプット顕微鏡画像に最初に適用する。カラーバランスアルゴリズムは、顕微鏡画像中の青、赤および緑の量のバランスを取る結果画像をアウトプットする。
（工程２）コントラスト強調アルゴリズムを適用する。工程１の終了時に、色の量は十分にバランスが取れているが、これらは全て、暗すぎるまたは明るすぎる場合がある。工程２は、工程１の結果画像の明度を調整する結果画像をアウトプットする。
（工程３）関心領域（ＲＯＩ）アルゴリズムを適用する。工程３のアルゴリズムは、工程２の結果画像から、かなり均一な背景（低い２Ｄ周波数）の形態をとる、０個からいくつかの物体までの（周波数範囲が変動する）結果画像をアウトプットする。ＲＯＩアルゴリズムは、以下の一連の工程からなり得る：
（工程３．１）背景を検出することを可能にするローパスフィルタ。微細藻類のピクセルは、コントラストレベルに基づいて得られる。ローパスフィルタは、背景ピクセルについては二値画像０を、物体ピクセルについては１をアウトプットする。
（工程３．２）識別子を各関心領域に関連付けるローパスフィルタのアウトプットに適用される連結成分検出アルゴリズム。
（工程３．３）各連結成分について、連結成分を取り囲むボックスの座標を戻す「バウンディングボックス」アルゴリズム。ボックスは、画像中のその中心座標およびその寸法、即ち、４つ組｛ｘ座標、ｙ座標、幅、高さ｝の観点から定義され得る。アルゴリズムは、４つ組のリストをアウトプットする。
（工程１）カラーバランシングアルゴリズムをインプット顕微鏡画像に最初に適用する。カラーバランスアルゴリズムは、顕微鏡画像中の青、赤および緑の量のバランスを取る結果画像をアウトプットする。
（工程２）コントラスト強調アルゴリズムを適用する。工程１の終了時に、色の量は十分にバランスが取れているが、これらは全て、暗すぎるまたは明るすぎる場合がある。工程２は、工程１の結果画像の明度を調整する結果画像をアウトプットする。
（工程３）関心領域（ＲＯＩ）アルゴリズムを適用する。工程３のアルゴリズムは、工程２の結果画像から、かなり均一な背景（低い２Ｄ周波数）の形態をとる、０個からいくつかの物体までの（周波数範囲が変動する）結果画像をアウトプットする。ＲＯＩアルゴリズムは、以下の一連の工程からなり得る：
（工程３．１）背景を検出することを可能にするローパスフィルタ。微細藻類のピクセルは、コントラストレベルに基づいて得られる。ローパスフィルタは、背景ピクセルについては二値画像０を、物体ピクセルについては１をアウトプットする。
（工程３．２）識別子を各関心領域に関連付けるローパスフィルタのアウトプットに適用される連結成分検出アルゴリズム。
（工程３．３）各連結成分について、連結成分を取り囲むボックスの座標を戻す「バウンディングボックス」アルゴリズム。ボックスは、画像中のその中心座標およびその寸法、即ち、４つ組｛ｘ座標、ｙ座標、幅、高さ｝の観点から定義され得る。アルゴリズムは、４つ組のリストをアウトプットする。
【0125】
次いで、工程１および２からの事前処理された画像ならびに工程３で得られた４つ組のリストは、ＡＮＮ関数の１またはそれ以上のニューラルネットワークにインプットされる。ＡＮＮ関数は、二項分類器および多クラス分類器を含む。
【0126】
ＡＮＮ関数は、事前処理された画像および４つ組のリストを以下のように処理し得る：
（工程４）事前処理された画像および４つ組のリストが、二項分類器にインプットされる。二項分類器は、バウンディングボックスによって囲まれた各関心領域について、微細藻類を他の物体（細菌）から識別する。言い換えれば、二項分類器は、それぞれのバウンディングボックスの内側の画像の部分に対応する事前処理された画像からの各抽出に別々に適用される。
（工程５）微細藻類を含有すると二項分類器によってマークされた各関心領域について、関心領域は、複数の微細藻類の種および／または属の中の微細藻類を識別し、生理学的状態もまた特定する他の分類器ネットワーク（多クラス分類器）にインプットされる。
（工程４）事前処理された画像および４つ組のリストが、二項分類器にインプットされる。二項分類器は、バウンディングボックスによって囲まれた各関心領域について、微細藻類を他の物体（細菌）から識別する。言い換えれば、二項分類器は、それぞれのバウンディングボックスの内側の画像の部分に対応する事前処理された画像からの各抽出に別々に適用される。
（工程５）微細藻類を含有すると二項分類器によってマークされた各関心領域について、関心領域は、複数の微細藻類の種および／または属の中の微細藻類を識別し、生理学的状態もまた特定する他の分類器ネットワーク（多クラス分類器）にインプットされる。
【0127】
工程１および２の事前処理ならびに工程３の関心領域アルゴリズムは、決定論的アルゴリズムであり得る。したがって、工程１～３は、さらなる構成なしにすぐに実施されるので、画像解析方法は、微細藻類に関する情報を素早く得る。したがって、画像解析方法は、顕微鏡画像捕捉を自動化し、各バウンディングボックス上の各藻類の健康に関する情報を用いて画像を増強する。これは全て、自動化を実施するための機械学習パラダイムの適用のおかげである。さらに、画像解析方法は、非侵襲的かつ非破壊的である。実際、画像解析方法は、薄いスライド中の一滴の培養物から得られ得る微細藻類培養物サンプルの顕微鏡画像のみを必要とする。さらに、画像解析方法が画像のみを要求するという事実のおかげで、これは、任意の型の流域および異なる規模の操作に適用可能である。バイオリアクタの体積がどうであれ、これは、実験室、予備的または産業的バイオリアクタにも適用可能である。追加されたオートマティズムのおかげで、最適なパフォーマンスを確実にするために培養物の操作を適応させるように、応答性が増加する。
【0128】
さらなる例を、図５～１１、ならびにこれらの例に基づいて得られた実験結果を参照しながら説明する。
【0129】
図５は、藻類培養を実施するために使用されるバイオリアクタ維持プロセスのバイオリアクタ５００の一例を示す。
【0130】
パイロットプログラムが、バイオリアクタ５００のアーキテクチャに基づいて実施された。Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｏｃｕｌａｔａの微細藻類接種材料を得た。産業規模での実際の条件を前もって考慮するために、培養は大気条件（即ち、温度、圧力、雨、日照など）で実施する。バイオリアクタは、９．６２ｍ２表面積、６０ｃｍの最大水深、高さ４．７ｍの真空エアリフトカラムおよび１００Ｌの体積を有する収穫タンクの水路開放池を含む。池は、最大水深は６０ｃｍである。実験では、２０ｃｍの深度を使用する。
【0131】
池中の培養培地を、約１５ｍ３．ｈ－１（最大３０ｍ３．ｈ－１）の吸引によって吹き込まれる平均空気流のための、池における約３０ｍ３．ｈ－１の平均循環能を可能にする真空ポンプに接続された真空カラム（－０．４ｂａｒ Ｐｒｅｌ．および０．６ｂａｒ Ｐａｂｓ．）の作用によって攪拌する。空気を、空気圧縮器（２．２ｋＷ－２２０Ｖ）を使用することによって、カラムの底にある微小気泡拡散システムを介して培養物中に分散させる。ＣＯ２添加を、池のｐＨレベル（ｐＨ設定＝８±０．５）に基づいて調節する。ＣＯ２を、カラムの底にある、ＣＯ２ガスボトルに接続された拡散システムを介して培養物中に分散させる。池の温度は調節されない。バイオリアクタには、大気パラメーター（Ｐ、Ｔ、光強度、雨など）のデータを収集するために、測候所を備えさせる。スライド式屋根を、雨を防止し汚染を限定するためだけでなく、蒸発を最小化することによって池の体積を一定に維持するために、池の上に設置する。
【0132】
６．３Ｌの体積のＮａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｏｃｕｌａｔａを、循環条件下で、２．５ｍ３の作業体積、即ち、２０ｃｍの水深において４１ｇ．Ｌ－１の初期総懸濁固体量（ＴＳＳ）濃度で、池に接種した。接種を、約５０ｇ．Ｌ－１の塩分濃度に達するように人工海水で希釈したＦ培地を使用する模擬海洋環境において、周囲温度および光照度で実施した。６８０ｎｍにおける初期光学密度（ＯＤ）は、池中の接種材料の０．１ｇ．Ｌ－１の理論的ＴＳＳ濃度に対応する０．６であった。水路における１０ｍ３．ｈ－１の流速は、０．１７±０．０１ ｍ．ｓ－１）の見掛け流速に対応する。ｐＨを、ＣＯ２添加によって、８±０．５で維持した。微細藻類培養物の体積を、同じ体積の水、塩および栄養素（ＮａＮＯ３およびＮａＨ２ＰＯ４－Ｈ２Ｏ）によって毎日置き換えて、Ｆ培地および塩分の初期濃度を維持した。２週間毎に、少数元素およびビタミンを添加して、Ｆ培地の初期濃度を維持した。このモードの培養を使用して、水路における微細藻類の一定濃度（０．１９±０．０２ｇ．Ｌ－１の理論的ＴＳＳ）を維持した。
【0133】
トレーニングパターンのデータセットを提供するための、微細藻類培養物サンプルの獲得、顕微鏡画像の獲得、およびその事前処理の一例の概観を、ここで記載する。実験結果は、この例に基づいて実施した試験に対応する。
【0134】
サンプルの調製および画像獲得。
単一種の微細藻類培養物から５つの異なるサンプルを収集した：Ｃｈｌｏｒｅｌｌａ ｖｕｌｇａｒｉｓ、Ｄｕｎａｌｉｅｌｌａ ｓａｌｉｎａ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｏｃｕｌａｔａ、Ｔｅｔｒａｓｅｌｍｉｓ ｓｕｅｃｉｃａ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｓｐ．＋Ｔｅｔｒａｓｅｌｍｉｓ ｓｐ．。
単一種の微細藻類培養物から５つの異なるサンプルを収集した：Ｃｈｌｏｒｅｌｌａ ｖｕｌｇａｒｉｓ、Ｄｕｎａｌｉｅｌｌａ ｓａｌｉｎａ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｏｃｕｌａｔａ、Ｔｅｔｒａｓｅｌｍｉｓ ｓｕｅｃｉｃａ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ ｓｐ．＋Ｔｅｔｒａｓｅｌｍｉｓ ｓｐ．。
【0135】
サンプル１つあたり一滴を、薄い顕微鏡スライド上に置く。顕微鏡スライドは、７５×２５ｍｍの寸法を有する。次いで、カバースリップを、マニキュア液を用いてスライド上に密封する。マニキュア液は、流体の流れを防止し、カバースリップを固定化する。Ｄ．ｓａｌｉｎａを含有する複製を、Ｌｕｇｏｌで処置して細胞を固定化した。
【0136】
第１のセットの画像を獲得して、ＡＮＮ関数の例によって、藻類の分類を試験した。
【0137】
画像は、４Ｍｐ１４ビットのカラーカメラを備えた電動式顕微鏡Ｌｅｉｃａ ＤＭ６０００Ｂを用いて獲得する。センサー解像度は、７．４μｍであった。システムは、人間の介入なしに写真撮影されるように視野を構成するために使用されるアプリケーションによって制御される。画像は、６３×の倍率（油浸）およびカメラのビネット効果を回避する１．２×のアダプタを用いて明視野でフィルターなしで取得する。スケールは、０．０９８μｍ／ピクセルである。各視野について、２０４８×２０４８ピクセルの解像度を有する画像のスタックを撮影する。アルゴリズムは、最も鮮明な画像を保存する。露光時間を、視野の背景の値に対応する１４ビット／２を中心とするピクセル色値のヒストグラムの均一な分布を有するために、５ｍｓに較正する。画像獲得手順には、細胞密度により、サンプル１つあたり２４５～４３１視野が必要である。
【0138】
獲得された画像についての画像事前処理の一例をここで記載する。
【0139】
各獲得された画像Ｉは、３つのカラーチャネルを含む：赤（Ｉｒ行列）、青（Ｉｂ行列）および緑（Ｉｇ行列）。したがって、各画像は、寸法２０４８×２０４８×３（ピクセル幅×ピクセル高さ×カラーチャネル）のグリッドである。強度の各々を、イメージングにおいて通常どおり、１バイトでコード化し、したがって、０と２５５との間でコード化する。例えば、黒のピクセルは、値（０，０，０）で示され、白は（２５５，２５５，２５５）で示され、プライマリーレッド（primary red）は（２５５，０，０）で示されるなどである。以下において、表記Ｉ［ｉ，ｊ］を、位置［ｉ，ｊ］における画像Ｉのピクセル値を示すために使用する。
【0140】
画像事前処理は、２つの段階：コントラスト強調およびカラーバランシングを含む。画像事前処理の後には、決定論的物体検出が実施される。
【0141】
コントラスト強調
コントラスト強調方法は、２つの工程を含む。
コントラスト強調方法は、２つの工程を含む。
【0142】
工程１）画像Ｉを、３つのチャネルを平均することＩｗｂ＝（Ｉｒ＋Ｉｇ＋Ｉｂ）／３によって、黒および白の画像に変換する。光強度を、黒および白の画像Ｉｗｂの各ピクセルから計算する。それぞれｐｍａｘおよびｐｍｉｎで示される、画像Ｉｗｂの最大および最小強度情報を捕捉する。
【0143】
工程２）カラー画像のコントラスト強調のための式は、Ｉ’＝２５５＊（Ｉ－ｐｍｉｎ）／（ｐｍａｘ－ｐｍｉｎ）である。したがって、Ｉ’は、コントラスト補正された画像である。この式のおかげで、バイトによって可能な２５５個の可能な値の振幅が、正確に使用される。
【0144】
カラーバランシング。
カラーバランシングは、３つの工程を含む。
カラーバランシングは、３つの工程を含む。
【0145】
工程１）画像の各ピクセルについて、平均ピクセル値ｐを計算する。画像はＲＧＢ画像であるので、平均ピクセル値ｐは、赤チャネルｐｒ、緑チャネルｐｇおよび青チャネルｐｂの平均を示す３つの値を含有する。
【0146】
工程２）ｐｒ、ｐｇおよびｐｍａｘのうちで最も大きい値を、ｐｍａｘと名付ける。
【0147】
工程３）チャネル毎の画像の色合いを、以下の式に従って補正する：
Ｉ’ｒ＝Ｉｒ＊（ｐｍａｘ／ｐｒ）；
Ｉ’ｇ＝Ｉｇ＊（ｐｍａｘ／ｐｇ）；
Ｉ’ｂ＝Ｉｂ＊（ｐｍａｘ／ｐｂ）。
Ｉ’ｒ＝Ｉｒ＊（ｐｍａｘ／ｐｒ）；
Ｉ’ｇ＝Ｉｇ＊（ｐｍａｘ／ｐｇ）；
Ｉ’ｂ＝Ｉｂ＊（ｐｍａｘ／ｐｂ）。
【0148】
コントラスト強調された画像Ｉ’についてピクセル値を（工程１と同様に）再計算する場合、ｐ’ｒ＝ｐ’ｇ＝ｐ’ｂが得られる。言い換えれば、これらの色は、良好にバランスが取れている。背景が灰色であり、背景ピクセルが圧倒的多数である場合、物体は、その自然の色を有する。
【0149】
【0150】
図７Ａ～７Ｂは、コントラスト強調をより具体的に示し、画像のコントラストにおける変化を示す中間結果を示す。図７Ａは、光強度の分布でのヒストグラムを示し、図７Ｂは、コントラスト強調後の対応する分布を示す。分布における変化は、背景に対する微細藻類の視覚的区別を改善する。
【0151】
物体検出
物体検出方法は、サイズ２０４８×２０４８のＲＧＢ画像Ｉをインプットとして取得し、各ピクセルについて、それが物体に属する（値「１」を有する）か属さない（値「０」を有する）かを示す、サイズ２０４８×２０４８のマスクをアウトプットする決定論的関心領域アルゴリズムである。
物体検出方法は、サイズ２０４８×２０４８のＲＧＢ画像Ｉをインプットとして取得し、各ピクセルについて、それが物体に属する（値「１」を有する）か属さない（値「０」を有する）かを示す、サイズ２０４８×２０４８のマスクをアウトプットする決定論的関心領域アルゴリズムである。
【0152】
この方法は、打切りフーリエ変換（Truncated Fourier Transform）に基づく。低周波数ピクセル。係数は、実数および虚数の部分を有する複素数である。
【0153】
物体検出は、７つの工程を含む。
【0154】
工程１）画像Ｉを、黒および白に変換し、より複雑なカラー画像を扱う代わりに、１Ｄまたは２Ｄシグナルに取り組むように、打切りフーリエ変換方法を同じ様式で使用する。
【0155】
工程２）フーリエ係数を、複素係数を用いて変換された画像から計算して、２０４８×２０４８の行列を結果的に得る。例えば、複素係数は、１＋２ｉ型のものである（実数部は数１であり、虚数部は数２ｉである）。行列は、Ｃとして示される。慣例により、最も低い周波数を、行列の中心に格納する。即ち、これは、値Ｃ［１０２４，１０２４］である。
【0156】
工程３）Ｃの対応する行列値を値０＋０ｉに変化させることによって、９つの低周波数係数をキャンセルする。言い換えれば、Ｃ［１０２４，１０２４］＝０＋０ｉならびに８つの隣接値。
【0157】
工程４）逆フーリエ変換を、工程３の後に得られた新たな行列Ｃから計算する。これは、その低周波数がキャンセルされた画像である。逆フーリエ変換の結果は、Ｉ２で示される。
【0158】
工程２～４は、画像の「ハイパスフィルタ」とも呼ばれ得る。
【0159】
工程５）マスクをここで計算する。行列はＢとして示され、寸法２０４８×２０４８のものである。Ｂは、それが物体である場合には１を、背景である場合には０を含有する。値０または１を有する行列Ｉ２の全ての値は背景とみなされるが、それは、これらが低周波数の値に対応するからである。
【0160】
マスクＢを、以下の式に従って、Ｉ２から計算する：
Ｉ２［ｉ，ｊ］＞１の場合にはＢ［ｉ，ｊ］＝１；
他の場合にはＢ［ｉ，ｊ］＝０。
Ｉ２［ｉ，ｊ］＞１の場合にはＢ［ｉ，ｊ］＝１；
他の場合にはＢ［ｉ，ｊ］＝０。
【0161】
工程６）次に、寸法２０４８×２０４８の行列Ｏとして、マスクＢの連結成分の行列を計算する。連結成分を、１～ｎの指数でＯにおいて特定する。値０はまた、Ｏにおける背景をエンコードする。
【0162】
工程７）各連結成分がフレームに嵌められるようなバウンディングボックスのリストを、Ｏを使用して計算する。３つのピクセルの境界を、各連結成分の上／下および左／右に追加する。
【0163】
したがって、工程７のアウトプットの時点でのデータ構造は、４つの値（左上隅のｘ位置、左上隅のｙ位置、ボックスの幅、ボックスの高さ）を有するタプルのリストである。
【0164】
事前処理および物体検出は、捕捉された画像の全てに適用される。次に、注釈が、各検出された物体について決定される。注釈付けは、技術水準のツールを用いて実施され得る。
【0165】
図８は、属Ｔｅｔｒａｓｅｌｍｉｓのいくつかの微生物から構成される培養物の顕微鏡画像８００を含む、トレーニングサンプルに注釈付けする一例を示す。
【0166】
画像８００を、バウンディングボックスによって取り囲まれた各生物において注釈付けする。例えば、コントラストで明確に規定される内部を有し、規則的な形状を有する微生物は、健康な藻類、例えば、バウンディングボックス８１０中の、「ＴＥＴＲＡ＿ｎｏｒｍａｌ」（正常）としかるべくラベルされた微生物に対応する。例えば、バウンディングボックス８２０中の崩壊した内部を有する微生物は、「ＴＥＴＲＡ＿ｓｉｃｋ」（病気）とラベルされる。バウンディングボックス８３０中の非藻類微生物は、「ＯＴＨＥＲ」（その他）とラベルされ得る。
【0167】
実験を、３０００個と４０００個との間の関心領域を各々が含む４０個の画像のデータセットに関して実現した。
【0168】
機械学習方法の態様を記載する。
【0169】
人工ニューラルネットワーク関数。
図９は、微細藻類培養物サンプルの顕微鏡画像を解析するために使用されるＡＮＮ関数の一部９００の一例を示す。
図９は、微細藻類培養物サンプルの顕微鏡画像を解析するために使用されるＡＮＮ関数の一部９００の一例を示す。
【0170】
二項分類器９２０および多クラス分類器９３０を含むＡＮＮ関数の１またはそれ以上のネットワークが、図に示される。
【0171】
二項分類器９２０は、物体検出（関心領域）アルゴリズムによって決定された各バウンディングボックスの内容からなる事前処理された画像の抽出９１０を、インプットとして受け取る。二項分類器９２０は、抽出９１０中に含有される微生物が微細藻類であるか否かを示す二値ラベルをアウトプットする。これを、事前処理から生じる全ての抽出９１０について実施し、物体検出を、獲得された画像に適用する。
【0172】
多クラス分類器９３０は、微細藻類を含有すると二項分類器９２０によって決定された抽出９１０’のみをインプットとして受け取る。他の抽出９１０に対応する位置特定について、ＡＮＮ関数は、最終アウトプットとしてラベル「その他」を提供し得る、即ち、二項分類器９２０のアウトプットは、したがって、その位置特定が非藻類微生物を含有することを、さらなる詳細なしに示す。
【0173】
この例から理解できるように、多クラス分類器９３０は、微細藻類の種または属および生理学的状態の両方の組み合わせを含むクラスの所定のセットからそれぞれのクラスを示すラベルをアウトプットするために構成される。例では、クラスの所定のセットは、厳密には、一方では、複数の属Ｔｅｔｒａｓｅｌｍｉｓ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ、ＤｕｎａｌｉｅｌｌａおよびＣｈｏｒｅｌｌａ間の全ての組み合わせから、他方では、生理学的状態「普通の細胞」（即ち、「正常な」および健康な状態）、「複製」（即ち、複製している、したがって健康な状態）および「良くない健康」（即ち、「病気の」状態）、および、凝集中に存在する属間の区別のない追加の「凝集」生理学的状態、からなる。したがって、多クラス分類器９３０は、抽出９１０’に対応するインプット画像の各位置特定について、属（列挙したものの中の）および生理学的状態（列挙したものの中の）の両方を示すラベル、単一のトレーニング最適化において学習されている情報の２つの断片の認識をアウトプットするために構成される。
【0174】
ニューラルネットワーク９２０は、例えば、畳み込みニューラルネットワーク、例えば、ＹｏｌｏＶ５を含み得る。ニューラルネットワーク９３０は、例えば、畳み込みニューラルネットワーク、例えば、ＩｎｃｅｐｔｉｏｎＶ３、ＲｅｓＮｅｔ５０またはＧｏｏｇｌｅＮｅｔを含み得る。
【0175】
図１０は、機械学習方法に従うトレーニングのパフォーマンスメトリック１０００を示す。ＡＮＮ関数のトレーニングを、高性能計算構造を使用し、パフォーマンスを最適化するためのグラフィカル処理ユニット（ＧＰＵ）を使用して、実施した。事前処理を実施することが、分類の精度間に良好なトレードオフを提供することが分かっている。例えば、図面は、ＡＮＮ関数の精密さ１０２０と、最急降下法を用いて最小化した客観的損失１０１０を最小化するために必要な全体的な時間（工程中の）との間の良好なトレードオフを示す。
【0176】
図１１は、インプット顕微鏡画像（例えば、図６Ａのもの）を、トレーニングされたＡＮＮ関数を用いて処理した結果１１００を示し、ここで、インプット画像は、図９を参照して説明する、バウンディングボックス１１６０、およびクラスの中の関連するラベル１１１０～１１５０のグラフィック表示によって強化される。
【0177】
示された例では、ＡＮＮ関数は、色のバランスを取り、コントラストを強調するために、インプット顕微鏡画像を事前処理する（例えば、図６～７に示される）。次いで、ＡＮＮ関数を、同定された微生物を各々が含有するバウンディングボックス１１６０を決定し、それを画像上に表示するために、決定論的関心領域アルゴリズム（例えば、上記で説明したもの）に適用する。最後に、ＡＮＮ関数を、各バウンディングボックス１１６０の位置における信頼スコア（示した通り）が場合により付随するラベル１１１０～１１４０を決定し、それを図面上に表示するために、１またはそれ以上のニューラルネットワーク分類器（例えば、図９のもの）に適用する。
【0178】
図１１の示された例では、微細藻類培養物サンプルは、属Ｔｅｔｒａｓｅｌｍｉｓのものであった。ラベル１１１０は、健康である属Ｔｅｔｒａｓｅｌｍｉｓの「ｓｉｍｐｌｅ ｃｅｌｌｓ（普通の細胞）」の存在を示す。ラベル１１２０は、ｄｕｐｌｉｃａｔｉｎｇ（複製している）であり、したがって、健康とみなされる属Ｔｅｔｒａｓｅｌｍｉｓの細胞の存在を示す。ラベル１１３０は、病気である属Ｔｅｔｒａｓｅｌｍｉｓの細胞の存在を示す。ラベル１１４０は、「ＯＴＨＥＲ」（その他）として区別なしにマークされる非藻類生物による汚染を示す。ラベル１１４０のまばらさおよび凝集の欠如は、汚染が低く、したがって培養崩壊が差し迫っていることを示さないと解釈され得る。したがって、バイオリアクタは、そのまま活用され続ける場合がある。あるいは、リスクを負うべきでないとみなされ得、作用、例えば、培養物の（例えば、部分的）置き換えが、バイオリアクタに対して実施され得る。
【0179】
図１２Ａおよび１２Ｂは、属Ｔｅｔｒａｓｅｌｍｉｓ、Ｎａｎｎｏｃｈｌｏｒｏｐｓｉｓ、Ｄｕｎａｌｉｅｌｌａおよび／またはＣｈｏｒｅｌｌａの複数の種間、ならびに種々の生理学的状態下を判別するためにトレーニングがどのように使用されるかを示している。図１２Ａは、微細藻類画像のバウンディングボックス（物体検出器によるアウトプット）およびその対応する注釈の例示的な表を示す。各行は、バウンディングボックスの微細藻類のそれぞれの属に対応し、各列は、バウンディングボックスのそれぞれの注釈に対応する。列１２１０のバウンディングボックスは、「ｎｏｒｍａｌ」（正常な）（即ち、健康な）とラベルされる。列１２２０のバウンディングボックスは、各それぞれの属の複製された微細藻類からなり、したがって、「ｄｕｐｌｉ」（複製）とラベルされる。列１２３０のバウンディングボックスは、各それぞれの属の病気の微細藻類からなり、したがって、「ｓｉｃｋ」（病気の）とラベルされる。図１２Ｂは、ＡＮＮ関数のトレーニングが、属の中の種情報を探し、生理学的情報を同時に探すことを示す、混同行列を示す。混同行列の各行は、グラウンドトゥルースとラベルされたデータに対応し、各列は、予測されたラベルに対応する。各セルは、トレーニングの成功率に対応する。混同行列の精度は、高い成功率のセルのほとんど（例えば、６０％を上回る）が、混同行列の対角線上に見出されるという点に反映される。
【0180】
ここで、ＡＮＮ関数は、物体検出ニューラルネットワークを含み得る。図１３は、物体検出ニューラルネットワーク（ＹｏｌｏＶ５＿ｘ）のトレーニングのパフォーマンスを示す。したがって、物体検出ニューラルネットワークを含むＡＮＮ関数のトレーニングは、インプット画像の物体の検出を実施するため、および画像の検出された物体の分類を同時に実施するために、コンテキストを利用する。パフォーマンスメトリック１３１０は、トレーニング時間にわたる物体位置特定のパフォーマンスを示す（低い方が良い）。パフォーマンスメトリック１３２０は、予測の精密さの信頼スコアを示す（高い方が良い）。パフォーマンスメトリック１３３０は、リコール、即ち、クラスを検出する能力を示す（高い方が良い）。
【0181】
ここで、トレーニングは、検出された物体の精度と、画像の微生物を単純に計数することとの間のトレードオフを達成するために改変され得る。図１４は、行列の混同行列を示し、ここで、Ｉｎｔｅｒｓｅｃｔｉｏｎ－Ｏｖｅｒ－Ｕｎｉｏｎ（ＩＯＵ）コンストレイントが弱いコンストレイントとして使用される。ここで、目的は、画像中の微生物を計数することにあり、したがって、混同行列は、より低い信頼なしではあるが、予測されたラベルの大部分を対角線中に示す。
【0182】
ＡＮＮ関数は、自動的な検出アプリケーションに統合され得る。図１５は、ＡＮＮ関数１５２０を組み込むウェブベースのアプリケーション１５００を示す。利用モードは単純である。ユーザーは、インプット画像１５１０を単純に提供し、次いで、ＧＵＩ １５００において推論を実行する。次いで、ＧＵＩは、同じインプット画像を、注釈付けされたバウンディングボックス、例えば、属Ｔｅｔｒａｓｅｌｍｉｓの健康な微細藻類を示すボックス１５３０と共に示す。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】