特表 2022-549684 深層学習による位相画像の再構築

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-28

(54)【発明の名称】深層学習による位相画像の再構築

(51)【国際特許分類】

   G02B 21/00 20060101AFI20221118BHJP

   G06T 1/40 20060101ALI20221118BHJP

【ＦＩ】

G02B21/00

G06T1/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022519207

(86)(22)【出願日】2020-09-24

(85)【翻訳文提出日】2022-05-16

(86)【国際出願番号】 IB2020058915

(87)【国際公開番号】W WO2021059173

(87)【国際公開日】2021-04-01

(31)【優先権主張番号】62/906,605

(32)【優先日】2019-09-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/028,448

(32)【優先日】2020-09-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516003230

【氏名又は名称】パーキンエルマー セルラー テクノロジーズ ジャーマニー ゲーエムベーハー

【氏名又は名称原語表記】ＰＥＲＫＩＮＥＬＭＥＲ ＣＥＬＬＵＬＡＲ ＴＥＣＨＮＯＬＯＧＩＥＳ ＧＥＲＭＡＮＹ ＧＭＢＨ

(71)【出願人】

【識別番号】518410032

【氏名又は名称】パーキンエルマー・ヘルス・サイエンシーズ・カナダ・インコーポレイテッド

【氏名又は名称原語表記】ＰＥＲＫＩＮＥＬＭＥＲ ＨＥＡＬＴＨ ＳＣＩＥＮＣＥＳ ＣＡＮＡＤＡ， ＩＮＣ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】パロ， カウポ

(72)【発明者】

【氏名】アルハイミ， アブドゥルラフマン

【テーマコード（参考）】

2H052

5B057

【Ｆターム（参考）】

2H052AC07

2H052AF14

2H052AF25

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE00

(57)【要約】

態様は、機械学習技術を使用して、複数の焦点面での明視野画像から位相画像を再構成することに関する。機械学習モデルは、整合画像セットで構成されるトレーニングデータセットを使用してトレーニングできる。各整合画像セットは、異なる焦点面での複数の明視野画像及び、任意選択で、対応するグラウンドトゥルース位相画像で構成される。初期トレーニングデータセットには、ダストなどの望ましくない視覚的アーティファクトが実質的にない標本の画像ビューに基づいて選択された画像が含まれる場合がある。次に、トレーニングデータセットの明視野画像を、少なくとも１つの視覚的アーティファクトのシミュレーションに基づいて修正し、モデルのトレーニングに使用する拡張トレーニングデータセットを生成できる。機械学習モデルの出力を、グラウンドトゥルース位相画像と比較して、モデルをトレーニングすることができる。
【選択図】図８Ｂ

【特許請求の範囲】

【請求項1】

位相画像を生成するためのコンピュータ実装方法であって、
１つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、各々が異なる焦点面に対応する、前記複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像とを含む、前記受信すること、
シミュレートする視覚的アーティファクトを少なくとも１つ選択すること、
前記受信したトレーニングデータセットの前記１つまたは複数の整合画像セットの少なくとも１つを修正して、前記標本の前記画像ビューで前記少なくとも１つの選択された視覚的アーティファクトをシミュレートすることにより、１つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも１つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも１つを修正することを含む、前記生成すること、
前記１つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、前記対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第１の入力される明視野画像及び第２の入力される明視野画像を受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第１の入力される明視野画像及び前記第２の入力される明視野画像に対応する位相画像を生成することを含む、前記方法。

【請求項2】

所与の整合画像セットを修正して、前記少なくとも１つの選択された視覚的アーティファクトをシミュレートすることは、
前記少なくとも１つの選択された視覚的アーティファクトに基づいて、前記所与の整合画像セットの第１の明視野画像を修正すること、及び
前記少なくとも１つの選択された視覚的アーティファクト、及び前記所与の整合画像セットの前記複数の明視野画像の焦点面間の差に基づいて、前記少なくとも１つの選択された視覚的アーティファクトに基づく前記所与の整合画像セット内の追加の明視野画像を修正することを含む、請求項１に記載の方法。

【請求項3】

前記明視野画像を修正することは、
ピクセルを水平方向にシフトすること、
ピクセルを垂直方向にシフトすること、
ピクセルを回転させること、
ランダムなバックグラウンドノイズを追加すること、
ピクセルをぼやけさせること、
前記明視野画像の指定された領域にブラックアウト領域を生成すること、
前記明視野画像にランダムなブラックアウト領域を生成すること、または
前記明視野画像の少なくとも１つの領域を暗くすることのうちの少なくとも１つを含む、請求項２に記載の方法。

【請求項4】

ランダムなバックグラウンドノイズを追加することは、ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、またはスペックルノイズのうちの少なくとも１つの形態でバックグラウンドノイズを追加することを含む、請求項３に記載 の方法。

【請求項5】

前記標本の前記画像ビュー内のプレートの境界を回避するために、前記１つまたは複数の整合画像セットが選択される、請求項１に記載の方法。

【請求項6】

前記標本の前記画像化されたビューの中の画像化された視覚的アーティファクトを回避するために、前記１つまたは複数の整合画像セットが選択される、請求項１に記載の方法。

【請求項7】

各グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することによって生成される、請求項１に記載の方法。

【請求項8】

前記生成されたグラウンドトゥルース位相画像が、放物線スライディング補正を適用することによってさらに処理される、請求項７に記載の方法。

【請求項9】

前記整合させた画像のセットの少なくとも１つを修正して、前記標本の前記画像ビューにおける前記少なくとも１つの選択された視覚的アーティファクトをシミュレートすることは、
前記選択された少なくとも１つの視覚的アーティファクトに基づいて前記グラウンドトゥルース位相画像を修正することをさらに含む、請求項１に記載の方法。

【請求項10】

前記械学習モデルがニューラルネットワークを含む、請求項１に記載の方法。

【請求項11】

位相画像を生成するためのコンピュータ実装方法であって、
１つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得された、前記受信すること、
前記受信したトレーニングデータセットの前記１つまたは複数の追加の整合画像セットの少なくとも１つを修正して、少なくとも１つの視覚的アーティファクトをシミュレートすることにより、１つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも１つを修正することを含む、前記生成すること、
前記１つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、前記トレーニングすること、
少なくとも第１の入力される明視野画像及び第２の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第１の入力される明視野画像及び前記第２の入力される明視野画像に基づく得られる位相画像を生成することを含む、前記方法。

【請求項12】

所与の整合画像セットを修正して、少なくとも１つの視覚的アーティファクトをシミュレートすることは、
前記対応する複数の明視野画像内の第１の明視野画像に適用するためにシミュレートされた視覚的アーティファクトを選択すること、
前記第１の明視野画像に関連付けられた前記焦点面に基づいて前記少なくとも１つの選択された視覚的アーティファクトをシミュレートするために前記第１の明視野画像を視覚的に修正すること、
前記選択された少なくとも１つの視覚的アーティファクトを、前記第１の明視野画像に関連する前記焦点面と、前記対応する複数の明視野画像の前記少なくとも１つの他の明視野画像に関連する前記焦点面との間の差に基づいて、前記対応する複数の明視野画像の少なくとも１つの他の明視野画像に投影すること、及び
前記対応する複数の明視野画像の前記少なくとも１つの他の明視野画像を視覚的に修正して、前記投影に基づいて前記少なくとも１つの選択された視覚的アーティファクトをシミュレートすることを含む、請求項１１に記載の方法。

【請求項13】

各整合画像セットが対応するトレーニング位相画像を含み、前記１つまたは複数の整合画像セットの少なくとも１つを修正して、前記標本の前記画像ビューの少なくとも１つの視覚的アーティファクトをシミュレートすることは、
前記少なくとも１つの視覚的アーティファクトに基づいて前記トレーニング位相画像を修正することをさらに含む、請求項１１に記載の方法。

【請求項14】

前記標本の前記画像化されたビュー内で関連付けられたプレートの境界を回避するために、前記１つまたは複数の整合画像セットが選択される、請求項１１に記載の方法。

【請求項15】

各整合画像セットが対応するトレーニング位相画像をさらに含み、所与の整合画像セットについて前記機械学習モデルの生成された出力の前記精度を評価することは、前記対応するトレーニング位相画像に放物線スライディング補正を適用することをさらに含む、請求項１１に記載の方法。

【請求項16】

前記械学習モデルがニューラルネットワークを含む、請求項１１に記載の方法。

【請求項17】

位相画像を生成するように構成された装置であって、
１つまたは複数の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットが、
各々が標本の画像化されたビューの異なる焦点面に対応する複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像とを含む、前記データ記憶装置、
１つまたは複数のプロセッサ、及び
メモリであって、前記１つまたは複数のプロセッサによって実行されると、前記装置に、
前記１つまたは複数の整合画像セットの１つまたは複数を修正して、前記画像ビューの少なくとも１つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも１つの視覚的アーティファクト及び前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも１つを修正することを含む、前記シミュレートすること、
前記修正された整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第１の入力される明視野画像及び第２の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第１の入力される明視野画像及び前記第２の入力される明視野画像に基づく得られる位相画像を生成することを生起させる命令を格納する前記メモリを含む、前記装置。

【請求項18】

前記整合画像セットに関連付けられた前記グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することに基づいて生成される、請求項１７に記載の装置。

【請求項19】

前記命令は、前記装置に、
少なくとも１つのシミュレートされる視覚的アーティファクトを選択すること、
前記第１の明視野画像に関連付けられた第１の焦点面にて、前記少なくとも１つの選択された視覚的アーティファクトをシミュレートするために前記対応する複数の明視野画像の第１の明視野画像を修正すること、
前記少なくとも１つの選択された視覚的アーティファクトを、前記第１の焦点面と、第２の明視野画像に関連する第２の焦点面との間の差に基づいて、前記対応する複数の明視野画像の内部の少なくとも前記第２の明視野画像に投影すること、及び
前記第２の明視野画像を修正して、前記投影に基づいて前記第２の焦点面で前記少なくとも１つの視覚的アーティファクトをシミュレートすることを生起させることによって、所与の整合画像セットの前記複数の明視野画像のうちの少なくとも１つを前記装置に修正させる、請求項１７に記載の装置。

【請求項20】

前記標本の前記画像化されたビュー内の視覚的アーティファクトを回避するために、前記１つまたは複数の整合画像セットが選択される、請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本特許文書の開示の一部は、著作権の保護がなされる内容を含む。著作権の所有者は、特許商標庁の特許出願書及び記録に表現されているように、特許文書または特許開示に関する何人かによる完全な複写には異存がないが、それ以外、すべての著作権などを保有する。

【0002】

関連出願の相互参照
本願は、２０１９年９月２６日に出願された「Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ Ｐｈａｓｅ Ｉｍａｇｅｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」と題された米国仮特許出願第６２／９０６，６０５号、及び２０２０年９月２２日に出願された「Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ Ｐｈａｓｅ Ｉｍａｇｅｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」と題された米国非仮特許出願第１７／０２８，４４８号の優先権を主張するものであり、それらの内容は、参照によりその全体が本明細書に明示的に組み込まれる。

【0003】

本開示は、一般に、機械学習技術を使用して、明視野顕微鏡画像からのものを含む画像セットから位相画像を再構成するための装置、方法、及びシステムに関する。

【背景技術】

【0004】

顕微鏡検査により、人間の目には見えない詳細さのレベルで、世界の諸部分を見ることができるようになった。技術の進歩が進行して昔の「ガラスを見る」アプローチからはるかに遠ざかり、現代の技術は、顕微鏡の世界のいっそう鮮明な画像を提示することができる。画像化技術は、サンプルを観察するための高レベルのズーム分解能をもたらすことと、対象の主題の要素を分離することの両方を目的としている。これらの技術は、生体細胞の研究において特に関心がもたれている可能性がある。

【0005】

定量的位相画像化はそのような手法の１つである。明視野画像化技術は、使用者が見るために、サンプルを照らし、サンプルを通過する光を収集することができる。サンプルに含まれる様々な要素を介した光の屈折の性質により、サンプルの様々な焦点面での一対の明視野画像を処理して組み合わせて、顕微鏡で使用するためのプレートにあるサンプルに含まれる細胞などの、サンプリングされた対象の鮮明な画像を再構成することができる。

【0006】

位相画像化を使用することで、単純な明視野画像化を大幅に強化できる。例えば、標本のビュー（例えば、顕微鏡のビューまたは画像化される他の標本ビュー）は、２つ以上の異なる焦点面で画像化されて、２つ以上の明視野画像を提示し得、次いで、屈折率のコントラストを使用して、結合されて強化された位相画像を生成し得る。例えば、水中に細胞を含むサンプルを含む標本では、水の既知の屈折率（ｎ＝１．３３）を使用して、細胞を分離及び識別し（例えば、ｎ＝１．３５～１．３８）、サンプルの細胞に焦点を合わせた位相画像を生成できる。明視野画像は、近軸照射の強度方程式の輸送の特殊な形式である基本的な位相方程式に基づいて処理及び結合することができる（Ｍ．Ｒ．Ｔｅａｇｕｅ，“Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ｐｈａｓｅ ｒｅｔｒｉｅｖａｌ： ａ Ｇｒｅｅｎ’ｓ ｆｕｎｃｔｉｏｎ ｓｏｌｕｔｉｏｎ，” Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，ｖｏｌ．７３，ｎｏ．１１，ｐｐ．１４３４－１４４１，１９８３）。

【数1】

式中、Ｉは空間座標ｘ、ｙ、ｚの関数としての光の強度、Φは空間座標の関数としての光波の位相、∇及び△は、ｘｙ平面の対応する勾配演算子、ならびにラプラス演算子、∂_ｚＩはｚ軸に沿った強度の導関数である。明視野位相画像化に関する追加の情報は、「Ｑｕａｎｔｉｔａｔｉｖｅ ｐｈａｓｅ－ａｍｐｌｉｔｕｄｅ ｍｉｃｒｏｓｃｏｐｙ Ｉ： ｏｐｔｉｃａｌ ｍｉｃｒｏｓｃｏｐｙ」、Ｅ．Ｄ．Ｂａｒｏｎｅ－Ｎｕｇｅｎｔ ｅｔ ａｌ．，Ｊｏｕｒｎａｌ ｏｆ Ｍｉｃｒｏｓｃｏｐｙ，Ｖｏｌ．２０６，Ｐｔ．３ Ｊｕｎｅ ２００２，ｐｐ．１９３－２０３という論文において見出すことができる。

【0007】

明視野位相画像化は強力なツールになり得る。これは一部のユースケースではうまく機能するが、このアプローチは、一般的なアーティファクト（例えば、ダストの粒子、水滴、ウェルの端／境界）に直面するとき、うまく機能しない場合があり、単相画像を生成するのにかなりの時間（つまり、３～５秒）かかる場合がある。光路の乱れ（例えば、視覚的アーティファクト、または単に「アーティファクト」）は、光を屈折させずに吸収するため、位相画像に特定の問題を呈する可能性がある。位相方程式は吸収効果を取り込まず、これらの効果の説明は不適切な問題であり、計算コストが高いため、これらの乱れまたはアーティファクトは、生成された位相画像に望ましくない結果をもたらす可能性がある。吸収を適切に考慮しないと、相の解はひどく非局所的に歪むことになる。

【0008】

明視野位相画像化のもう１つの欠点は、画像の境界領域である。例えば、画像のエッジを越えると有用なデータがないため、計算された位相画像には、画像のエッジを表す境界領域でのぼかしが含まれる。別の例では、画像化された領域内で光の一部が完全に吸収されると、サンプルのウェルプレートのウェルの境界が、同様の問題を引き起こす可能性がある。その他の問題には、照射の不均一性と、重要なバックグラウンド成分を生成する不完全な近軸照射の組み合わせが含まれる。十分なバックグラウンド除去がまた、信号を劣化させる可能性がある。
本明細書で説明する諸態様は、トレーニングデータセット及びシミュレートされた視覚的アーティファクトに基づいてトレーニングされた新規の機械学習モデルを使用して、これら及びその他の欠点に対処し得る。本明細書に記載された新規の技術を通して、改善された位相画像は、明視野画像のセットから生成され得る。これにより、科学者や研究者の能力が向上し、例えば、画像の鮮明度が向上し、背景のコンテンツと比較して細胞が分離されるため、細胞のサンプルの構造を視認できる。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Ｍ．Ｒ．Ｔｅａｇｕｅ，“Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ｐｈａｓｅ ｒｅｔｒｉｅｖａｌ： ａ Ｇｒｅｅｎ’ｓ ｆｕｎｃｔｉｏｎ ｓｏｌｕｔｉｏｎ，” Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，ｖｏｌ．７３，ｎｏ．１１，ｐｐ．１４３４－１４４１，１９８３

【非特許文献2】Ｑｕａｎｔｉｔａｔｉｖｅ ｐｈａｓｅ－ａｍｐｌｉｔｕｄｅ ｍｉｃｒｏｓｃｏｐｙ Ｉ： ｏｐｔｉｃａｌ ｍｉｃｒｏｓｃｏｐｙ」、Ｅ．Ｄ．Ｂａｒｏｎｅ－Ｎｕｇｅｎｔ ｅｔ ａｌ．，Ｊｏｕｒｎａｌ ｏｆ Ｍｉｃｒｏｓｃｏｐｙ，Ｖｏｌ．２０６，Ｐｔ．３ Ｊｕｎｅ ２００２，ｐｐ．１９３－２０３

【発明の概要】

【課題を解決するための手段】

【0010】

本明細書で説明するのは、人工知能と機械学習を組み込んで、深層学習アルゴリズムを活用して良質の位相画像を自動的に再構築する手法である。これにより、本明細書で特定されるアーティファクトと画像の質の問題の影響を軽減できる。これらの技術はまた、以前の技術よりも短い時間で位相画像を生成し得る（例えば、複数秒かかる以前の技術と比較して１秒未満）。

【0011】

本明細書で説明する態様は、機械学習技術を使用して、複数の焦点面での明視野画像から位相画像を再構成することに関する。機械学習モデルは、明視野画像のセットに基づいて位相画像を生成するようにトレーニングすることができる。１つまたは複数のサンプル（マイクロ）ウェルをさらに含むサンプルウェルプレートのビューを含む標本を画像化する例では、トレーニングデータセットは、当該のサンプルウェルプレートのビュー、及び／またはサンプルウェルプレートの境界、（マイクロ）ウェルの境界、及び／またはほこりなどの他の視覚的アーティファクトなどの視覚的アーティファクトを回避する画像に基づいて選択され得る。機械学習モデルは、標本全体及び／またはそこに含まれるサンプル内のサブ領域を考慮することにより、結果として生じる位相画像への視覚的アーティファクトの影響を減らすようにトレーニングすることができる。トレーニングデータセットは、トレーニングデータセットに画像のコピーを作成し、シミュレートされた視覚的アーティファクトを追加して、シミュレートされたトレーニングデータセット画像を作成することによって、拡張することができる。教師ありトレーニングアプローチでは、機械学習モデルは、シミュレートされたトレーニングデータセットの画像を使用してトレーニングされ、機械学習モデルは、シミュレートされた視覚的アーティファクトに基づいて出力を適応させることを学習し得る。

【0012】

データセット内の整合画像セットは、トレーニング中に機械学習モデルへの入力として使用でき、各整合画像セットは、それぞれ異なる焦点面にある標本のビューに対応する２つ以上の明視野画像と、対応する２つ以上の明視野画像に基づいて生成された標本のグラウンドトゥルース位相画像で構成され得る。整合画像セットに基づいて生成された機械学習モデルの出力を、対応するグラウンドトゥルース位相画像と比較して、モデルをトレーニングすることができる。さらに、及び／または代わりに、教師なしトレーニングアプローチは、対応するグラウンドトゥルース画像を必要としないトレーニングデータセットを使用して行うことができ、この場合、機械学習モデルの生成された出力は、位相方程式を使用して評価される。トレーニングされたモデルは、明視野画像ペアの入力データセットから位相画像を生成するために使用することができる。

【0013】

対応する方法、装置、システム、及びコンピュータ可読媒体はまた、本開示の範囲内にある。

【0014】

これらの機能は、他の多くの機能と共に、以下でより詳細に説明されている。

【0015】

本開示は、例を挙げながら添付の図面において説明されており、添付の図面に限定されない。図面では、同様の参照符号が同様の要素を示す。

【図面の簡単な説明】

【0016】

【図1】本明細書で論じられる１つまたは複数の例示的な態様に従って、本開示の１つまたは複数の態様を実施する際に使用することができるコンピューティングデバイスの例を示す。

【図2】いくつかの態様による、明視野位相画像の例示的な生成を示す。

【図3A】生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。

【図3B】生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。

【図3C】生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。

【図4A】１つまたは複数の態様による、機械学習モデルをトレーニングして位相画像を生成するためのトレーニングデータセットを展開するための方法の説明的な例のブロック図である。

【図4B】１つまたは複数の態様による、機械学習モデルをトレーニングして位相画像を生成するためのトレーニングデータセットを展開するための方法の説明的な例のブロック図である。

【図5】いくつかの態様による、機械学習モデルのトレーニングに使用するための例示的な整合画像セットを示す。

【図6】いくつかの態様による、機械学習モデルのトレーニングに使用するための例示的な修正された整合画像セットを示す。

【図7】いくつかの態様による、視覚的アーティファクトのシミュレーションに関連する光学原理を示す。

【図8A】本明細書に記載の１つまたは複数の態様による、古典的な方法と新規の技術との間の比較結果を示す。

【図8B】本明細書に記載の１つまたは複数の態様による、古典的な方法と新規の技術との間の比較結果を示す。

【発明を実施するための形態】

【0017】

種々の実施形態の以下の説明では、本明細書の一部を構成する添付図面を参照する。図面では、本開示の態様が実施され得る種々の実施形態が例として示されている。他の実施形態を用いてもよく、本開示の範囲か逸脱することなく構造的及び機能的変更を行ってもよいことを理解すべきである。本開示の態様は、他の実施形態が可能であり、種々の異なる方法で実施または実行することができる。また、本明細書で使用されている表現及び用語は、説明を目的としており、限定的なものと見なすべきでないことも理解されたい。むしろ、本明細書で用いる語句及び用語には、その最も広い解釈及び意味を与えるべきである。「含む（ｉｎｃｌｕｄｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｉｎｇ）」ならびにその変形を用いた場合、後述で列記する物品及びその均等物、ならびにさらなる物品及びその均等物を包含することが意図されている。

【0018】

導入として、本明細書で論じられる態様は、ダスト、水滴、ウェルの境界（マルチウォールプレートにおいてなど）、画像の境界線などの視覚的アーティファクトの影響を低減及び／または除去することができる位相画像を生成するために深層学習を採用する装置、システム、方法、及び技術に関連し得、それにより、このようなアーティファクトに関連する従来の方法の欠点に対処する。本開示の目的のために、「アーティファクトのない」画像は、開示されている装置、システム、方法及び技術の適用がない場合に、実質的な画像の歪みを生じる視覚的アーティファクト及び／または不連続性が、実質的にない画像であると理解されるべきである。また、本明細書で使用される場合、「標本」は、画像化されるビュー、または顕微鏡のビューなどの「画像ビュー」の内容を指し、そのような標本は、１つまたは複数の物体、構造、サンプルなどを含み得る。一実施形態では、少なくとも２つの異なる焦点面を使用する標本のアーティファクトのないビュー（例えば、顕微鏡のビュー）からのトレーニングセット画像を取得して、少なくとも第１及び第２の明視野画像を提示し、アーティファクトのない位相画像のビューをそれから取得できる。その後、少なくとも第１及び第２のアーティファクトのない明視野画像は、明視野の顕微鏡画像に存在することが知られている視覚的アーティファクトまたは他のタイプの難題が存在することをシミュレートすることによって修正することができる。修正された明視野画像は、アーティファクトのない位相画像（例えば、修正されていない明視野画像から導出されたもの）と共に、トレーニングセットとして機械学習モデルへの入力として提示される。機械学習モデルは、位相方程式と１つまたは複数のモデルパラメータに基づくトレーニングセットの整合させた画像に基づいて、出力される位相画像を生成できる。そのような実施形態では、機械学習モデルのパラメータは、（アーティファクトのない明視野画像に基づく）アーティファクトのない位相画像を考慮して、シミュレートされたアーティファクトによって誘発された明視野画像を補うように調整される。トレーニングに続いて、実際のアーティファクトを含むサンプル明視野画像が提示されると、開示された装置、方法、及びシステムは、トレーニングされた機械学習モデルを利用して、アーティファクトを補う対応するビューの位相画像を計算することができる。

【0019】

いくつかの実施形態では、機械学習モデル（例えば、ニューラルネットワーク）は、異なる焦点面で取得された標本の一対の明視野画像から位相画像を生成するようにトレーニングされ得る。モデルは、古典的に生成された位相画像を部分的に使用できないようにする可能性がある一般的な問題を回避するようにトレーニングすることができる。トレーニングデータセットは、整合させた画像の比較的クリーンなセットを選択することによって構築できる。これは、視覚的なアーティファクト及びその他の問題を回避する標本またはその（サブ）領域の画像ビューの例を提示するために選択できる。例えば、モデルは、完全な明視野画像内のカットアウト領域のトレーニング画像（例えば、少なくとも２つの異なる焦点面から）を操作するようにトレーニングできる。これにより、モデルは、画像の境界線の影響を低減及び／または除去することを学習できるようになり得る。トレーニングデータセットは、整合させた画像セットを取得し、画像を修正して、明視野顕微鏡の実用性に伴う視覚的アーティファクトまたはその他の難題が存在することをシミュレートすることによって、拡張できる。視覚的なアーティファクトがシミュレートされるため、モデルの出力は、既知のグラウンドトゥルースの例に対して依然として評価できる。このプロセスにより、視覚的なアーティファクトを補正するためのトレーニングされるモデル学習が行われ、生成された位相画像への影響を軽減させ得る。トレーニングされると、モデルを使用して、視覚的アーティファクト及び／または不連続性を含み得る明視野画像／画像ビューから改善された位相画像を生成することができる。

【0020】

モデルのトレーニングは、教師あり学習、教師なし学習、及び／またはハイブリッドの学習アプローチの場合がある。教師あり学習では、トレーニングデータセット内の各整合画像セットに、対応するグラウンドトゥルースの位相画像（例えば、修正されていない、アーティファクトのない明視野画像から導出された位相画像）が含まれ得る。トレーニング中の機械学習モデルの出力をグラウンドトゥルースの位相画像と比較し得、モデルのパラメータを適切に調整することができる。教師なし学習では、修正されていないアーティファクトのない明視野画像に位相方程式（及び／または追加の拡張）を適用することによって計算された、予想されるグラウンドトゥルース位相画像と、トレーニング中の機械学習モデルの出力を、比較できる。いくつかの実施形態では、改善されたモデルのトレーニングを得るために、教師あり学習と教師なし学習の両方の側面を使用するハイブリッドアプローチも使用することができる。

【0021】

いくつかの態様によれば、教師あり学習システム及び／または方法は、画像の境界から離れて選択されて視覚的なアーティファクトからクリーンにした標本またはその部分のアーティファクトのない画像ビューから得る古典的に再構成された位相画像を、機械学習アルゴリズムをトレーニングするためのグラウンドトゥルースとして使用することができる。深層人工ニューラルネットワークモデルは、位相画像の再構成を再現するようにトレーニングすることができる。本明細書に記載の乱れ及びアーティファクトを説明するために、画像増強ツールを使用して、アーティファクトのないトレーニングデータセットの画像（及び／または対応するグラウンドトゥルースの位相画像）の当該のアーティファクトをシミュレートして、人工ニューラルネットワークがそれらの（シミュレートされた）アーティファクトを処理する種々の方法を学習できるようにすることができる。例えば、アーティファクトのないトレーニングデータ及び／またはグラウンドトゥルースの位相画像の暗い領域を作成して、ダスト粒子または液滴の効果をエミュレートすることができ、その場合、このようなアーティファクトの作成／シミュレーションは、対応する明視野画像の焦点面及び、ある場合にはシミュレートされているアーティファクトに与える効果を説明できる。ネットワークは、暗化することによる寄与を無視するようにトレーニングされ得る。さらに、及び／または代わりに、アーティファクトのないトレーニング画像の一部の領域を「ブラックアウト」して、画像の境界またはウェルの境界の効果をシミュレートすることができる。この場合、ネットワークは、これらの領域をブラックアウトされた領域として保持し、近くの画像領域の位相信号に影響を与えないようにトレーニングすることができる。これらの拡張ツール／手法は、教師あり手法の成功を大幅に改善する可能性がある。いくつかの実施形態では、開示される装置、方法、及びシステムは、第１の明視野画像に関連付けられた第１の焦点面と第２の焦点面に関連付けられた第２の焦点面との間の差に基づいて、シミュレートされた視覚的アーティファクトを異なる明視野画像に投影することを含み得る。

【0022】

教師なし学習方法は、いくつかの態様によれば、古典的に再構成された位相画像に依存しない場合がある。代わりに、教師なしの方法は、人工ニューラルネットワークモデルをトレーニングするときに、損失関数として主に位相方程式に直接依存する場合がある。このアプローチでは、同じ方法で画像増強ツール／技術を使用する必要がない場合があり、以前に特定されたアーティファクトと画質の問題を説明することができる。ただし、教師なしアプローチは主に位相方程式（及び関連する拡張）に依存しているため、古典的な再構成で同様の問題に苛まれる可能性のある位相画像の追加の詳細を再構成する可能性がある。したがって、いくつかの教師なし実施形態では、明視野画像が機械学習モデルへの入力として提示され、ランダムな重みを使用して位相画像を計算することができる。位相方程式を使用して、損失を計算し、重みを調整できる。このプロセスは、所定のまたはそうでなければ所望の損失をもたらす位相画像が得られるまで繰り返すことができる。

【0023】

ハイブリッド学習装置、システム、及び／または方法は、いくつかの態様によれば、教師あり方法と教師なし方法の両方を使用して、再構成を実行するようにモデルをトレーニングすることができる。これらの学習方法を機械学習モデルのトレーニングに適用すると、従来の調整に関連する手動のパラメータ調整を必要とせずに、視覚的なアーティファクトの影響を自動的に除去及び／または低減できるモデルが得られる場合がある。

【0024】

異なる焦点面で測定された明視野顕微鏡画像のセットを使用して位相画像を生成するプロセスは、既知の方法である。このアプローチは、一部のユースケースではうまく機能するが、一般的なアーティファクト（例えば、ダストの粒子、ウェルの境界）に直面して、単相画像を生成するのに時間（すなわち、３～５秒）を要するとき、うまく機能しない。

【0025】

しかし、これらの概念をより詳細に論じる前に、本開示の様々な態様を実施及び／またはさもなければ提供する際に使用できるコンピューティングデバイスを含むシステム及び／または方法のいくつかの例を、最初に図１に関して論じる。

【0026】

図１は、本明細書で論じられる１つまたは複数の例示的な態様を実施するために使用され得るコンピューティングデバイス１０１の一例を示す。例えば、コンピューティングデバイス１０１は、いくつかの実施形態では、命令を読み取り及び／または実行し、命令に基づいて１つまたは複数のアクションを実行することによって、本開示の１つまたは複数の態様を実装することができる。いくつかの実施形態では、コンピューティングデバイス１０１は、デスクトップコンピュータ、コンピュータサーバ、モバイルデバイス（例えば、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、その他の任意のタイプのモバイルコンピューティングデバイスなど）、及び／または他のタイプのデータ処理デバイス）などの様々なデバイスを表し、組み込まれ、及び／または含むことができる。

【0027】

コンピューティングデバイス１０１は、いくつかの実施形態では、スタンドアロン環境で動作することができる。他では、コンピューティングデバイス１０１は、ネットワーク化された環境で動作することができる。図１に示されているように、様々なネットワークノード１０１、１０５、１０７、及び１０９は、インターネットなどのネットワーク１０３を介して相互接続されてよい。同様にまたは代わりに、他のネットワークは、プライベートイントラネット、企業ネットワーク、ＬＡＮ、無線ネットワーク、パーソナルネットワーク（ＰＡＮ）などを含む他のネットワークが使用されてよい。ネットワーク１０３は、例示を目的としたものであり、より少ないまたは追加のコンピュータネットワークで置き換えられてもよい。ローカルエリアネットワーク（ＬＡＮ）は、任意の既知のＬＡＮトポロジのうちの１つまたは複数を有してよく、イーサネット（登録商標）などの様々な異なるプロトコルのうちの１つまたは複数を使用してよい。デバイス１０１、１０５、１０７、及び１０９、ならびに他のデバイス（図示せず）は、ツイストペア線、同軸ケーブル、光ファイバ、電波、または他の通信媒体を介してネットワークのうちの１つまたは複数に接続されてよい。

【0028】

図１にて見られるように、コンピューティングデバイス１０１は、プロセッサ１１１、ＲＡＭ１１３、ＲＯＭ１１５、ネットワークインターフェース１１７、入力／出力インターフェース１１９（例えば、キーボード、マウス、ディスプレイ、プリンタなど）、及びメモリ１２１を含み得る。プロセッサ１１１は、１つまたは複数のコンピュータ処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、及び／または機械学習に関連する計算を実行するように適合されたプロセッサなどの他の処理ユニットを含み得る。入力／出力（Ｉ／Ｏ）１１９は、データまたはファイルの読み出し、書き込み、表示、及び／または印刷のための様々なインタフェースユニット及びドライブを含んでよい。Ｉ／Ｏ１１９は、ディスプレイ１２０などのディスプレイと結合することができる。メモリ１２１は、コンピューティングデバイス１０１を構成するためのソフトウェアを特別な目的のコンピューティングデバイスに格納して、本明細書で論じられる様々な機能のうちの１つまたは複数を実行することができる。メモリ１２１は、コンピューティングデバイス１０１の全体的な動作を制御するためのオペレーティングシステムソフトウェア１２３、コンピューティングデバイス１０１に本明細書で論じられる態様を実行するように指示するための制御論理１２５、機械学習ソフトウェア１２７、トレーニングセットデータ１２９、及び他のアプリケーション１２９を格納することができる。制御論理１２５は、機械学習ソフトウェア１２７に組み込まれ得る、及び／またはその一部であり得る。他の実施形態では、コンピューティングデバイス１０１は、これらの構成要素のいずれか及び／またはすべて（例えば、２つ以上のプロセッサ、２つ以上のメモリなど）及び／または他の構成要素及び／または本明細書に示されていないサブシステムの２つ以上を含み得る。

【0029】

デバイス１０５、１０７、及び１０９は、コンピューティングデバイス１０１に関して説明されたのと同様または異なるアーキテクチャを有してよい。当業者は、本明細書で説明されるデータ処理デバイス１０１（または、デバイス１０５、１０７、もしくは１０９）の機能性が、例えば、複数のコンピュータにわたって処理負荷を分散し、地理的位置、ユーザーアクセスレベル、サービスの質（ＱｏＳ）などに基づいてトランザクションを分けるよう、複数のデータ処理デバイスにわたって広げられてもよいことを理解されよう。例えば、デバイス１０１、１０５、１０７、１０９などは、制御論理１２５及び／またはソフトウェア１２７の動作を補助する並列コンピューティング機能を提供するために協働して動作することができる。

【0030】

本明細書で論じられている１つまたは複数の態様は、本明細書に記載の１つまたは複数のコンピュータまたは他のデバイスによって実行される、１つまたは複数のプログラムモジュールなど、コンピュータで使用可能もしくは読み取り可能なデータ及び／またはコンピュータ実行可能命令で具体化されてよい。一般に、プログラムモジュールは、コンピュータまたは他のデバイスのプロセッサで実行されると、特定のタスクを実行する、または、特定の抽象的なデータタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。モジュールは、実行するために後でコンパイルされるソースコードプログラミング言語で記述される場合もあれば、ＰｙｔｈｏｎまたはＲなどの（ただしこれらに限定されない）スクリプト言語で記述される場合もある。コンピュータ実行可能命令は、ハードディスク、光ディスク、取外し可能な記憶媒体、ソリッドステートメモリ、ＲＡＭなどのコンピュータ可読媒体に記憶することができる。当業者によって理解されるように、プログラムモジュールの機能性は、様々な実施形態において必要に応じて組み合わせるかまたは分散することができる。加えて、機能性は、ファームウェアまたは、集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのハードウェア等価物において全体的または部分的に具体化され得る。特定のデータ構造を使用して、本明細書に記載する１つまたは複数の態様をより効果的に実施し得、そのようなデータ構造は、本明細書に記載するコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内で企図される。本明細書にて論じられている様々な態様は、方法、コンピューティングデバイス、データ処理システム、またはコンピュータプログラム製品として具体化され得る。

【0031】

以下でさらに説明するようないくつかの態様を実装するために使用できるコンピューティングデバイスのいくつかの例について説明したので、次に、明視野位相画像を生成するための機械学習モデルをトレーニングするプロセスの論述に移る。

【0032】

図２は、２つの入力された明視野画像からの明視野位相画像の生成の例を示している。第１の画像２１０及び第２の画像２２０は、それぞれ第１及び第２の焦点面を使用して明視野顕微鏡からキャプチャされた画像であり得る。例えば、細胞及び水を含むサンプルを有する標本は、サンプルプレートのウェルに作成され、顕微鏡による画像化のために適切に配置され得る。第１の画像２１０は、第１の焦点面での標本の少なくとも一部のビューのキャプチャされた画像であり得、第２の画像２２０は、第２の焦点面でキャプチャされた標本の同じビューの対応する画像であり得る。明視野位相画像化の原理を適用して、第１の画像２１０及び第２の画像２２０を処理して、位相方程式２３５に基づいて位相画像２３０を生成することができる。このプロセスでは、既知のサンプル媒体（例えば、ｎ＝１．３３の水）及びサンプル（例えば、ｎ＝１．３５～１．３８の細胞）の異なる屈折率を利用して、視覚的なコントラストによってサンプルを背景と分離している画像を生成できる。異なる焦点面の画像へ位相方程式を適用することは、細胞がレンズと同様に動作し、１つの層から次の層に移動するときに細胞を通過する光を凝縮することを認識することに基づいている。光の保存則は、光子を失うことなく、ある場所から別の場所に光がどのように移動するかを決定する。位相方程式を適用すると、第１及び第２の焦点面からの密度情報を変換して、位相画像（Φ）を生成できる。

【0033】

本技術は、アーティファクトのこれらの例または他の例に限定されず、また 画像内の他の視覚的アーティファクト及び／または不連続性に拡張される場合があり、明視野画像を入力するための位相方程式の厳密な適用は、とりわけ、ダストまたはウェルの境界などの視覚的アーティファクトが存在するために使用できない部分を有する位相画像を生成し得る。古典的アプローチでは、位相方程式を使用して生成された位相画像に適用するための様々な調整拡張機能が開発されたが、多くの場合、手作業での調整及び適用が必要である。得られた位相画像に適用された補正は、位相方程式に違反するが、屈折率の点で外れ値である視覚的なアーティファクトの影響を減らすことができる。

【0034】

図３Ａ～３Ｃは、位相画像化の複雑さ、及び対応する適切な結果がいかに見えるかを示している。実際には、明視野画像化は、照射パターンの不完全性、光の損失、ノイズ／妨害、光路の乱れ、及びその他の視覚的アーティファクトの影響を受ける。

【0035】

図３Ａは、バックグラウンドノイズ及び画像の境界に関連する問題を示している。例示的な画像３１０及び３２０では、特定の標本の２つのビューを提示し、バックグラウンドノイズ及び画像の境界という形式での視覚的アーティファクト及び不連続性は、標本の画像ビューの境界近くの領域に望ましくないコントラストをぼかすまたは導入するのに機能する。このバックグラウンドの発光は、位相方程式を厳密に適用した結果である可能性がある。対応する処理された画像３１５及び３２５では、画像３１０及び３２０のコントラストの問題を調整した、より適切な視覚化が提示されている。これらの問題を補うための古典的なアプローチには、バックグラウンドカットオフ／スライディングカットオフアプローチが含まれる。前述のように、これらのアプローチは位相方程式に違反する可能性があり、実際にはエラー率が高くなる可能性があるが、観測にいっそう適した位相画像が生成される。補正は位相方程式から逸脱する可能性があるが、有用な信号と不要な信号の分離が改善される。別の拡張には、生成された位相画像へのハイパスフィルターの適用が含まれる場合がある。ただし、ハイパスフィルターは画像をアンダーシュートし得、特定の問題を十分に解決できない場合がある。より良いアプローチは、放物線のスライディングを一種の「かみそり」として利用し、位相画像の最小値の間を補間して、バックグラウンドの発光する細胞を剃ることができる。ただし、放物線スライディングアプローチでは、操作者による注意深い調整及び適用が必要になる場合がある。

【0036】

同様に、図３Ｂは、ダストの粒子が画像ビューにある場合の画像ビューに関連する問題を示している。画像３３０は、ぼやけと高コントラストのハローに囲まれた、ダスト粒子に過度の重みを与える古典的なアプローチから得られた結果の位相画像の例を示している。標本画像ビューに含まれるダストの粒子（空気からのダストや白衣の繊維など）は、これらが光を吸収し、コントラスト位相画像の生成に使用される保存則の位相方程式に違反するため、著しく劣悪な結果をもたらす可能性がある。画像３３５は、ダスト粒子の影響が低減された画像３３０に対応する処理された画像を示している。画像３４０は、同様の視覚的アーティファクトを示しており、視覚経路の乱れにより、位相画像が画像の一部を黒く（白く）している。画像３４５は、乱れの効果を取り除いた、適切に調整された位相画像を示している。

【0037】

図３Ｃは、マルチウェルプレートなどのウェルの境界が、生成された位相画像に及ぼす可能性のある影響を示している。標本内のサンプル（例えば、生物学的材料、非生物学的材料、及び／または調査中の他のタイプの材料）は、顕微鏡で観察されたマルチウェルプレートの小さなウェルの内部で測定することができるが、そのような例は説明のためにのみ提示されており、開示された方法及びシステムは、他のオブジェクト／標本の他のビューに適用することができる。プレートの境界線は、強力な吸収媒体として機能し、有用な信号を光学的に消失させる可能性がある。未処理の位相画像３５０は、ウェルの境界がウェルの境界を通過する光を吸収する可能性があることを示し、そのため生じた位相画像に、高コントラストで大部分が観測に不適切である領域として示している。古典的なアプローチは、画像のウェルの境界線に実質的に苦闘し、そのような処理アプローチは、生成された位相画像を介して長距離の損傷効果をもたらす可能性がある（例えば、大きな視覚領域に影響を与える）。処理された位相画像３５５は、いくつかの態様によれば、ウェルの境界の影響を除去する強化された画像を示し、素の未処理の位相画像では見ることができなかった標本細胞を明らかにする。本明細書でさらに説明するように、シミュレートされた視覚的アーティファクトを用いた機械学習アプローチを使用して位相画像を生成することの重要な利点は、標本画像のウェルの境界のトレーニングされたモデルのロバストな処理である可能性がある。

【0038】

図４Ａは、位相画像を生成するため機械学習モデルをトレーニングするための新規の方法４０００の一実施形態を示す。方法４０００は、１つまたは複数の初期の整合させた明視野画像のセットの取得を含む初期トレーニングデータセットに基づいて機械学習モデルをトレーニングすることができ、各明視野画像は、異なる焦点面で得られたセットの中にある。そのような初期データセット画像は、視覚的アーティファクト及び／または不連続性が実質的にないビューを含み得る。トレーニングデータセットは、初期整合画像トレーニングセット（明視野画像）の１つまたは複数を修正して、古典的アプローチでは位相画像を生成するときに分類に困難な場合のあった視覚的アーティファクト及び／または不連続性をシミュレートすることにより、追加の整合画像セットを生成することによって拡張できる。機械学習モデルは、シミュレートされた視覚的アーティファクト及び／または不連続性についてトレーニングされ、ダスト、水滴、境界、例えばウェルの境界、及びプレートの境界、及び明視野画像化で発生する可能性のある他の視覚的アーティファクト及び不連続性（例えば、図３Ａ～３Ｃに関して説明したように）を含むがこれらに限定されないかような視覚的アーティファクトの存在下でも位相画像の生成を改善することができる。方法４０００は、任意の適切なコンピューティングデバイス（図１のコンピューティングデバイス１０１など）によって実施され得、コンピュータ可読媒体に具体化され、及び／または適切に構成されたシステムに具体化され得る。機械学習モデルは、畳み込みニューラルネットワークなどの深層学習手法を採用した人工ニューラルネットワークの場合がある。ディープニューラルネットワークは、入力層と出力層を超えて１つまたは複数の隠れ層を含むニューラルネットワークである場合がある。多くのタイプの人工ニューラルネットワークは、入力される明視野画像に基づいて位相画像を生成するのに適しており、ここで説明する態様は、機械学習モデルで採用されている特定のニューラルネットワーク構造に関係なく等しく適用できる。当技術分野で理解されるように、機械学習モジュールによって生成された候補の位相画像は、教師あり学習、教師なし学習、及び／またはハイブリッド学習アプローチを使用して評価することができ、機械学習モデルのパラメータは、機械学習モデルの精度を向上させるべく評価に基づいて調整することができる。

【0039】

４０１０で、方法４０００を実施するコンピューティングシステムは、１つまたは複数の整合画像セットを含む初期トレーニングデータセットを選択することができる。初期トレーニングデータセット内の各整合画像セットは、異なる焦点面で見た標本の２つ以上の画像を含む場合がある。例えば、整合画像セットは、第１の焦点面でのビューに対応する標本の第１の明視野画像と、第２の焦点面でのビューに対応する同じ標本の第２の明視野画像とを含み得る。初期トレーニングデータセットは、一般に、重大な視覚的アーティファクト及び／または不連続性が実質的にない、整合させた画像のセットを含むように選択することができる。例えば、トレーニングデータセットは、マルチウェルプレートのダスト粒子またはウェルの境界を実質的に回避するように選択された例を含み得る。教師あり学習を適用する場合、トレーニングデータセットは、実質的にアーティファクトのない整合画像セットに基づいて生成された、対応する位相画像を含むことができる。対応する位相画像は、第１及び第２の明視野画像に対して位相方程式を適用するなど、古典的なアプローチを使用して生成することができる。位相画像は、バックグラウンドの発光／ノイズを低減するための放物線スライディング補正を適用することなどによる補正によって、さらに強化される場合がある。

【0040】

４０２０で、コンピューティングシステムは、視覚的アーティファクトをシミュレートするための初期整合画像セットを修正することによって、追加の整合画像セットを生成することによって、トレーニングデータセットを強化することができる。

【0041】

４０３０で、システムは、初期の「アーティファクトのない」画像と修正された画像を含む、強化されたトレーニングデータセットで、機械学習モデルをトレーニングできる。トレーニング中、４０３３で、機械学習モデルは、トレーニングデータセット内の整合された明視野画像セットから候補の位相画像を生成する場合がある。２つの明視野画像を有する例示的な実施形態では、第１の焦点面での第１の明視野画像及び整合画像セットの第２の焦点面での対応する第２の明視野画像を、機械学習モデルに入力することができる。３つ以上の焦点面が整合させた画像のセットでキャプチャされるいくつかの実装形態では、入力は、異なる焦点面での明視野画像のそれぞれを含み得る。本明細書で説明する例示的な実施形態では、機械学習モデルは、整合セットの第１及び第２の明視野画像に基づいて生成された候補の位相画像を出力することができる。４０３５で、生成された候補の位相画像は、以下に説明するように、教師あり学習、教師なし学習、及び／またはハイブリッド学習アプローチを使用して評価することができる。また、４０３７では、評価に基づいて機械学習モデルのパラメータを調整して、機械学習モデルの精度を向上させることができる。

【0042】

教師あり学習アプローチでは、図５に示される整合画像セットを使用し得る前述の例によれば、第１及び第２の明視野画像に対応する、モデルによって生成されるトレーニングデータセットからの整合画像セットに対応する候補の位相画像は、トレーニングデータセットの対応するグラウンドトゥルース位相画像（例えば、実質的にアーティファクトのない明視野画像データセット（複数可）から得る古典的方法により生成された位相画像）と比較され得る。グラウンドトゥルース位相画像と機械学習モデルによって生成された候補の位相画像の違いを使用して、モデルをさらにトレーニングすることができる。すなわち、モデルのパラメータは、機械学習モデルの出力を調整及び／または改善するために、差異に基づいて調整され得る。

【0043】

教師なし学習アプローチでは、機械学習モデルで生成された候補の位相画像を、必要に応じて補正と共に、位相方程式を使用して評価できる。すなわち、明視野画像セットまたは複数の明視野画像から生成された（モデルによって）候補の位相画像は、明視野画像の複数の焦点面で作用する光学法則に対するそのエラー率が評価され得る。例えば、機械学習モデルのトレーニングでは、位相方程式を損失関数として使用し、候補の位相画像と対応する明視野画像を入力として使用でき、モデルは、候補の位相画像を生成するときに損失関数を最小化するようにトレーニングできる。態様は、モデルがトレーニングサイクルを通過するたびにニューラルネットワークの重みに小さなランダムな変更を実行することにより、最小の損失を最適化でき、得られた損失は、各サイクルの終わりに向けて観察できる。得られた損失は、最良の保存モデルのパフォーマンスを評価するために、多くのサイクルにわたって観察され得る。

【0044】

ハイブリッド学習アプローチでは、教師あり学習と教師なし学習の両方の態様を採用できる。例えば、整合画像セットの候補の位相画像を生成した機械学習モデルは、位相方程式に関連するエラー率も考慮しながら、対応するグラウンドトゥルース位相画像に対して評価できる。一部のモデルパラメータは、教師あり学習に基づいてより適切に調整される可能性があるが、他のモデルパラメータは、教師なし学習に基づいてより適切に通知される可能性がある。監視ありアプローチと監視なしアプローチでは、同じデータセットまたは異なるデータセットを使用できる。例えば、第１のトレーニングデータセットは、明視野画像及びグラウンドトゥルース位相画像のセットを介した監視された学習をサポートし得、一方、第２のトレーニングデータセットは、グラウンドトゥルース位相画像を省くことができる。

【0045】

ステップ４０４０で、トレーニングされたモデルを使用して、実際のデータから位相画像を生成することができる。明視野画像のライブのセットなどの明視野画像のソースから受信したデータをモデルに送って、観察を補助するために研究者に提供できる位相画像を生成することができる。

【0046】

図４Ｂは、本明細書に記載の装置、方法、及びシステムによって開示されるような、位相画像を生成するための機械学習モデルのトレーニングのためのトレーニングデータセットを生成するための１つの方法４００を示す。図４Ｂの例では、ビューは顕微鏡のビューである。方法４００は、方法４０００（図４Ａ）の態様を実施することができる。方法４００は、顕微鏡のビューの少なくとも２つの明視野画像の整合セットを含むトレーニングデータセットに基づいて機械学習モデルをトレーニングすることができ、各明視野画像は、異なる焦点面を用いて得られる。図４Ｂに示されるように、初期トレーニングデータセットは、視覚的アーティファクトまたは不連続性が実質的に及び／または比較的ない、整合させた画像または画像ビューの例を選択することに基づいて構築され得る。初期トレーニングデータセットは、初期整合画像トレーニングセットからの追加の整合（修正された明視野）画像セットを生成することによって、また古典的アプローチでは分類または別の処理に困難な場合のあった視覚的アーティファクト及び／または不連続性をシミュレートすることにより、拡張できる。そのような明視野画像の修正は、異なる明視野画像に関連する異なる焦点面、及び異なる焦点面でのアーティファクト／不連続性の潜在的に異なる視覚効果に基づくことができる。特定の学習スキームの実施形態では、開示される方法及びシステムは、「グラウンドトゥルース」位相画像（実質的にアーティファクトのない明視野画像から生成される）を、明視野画像に対して行われるような対応する視覚的アーティファクト及び／または不連続性で修正することも含み得る。機械学習モデルは、シミュレートされた視覚的アーティファクトについてトレーニングされ、図示の実施形態において、ダスト、水滴、境界、ウェルの境界、及び明視野画像化で発生する可能性のある他の視覚的アーティファクト（例えば、図３Ａ～３Ｃに関して説明したように）を含み得るがこれらに限定されないかような視覚的アーティファクトの存在下でも位相画像の生成を改善することができる。方法４００は、任意の適切なコンピューティングデバイス（図１のコンピューティングデバイス１０１など）によって実施され得、コンピュータ可読媒体に具体化され、及び／または適切に構成されたシステムに具体化され得る。

【0047】

４０１で、方法４００を実施するコンピューティングシステムは、少なくとも２つの明視野画像の整合セットを選択することによって初期トレーニングデータセットを生成することができ、整合セットの各画像は、異なる焦点面での標本の画像ビューを含む。例えば、２つの明視野画像の場合、第１の明視野画像は、第１の焦点面での標本の特定の顕微鏡のビューで取得され、第２の明視野画像は、同じ標本の同じ顕微鏡のビューで取得されるが、第２の焦点面に対応する。４０１で選択された画像は、実質的に「アーティファクトがない」ものであり得、好ましくは、いずれかの顕著な及び／または望ましくない視覚的アーティファクト及び／または不連続性を実質的に含まない。教師あり学習の実装形態では、４０２で、４０１で取得された（アーティファクトのない初期トレーニングデータ）明視野画像の対応する整合セットに基づいて、位相方程式を適用することにより、トレーニング位相画像を生成できる。したがって、対応するトレーニング位相画像（「グラウンドトゥルース位相画像」）は、他の技術を使用することもできるが、古典的なアプローチを使用して生成することができる。対応するトレーニング位相画像は、バックグラウンドの発光／ノイズを低減するための放物線スライディング補正の適用などによる補正を用いて、さらに強化される場合がある。「アーティファクトのない」明視野画像とそれに対応する「アーティファクトのない」位相画像を保存することができる。教師なし学習の実装形態では、４０２を省略できる。

【0048】

４０３で、１つまたは複数の視覚的アーティファクトを選択することができ、本明細書で前述したように、ビュー内の標本またはサンプルタイプの明視野画像に典型的な視覚的アーティファクトのいずれか１つまたは複数を含むことができる。以前に提示されたように、そのような視覚的アーティファクトは、ダスト、ウェルまたはプレートの境界、ブラックアウトされた領域などを含み得、本開示は、そのようなアーティファクト及び／または不連続性が、標本とその特性に基づいているときに、本明細書に記載されているようなシミュレーションのために選択され得る視覚的アーティファクトのタイプに限定されない。４０４で、そのような１つまたは複数の選択された視覚的アーティファクトは、例えば、ピクセルを水平及び垂直にシフトする、画像のピクセルを回転させる、ランダムなバックグラウンドノイズ（ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、スペックルノイズなど）を追加する、ピクセルをぼやけさせる、マイクロウェルまたはマイクロプレートの境界などをシミュレートする、及び／または（先のアーティファクトのない明視野）画像全体にわたるランダムなブラックアウト領域を生成することなどにより、既知の技術を使用して、「アーティファクトのない」明視野画像のそれぞれにシミュレートされた方法で、適用され得る。

【0049】

４０５で、視覚的アーティファクトが、「アーティファクトのない」明視野画像から生成され、それに対応する「アーティファクトのない」位相画像にもシミュレートされた方法で適用されるべきかどうかが決定され得る。そのような決定は、選択されたアーティファクト（複数可）及びそのようなアーティファクトが学習プロセスに及ぼす可能性のある影響に基づく可能性がある。例えば、マイクロウェルプレートの境界線、ウェルの境界線、及びその他の完全に吸収する視覚的アーティファクトを選択して、（アーティファクトのない）位相画像に複製し、機械学習をより適切に導くことができる。他のアーティファクトは、位相画像でシミュレートされない場合がある。

【0050】

「アーティファクトのない」位相画像を視覚的アーティファクトで修正することが決定された場合、４０６で、対応する修正された位相画像が生成され得る。修正された明視野画像及び修正された位相画像は、整合画像セットを含み、４０７でトレーニングデータセットの一部として保存される。別様に、視覚的アーティファクトが位相画像に適用されない場合、「アーティファクトのない」位相画像及び修正された明視野画像は、整合画像セットを含み、４０８でトレーニングデータセットの一部として保存される。修正された整合画像セットが保存された後、４０９で、これらの同じ初期画像を使用して、異なるアーティファクトを持つ別の整合画像セットを作成することが決定され得る。そのような場合、本明細書で説明するプロセスは、４１０で繰り返すことができ、同じ「アーティファクトのない」明視野画像及び対応する「アーティファクトのない」位相画像４１０に基づくが、様々なアーティファクトでトレーニングデータセットを増強するための新しい整合画像セットを生成する。追加的及び／または代替的に、ステップ４１１において、「アーティファクトのない」明視野画像の新しいセットは、図４に示されるように、ステップ４０１及び方法４００に戻ることによって取得され得る。図４を繰り返すことにより、他の初期整合セットの明視野画像、及び／または以前に生成された他の整合セットのトレーニングデータに基づいて、修正された整合セットの画像を生成することができる。例えば、一部の実装では、４１０に示すように「リセット」するのではなく、システムは、すでに修正されている整合セットを選択し、別のアーティファクトでそれをさらに変更する場合がある。トレーニングデータセットに必要なすべての画像セットが含まれると、トレーニングデータセットを提示して、４１２で機械学習モデルをトレーニングし、研究者や他の使用者が使用する位相画像を生成できる。

【0051】

図５は、得られた明視野画像（図４Ｂ、４０１を参照）の数が２である、例示的なトレーニングデータセットの例示的な整合画像セット５００を示している。整合画像セット５００は、第１の焦点面で取得される標本の第１の明視野画像５１０と、第２の焦点面で取得される標本の第２の明視野画像５２０とを含み得る。位相画像５３０は、放物線スライディング補正などの適切な補正と共に、画像５１０及び５２０に位相方程式を適用することによって生成することができる。

【0052】

例示的な画像５１０、５２０、及び５３０は、望ましくないアーティファクトが実質的にない場合がある。例えば、画像の境界が除去され、その結果機械学習モデルが画像の境界の近くの異常な結果についてトレーニングされない。例えば、画像の境界の特定のピクセル範囲内の画像データは、トレーニングデータセット画像５１０、５２０、及び５３０から削除され得る。いくつかの実施形態では、機械学習モデルは、画像５１０及び５２０からのデータを考慮して、グラウンドトゥルースとして位相画像５３０に到達するようにトレーニングにさらに情報を与えることができる。モデルは、位相画像５３０の縮小領域を生成することを目的としているが、いくつかの実装形態では、縮小領域内のコンテンツをよりよく予測するために、画像５１０及び５２０内のその領域の外側からの追加データを考慮することができる。

【0053】

図６は、２つの明視野画像を含む例示的なトレーニングデータセットの例示的な修正された整合画像セット６００を示している。第１の焦点面６１０での第１の修正された明視野画像は、シミュレートされたウェルの境界６１１及びシミュレートされたダスト粒子６１３を含むように修正され得る。これらのシミュレートされたアーティファクトは、第２の焦点面に対応する、対応する第２の明視野画像、及び対応するグラウンドトゥルース位相画像に投影され得る。例えば、修正された第２の明視野画像６２０は、シミュレートされたウェルの境界６２１を含むように修正され、これは、標本の超越している焦点面としてのウェルの境界の性質に起因して、シミュレートされたウェルの境界６１１と実質的に同じであり得る。しかし、ダスト粒子６１３は、第１の明視野画像と第２の明視野画像との間の焦点面の違いに起因して、修正されたトレーニングデータセットの第２の明視野画像６２０に、より大きな影響を与えるよう投影され得る。例えば、ダストに関連する光学特性、及び第１の焦点面と第２の焦点面との間の距離を使用して、システムは、ダストがより鋭く（例えば、より深く、より暗い）見える第２の焦点面６２０と比較して、ダストが、第１の焦点面６１０においてより集中しておらず、より分散しているように見えるはずであると計算し得る。図７は、シミュレートされたアーティファクトをある平面から別の平面に投影することに関係する光学原理の図７００を提示する。特に、ダスト粒子が実際に光とどのように相互作用するかにより、上側平面７１０は、下側平面７２０よりもぼやけている可能性がある。さらに、メニスカス効果により、第２の焦点レベルに投影されたときに、投影されたダスト粒子の位置がわずかに変化する可能性がある。したがって、開示される方法及びシステムは、選択されたアーティファクト／不連続性、及び対応する焦点面でのそのような選択されたアーティファクト／不連続性の関連する視覚的な効果に基づいて、アーティファクトのない（例えば、「初期」）トレーニングデータセット画像を修正することによりシミュレートすること、及びアーティファクト及び／または不連続性を含んでいる。

【0054】

図４Ｂに提示されるように、４０５～４０８で、適切な場合、トレーニングデータセットに対応するグラウンドトゥルース位相画像は、シミュレートされた視覚的アーティファクトの所望の影響を投影するように修正され得る。例えば、システムは、修正されたトレーニングデータセット位相画像６３０を生成して、画像６１０及び６２０と実質的に同じ形式でシミュレートされたウェルの境界６３１を含むことができる。しかし、領域６３３に示すように、シミュレートされたダスト粒子６１３の視覚的なインパクトは大幅に減少し得る。したがって、シミュレートされた視覚的アーティファクトは、機械学習モデルを望ましい結果に導くように構成され、有用な信号を最大化し、無駄な信号を減らす方法で視覚的アーティファクトを適切に補償することができる。

【0055】

図５に示されるもののように、（初期またはアーティファクトのない）トレーニングデータセットには、視覚的なアーティファクト及び他の複雑さを回避するために選択された例が含まれているため、機械学習モデルは、比較的クリーンな入力データにおいて位相画像を正確に生成するようトレーニングされ得る。しかし、本明細書に記載の態様によれば、図６に示されているものなどの、例示的な修正した整合画像セットは、標本のビューにおける視覚的アーティファクトを処理するために機械学習モデルをトレーニングするべく使用され得る。

【0056】

開示された装置、システム、及び方法では、クリーンな（例えば、望ましくないアーティファクトからの実質的なアーティファクトのない）画像／トレーニングデータから開始することにより、システムが依然として整合セットに対応するグラウンドトゥルース位相画像を知りながらも、明視野画像の整合セットに修正を加えることが可能になる。したがって、シミュレートされた視覚的アーティファクトの修正された例に対する機械学習モデルのパフォーマンスは、機械学習モデルが、シミュレートされたグラウンドトゥルース位相画像または修正されていない元のグラウンドトゥルース位相画像にどれだけ正確に到達できるかに基づいて、評価し得る。

【0057】

本明細書に提示されている場合、例えば、第１の焦点面での第１の明視野画像と、（同じ標本の）修正されるトレーニングデータのセットの第２の焦点面での対応する第２の明視野画像を、機械学習モデルに入力することができる。機械学習モデルは、修正されたトレーニングデータのセットの第１及び第２の明視野画像に基づいて生成された候補の位相画像を出力することができる。つまり、機械学習モデルによって生成された候補の位相画像は、シミュレートされたアーティファクトに基づき得る。生成された候補の位相画像は、上で説明したものと類似する、教師あり学習、教師なし学習、及び／またはハイブリッド学習のアプローチを使用して評価することができる。特に、生成された候補の位相画像は、教師あり学習アプローチで、修正されたトレーニングデータセット（シミュレートされた視覚的アーティファクトも含まれるか、変更されていないか）に対応するグラウンドトゥルース位相画像に対して評価できる。いくつかの実施形態では、生成された候補の位相画像は、モデルのトレーニングを導くための損失関数として、例の修正された明視野画像に適用される位相方程式を使用して、教師なしアプローチを使用して評価され得る。いくつかの実施形態では、上記のように、ハイブリッドアプローチを適用することができる。本明細書に記載のように、評価に基づいて機械学習モデルのパラメータを調整して、機械学習モデルの精度を向上させることができる。

【0058】

一度トレーニングされると、機械学習モデルは、実際の明視野画像データから位相画像を生成するべく使用することができる。明視野画像のライブのセットなどの明視野画像のソースから受信したデータをモデルに送って、観察を補助するために研究者に提供できる位相画像を生成することができる。トレーニング段階でアーティファクトをシミュレートしたデータでトレーニングされたモデルは、実際のデータの視覚的なアーティファクトに対して堅牢である可能性がある。

【0059】

図８Ａ及び８Ｂは、古典的なアプローチの結果と比較して、本明細書で説明されるいくつかの態様に従ってトレーニングされた機械学習モデルから得た結果の例を示す。図８Ａは、画像８１０にウェルの境界が提示された場合に、古典的なアプローチがいかに失敗するかを示している。本明細書に記載のいくつかの態様の実施態様に従って生成された画像８２０は、ウェルの境界の近くにある細胞を依然として示しながら、ウェルの境界の明確な視覚化を提示する。別の例として、図８Ｂは、本明細書に記載の態様の実施態様による明視野画像のダスト粒子の処理を、古典的なアプローチと比較している。第１の明視野画像８３１及び第２の明視野画像８３３は、標本の細胞及び水と比較して高度に光学的に吸収性であるダスト粒子を含む。古典的なアプローチでは、結果として得られる位相画像８４０は、ダスト粒子によって引き起こされる無用な信号のために実際には使用できない。対照的に、画像８４５（本明細書に記載のいくつかの態様の実施によって生成される）は、ダスト粒子によって導入される無用な信号を最小化し、ダスト粒子の周りの細胞の有用な信号を保持する。

【0060】

上記のように、本明細書で説明される態様は、明視野画像から位相画像を生成するために機械学習モデルをするためのプロセスに関連する。本明細書で説明する態様は、機械学習モデルの構造に関係なく等しく適用され得る。例示的な実施態様は、機械学習モデルのために畳み込みディープニューラルネットワーク構造を使用することができる。特に、使用できる機械学習モデルの１つの例示的な実施態様を以下に詳しく説明する。この実施態様では、機械学習モデルは、Ｇｏｏｇｌｅが提供するＴｅｎｓｏｒＦｌｏｗライブラリに基づいて実施できる。このモデルは「Ｕ」字型で、入力画像を段階的に縮小して関連する特徴を識別してから、結果の画像に拡大して戻す。Ｕ字型のアーキテクチャは、単一のピクセルレベルに到達するまで画像を徐々に縮小する一連の層を進み、その後、逆重畳を使用して、フルスケールの画像に戻る作動をすることができる。

【0061】

Ｕ字型ネットワークは、各ステップの４倍など、画像の解像度を繰り返しダウンスケールする場合がある。各畳み込みで、１ピクセルは前のレベルからの４または１６ピクセルに対応する場合がある。その結果、各進行層で、個々のピクセルにさらに多くの情報が含まれる。このことは、モデルの区分的トレーニングを容易にでき、ニューラルネットワークが様々な詳細レベルで検討する関連機能を特定できるようにし得る。一部の実施態様では、Ｕ字型ネットワークは３２個のフィルターの３ｘ３または４ｘ４の畳み込みディープニューラルネットワーク層で構成される。２つの平面（例えば、上側平面と下側平面）で２５６ｘ２５６ピクセルがあり得る入力画像が、徐々にフィルタリングされる。各層で、画像をさらにコンポーネント画像に分割できる。重複している画像の２５６のパッチは、ネットワークにフィードして、一緒に背後に並べて表示される前に個別に処理する場合がある。

【0062】

ＴｅｎｓｏｒＦｌｏｗライブラリを使用して畳み込みニューラルネットワークを構築するＰｙｔｈｏｎコードの例を以下に再現する。これは、本明細書で説明するいくつかの態様を実装するために使用できる。
ｌａｙｅｒ１ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｘ，６４，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ２ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ１，１２８，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ３ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ２）
ｌａｙｅｒ４ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ３，２５６，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ５ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ４）
ｌａｙｅｒ６ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ５，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ７ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ６）
ｌａｙｅｒ８ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ７，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ９ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ８）
ｌａｙｅｒ１０ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ９，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ１１ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ１０）
ｌａｙｅｒ１２ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ１１，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ１３ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ１２）
ｌａｙｅｒ１４ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ（ｌａｙｅｒ１３，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｌｅａｋｙ＿ｒｅｌｕ）
ｌａｙｅｒ１５ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ１４）
ｌａｙｅｒ１６ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ１５，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ１７ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ１６）
ｌａｙｅｒ１８ ＝ ｔｆ．ｌａｙｅｒｓ．ｄｒｏｐｏｕｔ（ｌａｙｅｒ１７，０．５，ｔｒａｉｎｉｎｇ＝ｉｓ＿ｔｒａｉｎｉｎｇ）
ｌａｙｅｒ１９ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ１２，ｌａｙｅｒ１８），ａｘｉｓ＝３）
ｌａｙｅｒ２０ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ１９，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ２１ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ２０）
ｌａｙｅｒ２２ ＝ ｔｆ．ｌａｙｅｒｓ．ｄｒｏｐｏｕｔ（ｌａｙｅｒ２１，０．５，ｔｒａｉｎｉｎｇ＝ｉｓ＿ｔｒａｉｎｉｎｇ）
ｌａｙｅｒ２３ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ１０，ｌａｙｅｒ２２），ａｘｉｓ＝３）
ｌａｙｅｒ２４ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ２３，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ２５ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ２４）
ｌａｙｅｒ２６ ＝ ｔｆ．ｌａｙｅｒｓ．ｄｒｏｐｏｕｔ（ｌａｙｅｒ２５，０．５，ｔｒａｉｎｉｎｇ＝ｉｓ＿ｔｒａｉｎｉｎｇ）
ｌａｙｅｒ２７ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ８，ｌａｙｅｒ２６），ａｘｉｓ＝３）
ｌａｙｅｒ２８ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ２７，５１２，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ２９ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ２８）
ｌａｙｅｒ３０ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ６，ｌａｙｅｒ２９），ａｘｉｓ＝３）
ｌａｙｅｒ３１ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ３０，２５６，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ３２ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ３１）
ｌａｙｅｒ３３ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ４，ｌａｙｅｒ３２），ａｘｉｓ＝３）
ｌａｙｅｒ３４ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ３３，１２８，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ３５ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ３４）
ｌａｙｅｒ３６ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ２，ｌａｙｅｒ３５），ａｘｉｓ＝３）
ｌａｙｅｒ３７ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ３６，６４，４，２，’ｓａｍｅ’，ａｃｔｉｖａｔｉｏｎ＝ｔｆ．ｎｎ．ｒｅｌｕ）
ｌａｙｅｒ３８ ＝ ｔｆ．ｌａｙｅｒｓ．ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ（ｌａｙｅｒ３７）
ｌａｙｅｒ３９ ＝ ｔｆ．ｃｏｎｃａｔ（（ｌａｙｅｒ１，ｌａｙｅｒ３８），ａｘｉｓ＝３）
ｌａｙｅｒ４０ ＝ ｔｆ．ｌａｙｅｒｓ．ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ（ｌａｙｅｒ３９，１，４，２，’ｓａｍｅ’）

【0063】

本明細書で説明する態様は、ニューラルネットワークモデルのトレーニングプロセスに焦点を当てている。モデルは、シフトの補正及びバックグラウンドの発光の低減などの古典的な手法の側面を使用して、候補の位相画像に補正を適用するように構成することができる。モデルは、位相方程式を使用して質をテストするように（例えば、損失関数として）設計できる。ただし、補正は通常、位相方程式に違反するため、モデルを適切に構成して、一部の実施態様で補正を適用する前に、生成された位相画像の精度を評価できる。サンプルのニューラルネットワーク構造に関して上で説明したように、入力画像は、処理を容易にするために並べて表示され、次に、一緒に背後にステッチされて、最終的な位相画像に結合され得る。ニューラルネットワーク構造の態様は調整可能であってよい。例えば、メタパラメータ（及び／またはハイパーパラメータ）を調整して、機械学習モデルのパフォーマンスをさらに向上させることができる。特定の例として、各層で使用されるフィルターの数は、実施態様に応じて調整することができる。

【0064】

結果として生じる位相画像をさらに改善するために、追加のニューラルネットワーク及び補正を使用することができる。例えば、一部の実施態様では、短い解像度スケールでより高いエラーが発生する可能性がある。高周波の問題は、生成された位相画像にノイズを引き起こす可能性がある。生成された位相画像のノイズを除去するために、追加のニューラルネットワークを使用することができる。同様に、ぼけ検出技術を使用して、生成された位相画像をさらに改善することができる。

【0065】

主題が構造的特徴及び／または方法論的動作に固有の言語において説明されてきたが、添付の特許請求の範囲において定義される主題は、上記説明された特定の特徴または動作に必ずしも限定されないことが理解されよう。むしろ、上述の特定の特徴及び行為は、特許請求の範囲を実施する例示的形態として開示される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【国際調査報告】