特許 7452702 学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240312BHJP

   G01N 33/48 20060101ALI20240312BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350C

G01N33/48 M

【請求項の数】 15

(21)【出願番号】P 2022565018

(86)(22)【出願日】2020-11-30

(86)【国際出願番号】 JP2020044564

(87)【国際公開番号】W WO2022113366

(87)【国際公開日】2022-06-02

【審査請求日】2023-05-12

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】市橋 徹

(72)【発明者】

【氏名】吉田 隆彦

(72)【発明者】

【氏名】信田 萌伽

(72)【発明者】

【氏名】大島 泰子

(72)【発明者】

【氏名】坂神 純子

(72)【発明者】

【氏名】魚住 孝之

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０２０－０６０８２２（ＪＰ，Ａ）

【文献】特表２０２０－５３１９７１（ＪＰ，Ａ）

【文献】特開２０２０－０６０６０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

画像変換を行う学習済みモデルを生成する方法であって、
ソースとして、第一の光軸に沿って異なる複数の位置で生物学的サンプルを撮像した、複数の位相差画像ではない顕微鏡画像からなる第一画像セットを含む第一画像群を用い、
ターゲットとして、少なくとも一つの位相差画像を用い、
ソースからターゲットへの写像を学習する工程を含む、方法。

【請求項2】

前記第一画像セットは、前記生物学的サンプルを合焦位置で撮像した顕微鏡画像と、前記生物学的サンプルを前記合焦位置から前記第一の光軸に沿って間隔の離れた位置で撮像した顕微鏡画像と、を含む、請求項１に記載の方法。

【請求項3】

前記生物学的サンプルは細胞を含む、請求項１または２に記載の方法。

【請求項4】

前記画像変換は、ＣｙｃｌｅＧＡＮによる、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記第一画像群は、前記生物学的サンプルを前記第一の光軸とは異なる第二の光軸に沿って複数の異なる位置で撮像した顕微鏡画像からなる第二画像セットを含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記第一画像セットの複数の画像は明視野画像を含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

画像変換用生物学的サンプルを撮像した、位相差画像ではない第一画像を取得する工程と、
前記第一画像と同じ撮像方法により、光軸に沿って前記第一画像と異なる複数の位置で第一学習用生物学的サンプルを撮像した顕微鏡画像から成るソース画像データ、及び第二学習用生物学的サンプルを撮像した位相差画像から成るターゲット画像データを、学習用データとして生成された学習済みモデルに、前記第一画像を入力して画像変換し、第二画像を生成する工程と、
前記第二画像を出力する工程と、
を含む画像処理方法。

【請求項8】

前記第一画像は、前記画像変換用生物学的サンプルの合焦位置以外の位置で撮像された、請求項７に記載の画像処理方法。

【請求項9】

対物レンズの光軸に沿って複数の異なる位置で画像変換用生物学的サンプルが撮像された、複数の位相差画像ではない顕微鏡画像からなる画像セットを取得する工程と、
前記画像セットと同じ撮像方法により第一学習用生物学的サンプルが撮像された、複数の位相差画像ではない顕微鏡画像からなるソース画像データ、及び、第二学習用生物学的サンプルが撮像された位相差画像からなるターゲット画像データを学習用データとして生成された学習済みモデルに、前記画像セットから選択された１または複数の第一画像を入力して画像変換し、前記第一画像と同数の第二画像を生成する工程と、
を含む画像処理方法。

【請求項10】

前記選択された１の第一画像が合焦位置の画像である、請求項９に記載の画像処理方法。

【請求項11】

前記第一画像が、
前記画像セットの複数の前記顕微鏡画像の各々のコントラスト値を算出する工程と、
前記コントラスト値を、前記光軸方向の位置の関数として系列化し、前記コントラスト値が２つの極大値となるときの各々の前記位置の間で、前記コントラスト値が極小となる位置を特定する工程と、
前記コントラスト値が極小となる位置の画像を選択する工程と、
を含む方法により、前記画像セットから選択される、請求項９または１０に記載の画像処理方法。

【請求項12】

前記学習済みモデルに、前記画像セットから選択された複数の第一画像が入力され画像変換されて、前記第一画像と同数である複数の第二画像が生成され、
前記画像処理方法がさらに、前記複数の第二画像を平均化する工程を含む、請求項９～１１のいずれか１項に記載の画像処理方法。

【請求項13】

前記画像処理方法が、生成された前記第二画像を出力する工程をさらに含み、
前記第二画像を出力する工程が、
前記第二画像中で、前記画像変換用生物学的サンプルが存在する位置を検出するサブステップと、
検出された前記画像変換用生物学的サンプルが存在する位置と共に、前記第二画像が出力されるサブステップと、を含む、請求項９～１１のいずれか１項に記載の画像処理方法。

【請求項14】

請求項１～６のいずれか１項に記載の方法を用いて生成された前記学習済みモデルを含む、画像変換装置。

【請求項15】

請求項７～１３のいずれか１項に記載の画像処理方法をコンピューターに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラムに関する。

【背景技術】

【0002】

従来、ＡＩによって細胞の明視野画像を位相差画像風の画像に変換する技術が知られている。（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－６０８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、新規な学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラムを提供する。

【課題を解決するための手段】

【0005】

本開示の一実施態様は、画像変換を行う学習済みモデルを生成する方法であって、ソースとして、第一の光軸に沿って異なる複数の位置で生物学的サンプルを撮像した、複数の位相差画像ではない顕微鏡画像からなる第一画像セットを含む第一画像群を用い、ターゲットとして、少なくとも一つの位相差画像を用い、ソースからターゲットへの写像を学習する工程を含む、学習済みモデルを生成する方法である。

【0006】

本開示の他の実施態様は、画像変換用生物学的サンプルを撮像した、位相差画像ではない第一画像を取得する工程と、前記第一画像と同じ撮像方法により、光軸に沿って前記第一画像と異なる複数の位置で第一学習用生物学的サンプルを撮像した顕微鏡画像から成るソース画像データ、及び第二学習用生物学的サンプルを撮像した位相差画像から成るターゲット画像データを、学習用データとして生成された学習済みモデルに、前記第一画像を入力して画像変換し、第二画像を生成する工程と、前記第二画像を出力する工程と、を含む画像処理方法である。

【0007】

本開示のさらなる実施態様は、対物レンズの光軸に沿って複数の異なる位置で生物学的サンプルが撮像された、複数の位相差画像ではない顕微鏡画像からなる画像セットを取得する工程と、前記画像セットと同じ撮像方法により第一学習用生物学的サンプルが撮像された、複数の位相差画像ではない顕微鏡画像からなるソース画像データ、及び、第二学習用生物学的サンプルが撮像された位相差画像からなるターゲット画像データを学習用データとして生成された学習済みモデルに、前記画像セットから選択された１または複数の第一画像を入力して画像変換し、前記第一画像と同数の第二画像を生成する工程と、を含む画像処理方法である。

【図面の簡単な説明】

【0008】

【図1A】本発明の一実施形態にかかる画像処理システムの模式図である。

【図1B】本発明の一実施形態にかかる画像処理システムの模式図である。

【図1C】本発明の一実施形態にかかる画像処理システムの模式図である。

【図1D】本発明の一実施形態にかかる画像処理システムの模式図である。

【図2】本発明の一実施形態にかかる画像処理方法全体のフローチャートである。

【図3】本発明の一実施形態にかかるソース用画像を設定するためのフローチャートである。

【図4】本発明の一実施形態にかかる学習済みモデルを生成するためのフローチャートである。

【図5】本発明の一実施形態にかかるＧＵＩを示す図である。

【図6】本発明の一実施形態にかかる合焦位置の画像を変換するためのフローチャートである。

【図7】本発明の一実施形態において、合焦位置を特定するためのフローチャートである。

【図8】本発明の一実施形態において、複数の第一画像を１つの第二画像に変換するためのフローチャートである。

【図9】本発明の一実施例において、異なるｚからの変換結果を示す写真である。

【発明を実施するための形態】

【0009】

以下、本開示の技術の実施の形態につき、添付図面を用いて詳細に説明する。以下に記載された発明の実施の形態及び具体的な実施例などは、例示又は説明のために示されているのであって、本発明をそれらに限定するものではない。

【0010】

また、実施例に説明する画像処理はあくまでも一例であり、本開示の技術を実施する際には、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0011】

なお、本明細書に記載された全ての文献（特許文献および非特許文献）並びに技術規格は、本明細書に具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

【0012】

本開示の技術の一実施形態は、画像変換用生物学的サンプルを撮像した、単数または複数の位相差画像ではない第一画像を取得する工程と、第一画像と同じ撮像方法により、光軸に沿って第一画像と異なる複数の位置で第一学習用生物学的サンプルを撮像した顕微鏡画像から成るソース画像データ、及び第二学習用生物学的サンプルを撮像した位相差画像から成るターゲット画像データを、学習用データとして生成された学習済みモデルに、単数または複数の第一画像を入力して画像変換し、第一画像と同数の第二画像を生成する工程と、を含む画像処理方法である。以下、図１のシステム構成および図２と図３のフローチャートを参照しながら、各工程について詳細に説明する。

【0013】

＜画像の取得＞
本開示の画像変換システム１００は、画像取得装置１０１と画像変換装置１０３を備える（図１）。

【0014】

画像取得装置１０３は、観察手段１０５及び撮像手段１０７を備える。観察手段１０５は、例えば観察対象物の観察に適した顕微鏡であり、観察対象物が生物学的サンプルである場合には、例えば明視野顕微鏡、蛍光顕微鏡、微分干渉顕微鏡などである。撮像手段１０７としては、例えばＣＣＤなどの撮像素子があげられる。なお、以下、観察手段１０５が水平面に設置された場合の水平面における一方向を「Ｘ方向」、水平面においてＸ方向と垂直な他方向を「Ｙ方向」とする。水平面に対して垂直な、撮影光学系の光軸方向を「Ｚ方向」と称する。Ｚ方向の光軸上に観察対象物が位置するように観察対象物は水平面に配置される。Ｘ方向、Ｙ方向、及びＺ方向は互いに垂直である。

【0015】

画像処理システム１００は、観察手段１０５及び撮像手段１０７によって、観察対象物を撮像した第一画像を取得する（Ｓ２１）。第一画像は後述する画像変換を行う前の画像であるため、本明細書において、オリジナル画像、変換用画像と称することもある。

【0016】

ここで、撮像対象物である生物学的サンプルは特に限定されず、動物や植物などの多細胞生物由来のものであっても、細菌などの単細胞生物由来のものであってもよく、例えば、無染色の培養細胞、組織、器官などが挙げられる。具体的には、培養容器に単層または多層で接着培養されたり、単細胞で、または細胞塊で浮遊培養されたりしている生細胞が例示できる。観察対象物内にある注目要素(Target component)は、１個の細胞全体でもよく、また、核小体などの細胞内小器官や細胞膜など であってもよい。培養容器は、例えばディッシュ、ウェルプレートなどの一般的な細胞培養に用いられる容器や、生体機能チップ（Organ-on-a-chip）であってもよい。

【0017】

画像処理システム１００は、観察手段１０５および撮像手段１０７によって、第一画像を得てもよいが、メモリから、特定したサンプルＩＤに対応して記憶されている第一画像を取得してもよい。

【0018】

第一画像は単数でも複数でもよい（Ｓ２２）が、観察対象物を観察手段１０５の光軸に沿って異なる複数の位置で撮像した複数の画像が変換候補画像として存在する場合には、画像処理部１０９において、複数の画像から最適な画像を変換画像として選択してもよい（Ｓ２３）。最適な画像とは、例えば観察対象物の合焦位置画像で撮像された画像、または合焦位置に最も近い位置で撮像された画像である。後述するように、画像変換により、疑似的に観察対象物に焦点があった画像を得るためには、オリジナル画像も、観察対象物に焦点が合った合焦画像、または観察対象物の近辺に焦点が合った画像であることが好ましい。

【0019】

本明細書において、合焦位置とは、画像内のサンプルの一部またはサンプル内の組織の一部に焦点が合う位置である。合焦画像と合焦位置近傍の画像と言うときは、合焦位置を中心とした一定範囲内の位置で取得した画像を指す。一例として、合焦画像は合焦位置を中心として観察範囲の５％までの距離で取得された画像とすることができる。また、合焦位置近傍、あるいは、合焦位置近辺で取得された画像というときに、一例として、合焦位置を中心として観察範囲の２０％までの距離で取得された画像とすることができる。対物レンズが１０倍である場合には、合焦位置近傍とは合焦位置から上下１０μｍの範囲内とすることができる。なお、画像処理部１０９は、画像取得装置１０１にあってもよく（図１Ａ、Ｃ、Ｄ）、画像変換装置１０３にあってもよい（図１Ｂ）。画像取得装置１０１に設けられている場合は、観察手段１０５および撮像手段１０７によって、第一画像を得ると、そのまま利用できるが、画像変換装置１０３にある場合は、画像変換装置１０３の画像取得部１１０で画像取得装置１０１から第一画像を取得した後で、画像処理部１０９で処理することになる。

【0020】

＜画像変換＞
画像変換装置１０１は、画像取得装置１０３から、画像変換用生物学的サンプルを撮像した単数または複数の位相差画像ではない第一画像を画像取得部１１０で取得する。第一画像が単数の場合、合焦位置で撮像された合焦画像であっても、合焦位置以外の位置で撮像された合焦ではない画像であってもよい。第一画像が複数の場合、対物レンズの光軸に沿って複数の異なる位置で撮像された画像であってもよい。

【0021】

取得したオリジナル画像を、変換部１１６に保存されている学習済みモデルに入力する（Ｓ２４）。ここで、オリジナル画像が明視野画像である場合には、学習済みモデルとしては明視野画像をソース画像として学習した学習済みモデルに画像を入力する。入力するオリジナル画像は単数でもよいが、複数の画像を取得した場合、取得した複数の画像をそれぞれ入力してもよく、その中から単数または複数の特定の画像を選択して入力してもよい。

【0022】

学習済みモデルの生成方法については後述するが、ここで用いる学習済みモデルは、オリジナル画像と同様の観察方法（例えば、同一のモダリティの使用）で撮像された画像をソース画像群とし、位相差画像をターゲット画像として、画像変換ネットワークにより学習している。そのため、学習済みモデルにオリジナル画像を入力することで、オリジナル画像に撮像された物体の配置は変わらず、画風が位相差画像に変換した画像が得られる。画風変換により生成された画像を、人工位相差画像あるいは疑似的位相差画像と称する。

【0023】

また、学習済みモデルは、ソース画像として、光軸に沿って異なる複数の位置で取得した画像を用いている。ソース画像の中に、サンプルの合焦位置で撮像された画像だけではなく、サンプルの合焦位置近辺で撮像された画像も含まれている。このように、ピントが合った画像と、多少ピントがずれた画像とをソース画像群として含んでいる。一方で、ターゲット画像として用いられている位相差画像は合焦位置に焦点を合わせ、位相差観察により得られた画像である。

【0024】

この学習済みモデルを用いて画像変換を行うことにより、オリジナル画像が、多少ピントがずれた画像であっても、焦点の合った人工位相差画像を取得することができる。すなわち、画像の撮像対象が細胞である場合には、オリジナル画像において細胞構造にちょうど焦点が合った画像ではなく、合焦位置付近で取得された画像であっても、画風変換により生成される人工位相差画像は細胞構造が明瞭な画像となる。

【0025】

＜画像の表示＞
学習済みモデルにより変換された人工位相差画像を出力し（Ｓ２４）、表示手段１１７であるビューワに表示させる（Ｓ２５）。

【0026】

人工位相差画像を得た後、単独で表示させてもよいが（図５Ａ）、人工位相差画像中で生物学的サンプルが存在する位置を検出し、新たな画像を生成し、並べて表示させてもよい（図５Ｃ）。また、人工位相差画像を出力する際に、変換前のオリジナル画像も同時に出力し、人工位相差画像とともにビューワに表示させてもよい（図５Ｂ）。あるいは、これら三種類の画像を表示手段１１７に画像を表示させてもよい。

【0027】

＜学習済みモデルの生成方法＞
本開示の学習済みモデルの生成方法は、画像変換ネットワークを利用して、ソースとして、第一の光軸に沿って異なる複数の位置で生物学的サンプルを撮像した、複数の位相差画像ではない顕微鏡画像からなる第一画像セットを含む第一画像群を用い、ターゲットとして、少なくとも一つの位相差画像を用い、ソースからターゲットへの写像を学習する工程を含む。この学習済みモデルの生成方法について、図４に記載のフローチャートに沿って説明する。

【0028】

＜＜学習用画像の設定＞＞
学習済みモデルの作成に当たっては、まず学習用画像の設定を行う。学習用画像としては、ソース用学習画像を設定し（Ｓ４１）、それからターゲット用学習画像を設定する（Ｓ４２）。

【0029】

＜＜＜ソース画像の取得＞＞＞
ソース用学習画像として、第一画像群を取得する。第一画像群に含まれる複数の画像は、位相差顕微鏡とは異なるモダリティで取得された画像であり、かつ第一画像群に含まれる複数の画像は同一のモダリティで取得された画像である。例えば、第一画像群が明視野画像群である場合、複数の明視野画像から成る。また例えば、第一画像群が微分干渉画像群である場合、複数の微分干渉画像から成る。また例えば、第一画像群が蛍光画像群である場合、複数の蛍光画像から成る。

【0030】

第一画像群は、第一サンプルを第一の光軸に沿って異なる位置で撮像した複数の画像からなる第一画像セットを含む。第一画像セットは、第一サンプルの第一観察位置において、光軸方向に異なる複数の位置で撮像した複数の画像から成る。例えば、第一画像セットは第一位置（ｘ１、ｙ１、ｚ１）で撮像した画像（Ｓ３１）、及び、第一位置とｘ方向及びｙ方向には位置が変わらず、Z方向の位置が異なる第二位置（ｘ１、ｙ１、ｚ２）において撮像した画像（Ｓ３２）を含む。複数の画像を取得する光軸方向の位置の間隔は特に限定されないが、例えば第一の光軸に沿って、等間隔であることが好ましい。取得する画像は特に限定されないが、対物レンズの焦点深度によって適切な範囲で選ばれる。第一画像セットは、第一サンプルの合焦位置の周辺で撮像された画像を含むことが好ましい。また、第一画像セットは、第一サンプルの合焦位置で取得された画像と、第一サンプルの合焦位置以外の位置で取得された画像とを含むことが好ましい。第一サンプルが細胞である場合、細胞の一要素に焦点が合っていることが好ましい。例えば第一サンプルが平面培養された接着細胞である場合、接着面側の細胞膜に焦点が合っている画像と、細胞内小器官に焦点が合っている画像と、接着していないほうの細胞膜とのいずれかに焦点が合っていることが好ましい。

【0031】

第一画像群は、第一サンプルを前記第一の光軸の位置とは異なる第二の光軸の位置において、第二の光軸に沿って異なる位置で撮像した複数の画像からなる第二画像セットを含んでもよい（Ｓ３４）。第二画像セットに含まれる画像は、第一画像セットに含まれる画像とは、第一サンプルにおける撮像部位が異なる。第二の光軸は、第一の光軸で撮像された第一撮像位置とは異なる第二撮像位置を撮像するときの光軸である。第一画像セットに含まれる画像とは、サンプルが置かれている空間にｘ方向及びｙ方向の絶対座標を１つ決めた場合に、少なくとも、ｘ方向及びｙ方向に位置が異なる。例えばｘ、ｙの原点ｘ０、ｙ０をディッシュの中心に設定した場合に、第一画像セットが第一位置（ｘ１、ｙ１、ｚ１）で撮像した画像、及び、前記第一位置とｘ、ｙ方向には変わらず光軸に沿って位置が異なる第二位置（ｘ１、ｙ１、ｚ２）において取得した画像を含む場合、第二画像セットは第一画像セットとは異なる第三位置（ｘ２、ｙ２、ｚは任意）で取得した画像を含む。

【0032】

第一画像群は、さらに、第一サンプルとは異なる第二サンプルを第三の光軸に沿って異なる位置で撮像した複数の画像から成る第三画像セットを含んでもよい（Ｓ３４）。ここで、第二サンプルは、第一サンプルと、物としては異なるが、第一サンプルが細胞である場合、第二サンプルも細胞であることが好ましい。第一サンプルと第二サンプルとが細胞種や細胞が由来する生物種が同一である必要はない。例えば、ソース画像群として、ｉＰＳ細胞とＨｅｐ細胞とを撮像した画像が含まれてもよい。また、例えば、ソース画像群として、ラットの細胞を撮像した画像と、マウスの細胞を撮像した画像とが含まれてもよい。

【0033】

また、上述したように、第一の画像群に含まれる画像セットは、いずれも撮像方法（例えば、モダリティ）が同一であることが好ましいが、画像取得装置の機種が異なってもよい。ソース画像として多様な画像群を用いて学習させておくことで、画像変換の精度は上がる。

【0034】

一方、画像変換装置は、画像取得装置から、第一サンプルを撮像した複数の位相差画像からなる第二画像群を取得する。第一画像群に含まれる画像と第二画像群に含まれる画像は、第一サンプルに対し、同じ視野を撮像したペアであっても、異なる視野を撮像したペアであってもかまわない。

【0035】

ソース画像取得の制御方法として、図３に示したように、予め第一画像セット、第二画像セット、第三画像セットに含まれる画像の枚数をそれぞれ決めておき、まず、第一画像セットの画像を取得し（Ｓ３１，Ｓ３２）、所定枚数が完了したかどうかを確認し（Ｓ３３）、第二画像セットまたは第三画像セットに含まれる画像が不足している場合、それらを取得する（Ｓ３４）、というフローとしてもよい。

【0036】

＜＜＜ターゲット画像の取得＞＞＞
ターゲット画像として、位相差画像を取得する。位相差画像は、第三サンプルを位相差観察により撮像し得られた画像である。ターゲット画像とソース画像とは、unpairedな関係であってもよい。ここで、unpairedな関係とは、ソース画像の中の少なくとも一枚に対して、どのターゲット画像も、同じ座標（ｘ,ｙ）で取得された画像でない状況をいう。ここで、第三サンプルは、ソース画像の観察対象物である第一サンプルと、物としては異なるが、例えば、第一サンプルが細胞である場合、第三サンプルも細胞であることが好ましい。なお、第一サンプルと第三サンプルとは、細胞種や細胞が由来する生物種が同一である必要はない。

【0037】

ターゲット画像は少なくとも一枚であればよいが、複数枚であることが好ましい。一枚の画像を小画像に分割して、ターゲット画像としてもよい。ターゲット画像として学習させる位相差画像は、生物学的サンプルの合焦位置に焦点を合わせ、位相差観察により得られた画像である。

【0038】

＜＜ハイパーパラメータの設定＞＞
次に、ハイパーパラメータの設定を行う（Ｓ４３）。ハイパーパラメータの例として、学習率、学習の更新回数があげられる。学習率に関しては、０．０１であってもよく、０．１であってもよく、０．００１であってもよい。更新回数については、１００回であってもよく、５００回であってもよく、１０００回であってもよい。更新回数は学習用画像の枚数により変更してもよい。例えば、学習枚数が多いほど更新回数を減らしてもよい。

【0039】

＜＜学習＞＞
ソース画像とターゲット画像を学習用画像とし、設定されたハイパーパラメータを利用して学習を行う（Ｓ４４）。

【0040】

本開示の技術においては、画像変換ネットワークを用い、ソースとして第一画像群を用い、ターゲットとして第二画像群を用い、ソースからターゲットへの写像を学習し、学習済みモデルを生成する。画像変換ネットワークとしては特に限定されず、「畳み込みニューラルネットワーク(convolutional neural networkｓ；ＣＮＮ)」、「敵対的生成ネットワーク」（Generative Adversarial Networks；ＧＡＮ）、「ＣＧＡＮ（Conditional GAN）」「ＤＣＧＡＮ（Deep Conventional GAN）」、「Ｐｉｘ２Ｐｉｘ」、「ＣｙｃｌｅＧＡＮ」などが例示できるが、学習の際、第一画像群に含まれる画像と第二画像群に含まれる画像は、視野が異なっていてもかまわないため、ＣｙｃｌｅＧＡＮが好ましい。

【0041】

あらかじめ設定された更新回数に達するまで、学習モデルを更新する（Ｓ４５）。更新回数に達した時点で、学習済みモデルが生成される（Ｓ４６）。

【0042】

なお、学習モデルの更新を途中で打ち切ることも可能である。この場合には、所定の基準値を更新毎に記録し、更新回数に対して記録された基準値を基にプロットし、極小又は極大であることを確認した時点で更新を打ち切ることが望ましい。所定の基準値として、学習モデル中の損失関数が例に挙げられる。

【0043】

＜画像取得の変形例＞
画像処理システムは、第一画像群と同様にして、画像変換用生物学的サンプルを、観察手段の光軸に沿って異なる複数の位置で、撮像手段によって撮像したオリジナルである第一画像データ（以下、オリジナル画像データと称する）を取得してもよい。この第一画像データは、第一画像群から取得してもよく、新たに生物学的サンプルを撮像して複数の画像データを取得してもよい（Ｓ７１）。また、このとき第一画像データの各々についての位置データも取得する。

【0044】

オリジナル画像を取得するとき、画像処理部１０９において、前処理として広域走査により焦点面の見当をつけ、広域走査の後に、見当を付けた焦点面を含む領域について詳細走査を行い、オリジナル画像を取得してもよい。

【0045】

具体的には、まず広域走査により、光軸方向に広い範囲について、光軸に沿って異なる複数の位置で画像を取得する。そして、取得した複数の画像に基づき、焦点面の見当をつけ、広域走査よりも光軸方向に狭く、合焦位置候補位置を含む第１領域を決定する。例えば、広域走査時に後述する二峰性の極大値ピークのおおよその位置を検出し、極大値ピークの間の領域を第１領域と決定する。次に、第１領域について詳細走査を実行し、光軸に沿って異なる複数の位置の画像を取得する。

【0046】

取得する画像の間隔は特に限定されないが、対物レンズの焦点深度によって適切な範囲で選ばれる。複数の画像を取得するときは、画像を光軸方向に等間隔で取得することが好ましい。広域走査においては、画像は広い間隔で取得され、詳細走査においては広域走査より狭い間隔で取得される。

【0047】

また、この画像の解像度は、注目要素および解析の精度によりユーザーが設定してもよい。１個の細胞全体を確認したい場合には、細胞の輪郭に焦点を合わせてもよい。例えば、注目要素の大きさが直径５μｍ～数十μｍである１個の細胞全体である場合には、取得画像の解像度は、１個の細胞が１ｐｉｘｅｌに入らないように、０．５μｍ／ｐｉｘｅｌ以上５μｍ／ｐｉｘｅｌ未満であることが好ましい。また、注目要素が、大きさは１～３μｍである核小体などの細胞内小器官である場合には、取得画像の解像度は１μｍ／ｐｉｘｅｌ未満であることが好ましい。

【0048】

オリジナルの変換用画像として、複数の画像を取得した場合、複数の画像の中から合焦位置の画像を第一画像として選択し、選択された合焦位置の画像を人工位相差画像として変換してもよい。以下に、合焦位置特定部１１５における合焦位置の画像の特定方法の一例を述べる。

【0049】

取得したオリジナル画像に対し、オリジナル画像の画像情報を低減した画像を生成する処理を行い（Ｓ７２）、コントラスト値を算出するための第二画像を生成する。具体的には、コントラスト値を算出するための第二画像は、オリジナル画像について観察対象物の注目要素よりサイズが小さい要素の画像情報を低減した画像を生成する処理により得られる。画像情報を低減する処理としては、輝度方向または空間方向への平滑化があげられる。輝度方向への平滑化の一例として、処理する部分の輝度値を補正し、一定にする処理があり、例えばバイラテラルフィルタ処理があげられる。

【0050】

また、空間方向の平滑化の一例として、空間方向に対し、画像にダウンサンプリング処理を行う処理がある。ここで、ダウンサンプリングとは、画像をより低い解像度の画像に変換する処理である。ダウンサンプリングの効果は、観察対象物中で注目要素より小さい観察不要な物体の輪郭を除去するか、または輪郭をぼかすことによって、注目要素の輪郭を相対的に強調することにある。そこで、ダウンサンプリングの量は、ダウンサンプリング後の画像の解像度において、観察不要な物体が１ｐｉｘｅｌに含まれる量であることが好ましい。従って、ダウンサンプリング後の画像の解像度を、例えば注目要素が１個の細胞全体である場合には、５－１５μｍ／ｐｉｘｅｌに設定し、注目要素が細胞核である場合には、３－１０μｍ／ｐｉｘｅｌに設定し、注目要素がミトコンドリアや核小体などの細胞小器官の場合には、０．５－５μｍ／ｐｉｘｅｌに設定することが好ましい。このようにして、ダウンサンプリング後の画像の解像度を設定することによって、注目要素に焦点が合った画像を得ることができる。

【0051】

ダウンサンプリングの方法はとくに限定されないが、例えば複数の画素の平均値を用いて画像をダウンサンプリングする。複数の画素の平均値としては、例えば、ダウンサンプリング後の画像のサイズに依存した大きさの周辺画素の平均値を用いる。例えば、画像サイズを1/nにする場合、周辺ｎ×ｎの画素の平均値を用いる。例えば、オリジナル画像について、一辺が複数の画素からなるブロックに分割し、ブロックごとに平均輝度を計算し、ブロック全体の各画素にその平均輝度を割り当てることにより、新たな画像に変換してもよい。あるいは、バイリニア法を用いてもよく、ｘ軸方向に２つに１つずつ間引いて、新たな画像に変換してもよい。また、ブロックの中の特定の位置の画素を間引いて、残った画素でブロックの平均輝度を計算し、ブロック全体の各画素に、その平均輝度を割り当ててもよい。

【0052】

ダウンサンプリング処理としては、ビニングすることによって、観察時の明視野画像より画素数が少なく、所望の画素数である明視野画像を得ることもできる。画像取得装置１０１が、ビニング機能を有する撮像手段１０７を有してもよい。

【0053】

他の平滑化処理として、平滑化フィルターを用いてもよい。平滑化フィルターとして、例えば平均化フィルターやガウシアンフィルター等を用い、畳み込み演算によって画像をXY方向に滑らかにしてもよい。

【0054】

次に、算出部１１３において、平滑化処理された複数の明視野画像のコントラスト値を算出する（Ｓ７３）。コントラスト値の算出方法は特に限定されないが、例えば、ΣΔ法やΣΔ^２法を使用してもよい。

【0055】

位相物体を撮像した複数の画像から算出されたコントラスト値を、光軸方向の位置の関数として系列化した（Ｓ７４）後、コントラスト値を平滑化し（Ｓ７５）、極大を特定する（Ｓ７６）。コントラスト値または変換値が２つの極大値となるときの各々の位置の間で、コントラスト値が極小となる位置が特定される（Ｓ７７～Ｓ７９）。この極小となる位置は、位相物体を観察する際の合焦位置として好適に利用できる。本開示の技術においては、この極小となる位置で取得された画像をオリジナル画像として、画像変換を行うことができる。

【0056】

＜画像生成の変形例＞
複数のオリジナル画像を画像変換して、生成された複数の人工位相差画像の平均化を行ってもよい。具体的な方法を以下に述べる。

【0057】

観察手段の光軸に沿って異なる複数の位置で、撮像手段によって撮像したオリジナルである第一画像が取得される（Ｓ８１）。観察手段の光軸に沿って異なる複数の位置で得られた画像群のうち、変換する複数の画像を選択し、それぞれ学習済モデルに入力する（Ｓ８２）。入力する複数の画像は、観察対象の注目要素の焦点があった画像に近い画像を予め設定した枚数選択するのがよい。また、光軸方向において近い位置で撮像された画像を選択することが好ましく、光軸方向において隣接する位置で撮像された画像を選択することが特に好ましい。

【0058】

入力した複数の第一画像が変換され、複数の第二画像が得られる（Ｓ８３）。得られた複数の第二画像を平均化する（Ｓ８４）。平均化の方法は特に限定されないが、例えば、対応する各画素について、平均輝度を計算して、その画素の輝度とすればよい。最後に、平均化した第二画像を出力し（Ｓ８５）、表示手段に画像を表示させる（Ｓ８６）。

【0059】

このように複数の画像を平均化することにより、画風変換により異常値のような望ましくない結果が生じた場合の影響を緩和することが可能となる。

【0060】

＜プログラム及び記憶媒体＞
ここまでに記載した画像処理方法をコンピューターに実行させるプログラムや、そのプログラムを格納する、非一過性のコンピューター可読記憶媒体も、本開示の技術の実施形態である。

【実施例】

【0061】

本実施例では、光軸上の合焦位置とそこから一定の距離が離れた位置の明視野画像を学習済みモデルに入力し、人工位相差画像に変換しても、変換後の画像は焦点が合っていることを示す。

【0062】

（１）オリジナル画像
１２ウェルプレートに神経細胞Mixed neuron（Elixirgen Scientific 社）を播種し、１０倍の対物レンズで観察した。合焦位置Ｚ１９を含み、光軸方向に５μｍずつずらした位置Ｚ１７～Ｚ２０での画像を撮像し、オリジナル画像とした。なお、合焦位置Ｚ１９は細胞の輪郭がシャープかつ、細胞のコントラストが低い位置を合焦位置と判断した。

【0063】

（２）学習済みモデルの作成
明視野画像657枚、位相差画像125枚を学習用画像として準備し、学習率 0.0002 、更新回数2000回とし、バッチサイズ１として、CycleGANを学習させた。なお、学習用データ以外はデフォルトパラメータを利用した。

【0064】

（３）画像変換
Ｚ１７～Ｚ２０での画像を学習済みモデルに入力して人工位相差画像に変換した。変換後の画像を図９に示す。

【0065】

図９の画像から、Ｚ１７のように焦点がずれて、ピントがぼけている画像であっても、Ｚ２０のようにコントラストが低めの画像であっても、合焦画像であるＺ１９と同等の画質を持つ画像に変換された。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】