特開 2024-133338 画像処理システム、画像処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133338

(43)【公開日】2024-10-01

(54)【発明の名称】画像処理システム、画像処理方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   G02B 21/36 20060101ALI20240920BHJP

【ＦＩ】

G06T7/00 350B

G02B21/36

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2024116698

(22)【出願日】2024-07-22

(62)【分割の表示】P 2021555765の分割

【原出願日】2019-11-15

(71)【出願人】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】森 啓悟

(57)【要約】

【課題】画質を改善する画像処理において高い汎化性能を実現する技術を提供する。
【解決手段】画像処理システムは、画像変換部へ入力する入力画像を取得する顕微鏡システムと、顕微鏡システムにより取得した入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部と、記憶部に記憶された複数の学習済みモデルの中から学習済みモデルを選択する選択部と、選択部で選択された学習済みモデルを用いて画像変換を行う画像変換部と、を備え、複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、選択部は、入力画像を取得した時の顕微鏡システムの設定情報に基づいて、記憶部に記憶された複数の学習済みモデルから画像変換に用いられる学習済みモデルを選択する。
【選択図】図１５

【特許請求の範囲】

【請求項1】

画像変換部へ入力する入力画像を取得する顕微鏡システムと、
前記顕微鏡システムにより取得した前記入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部と、
前記記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択する選択部と、
前記選択部で選択された学習済みモデルを用いて前記画像変換を行う前記画像変換部と、を備え、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
前記選択部は、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
ことを特徴とする画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記出力画像は、前記入力画像よりも低いノイズレベルを有し、
前記画質範囲は、ノイズレベルの範囲を含む
ことを特徴とする画像処理システム。

【請求項3】

請求項２に記載の画像処理システムにおいて、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なるタイプの画像取得装置で取得した画像で学習した学習済みモデルである
ことを特徴とする画像処理システム。

【請求項4】

請求項３記載の画像処理システムにおいて、
前記異なるタイプの画像取得装置は、レーザ走査顕微鏡とデジタルカメラを有する広視野顕微鏡である
ことを特徴とする画像処理システム。

【請求項5】

請求項１に記載の画像処理システムにおいて、
前記出力画像は、前記入力画像よりも高い解像度を有し、
前記画質範囲は、解像度の範囲を含む
ことを特徴とする画像処理システム。

【請求項6】

請求項５に記載の画像処理システムにおいて、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる開口数の対物レンズを用いて取得した画像で学習した学習済みモデルである
ことを特徴とする画像処理システム。

【請求項7】

請求項５に記載の画像処理システムにおいて、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる画素分解能で取得した画像で学習した学習済みモデルである
ことを特徴とする画像処理システム。

【請求項8】

請求項５に記載の画像処理システムにおいて、
前記複数の学習済みモデルの各々は、互いに異なる共焦点ピンホール径を有するレーザ走査型顕微鏡で取得した画像で学習した学習済みモデルである
ことを特徴とする画像処理システム。

【請求項9】

請求項１に記載の画像処理システムにおいて、
前記出力画像は、前記入力画像よりも低い収差レベルを有し、
前記画質範囲は、収差レベルの範囲を含む
ことを特徴とする画像処理システム。

【請求項10】

請求項９に記載の画像処理システムにおいて、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる収差性能を有する対物レンズを用いて取得した画像で学習した学習済みモデルである
ことを特徴とする画像処理システム。

【請求項11】

請求項１に記載の画像処理システムにおいて、
前記顕微鏡システムはレーザ走査型顕微鏡であり、
前記設定情報は、ガルバノスキャナのスキャンサイズとピンホール径のうち、少なくともどちらか一方を含む
ことを特徴とする画像処理システム。

【請求項12】

顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択し、
選択した学習済みモデルを用いて前記画像変換を行い、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
前記学習済みモデルの選択では、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
ことを特徴とする画像処理方法。

【請求項13】

コンピュータに、
顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択し、
選択した学習済みモデルを用いて前記画像変換を行い、
前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
前記学習済みモデルの選択では、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
処理を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、画像処理システム、画像処理方法、及び、プログラムに関する。

【背景技術】

【0002】

近年、機械学習、特に、深層学習を利用した画質を改善する技術が提案されている。このような技術は、例えば、非特許文献１、非特許文献２などに記載されている。

【0003】

非特許文献１には、敵対的生成ネットワーク（ＧＡＮ）モデルを用いることで、回折限界によって制約された画像を超解像画像に変換する技術が記載されている。また、非特許文献２には、深層学習に基づく画像復元によって、従来は観察が困難であった生体現象にまで観察可能な範囲を拡張する技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Hongda Wang, et al., Deep learning enables cross-modality super-resolution in fluorescence microscopy, NATURE METHODS, VOL.16, p.103-110, JANUARY 2019

【非特許文献2】Martin Weigert, et al., Content-aware image restoration: pushing the limits of fluorescence microscopy, NATURE METHODS, VOL.15, p.1090-1097, DECEMBER 2018

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、機械学習の学習済みモデルは、一般に高い汎化性能を有することが望ましい。しかしながら、高い汎化性能を実現することは容易ではない。例えば、教師あり学習によって学習した学習済みモデルの場合、学習に使用した画像と大きく異なる画像に対しては、性能が低下しがちである。

【0006】

以上のような実情から、本発明の一側面に係る目的は、画質を改善する画像処理において高い汎化性能を実現する技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る画像処理システムは、画像変換部へ入力する入力画像を取得する顕微鏡システムと、前記顕微鏡システムにより取得した前記入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部と、前記記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択する選択部と、前記選択部で選択された学習済みモデルを用いて前記画像変換を行う前記画像変換部と、を備え、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、前記選択部は、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する。

【0008】

本発明の一態様に係る画像処理方法は、顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、前記学習済みモデルの選択では、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する。

【0009】

本発明の一態様に係るプログラムは、コンピュータに、顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルを記憶する記憶部に記憶された前記複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、前記学習済みモデルの選択では、前記入力画像を取得した時の前記顕微鏡システムの設定情報に基づいて、前記記憶部に記憶された前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する、処理を実行させる。

【発明の効果】

【0010】

上記の態様によれば、画質を改善する画像処理において高い汎化性能を実現することができる。

【図面の簡単な説明】

【0011】

【図1】システム１の構成を例示した図である。

【図2】画像処理部２０の物理構成を例示した図である。

【図3】第１の実施形態に係る画像処理部２０の機能構成を例示した図である。

【図4】複数の学習済みモデルの一例を説明するための図である。

【図5】画像処理部２０が行う処理の一例を示すフローチャートである。

【図6】画像処理部２０が表示する画面の一例を示した図である。

【図7】複数の学習済みモデルの別の例を説明するための図である。

【図8】画像処理部２０が表示する画面の別の例を示した図である。

【図9】画像処理部２０が表示する画面の更に別の例を示した図である。

【図10】画像処理部２０が表示する画面の更に別の例を示した図である。

【図11】複数の学習済みモデルの更に別の例を説明するための図である。

【図12】画像処理部２０が表示する画面の更に別の例を示した図である。

【図13】第３の実施形態に係る画像処理部２０の機能構成を例示した図である。

【図14】類似度に基づく学習済みモデルの選択を説明するための図である。

【図15】第４の実施形態に係る画像処理部２０の機能構成を例示した図である。

【図16】画像処理部２０が表示する画面の更に別の例を示した図である。

【発明を実施するための形態】

【0012】

［第１の実施形態］
図１は、システム１の構成を例示した図である。図２は、画像処理部２０の物理構成を例示した図である。以下、図１及び図２を参照しながら、システム１の構成について説明する。

【0013】

図１に示すシステム１は、画質を改善する画像処理システムの一例であり、画像処理を行う画像処理部２０を備えている。システム１は、さらに、画像処理部２０に入力する画像を取得する画像取得部１０を備えてもよい。画像処理部２０は、画像取得部１０と端末部３０と通信する。端末部３０は、例えば、ノート型の端末装置３１、タブレット型の端末装置３２などを含んでいる。システム１は、端末部３０を含んでもよい。

【0014】

画像取得部１０は、サンプルを撮像することによってサンプルのデジタル画像を取得する装置又はシステムである。画像取得部１０は、例えば、デジタルカメラ１１、内視鏡システム１２、顕微鏡システム１３などを含んでいる。画像取得部１０は、取得した画像を画像処理部２０へ出力する。画像取得部１０が取得した画像は、画像取得部１０から画像処理部２０へ直接的に送られてもよく、画像取得部１０からその他の機器を経由して画像処理部２０へ間接的に送られてもよい。

【0015】

画像処理部２０は、機械学習、特に、深層学習の学習済みモデルを用いて画像処理を行う装置又はシステムである。画像処理部２０が行う画像処理は、入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換であり、例えば、ノイズ低減、解像度向上、収差補正といった画質の改善が達成される。

【0016】

画像処理部２０は、１つ以上の電気回路（circuitry）を含んでいればよく、専用又は汎用のコンピュータであってもよい。具体的には、画像処理部２０は、例えば、図２に示すように、プロセッサ２１とメモリ２２を備えている。画像処理部２０は、さらに、補助記憶装置２３、入力装置２４、出力装置２５、可搬記録媒体２９を駆動する可搬記録媒体駆動装置２６と、通信モジュール２７と、バス２８を備えてもよい。補助記憶装置２３、及び、可搬記録媒体２９は、それぞれプログラムを記録した非一過性のコンピュータ読取可能記録媒体の一例である。

【0017】

プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などを含む電気回路（circuitry）である。プロセッサ２１は、補助記憶装置２３又は可搬記録媒体２９に格納されているプログラムをメモリ２２に展開して、その後、実行することで、後述する画像処理方法などのプログラムされた処理を行う。

【0018】

メモリ２２は、例えば、ＲＡＭ（Random Access Memory）などの任意の半導体メモリである。メモリ２２は、プログラムの実行の際に、補助記憶装置２３又は可搬記録媒体２９に格納されているプログラムまたはデータを記憶するワークメモリとして機能する。補助記憶装置２３は、例えば、ハードディスク、フラッシュメモリ等の不揮発性のメモリである。補助記憶装置２３は、主に各種データ及びプログラムの格納に用いられる。

【0019】

可搬記録媒体駆動装置２６は、可搬記録媒体２９を収容する。可搬記録媒体駆動装置２６は、メモリ２２又は補助記憶装置２３に記憶されているデータを可搬記録媒体２９に出力することができ、また、可搬記録媒体２９からプログラム及びデータ等を読み出すことができる。可搬記録媒体２９は、持ち運びが可能な任意の記録媒体である。可搬記録媒体２９には、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。

【0020】

入力装置２４は、例えば、キーボード、マウスなどである。出力装置２５は、例えば、表示装置、プリンタなどである。通信モジュール２７は、例えば、外部ポートを経由して接続した画像取得部１０及び端末部３０と通信する有線通信モジュールである。通信モジュール２７は、無線通信モジュールであってもよい。バス２８は、プロセッサ２１、メモリ２２、補助記憶装置２３等を、相互にデータの授受可能に接続する。

【0021】

図３は、本実施例に係る画像処理部２０の機能構成を例示した図である。図４は、複数の学習済みモデルの一例を説明するための図である。図５は、画像処理部２０が行う処理の一例を示すフローチャートである。図６は、画像処理部２０が表示する画面の一例を示した図である。以下、図３から図６を参照しながら、システム１が行う画像処理方法について説明する。

【0022】

画像処理部２０は、システム１が行う画像処理方法に関連する構成として、図３に示すように、複数の学習済みモデルの中から学習済みモデルを選択する選択部４１と、選択部４１で選択された学習済みモデルを用いて画像変換を行う画像変換部４２と、複数の学習済みモデルを記憶する記憶部４３を備えている。

【0023】

選択部４１、画像変換部４２、記憶部４３は、画像処理部２０が有する１つ以上の電気回路によって実現される機能構成である。より詳細には、選択部４１と画像変換部４２は、例えば、図２に示すプロセッサ２１とメモリ２２によって実現される機能構成であり、プロセッサ２１がメモリ２２に記憶されているプログラムを実行することによって実現されてもよい。記憶部４３は、例えば、図２に示すメモリ２２と補助記憶装置２３によって実現される機能構成であってもよい。

【0024】

選択部４１は、記憶部４３に記憶されている複数の学習済みモデルの中から、入力に応じて学習済みモデルを選択する。さらに、選択部４１は、選択した学習済みモデルを特定する情報を画像変換部４２へ出力する。

【0025】

画像変換部４２は、選択部４１で選択された学習済みモデルを入力画像に適用して画像変換を行い、出力画像を生成する。出力画像は、例えば、補助記憶装置２３に記憶されてもよい。また、出力画像は、例えば、出力装置２５に表示されてもよい。さらに、出力画像は、例えば、通信モジュール２７を経由して端末部３０に出力されてもよく、端末部３０の表示装置によって表示されてもよい。

【0026】

記憶部４３に記憶されている複数の学習済みモデルは、それぞれ、入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した学習済みモデルである。以降では、複数の学習済みモデルＭ１、Ｍ２、Ｍ３・・・を特に区別しない場合には、それらのそれぞれ又は集合を、学習済みモデルＭと記す。

【0027】

記憶部４３に記憶されている学習済みモデルＭは、例えば、予め以下のような手順を踏むことで生成してもよい。学習済みモデルＭによって改善する画質の内容がノイズの場合であれば、まず、ノイズの少ない画像と多い画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、ノイズの少ない画像と多い画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルで繰り返す。そして、複数の画像のペアを用いて深層学習でノイズの多い画像をノイズの少ない画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、画像に含まれるノイズの量は、例えば、撮像時における露光時間の長さ、照明強度を変更することで調整可能である。このため、比較的長い露光時間で撮像した画像をノイズの少ない画像として、比較的短い露光時間で撮像した画像をノイズの多い画像とした、画像のペアを用いてモデルを学習させてもよい。

【0028】

また、学習済みモデルＭによって改善する画質の内容が解像度の場合であれば、まず、解像度の低い画像と高い画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、解像度の低い画像と解像度の高い画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルでで繰り返す。そして、複数の画像のペアを用いて深層学習で解像度の低い画像を解像度の高い画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、画像の解像度は、画素分解能や光学分解能を変更することで調整可能であり、例えば、撮像時に使用する対物レンズなどを変更することで調整してもよい。このため、比較的低い開口数を有する対物レンズを使用して撮像した画像を解像度の低い画像として、比較的高い開口数を有する対物レンズを使用して撮像した画像を解像度の高い画像とした、画像のペアを用いてモデルを学習させてもよい。

【0029】

また、学習済みモデルＭによって改善する画質の内容が収差に起因するものの場合であれば、まず、収差が十分に補正されていない画像と収差が十分に補正された画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、収差が十分に補正されていない画像と収差が十分に補正された画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルで繰り返す。そして、複数の画像のペアを用いて深層学習で収差が十分に補正されていない画像を収差が十分に補正された画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、収差補正の程度は、例えば、撮像時に使用する対物レンズを変更することで調整可能である。このため、比較的大きな収差を有する対物レンズを使用して撮像した画像を収差が十分に補正されていない画像として、比較的小さな収差を有する対物レンズを使用して撮像した画像を収差が十分に補正された画像とした、画像のペアを用いてモデルを学習させてもよい。

【0030】

学習済みモデルＭによって改善する画質の内容によらず、複数の学習済みモデルＭの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像を用いて学習した学習済みモデルである。この例では、図４に示すように、学習済みモデルＭ１は、細胞核の画像を用いて学習した学習済みモデルである。また、学習済みモデルＭ２は、アクチンフィラメントの画像を用いて学習した学習済みモデルである。また、学習済みモデルＭ３は、ミトコンドリアの画像を用いて学習した学習済みモデルである。

【0031】

以上のように構成された画像処理部２０は、図５に示すように、画像取得部１０で取得した画像の中から利用者が入力装置２４を用いて画質改善対象の画像を選択すると、選択された画像を入力画像５０として取得する（ステップＳ１）。ここでは、画像処理部２０が、利用者が選択した画像を入力画像５０として取得し、図６に示すように、入力画像５０を含む画面Ｇ１を出力装置２５に表示する。なお、この例では、入力画像５０には、細胞核が写っている。

【0032】

次に、画面Ｇ１を参照した利用者が入力装置２４を用いて入力画像５０に対して行う画質改善内容を選択すると、画像処理部２０は、選択した画質改善内容に対応する複数の学習済みモデルを表示する（ステップＳ２）。図６には、利用者がタブ６１を用いて“ノイズ低減”を選択した例が示されている。図６に示す画面Ｇ１上には、細胞核用、アクチンフィラメント用、ミトコンドリア用の３つの学習済みモデル（Ｍ１～Ｍ３）が表示されている。

【0033】

その後、利用者が入力装置２４を用いて３つの学習済みモデルＭの中から入力画像５０に写っているサンプルの種類に応じた学習済みモデルを選択すると、画像処理部２０は、利用者によって選択された学習済みモデルを選択する（ステップＳ３）。ここでは、画像処理部２０の選択部４１が、利用者の選択に従って、細胞核用の学習済みモデルＭ１を複数の学習済みモデルＭから選択する。

【0034】

さらに、利用者が入力装置２４を用いて実行ボタンを押下すると、画像処理部２０は、ステップＳ３で選択した学習済みモデルを用いて入力画像５０を変換する（ステップＳ４）。ここでは、画像処理部２０の画像変換部４２が、ステップＳ１で取得した入力画像５０にステップＳ３で選択した学習済みモデルＭ１を適用し、入力画像５０よりもノイズが低減された出力画像を生成する。

【0035】

最後に、画像処理部２０は、ステップＳ４で得られた変換後の画像を表示する（ステップＳ５）。ここでは、画像処理部２０が、ステップＳ４で生成された出力画像を出力装置２５に表示する。出力画像は、入力画像５０と並べて表示されてもよく、また、ポップアップ形式で表示されてもよい。

【0036】

以上のように、本実施形態に係るシステム１では、単一の学習済みモデルが有する画質改善性能が入力画像に写っているサンプルの種類に依存して異なることに着目し、サンプルの種類毎に学習済みモデルＭを予め用意している。つまり、それぞれのサンプルに対して最適化された学習済みモデルＭが用意されている。そして、利用者に、サンプルの種類毎に生成された複数の学習済みモデルＭの中から入力画像５０に写っているサンプルの種類に応じた学習済みモデルを選択させる。なお、利用者が選択した学習済みモデルに対応するサンプルの種類は、入力画像５０に写っているサンプルの種類に必ずしも一致しなくてもよい。利用者は、入力画像５０に写っているサンプルに似通った形状を有するサンプルの画像を用いて学習した学習済みモデルを選択すればよい。

【0037】

学習済みモデルが有する画質改善性能がサンプルの違いによって異なるのは、サンプル毎に形状が異なることが主要な原因である。このような課題に対して、システム１は、入力画像５０に写っているサンプルによらず、入力画像５０に似通った画像を用いて学習した学習済みモデルを適用することが可能である。従って、入力画像５０として形状が異なるさまざまなサンプルの画像が入力される場合であっても、入力画像５０によらず安定した画質改善性能を発揮することができる。このため、システム１によれば、システム１全体として画質を改善する画像処理において高い汎化性能を実現することができる。

【0038】

また、システム１によれば、画像処理によって画質を改善することができる。画像取得部１０でより高い画質の画像を取得する場合、画質以外の面で画質とのトレードオフが生じることがある。例えば、ノイズ低減のために露光時間が長くすると、画像取得に時間がかかってしまう。また、照明強度を高くするとサンプルへのダメージが増加してしまう。また、解像度向上のために開口数を高めると、浸液の使用が必要となってしまう。特に高い開口数の場合、浸液としてオイルの使用が必要であり、クリーニングなど利用者が行う作業量を増加させてしまう。また、対物レンズの倍率を高めると、観察範囲が狭くなってしまう。また、収差補正のためにより高性能な対物レンズを用いると、装置に掛かるコストが上がってしまう。システム１では、画像処理によって画質を改善することで、これらの不利益を回避することができる。

【0039】

ところで、入力画像５０の画質範囲によっても単一の学習済みモデルが有する画質改善性能が異なる。学習済みモデルが有する画質改善性能が画質範囲の違いによって異なるのは、画質範囲によって画像の見た目が異なることが主要な原因である。その結果、例えば、中程度のノイズレベルの画像を低いノイズレベルの画像に変換可能な学習済みモデルに高いノイズレベルの画像を入力しても、十分にノイズレベルは低減されないことがある。また、高いノイズレベルの画像を低いノイズレベルの画像に変換可能な学習済みモデルに中程度のノイズレベルの画像を入力すると、シグナルが弱くなるなどの影響が生じることがある。

【0040】

このため、上述した第１の実施形態では、サンプルの種類毎に学習済みモデルを用意した例を示したが、画質改善前の画質範囲毎に学習済みモデルを用意してもよい。この場合、記憶部４３に記憶される複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像を用いて学習した学習済みモデルであるという点が、上述した第１の実施形態とは異なっている。

【0041】

図７は、複数の学習済みモデルの別の例を説明するための図である。図８から図１０は、それぞれ、画像処理部２０が表示する画面の別の例を示した図である。以下、図７から図１０を参照しながら、第１の実施形態の変形例について説明する。

【0042】

変形例では、記憶部４３に記憶されている、ノイズを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともノイズレベルの範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、ペアを構成する画像のうちモデルへの入力に利用される画像の露光時間が他の学習済みモデルのそれとは異なっている。図７の例では、学習済みモデルＭ４は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的短い露光時間で撮像された画像を使用したモデルである。学習済みモデルＭ５は、ペアを構成する画像のうちモデルへの入力に利用される画像に中程度の露光時間で撮像された画像を使用したモデルである。学習済みモデルＭ６は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的長い露光時間で撮像された画像を使用したモデルである。

【0043】

また、記憶部４３に記憶されている、解像度を改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも解像度の範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、例えば、ペアを構成する画像のうちモデルへの入力に利用される画像の撮像時に使用した対物レンズの開口数が他の学習済みモデルのそれとは異なっている。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる開口数の対物レンズを用いて取得した画像で学習した学習済みモデルである。

【0044】

また、記憶部４３に記憶されている、収差レベルを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも収差レベルの範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、例えば、ペアを構成する画像のうちモデルへの入力に利用される画像の撮像時に使用した対物レンズの収差性能が他の学習済みモデルのそれとは異なっている。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる収差性能を有する対物レンズを用いて取得した画像で学習した学習済みモデルである。

【0045】

変形例では、画像処理部２０は、タブ６１が選択された場合には、図８に示す画面Ｇ２を出力装置２５に表示する。利用者は、画面Ｇ２を参照することで、各学習済みモデルが対処するノイズレベルを把握することができる。例えば、学習済みモデルＭ４であれば露光時間が短い画像、つまり、ノイズの大きな画像に対処可能であることを把握することができる。このため、利用者は、入力画像５０のノイズレベルに応じて学習済みモデルを学習済みモデルＭ４から学習済みモデルＭ６の中から選択することが可能である。従って、システム１は、入力画像５０のノイズレベルによらず安定したノイズ低減性能を発揮することができる。

【0046】

また、画像処理部２０は、タブ６２が選択された場合には、図９に示す画面Ｇ３を出力装置２５に表示する。利用者は、画面Ｇ３を参照することで、各学習済みモデルが対処する解像度を把握することができる。例えば、学習済みモデルＭ７であればＮＡ０．８程度の画像をＮＡ１．１程度の画像に変換可能であることを把握することができる。このため、利用者は、入力画像５０の解像度に応じて学習済みモデルを学習済みモデルＭ７から学習済みモデルＭ９の中から選択することができるため、入力画像５０の解像度によらず安定した解像度改善性能を発揮することができる。

【0047】

また、画像処理部２０は、タブ６３が選択された場合には、図１０に示す画面Ｇ４を出力装置２５に表示する。利用者は、画面Ｇ４を参照することで、各学習済みモデルが対処する収差レベルを把握することができる。例えば、学習済みモデルＭ１０であればアクロマートレベルの収差補正状態をさらに改善可能であることを把握することができる。このため、利用者は、入力画像５０の収差レベルに応じて学習済みモデルを学習済みモデルＭ１０から学習済みモデルＭ１２の中から選択することが可能である。従って、システム１は、入力画像５０の収差レベルによらず安定した収差補正性能を発揮することができる。

【0048】

以上のように、変形例によっても、システム１は、第１の実施形態と同様に、システム１全体として画質を改善する画像処理において高い汎化性能を実現することができる。また、画像処理によって画質改善が達成されるため、画像取得部１０でより高い画質の画像を取得することによって生じる不利益を回避することができる。

【0049】

なお、以上では、画像のノイズレベルを分類する方法として露光時間を利用する例を示したが、ノイズレベルの分類には、例えば、照明強度を利用してもよく、露光時間と照明強度の組み合わせを利用してもよい。また、画像取得装置のタイプによってもノイズレベルやノイズの出方には違いが生じる。具体的には、例えば、レーザ走査型顕微鏡で取得した画像と、デジタルカメラを有する広視野顕微鏡で取得した画像とは、ノイズレベルやノイズの出方が異なる。このため、ノイズレベルの分類には、画像取得装置のタイプを利用してもよい。レーザ走査型顕微鏡で取得した画像で学習した学習済みモデルと、広視野顕微鏡で取得した画像で学習した学習済みモデルを用意して、入力画像を取得した画像取得装置に応じて学習済みモデルを選択してもよい。また、画像の解像度を分類する方法として対物レンズの開口数を利用する例を示したが、解像度の分類は、レーザ走査型顕微鏡で画像を取得する場合であれば、共焦点ピンホール径などの光学分解能に影響する他の指標を利用してもよい。また、光学分解能に影響する指標の他に、対物レンズの倍率、デジタルズーム、スキャンサイズなどの画素分解能に影響する指標を利用してもよい。また、これらの指標を組みあわせて利用してもよい。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる共焦点ピンホール径を有するレーザ走査型顕微鏡で取得した画像で学習した学習済みモデルであってもよく、他の学習済みモデルとは異なる画素分解能で取得した画像で学習した学習済みモデルであってもよい。

【0050】

また、以上では、学習データに含まれる画像の画質範囲を、撮像時における画像取得部１０の設定（例えば、使用する対物レンズなどのデバイスそのもの、露光時間などのデバイスに対する設定）を用いて分類する例を示したが、画質範囲は、画像取得部１０の設定以外から分類してもよい。例えば、画像を観察した人間が主観的に分類してもよい。

【0051】

［第２の実施形態］
図１１は、複数の学習済みモデルの更に別の例を説明するための図である。図１２は、画像処理部２０が表示する画面の更に別の例を示した図である。以下、図１１及び図１２を参照しながら、第２の実施形態について説明する。

【0052】

本実施形態では、記憶部４３に記憶されている、ノイズを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともノイズレベルの範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。即ち、図１１に示すように、ノイズレベルの範囲とサンプルの種類の組み合わせ毎に学習済みモデルが用意されている。具体的には、複数の学習済みモデルの各々は、ペアを構成する画像のうちモデルへの入力に利用される画像の露光時間とサンプルの種類の組み合わせが他の学習済みモデルのそれとは異なっている。図１１の例では、学習済みモデルＭ４１からＭ４３は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的短い露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。学習済みモデルＭ５１からＭ５３は、ペアを構成する画像のうちモデルへの入力に利用される画像に中程度の露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。学習済みモデルＭ６１からＭ６３は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的長い露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。

【0053】

また、記憶部４３に記憶されている、解像度を改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも解像度の範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。さらに、記憶部４３に記憶されている収差レベルを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも収差レベルの範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。

【0054】

本実施形態では、画像処理部２０は、タブ６１が選択された場合には、図１２に示す画面Ｇ５を出力装置２５に表示する。利用者は、画面Ｇ５を参照することで、各学習済みモデルが対処するノイズレベルとサンプルの組み合わせを把握することができる。例えば、学習済みモデルＭ４１であれば、サンプルが細胞核で、且つ、露光時間が短い画像、つまり、ノイズの大きな画像に対処可能であることを把握することができる。このため、利用者は、入力画像５０のサンプルとノイズレベルの組み合わせに応じて学習済みモデルを学習済みモデルＭ４１から学習済みモデルＭ６３の中から選択することが可能である。従って、システム１は、入力画像５０のサンプルとノイズレベルの組み合わせによらず安定したノイズ低減性能を発揮することができる。

【0055】

以上のように、本実施形態によれば、システム１は、システム１全体として画質を改善する画像処理において、第１の実施形態よりもさらに高い汎化性能を実現することができる。また、画像処理によって画質改善が達成されるため、画像取得部１０でより高い画質の画像を取得することによって生じる不利益を回避することができる。

【0056】

［第３の実施形態］
図１３は、本実施形態に係る画像処理部２０の機能構成を例示した図である。図１４は、類似度に基づく学習済みモデルの選択を説明するための図である。以下、図１３及び図１４を参照しながら、第３の実施形態について説明する。

【0057】

本実施形態では、画像処理部２０は、図１３に示すように、複数の学習済みモデルＭ１１～Ｍ１３の中から学習済みモデルを選択する選択部７１と、選択部７１で選択された学習済みモデルを用いて画像変換を行う画像変換部７２と、複数の学習済みモデルＭ１１～Ｍ１３を記憶する記憶部７３を備えている。本実施形態に係る画像処理部２０は、以下の２点が第１の実施形態に係る画像処理部２０とは異なっている。

【0058】

まず、１点目は、記憶部７３が複数の学習済みモデルＭ１１～Ｍ１３と関連付けて複数の学習済みモデルの特徴を示す複数のモデル補足情報ＭＳ１１～ＭＳ１３を記憶している点である。複数の学習済みモデルＭ１１～Ｍ１３が、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデルである場合には、複数のモデル補足情報ＭＳ１１～ＭＳ１３は、例えば、複数の学習済みモデルＭ１１～Ｍ１３のサンプルの種類に対応する複数の代表画像である。代表画像は、サンプルの形状的特徴をよく捉えた画像であることが望ましい。

【0059】

２点目は、選択部７１が入力画像５０と複数のモデル補足情報ＭＳ１１～ＭＳ１３とに基づいて複数の学習済みモデルＭ１１～Ｍ１３から画像変換に用いられる学習済みモデルを選択する点である。選択部７１は、例えば、入力画像５０と複数の代表画像（モデル補足情報ＭＳ１１～ＭＳ１３）の各々を比較して、その比較結果に基づいて学習済みモデルを選択してもよい。より具体的には、選択部７１は、図１４に示すように、入力画像５０と複数の代表画像（モデル補足情報ＭＳ１１～ＭＳ１３）の各々を比較して類似度を算出し、類似度の最も高い代表画像に対応する学習済みモデルを選択してもよい。なお、類似度は、例えば局所特徴量を算出するアルゴリズムなど、公知の任意のアルゴリズムを利用して算出してもよい。また、類似度は、予め類似した画像を学習した学習済みモデルを用いて算出してもよい。図１４に示す例では、モデル補足情報ＭＳ１１である代表図に対応する学習済みモデルＭ１１が、画像変換に用いられる学習済みモデルとして選択される。

【0060】

本実施形態では、入力画像５０に応じた学習済みモデルの選択が画像処理部２０によって自動的に行われる。このため、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。また、画像処理部２０によって適切に学習済みモデルの選択が行われるため、システム１全体として、画質を改善する画像処理において高い汎化性能を実現することができる。

【0061】

なお、複数のモデル補足情報ＭＳ１１～ＭＳ１３が画像である例を示したがモデル補足情報は画像に限らない。複数の学習済みモデルＭ１１～Ｍ１３が、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである場合には、複数のモデル補足情報ＭＳ１１～ＭＳ１３は、複数の学習済みモデルＭ１１～Ｍ１３の学習に用いられた画像の画質範囲に対応する複数のモデル画質情報であってもよく、より具体的には、モデル画質情報は、例えば、数値化されたノイズレベルなどであってもよい。

【0062】

モデル画質情報は、数値化されたノイズレベルである場合、選択部７１は、入力画像５０から入力画像５０のノイズレベルを入力画質情報として算出する。入力画像５０のノイズレベルは、特に限定しないが、例えば、画像中の背景部分における輝度の分散として算出されてもよい。輝度分散が大きいほどノイズが大きいと評価できるからである。さらに、選択部７１は、入力画質情報と複数のモデル画質情報との比較結果に基づいて、複数の学習済みモデルＭ１１～Ｍ１３から画像変換に用いられる学習済みモデルを選択する。より具体的には、選択部７１は、例えば、入力画像５０のノイズレベルに最も近いノイズレベルに対応する学習済みモデルを、画像変換に用いられる学習済みモデルとして選択してもよい。この場合も、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。

【0063】

［第４の実施形態］
図１５は、本実施形態に係る画像処理部２０の機能構成を例示した図である。以下、図１５を参照しながら、第４の実施形態について説明する。

【0064】

本実施形態では、画像処理部２０は、図１５に示すように、複数の学習済みモデルＭ２１～Ｍ２３の中から学習済みモデルを選択する選択部８１と、選択部８１で選択された学習済みモデルを用いて画像変換を行う画像変換部８２と、複数の学習済みモデルＭ２１～Ｍ２３を記憶する記憶部８３を備えている。本実施形態に係る画像処理部２０は、以下の２点が第１の実施形態に係る画像処理部２０とは異なっている。

【0065】

まず、１点目は、記憶部８３が複数の学習済みモデルＭ２１～Ｍ２３と関連付けて複数の学習済みモデルの特徴を示す複数のモデル補足情報ＭＳ２１～ＭＳ２３を記憶している点である。なお、記憶部８３に記憶されている複数の学習済みモデルＭ２１～Ｍ２３は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。

【0066】

２点目は、選択部８１が画像取得部１０の設定情報を取得し、取得した設定情報と複数のモデル補足情報ＭＳ２１～ＭＳ２３とに基づいて複数の学習済みモデルＭ２１～Ｍ２３から画像変換に用いられる学習済みモデルを選択する点である。具体的には、選択部８１は、例えば、入力画像５０を取得した顕微鏡システム１３から顕微鏡システム１３の分解能の情報を取得する。顕微鏡システム１３がレーザ走査型顕微鏡の場合であれば、例えば、対物レンズの開口数、対物レンズの倍率、ガルバノスキャナのスキャンサイズ（例えば、512×512,1024×1024）、ピンホール径などを取得する。さらに、選択部８１は、これらの情報から入力画像５０の解像度を算出し、記憶部８３から読み出した複数のモデル補足情報ＭＳ２１～ＭＳ２３によって特定される解像度と比較する。比較の結果、選択部８１は、例えば、入力画像５０の解像度に最も近い解像度を示すモデル補足情報を選択し、そのモデル補足情報に対応する学習済みモデルを、画像変換に用いられる学習済みモデルとして選択する。

【0067】

本実施形態では、画像取得部１０から設定情報を取得することで、第３の実施形態と同様に、入力画像５０に応じた学習済みモデルの選択が画像処理部２０によって自動的に行われる。このため、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。また、画像処理部２０が適切な学習済みモデルを選択することで、システム１全体として、画質を改善する画像処理において高い汎化性能を実現することができる点も、第３の実施形態と同様である。

【0068】

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用しても良い。画像処理システム、画像処理方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0069】

上述した実施形態では、入力画像に適した学習済みモデルが１つに特定される例を示したが、画像処理部２０には、入力画像に適した複数の学習済みモデルであって、画質改善の程度の異なるものが記憶されてもよい。この場合、図１６に示すように、画面Ｇ６上に、画質改善の程度を指定するコントロール（この例ではラジオボタン）を設けてもよく、利用者が希望する画質改善の程度に基づいて、１つの学習済みモデルを特定してもよい。これにより、画質と画像処理に伴う副作用とのバランスを利用者自らが選択することが可能となる。

【符号の説明】

【0070】

１ システム
１０ 画像取得部
２０ 画像処理部
２１ プロセッサ
２２ メモリ
４１、７１、８１ 選択部
４２、７２、８２ 画像変換部
４３、７３、８３ 記憶部
５０ 入力画像
Ｍ、Ｍ１～Ｍ６、Ｍ１１～Ｍ１３、Ｍ２１～Ｍ２３、
Ｍ４１～Ｍ４３、Ｍ５１～Ｍ５３、Ｍ６１～Ｍ６３ 学習済みモデル
ＭＳ１１～ＭＳ１３、ＭＳ２１～ＭＳ２３ モデル補足情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】