特許 7181001 生物組織画像処理システム及び機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】生物組織画像処理システム及び機械学習方法

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20221122BHJP

   G01N 33/483 20060101ALI20221122BHJP

   G06T 7/00 20170101ALI20221122BHJP

   C12M 1/34 20060101ALN20221122BHJP

【ＦＩ】

G01N23/2251

G01N33/483 C

G06T7/00 350B

G06T7/00 630

C12M1/34 Z

【請求項の数】 10

(21)【出願番号】P 2018099387

(22)【出願日】2018-05-24

(65)【公開番号】P2019204313

(43)【公開日】2019-11-28

【審査請求日】2021-03-25

(73)【特許権者】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小西 功記

(72)【発明者】

【氏名】須賀 三雄

(72)【発明者】

【氏名】西岡 秀夫

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２０１６－０６７２８７（ＪＰ，Ａ）

【文献】特開２０１８－０７２２４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１８３２１７（ＵＳ，Ａ１）

【文献】特開２０１７－０２７１３８（ＪＰ，Ａ）

【文献】特開２０１２－０３７８６１（ＪＰ，Ａ）

【文献】内橋堅志 他，敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション，第３１回人工知能学会全国大会論文集，2017年，4K1-4in2，pp.1-4

【文献】Ligong Han et al.，Learning Generative Models of Tissure Organization with Supervised GANs，2018 IEEE Winter Conference on Applications of Computer Vision，2018年03月12日，pp.682-690

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００－２３／２２７６

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０６Ｔ ７／００－７／９０

Ｃ１２Ｍ １／３４

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｎ ３／０２－３／１０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

顕微鏡による生物組織の観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、
前記推定器の機械学習過程において、前記生物組織における現観察エリアを決定する決定部と、
前記推定器の機械学習過程において、前記現観察エリアが観察対象となるように前記顕微鏡の動作を制御する制御部と、
を含み、
前記決定部は、前記生物組織における複数の既観察エリアからなる既観察エリア集合に基づいて、前記現観察エリアを探索的に決定し、
前記決定部は、
前記既観察エリア集合に基づいて、複数の候補エリアについて複数の評価値を演算する評価値演算部と、
前記複数の評価値に基づいて、前記複数の候補エリアの中から特定の候補エリアを前記現観察エリアとして選択する選択部と、
を含む、
ことを特徴とする生物組織画像処理システム。

【請求項2】

請求項１記載の生物組織画像処理システムにおいて、
前記注目要素は、細胞膜である、
ことを特徴とする生物組織画像処理システム。

【請求項3】

請求項１記載の生物組織画像処理システムにおいて、
前記評価値演算部は、
前記候補エリアごとに、当該候補エリアと前記複数の既観察エリアとの間で複数の類似度を演算する類似度演算器と、
前記候補エリアごとに、前記複数の類似度に基づいて前記評価値を演算する評価値演算器と、
を含む、ことを特徴とする生物組織画像処理システム。

【請求項4】

請求項３記載の生物組織画像処理システムにおいて、
前記推定器に入力される前記画像は、前記生物組織の高倍率観察により得られた画像であり、
前記生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群が取得され、
前記類似度演算器は、前記参照画像群における前記候補エリアに対応する候補部分と、前記参照画像群における前記複数の既観察エリアに対応する複数の既観察部分と、に基づいて前記複数の類似度を演算する、
ことを特徴とする生物組織画像処理システム。

【請求項5】

請求項４記載の生物組織画像処理システムにおいて、
前記類似度演算器は、
前記候補部分に対してアップサンプリングを適用する第１アップサンプリング処理器と、
前記複数の既観察部分に対してアップサンプリングを適用する第２アップサンプリング処理器と、
前記アップサンプリング後の候補部分に対して前記推定器が有する少なくとも１つの畳み込みフィルタを適用する第１フィルタ処理器と、
前記アップサンプリング後の複数の既観察部分に対して前記推定器が有する少なくとも１つの畳み込みフィルタを適用する第２フィルタ処理器と、
前記アップサンプリング及び前記少なくとも１つの畳み込みフィルタが適用された候補部分と、前記アップサンプリング及び前記少なくとも１つの畳み込みフィルタが適用された複数の既観察部分と、に基づいて、前記複数の類似度を演算する演算器と、
を含む、ことを特徴とする生物組織画像処理システム。

【請求項6】

請求項４記載の生物組織画像処理システムにおいて、
前記類似度演算器は、
前記候補部分に対してアップサンプリングを適用するアップサンプリング処理器と、
前記アップサンプリング後の候補部分に対して前記推定器が有する少なくとも１つの畳み込みフィルタを適用する第１フィルタ処理器と、
前記複数の既観察部分に対応する複数の高倍率画像に対して前記推定器が有する少なくとも１つの畳み込みフィルタを適用する第２フィルタ処理器と、
前記アップサンプリング及び前記少なくとも１つの畳み込みフィルタが適用された候補部分と、前記少なくとも１つの畳み込みフィルタが適用された複数の高倍率画像と、に基づいて、前記複数の類似度を演算する演算器と、
を含む、ことを特徴とする生物組織画像処理システム。

【請求項7】

請求項４乃至６のいずれかに記載の生物組織画像処理システムにおいて、
前記複数の参照画像は、前記生物組織における複数の深さに対応した複数の生物組織切片の低倍率観察により得られたものである、
ことを特徴とする生物組織画像処理システム。

【請求項8】

請求項７記載の生物組織画像処理システムにおいて、
前記顕微鏡は、観察用光軸に対して前記複数の生物組織切片を載せた基板を相対的に動かす移動機構を備え、
前記制御部は、前記現観察エリアが高倍率観察されるように前記移動機構を制御する、
ことを特徴とする生物組織画像処理システム。

【請求項9】

顕微鏡による生物組織の高倍率観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物画像処理システムにおいて、前記推定器を学習させるための機械学習方法であって、
前記顕微鏡による前記生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群を取得する工程と、
前記参照画像群における候補部分ごとに、当該候補部分と前記参照画像群における複数の既観察部分との間で評価値を演算し、前記参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する工程と、
前記特定の候補部分に対応する前記生物組織中の現観察エリアが前記顕微鏡により高倍率観察されるように前記顕微鏡の動作を制御する工程と、
前記現観察エリアの高倍率観察により得られた画像を学習用画像として前記推定器に入力する工程と、
を含む、ことを特徴とする機械学習方法。

【請求項10】

顕微鏡による生物組織の高倍率観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む情報処理装置において実行され、前記推定器を学習させるためのプログラムであって、
前記顕微鏡による前記生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群を取得する機能と、
前記参照画像群における候補部分ごとに、当該候補部分と前記参照画像群における複数の既観察部分との間で評価値を演算し、前記参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する機能と、
前記特定の候補部分に対応する前記生物組織中の現観察エリアが前記顕微鏡により高倍率観察されるように前記顕微鏡の動作を制御する機能と、
前記現観察エリアの高倍率観察により得られた画像を学習用画像として前記推定器に入力する機能と、
を含む、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生物組織画像処理システム及び機械学習方法に関する。

【背景技術】

【0002】

生物組織の三次元構造を解析し又はそれをイメージングするための手法として、三次元顕微鏡法が知られている。三次元顕微鏡法においては、一般に、電子顕微鏡又は光学顕微鏡が用いられる。例えば、走査型電子顕微鏡（Scanning Electron Microscope）を用いた三次元顕微鏡法として、Focused Ion Beam SEM（FIB-SEM）法、Serial Block-Face SEM（SBF-SEM）法、及び、連続切片SEM（Serial Section SEM）法（非特許文献１を参照）が提案されている。連続切片SEM法は、アレイトモグラフィ（Array-tomography）法とも呼ばれている。

【0003】

連続切片SEM法では、生物組織の試料から、深さ方向に連なる複数の試料切片（極薄片）が切り出され、それらが基板上に配列される。基板上の各試料切片が走査型電子顕微鏡により順次観察され、これにより複数の画像が取得される。取得された複数の画像に基づいて、生物組織に含まれる特定の器官（細胞、ミトコンドリア、核等）の三次元構造が解析され、あるいは、それがイメージングされる。連続切片SEM法によれば、既に観察した試料切片を再び観察することが可能である。

【先行技術文献】

【非特許文献】

【0004】

【文献】甲賀ほか「連続切片SEM法とゴルジ装置の3D構造解析への応用」顕微鏡，49巻3号，2014．

【発明の概要】

【0005】

生物組織の観察により得られた画像の処理において、細胞、細胞膜、細胞内の特定の小器官等の注目要素（Target Component）を検出又は識別するために、機械学習型の推定器を利用することが考えられる。その場合、推定器の学習過程において、推定器の学習が適正に又は効率的に実行されることが望まれる。例えば、推定器の汎化性能が上がるように推定器に対して多様な学習用画像が与えられるようにすることが望まれる。

【0006】

本発明の目的は、生物組織中の注目要素を推定する機械学習型の推定器の学習過程において、学習の質を高めることにある。

【課題を解決するための手段】

【0007】

本発明に係る生物組織画像処理システムは、顕微鏡による生物組織の観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、前記推定器の機械学習過程において、前記生物組織における現観察エリアを決定する決定部と、前記推定器の機械学習過程において、前記現観察エリアが観察対象となるように前記顕微鏡の動作を制御する制御部と、を含み、前記決定部は、前記生物組織における複数の既観察エリアからなる既観察エリア集合に基づいて、前記現観察エリアを探索的に決定する、ことを特徴とするものである。

【0008】

本発明に係る機械学習方法は、顕微鏡による生物組織の高倍率観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物画像処理システムにおいて、前記推定器を学習させるための機械学習方法であって、前記顕微鏡による前記生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群を取得する工程と、前記参照画像群における候補部分ごとに、当該候補部分と前記参照画像群における複数の既観察部分との間で評価値を演算し、前記参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する工程と、前記特定の候補部分に対応する前記生物組織中の現観察エリアが前記顕微鏡により高倍率観察されるように前記顕微鏡の動作を制御する工程と、前記現観察エリアの高倍率観察により得られた画像を学習用画像として前記推定器に入力する工程と、を含むことを特徴とするものである。

【0009】

上記方法は、ハードウエアの機能又はソフトウエアの機能として実現され、後者の場合、その機能を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。情報処理装置の概念には、パーソナルコンピュータ、生物画像処理システム（電子顕微鏡システム、光学顕微鏡システムを含む）、等が含まれる。

【0010】

本発明によれば、生物組織中の注目要素を推定する機械学習型の推定器の学習過程において、学習の質を高められる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る生物組織画像処理システムを示す概念図である。

【図2】生物組織画像処理装置の本体の第１構成例を示すブロック図である。

【図3】機械学習型膜推定器の構成例を示すブロック図である。

【図4】膜尤度マップに基づく仮膜画像の生成を示す図である。

【図5】作業ウインドウを示す図である。

【図6】ラベリング処理の一例を示す図である。

【図7】実施形態に係る機械学習方法を示すフローチャートである。

【図8】第１の学習用画像取得方法を示す説明図である。

【図9】第２の学習用画像取得方法を示す説明図である。

【図10】第２の学習用画像取得方法を実行するための本体の第２構成例を示すブロック図である。

【図11】第２の学習用画像取得方法の変形例を示す説明図である。

【発明を実施するための形態】

【0012】

（Ａ）実施形態の概要
実施形態に係る生物組織処理システムは、機械学習型の推定器、決定部、及び、制御部を含む。推定器は、顕微鏡による生物組織の観察により得られた画像に対して生物組織に含まれる注目要素を推定する処理を適用し、推定結果を得るものである。制御部は、推定器の機械学習過程において、生物組織における現観察エリアが観察対象となるように顕微鏡の動作を制御するものである。決定部は、推定器の機械学習過程において、現観察エリアを決定するものであり、詳しくは、生物組織における既観察エリア集合に基づいて現観察エリアを探索的に決定するものである。

【0013】

上記構成によれば、機械学習過程での今までの観察実績（既観察エリア集合）を考慮した上で、次の観察対象（現観察エリア）を決定することが可能となる。これにより、推定器に対して実効性の高い学習用画像を与えることが可能となる。上記構成によれば、推定器の学習の質を高められ、ひいては推定器の汎化性能や推定精度を高められる。

【0014】

注目要素（注目要素像）は、画像処理に際して、検出対象又は識別対象となる特定の組織構成要素である。最終的な解析対象又は画像化対象が注目要素とされてもよいし、最終的な解析対象又は画像化対象とは別の組織構成要素が注目要素とされてもよい。例えば、細胞膜に囲まれた細胞質の画像化に際して、最初に、細胞膜が注目要素として検出又は識別されてもよい。

【0015】

実施形態において、推定器に入力される画像は走査型電子顕微鏡により取得される。光学顕微鏡等によってその画像が取得されてもよい。機械学習型の推定器は、例えばＣＮＮで構成されるが、他のタイプの機械学習型の推定器が利用されてもよい。実施形態においては、連続切片SEM法（アレイトモグラフィ法）により複数の画像が取得されているが、FIB-SEM法、SBF-SEM法、その他の手法により複数の画像が取得されてもよい。上記構成は、三次元顕微鏡法の他、二次元顕微鏡法等に適用し得るものである。

【0016】

実施形態において、決定部は、既観察エリア集合に基づいて、複数の候補エリアについて複数の評価値を演算する評価値演算部と、複数の評価値に基づいて、複数の候補エリアの中から特定の候補エリアを現観察エリアとして選択する選択部と、を含む。この構成によれば、各候補エリアについて個別的に演算される評価値に基づいて現観察エリアが選択される。

【0017】

実施形態において、評価値演算部は、候補エリアごとに、当該候補エリアと複数の既観察エリアとの間で複数の類似度を演算する類似度演算器と、候補エリアごとに、複数の類似度に基づいて評価値を演算する評価値演算器と、を含む。この構成によれば、個々の候補エリアを総合評価することが可能となる。例えば、複数の類似度の総和、平均値又は代表値等として、評価値が定められる。

【0018】

実施形態において、推定器に入力される画像は、生物組織の高倍率観察により得られた画像であり、生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群が取得され、類似度演算器は、候補エリアに対応する、参照画像群中の候補部分と、複数の既観察エリアに対応する、参照画像群中の複数の既観察部分と、に基づいて複数の類似度を演算する。この構成によれば、画像比較によって各類似度が演算される。画像比較の手法として、参照画像群中における複数の部分をそのまま対比する第１方法、参照画像中における複数の部分を処理した上で処理後の複数の部分を対比する第２方法、等があげられる。高倍率観察では第１倍率が設定され、低倍率観察では第１倍率よりも低い第２倍率が設定される。低倍率観察によれば、一般に、試料における広い範囲にわたって迅速に画像取得を行える。

【0019】

参照画像群中の各候補部分は、生物組織において観念される各候補エリアの実体を表す画像部分であり、参照画像群中の各既観察部分は、生物組織における各既観察エリアの実体を表す画像部分である。実施形態において、参照画像は低倍率画像により構成されているが、低倍率画像以外の画像が参照画像として利用されてもよい。例えば、生物組織中の広範囲の高倍率観察により取得された高倍率画像が参照画像として利用されてもよい。また、異種の画像が参照画像として利用されてもよい。

【0020】

実施形態において、類似度演算器は、候補部分に対してアップサンプリングを適用する第１アップサンプリング処理器と、複数の既観察部分に対してアップサンプリングを適用する第２アップサンプリング処理器と、アップサンプリング後の候補部分に対して推定器が有する少なくとも１つの畳み込みフィルタを適用する第１フィルタ処理器と、アップサンプリング後の複数の既観察部分に対して推定器が有する少なくとも１つの畳み込みフィルタを適用する第２フィルタ処理器と、アップサンプリング及び少なくとも１つの畳み込みフィルタが適用された候補部分と、アップサンプリング及び少なくとも１つの畳み込みフィルタが適用された複数の既観察部分と、に基づいて、複数の類似度を演算する演算器と、を含む。

【0021】

上記構成によれば、推定器内で実行される画像処理（特徴量抽出処理）の全部又は一部を経た２つの画像部分に基づいて類似度が演算される。これにより、推定器の特性が考慮された評価値を演算することが可能となる。推定器が有する複数の畳み込みフィルタは外部に取り出すことが可能であり、上記構成は、それらの全部又は一部を類似度演算において援用するものである。例えば、推定器内には、並列的に機能する複数の畳み込みフィルタが存在する。そのような複数の畳み込みフィルタが個々の候補部分及び個々の既観察部分に対して適用される。推定器内における各畳み込みフィルタは、学習過程の進行に伴って更新されてゆく。類似度の演算に際しては、望ましくは、最新の畳み込みフィルタが利用される。つまり、推定器内でのフィルタ処理の変化に伴って、類似度演算器内でのフィルタ処理が変化する。

【0022】

実施形態において、類似度演算器は、候補部分に対してアップサンプリングを適用するアップサンプリング処理器と、アップサンプリング後の候補部分に対して推定器が有する少なくとも１つの畳み込みフィルタを適用する第１フィルタ処理器と、複数の既観察部分に対応する複数の高倍率画像に対して推定器が有する少なくとも１つの畳み込みフィルタを適用する第２フィルタ処理器と、アップサンプリング及び少なくとも１つの畳み込みフィルタが適用された候補部分と少なくとも１つの畳み込みフィルタが適用された複数の高倍率画像とに基づいて複数の類似度を演算する演算器と、を含む。この構成によれば、上記同様に、推定器の特性を考慮しつつ評価値を演算することが可能となる。また、既に取得されている複数の高倍率画像を利用するので、複数の既観察部分に対するアップサンプリング処理を省略できる。

【0023】

実施形態において、複数の参照画像は、生物組織における複数の深さに対応した複数の生物組織切片の低倍率観察により得られたものである。この構成によれば、解析過程において複数の深さに対応する複数の画像を推定器に入れることを前提として、学習過程において推定器を適正に又は効率的に学習させることが可能となる。実施形態において、顕微鏡は、観察用光軸に対して複数の生物組織切片を載せた基板を相対的に動かす移動機構を備え、制御部は、現観察エリアが高倍率観察されるように移動機構を制御する。観察用光軸は、電子ビーム軸、光学軸等である。基板を固定し、観察用光軸を移動させてもよい。

【0024】

実施形態に係る機械学習方法は、顕微鏡による生物組織の高倍率観察により得られた画像に対して生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物画像処理システムにおいて、推定器を学習させるための機械学習方法である。具体的には、実施形態に係る機械学習方法は、顕微鏡による生物組織の低倍率観察により１又は複数の参照画像からなる参照画像群を取得する工程と、参照画像群における候補部分ごとに、当該候補部分と参照画像群における複数の既観察部分との間で評価値を演算し、参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する工程と、特定の候補部分に対応する生物組織中の現観察エリアが顕微鏡により高倍率観察されるように顕微鏡の動作を制御する工程と、現観察エリアの高倍率観察により得られた画像を学習用画像として推定器に入力する工程と、を含む。この方法によれば、推定器に対して質の高い学習用画像を与えることが可能となる。ひいては、推定器の推定精度を高められる。

【0025】

（Ｂ）実施形態の詳細
図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析対象又はイメージング対象になり得る。

【0026】

図１に示す構成例において、生物組織画像処理システム１０は、試料前処理装置１２、連続切片作成装置１４、走査型電子顕微鏡（ＳＥＭ）１６、及び、生物組織画像処理装置１８によって構成されている。

【0027】

試料前処理装置１２は、生体から取り出された組織２０に対して前処理を行う装置であり、又は、その前処理のための各種の器具に相当する。前処理として、固定処理、染色処理、導電処理、樹脂包埋処理、整形処理等が挙げられる。それらの全部又は一部が、必要に応じて、実施される。染色処理においては四酸化オスミウム、酢酸ウラン、クエン酸鉛等が用いられてもよい。染色処理が以下に説明する各試料切片に対して行われてもよい。前処理に含まれる一部又は全部の工程が手作業によって行われてもよい。

【0028】

連続切片作成装置１４は、ＳＥＭ１６の外部に設けられ、あるいは、ＳＥＭ１６の内部に設けられる。連続切片作成装置１４により、前処理後のキュービック状の試料から、深さ方向（Ｚ方向）に並ぶ複数の試料切片２４が切り出される。その際には、ウルトラミクロトーム等の装置が利用されてもよい。その作業が手作業で行われてもよい。複数の試料切片２４により、試料切片群２２が構成される。実際には、切り出された複数の試料切片２４は、基板２８上に所定の配列で配置される。基板２８は、例えば、ガラス基板、シリコーン基板である。図１においては、基板２８上に、２つの試料切片列からなる試料切片アレイ２２Ａが構成されているが、それは例示に過ぎない。基板２８及び試料切片アレイ２２Ａにより、試料ユニット２６が構成される。

【0029】

ちなみに、個々の試料切片２４における縦及び横のサイズは、例えば、ｎｍオーダー又はμｍオーダーである。それ以上のサイズ（例えばｍｍオーダーのサイズ）を有する試料切片２４が作製されてもよい。個々の試料切片２４の厚み（Ｚ方向のサイズ）は、例えば、数ｎｍ～数百ｎｍであり、実施形態においては、その厚みは例えば３０～7０ｎｍの範囲内である。本願明細書において挙げる数値はいずれも例示である。

【0030】

ＳＥＭ１６は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出器３４、制御部２０２、移動機構２０４等を有している。試料室内には、試料ユニット２６を保持するステージ、及び、そのステージを動かす移動機構２０４、が設けられている。制御部２０２により、移動機構２０４の動作つまりステージの移動が制御される。具体的には、試料切片アレイ２２Ａの中から選択された特定の試料切片２４に対して電子ビーム３０が照射される。照射位置を走査（例えばラスタースキャン）させながら、各照射位置から放出される反射電子３２が検出器３４で検出される。これによりＳＥＭ画像が形成される。これが試料切片２４ごとに実行される。その結果として、複数の試料切片２４の観察結果である複数のＳＥＭ画像３８が得られる。複数のＳＥＭ画像３８はＳＥＭ画像スタック３６を構成する。ＳＥＭ画像スタック３６が解析対象となる。

【0031】

ＳＥＭ画像スタック３６は、Ｚ方向における複数の深さに対応する（換言すればデータ記憶空間内でＺ方向に並ぶ）複数のＳＥＭ画像３８により構成される。各ＳＥＭ画像３８は、生物組織画像処理装置１８側から見て、元画像又は入力画像である。各ＳＥＭ画像３８は電子データであり、各ＳＥＭ画像３８がＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。

【0032】

なお、Ｚ方向に直交する方向をＸ方向と定義し、Ｚ方向及びＸ方向に直交する方向をＹ方向と定義した場合、生物組織の解析過程では、望ましくは、Ｘ方向観察範囲及びＹ方向観察範囲が互いに一致するように、各試料切片２４における観察範囲（電子ビーム二次元走査範囲）が定められる。反射電子３２ではなく、二次電子等が検出されてもよい。制御部２０２は、電子ビーム３０を形成するための加速電圧を可変する機能、及び、倍率を変更する機能も備えている。生物組織、生物組織中の観察対象、観察目的等に応じて、電子ビーム形成時の加速電圧が切り替えられてもよい。一般に、後述する膜推定器４２の学習過程及びその後の生物組織の解析過程では同じ加速電圧が設定される。

【0033】

膜推定器４２の機械学習過程では、上記同様の手法によって、複数の深さに対応する、機械学習用の複数の試料切片が製作される。機械学習用として１つの試料切片だけが製作されてもよいが、三次元顕微鏡法用の推定器について、その学習の質を高めるためには、上記のように深さ方向に並ぶ複数の試料切片が製作されるのが望ましい。

【0034】

一次学習（初期学習）過程では、複数の試料切片の中においてランダムに設定された複数の観察エリアが高倍率観察され、これにより複数の高倍率画像としての複数の初期学習用画像（図示せず）が取得される。それらを利用して膜推定器４２の一次学習が実行される。その際、複数の初期学習用画像は、ＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。それらの初期学習用画像が、正解画像を作成するための他の装置へ伝送されてもよい。一次学習過程の詳細については後に説明する。

【0035】

続いて、二次学習過程の実行に先立って、又は、二次学習過程の最初に、参照画像群（参照画像スタック）２０６が取得される。具体的には、学習用の試料切片ごとに、その全体又はその比較的に広い部分が低倍率で観察される。これにより、複数の試料切片に対応する複数の参照画像（低倍率画像）２０８が取得される。それらの参照画像２０８により参照画像群２０６が構成される。高倍率は第１倍率であり、低倍率は第１倍率よりも低い第２倍率である。複数の参照画像２０８は、膜推定器４２の二次学習過程において、高倍率観察する１又は複数の現観察エリアを探索的に決定するために取得されるものである。

【0036】

二次学習過程においては、膜推定器４２の学習の質を高めるために、あるいは、膜推定器４２に対して多様な学習用画像を与えるために、後述する手法により、参照画像群２０６に基づいて、複数の試料切片の中において複数の現観察エリアが探索的に決定される。その上で、複数の現観察エリアが高倍率観察される。これにより、複数の高倍率画像として複数の学習用画像２１２が取得される。それらは学習用画像群２１０を構成する。学習用画像群２１０を利用して膜推定器４２の二次学習が実行される。一定の膜推定精度が得られるまで、学習用画像群２１０の取得及びそれを利用した膜推定器４２の二次学習が繰り返し実行される。参照画像群２０６及び学習用画像群２１０により二次学習過程用の画像セット２０５が構成される。参照画像群２０６及び学習用画像群２１０も、ＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。第２学習過程の詳細についても後に説明する。

【0037】

生物組織画像処理装置１８は、図示の構成例において、パーソナルコンピュータによって構成されている。生物組織画像処理装置１８がＳＥＭ１６内に組み込まれてもよく、生物組織画像処理装置１８がＳＥＭ１６等を制御するシステムコンピュータ内に組み込まれてもよい。生物組織画像処理装置１８によりＳＥＭ１６が制御されてもよい。

【0038】

生物組織画像処理装置１８は、本体４０、表示器４６及び入力器４８を有している。本体４０が有する複数の機能については、後に、図２以降の各図に基づいて詳しく説明する。図１においては、本体４０が発揮する代表的な２つの機能（膜推定機能及び学習制御機能）がそれぞれブロックとして表現されている。具体的には、本体４０は、機械学習型の膜推定器４２及び学習制御部２００を有している。表示器４６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。入力器４８は、ユーザーによって操作されるキーボード、ポインティングデバイス等によって構成される。

【0039】

上記のように、本実施形態では、二次学習過程において、学習制御部２００により、複数の現観察エリアが探索的に決定される。ＳＥＭ１６内の制御部２０２は、複数の試料切片２４における複数の現観察エリアが順次、高倍率観察されるように、移動機構２０４を制御し、また、観察倍率を制御する。複数の現観察エリアの高倍率観察の結果、複数の高倍率画像として複数の学習用画像２１２が取得される。それらを利用して膜推定器４２の二次学習が実行される。

【0040】

図２には、本体４０についての第１構成例が示されている。本体４０は、大別して、学習制御サブシステム４０Ａ及び画像処理サブシステム４０Ｂからなる。まず、後者の画像処理サブシステム４０Ｂについて説明する。

【0041】

画像処理サブシステム４０Ｂは、機械学習型の膜推定器４２、二値化器（画像生成器）５０、加工ツールユニット（作業支援部）４４、ボリュームデータ処理部５６、等を有する。加工ツールユニット４４は、修正部５２及びラベリング処理部５４を有している。ボリュームデータ処理部５６は、解析部５６Ａ及びレンダリング部５６Ｂを有している。

【0042】

図２に示される各構成の実体は、ユーザーの作業又は行為に相当する部分を除いて、基本的に、ＣＰＵ、ＧＰＵ等の汎用プロセッサによって実行されるソフトウエアつまりプログラムである。もっとも、それらの構成の一部又は全部が専用プロセッサ又は他のハードウエアによって構成されてもよい。生物組織画像処理装置が有する機能の全部又は一部がネットワーク上に存在する１又は複数の情報処理デバイスにより実行されてもよい。

【0043】

膜推定器４２は、膜推定手段として機能する。膜推定器４２は、入力された元画像（ＳＥＭ画像、高倍率画像）５８に対して膜推定処理を適用し、これによって膜尤度マップ６０を出力するものである。図示の構成例において、膜推定器４２は、ＣＮＮ（Convolutional Neural Network）により構成されている。その具体的な構成例については後に図３を用いて説明する。ＣＮＮによって膜が正しく推定されるように、ＣＮＮの実際の稼働に先立って、ＣＮＮ学習過程が事前に実行される。その学習過程には、上記のように、一次学習過程（初期学習過程）と、二次学習過程と、が含まれる。

【0044】

一次学習過程では、教師データを構成する複数の画像ペアが膜推定器４２に与えられ、これにより膜推定器４２内のＣＮＮパラメータ群が優良化（最適化）される。すなわち、膜推定器４２内に機械学習結果が蓄積される。ここで、個々の画像ペアは、元画像（ＳＥＭ画像、高倍率画像）５８とそれに対応する正解画像６８とにより構成される。正解画像６８は、例えば、元画像５８に対する手作業により作成される。教師なし機械学習器、簡易な識別器（例えばＳＶＭ（Support Vector Machine））等によって、元画像５８から正解画像６８が作成されてもよい。この場合、かかる識別器に対して元画像５８を入力し、その出力に基づいてユーザーにおいて識別器がある程度働いていると判断できた場合に、その出力を正解画像６８として利用してもよい。一定の一次学習過程を経た膜推定器４２の出力に基づいて正解画像６８が作成されてもよい。

【0045】

続く二次学習過程では、一次学習過程を経て膜推定器４２がある程度働くことを前提として、膜推定器４２に対して、一次学習過程と同様に、教師データとして複数の画像ペアが与えられる。実施形態においては、その教師データは、一次学習過程で利用された複数の画像ペアと二次学習過程で追加された複数の画像ペアとにより構成される。追加される各画像ペアは、元画像５８（具体的には上記の学習用画像２１２）とそれに対応する正解画像６４Ａとからなる。正解画像６４Ａは、膜推定器４２から加工ツールユニット４４までの構成により、生物画像処理装置自身によって作成される。具体的に説明すると、元画像５８を膜推定器４２に入力すると、膜推定器４２から推定結果画像として膜尤度マップ６０が出力される。膜尤度マップ６０に基づく仮膜画像の生成、及び、加工ツールユニット４４を利用した仮膜画像６２に対するユーザー（専門家）修正を経て、正解画像６４Ａが作成される。個々の処理については後に詳述する。仮膜画像６２を正解画像６２Ａとして利用することも考えられる。二次学習過程により、膜推定器４２内のＣＮＮパラメータ群が更に優良化される。つまり、膜推定器４２内に機械学習結果が更に蓄積される。二次学習過程は、例えば、元画像５８に対する推定処理の結果が、元画像５８に対応する正解画像６８，６４Ａに十分に類似したと判断された場合に終了する。その後、必要に応じて、上記同様の手法により、膜推定器４２の再学習が実行される。

【0046】

二次学習過程では、膜推定結果を基礎として正解画像を作成できるので、元画像から正解画像の全体を手作業で作成する場合に比べ、ユーザーの負担が大幅に軽減される。二次学習過程後における必要な学習過程においても同様である。なお、一次学習過程及び二次学習過程において、膜推定器４２に対し、複数の画像ペアが一括して与えられて、それがバッチ処理されてもよい。

【0047】

データベース５７には、複数の元画像５８、及び、複数の正解画像６８，６４Ａが格納される。膜推定器４２とデータベース５７とが一体化されてもよい。機械学習型の膜推定器として、Ｕ－ｎｅｔが利用されてもよく、また、ＳＶＭ、ランダムフォレスト等が利用されてもよい。

【0048】

二値化器５０は、画像生成器として機能するものである。具体的には、二値化器５０は、後に図４を用いて例示するように、膜尤度マップ６０に対する二値化処理により、仮膜画像６２を生成するモジュールである。膜尤度マップ６０は、二次元配列された複数の膜尤度からなる。個々の膜尤度は、膜である確からしさ（確率）を示す数値である。膜尤度は例えば０から１の間をとる。膜尤度マップ６０を膜尤度画像として捉えることもできる。実施形態において、二値化器５０には閾値が設定されており、閾値以上の膜尤度を１に変換し、閾値未満の膜尤度を０に変換する。その結果として生成される画像が仮膜画像６２である。実施形態においては、便宜上、修正前の膜画像を修正後の膜画像から区別するために、修正前の膜画像を仮膜画像６２と呼んでいる。

【0049】

なお、膜推定器４２及び二値化器５０の両者により画像生成部６１が構成される。画像生成部６１の全体がＣＮＮ等により構成されてもよい。その場合でも、膜尤度マップ及び仮膜画像の段階的な生成を観念できる。仮膜画像６２を正解画像６２Ａとして用いることも可能である。二値化処理前に、膜尤度マップ６０に対して、ノイズ除去、エッジ強調等の処理が適用されてもよい。

【0050】

加工ツールユニット４４は、作業支援部又は作業支援手段として機能するものである。加工ツールユニット４４は、情報処理の観点から見て、表示処理機能及び画像処理機能を有している。作業の観点から見て、修正機能及びラベリング機能を有しており、図２においては、それらの機能が修正部５２及びラベリング処理部５４として表現されている。

【0051】

修正部５２は、後に図５において例示する作業ウインドウを介して、ユーザーに対して作業対象となった仮膜画像を作業対象画像として表示し、また、作業対象画像上におけるユーザーの修正指示を受け付けるものである。修正内容は作業対象画像となった仮膜画像に反映される。作業対象画像内に例えば膜の途切れ部分が含まれる場合、その途切れ部分に対して膜画素群が追加される。作業対象画像内に例えば膜以外の部分が含まれ、その部分が膜として誤認されている場合、その部分を構成する膜画素群が削除される。そのような追加及び削除に際し、ユーザーの作業又は操作を支援し各仮膜画像を管理するモジュールが修正部５２である。

【0052】

図示の構成例においては、修正部５２（又は加工ツールユニット４４）に対して、生成された仮膜画像６２の他に、入力された元画像５８、及び、生成された膜尤度マップ６０も並列的に入力されている。これにより、作業対象画像としての仮膜画像と共に、又はそれに代えて、作業対象画像に対応する元画像５８又は膜尤度マップ６０を表示することが可能である。

【0053】

ラベリング処理部５４は、修正後の膜画像（又は修正未了の膜画像）に含まれる個々の領域（細胞内腔）に対して、ラベリング（ペイント及びラベル付け）を行うためのモジュールである。ラベリングには、ユーザーによるマニュアルでのラベリング、及び、自動的なラベリングがある。修正作業及びラベリング作業が完了した段階で、細胞内腔とそれ以外とが区別された三次元ラベリングデータ６６が構成される。それがボリュームデータ処理部５６へ送られる。ラベリングについては後に図６を用いて説明する。

【0054】

ボリュームデータ処理部５６には、図示の構成例において、複数の元画像からなる元画像スタック（ＳＥＭ画像スタック）３６が入力されている。元画像スタック３６はボリュームデータを構成するものである。また、ボリュームデータ処理部５６には、上記のように、三次元ラベリングデータ６６も入力されている。それもボリュームデータの一種である。

【0055】

解析部５６Ａは、例えば、三次元ラベリングデータ６６に基づいて、対象器官（例えば神経細胞）を解析する。例えば、形態、体積、長さ等が解析されてもよい。その際、三次元ラベリングデータを参照しながら元画像スタック３６が解析される。レンダリング部５６Ｂは、三次元ラベリングデータ６６に基づいて、三次元画像（立体的表現画像）を形成するものである。例えば、三次元ラベリングデータ６６に基づいて、元画像スタック３６の中から画像化部分が抽出され、それに対してレンダリング処理が適用されてもよい。

【0056】

既に説明した二次学習過程においては、修正後の各膜画像６４がそれぞれ正解画像６４Ａとして膜推定器４２に入力される。各正解画像６４Ａの作製に際して、膜推定器４２による推定結果を利用することができるので、且つ、加工ツールユニット４４を利用することができるので、それらを利用しない場合に比べて、各正解画像６４Ａの作製負担が大幅に削減される。すなわち、上記構成によれば、膜推定器４２の学習過程で要する労力及び時間を削減することが可能である。二次学習過程後の解析過程においては、膜推定器４２及び加工ツールユニット４４の併用により、解析対象又はレンダリング対象となる画像群の品質を高められ、また、その画像群を簡便かつ迅速に生成することが可能である。

【0057】

次に、図２における学習制御サブシステム４０Ａについて説明する。実施形態においては、二次学習過程において、学習制御サブシステム４０Ａが機能する。その後の学習過程で、学習制御サブシステム４０Ａが機能してもよい。一次学習過程において、学習制御サブシステム４０Ａが機能してもよい。画像記憶部２１４には、複数の参照画像２０８が記憶される。画像記憶部２１４が上記のデータベース５７と一体化されてもよい。

【0058】

学習制御部２００は、学習制御手段として機能するものであり、それは評価値演算部２１６及び観察エリア決定部２１８を有する。評価値演算部２１６は、評価値演算手段として、又は、類似度演算器及び評価値演算器として、機能するものであり、複数の候補エリアについて複数の評価値を演算するものである。実施形態において、各評価値は類似評価値である。個々の候補エリアごとに、当該候補エリアと複数の既観察エリアとの間で複数の類似度が演算される。個々の候補エリアごとに、複数の類似度に基づいて評価値が演算される。評価値は、候補エリアが既観察エリア集合に対してどの程度類似しているのかを示す指標である。

【0059】

観察エリア決定部２１８は、観察エリア決定手段又は選択手段として機能するものであり、複数の候補エリアについて演算された複数の評価値に基づいて、１又は複数の候補エリアを１又は複数の現観察エリアとして決定又は選択する。実施形態では、演算量を削減するために、１回の処理で、複数の現観察エリアが決定されている。より詳しくは、二次学習過程において、学習用画像セットに多様性をもたせるために、類似度の低い複数の候補エリアが探索的に選択される。各現観察エリアの座標情報がＳＥＭ内の制御部２０２へ送られる。

【0060】

学習制御部２００における具体的な処理内容については、後に図７以降の各図を参照しながら詳述する。ＳＥＭ内又はシステム制御装置内に学習制御部２００が設けられてもよい。

【0061】

図３には、膜推定器４２の構成例が模式的に示されている。膜推定器４２は、多数の層を有しており、それには、入力層８０、畳み込み層８２、プーリング層８４、出力層８６等が含まれる。それらはＣＮＮパラメータ群８８に従って作用する。ＣＮＮパラメータ群８８には、多数の重み係数、多数のバイアス値、その他が含まれる。ＣＮＮパラメータ群８８は最初に初期値群９４によって構成される。例えば、乱数等を利用して初期値群９４が生成される。膜推定器４２は、通常、畳み込み層を有する。各畳み込み層には１又は複数の畳み込みフィルタが含まれる。

【0062】

学習過程では、評価部９０及び更新部９２が機能する。例えば、評価部９０は、教師データを構成する複数の画像ペア（元画像５８とそれに対応する正解画像６８，６４Ａ）に基づいて評価値を計算するものである。具体的には、元画像５８に対する推定処理の結果６０Ａと元画像５８に対応する正解画像６８，６４Ａとを誤差関数に順次与えることにより評価値が演算される。更新部９２は、その評価値が良い方向に変化するように、ＣＮＮパラメータ群８８を更新する。それを繰り返すことによって、ＣＮＮパラメータ群８８が全体的に最適化される。実際には、評価値が一定値に到達した時点で、学習過程の終了が判断される。図３に示した構成は単なる例示に過ぎず、膜推定器４２として、多様な構造を有する推定器を利用することが可能である。

【0063】

図４には、二値化器の作用が示されている。膜推定器から膜尤度マップ６０が出力される。膜尤度マップ６０は、複数の画素に相当する複数の膜尤度６０ａからなるものであり、個々の膜尤度６０ａは膜であることの確からしさを示す数値である。符号５０Ａで示されるように、二値化器は膜尤度マップ６０を二値化し、これにより二値化画像としての仮膜画像６２を生成する。二値化に際しては、個々の膜尤度６０ａが閾値と比較される。例えば、閾値以上の膜尤度６０ａが値１を有する画素６２ａに変換され、閾値未満の膜尤度６０ａが値０を有する画素６２ｂに変換される。画素６２ａが膜を構成する画素（膜画素）として取り扱われる。閾値はユーザーにより可変設定し得る。その設定が自動化されてもよい。例えば、仮膜画像６２を観察しながら閾値が可変されてもよい。

【0064】

図５には、加工ツールユニットにより表示される作業ウインドウが例示されている。図示の例において、作業ウインドウ１００は、表示画像１０２を含んでいる。表示画像１０２は、ユーザーによって選択された深さに対応する仮膜画像（作業対象画像）及び元画像からなる合成画像（複合画像）である。グレイスケール画像としての元画像が背景画像を構成しており、それに対して、カラー画像（例えば青色画像）としての仮膜画像（作業対象画像）が重畳表示されている。なお、図示された表示画像１０２は脳組織を示しており、そこには、複数の細胞の断面が現れている。同時に、細胞内の小器官（ミトコンドリア等）の断面も現れている。

【0065】

タブ１０４が選択された場合、上記で説明した表示画像１０２が表示される。タブ１０５が選択された場合、グレイスケール画像としての元画像だけが表示される。タブ１０６が選択された場合、グレイスケール画像としての膜尤度マップ（膜尤度画像）だけが表示される。膜尤度マップの観察により、閾値が適切に設定されていること等を確認できる。また、元画像の単独表示によれば、膜の細部を詳細観察することが容易となる。作業対象画像としての仮膜画像だけを表示するタブを追加してもよい。膜尤度マップを背景画像とし、それに対して仮膜画像が重畳表示されてもよい。

【0066】

深さ選択ツール１０８は、Ｚ方向において、特定の深さ（表示深さ）を選択するための表示要素（操作要素）である。それは、Ｚ軸を表すＺ軸シンボル１０８ｂと、Ｚ軸シンボル１０８ｂに沿ってスライド運動するスライダとしてのマーカー１０８ａと、からなる。マーカー１０８ａを移動させて、所望の深さを選択することが可能である。このような深さ選択ツール１０８によれば、選択する深さや深さ変化量を直感的に認識し易いという利点を得られる。なお、Ｚ軸シンボル１０８ｂの左端点が深さゼロに相当し、Ｚ軸シンボル１０８ｂの右端点が最大深さに相当している。他の形態を有する深さ選択ツールを採用してもよい。深さ入力欄１１４は、深さを数値として直接的に指定するための欄である。深さ入力欄１１４に、現在選択されている深さが数値として表示されてもよい。

【0067】

透過度調整ツール１１０は、表示画像１０２が表示されている状態において、合成表示されているカラーの仮膜画像（作業対象画像）の透過度（表示重み）を調整するためのツールである。例えば、マーカー１１０ａを左側へ移動させると、カラーの仮膜画像の表示重みが小さくなり、その透明度が上がって、元画像が支配的に表示されるようになる。逆に、マーカー１１０ａを右側へ移動させると、カラーの仮膜画像の表示重みが大きくなり、その透明度が下がって、カラーの仮膜画像がよりはっきりと表現されるようになる。

【0068】

重合表示ツール１１２は、現在表示されている画像（合成画像、元画像又は膜尤度マップ）に対して、深さ方向に浅い側に隣接する画像（合成画像、元画像又は膜尤度マップ）又は深さ方向に深い側に隣接する画像（合成画像、元画像又は膜尤度マップ）を重ねて表示する場合において操作されるものである。マーカー１１２ａを左側へ移動させると、浅い側に隣接する画像に対する表示重みが大きくなり、逆に、マーカー１１２ａを右側へ移動させると、深い側に隣接する画像に対する表示重みが大きくなる。３つ以上の画像を重ね合わせて表示してもよい。もっとも、あまり多くの画像を重ね合わせると、画像内容が複雑になり過ぎてしまうので、少数の画像を重ね合わせるのが望ましい。このような重合表示によれば、奥行き情報を得られ易くなる。

【0069】

ボタン列１１５は、仮想的な複数のボタン１１６，１１８，１２０，１２１，１２２，１２６によって構成される。ボタン１１６は、画像ズーム（拡大又は縮小）を行う場合に操作される表示要素である。ボタン１１８は、ペンツールを利用する場合に操作される表示要素である。ボタン１１８をオンにすると、カーソルの形態がペン形に代わり、それを用いて膜画素の追加を行える。ペンのサイズを変更することも可能である。ボタン１２０は、消しゴムを利用する場合に操作される表示要素である。ボタン１２０をオンにすると、カーソルの形態が消しゴム形に代わり、それを用いて膜画素の削除を行える。消しゴムのサイズを変更することも可能である。

【0070】

ボタン１２１は、ペイントを行う場合に操作される表示要素である。ボタン１２１をオンした上で、いずれかの領域を指定すれば、その領域が塗り潰される。また、ボタン１２１の操作によって、ペイント（又はラベリング）のために用意されている複数の機能の中から任意の機能を選択することも可能である。オブジェクト番号（ラベル）付けボタン１２２の操作により、カラーパレット１２４が表示される。例えば、ペイント処理済み領域に対して、カラーパレットの中から選択されたカラーが与えられる。これにより、その領域が、選択されたカラーによって着色される。個々の色がそれぞれオブジェクト番号に対応付けられている。レイヤ間にわたって複数の領域に対して同じカラーつまり同じオブジェクト番号を付与すれば、それらの領域によって特定細胞内の三次元内腔領域が画定される。

【0071】

ボタン１２６は、白黒反転用のボタンである。それを操作すると、表示された画像において、黒く表示されていた部分が白く表示され、逆に白く表示されていた部分が黒く表示される。

【0072】

上記の他、三次元像を表示させるためのボタンを設けるのが望ましい。図５に示した作業ウインドウ１００の内容は例示に過ぎず、ユーザー作業においてその作業性が良好になるように、その内容が適宜定められるのが望ましい。例えば、ラベリング結果を示す三次元像が表示されてもよい。

【0073】

図６には、ラベリング処理に含まれる三次元繋ぎ処理が例示されている。図６においては、Ｚ方向に並ぶ複数の仮膜画像Ｄ１～Ｄ４が示されている。深さＺｉに対応する仮膜画像Ｄ１が作業対象画像である。それが以下に説明する処理での基準画像とされる。

【0074】

三次元繋ぎ処理の第１例では、基準画像である仮膜画像Ｄ１に含まれる領域Ｒ１について代表点が特定される。例えば、代表点として中心点、重心点等が特定される。次いで、その代表点を通過する垂線Ｃが定義される。基準画像から、例えば、深い側にN枚の仮膜画像が参照され、それらの画像において垂線Ｃが通過している各領域が特定される。そして、垂線Ｃが通過している領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，・・・に対して、同じラベルが付与される。また、以上の処理が基準画像から浅い側のＮ枚の仮膜画像に対して適用されてもよい。自動的なラベリングの結果は、通常、ユーザーによって目視確認される。

【0075】

三次元繋ぎ処理の第２例では、基準画像である仮膜画像Ｄ１に含まれる領域Ｒ１（の外縁）が仮膜画像Ｄ２上に投影され、投影領域Ｒ１ａが定義される。仮膜画像Ｄ２上において、投影領域Ｒ１ａに対して最も重なり合う領域Ｒ２が特定される。続いて、領域Ｒ２が仮膜画像Ｄ３上に投影され、投影領域Ｒ２ａが定義される。仮膜画像Ｄ３上において、投影領域Ｒ２ａに対して最も重なり合う領域Ｒ３が特定される。同様に、仮膜画像Ｄ４上において、投影領域Ｒ３ａが定義され、それに基づいて領域Ｒ４が特定される。領域Ｒ１、及び、それを出発点として特定された領域Ｒ２，Ｒ３，Ｒ４の全部に対して、同じラベルが付与される。

【0076】

上記の処理では、投影元の領域がレイヤ変更時に逐次更新されていたが、それを固定するようにしてもよい。例えば、領域Ｒ１を仮膜画像Ｄ２，Ｄ３，Ｄ４へ投影するようにしてもよい。また、上記の処理では、基準画像からＺ方向の一方側に繋がり先が探索されていたが、基準画像からＺ方向の両側に繋がり先が探索されてもよい。その探索範囲がユーザー選択されてもよい。いずれにしても、自動的なラベリングの結果が、通常、ユーザーによって目視確認される。その場合には、図５に示した作業ウインドウが利用される。

【0077】

以上説明した三次元繋ぎ処理は例示であり、上記以外の三次元繋ぎ処理が採用されてもよい。領域間における繋がり関係の特定に際しては、領域ごとの１又は複数の特徴量が利用され得る。領域の特徴量として、面積、形態、周囲長、重心点、輝度ヒストグラム、テクスチャ、等が利用されてもよい。あるいは、領域間の特徴量として、重合面積、代表点間距離、等が利用されてもよい。

【0078】

図７は、実施形態に係る機械学習方法を示すフローチャートである。この機械学習方法には、１次学習過程（Ｓ１２～Ｓ２０）と、２次学習過程（Ｓ２４～Ｓ３８）とが含まれる。

【0079】

Ｓ１２では、係数ａ，ｂ，ｃが初期設定される。係数ａは、一次学習過程において、取得する画像の個数を決める係数である。係数ｂは、二次学習過程において、設定する候補エリアの個数を決める係数である。係数ｃは、二次学習過程において、ｂ個の候補エリアの中から現観察エリアとして選定する候補エリアの個数を決める係数である。係数ａ、ｂ、ｃはそれぞれ１以上の整数であり、ｂ＞ｃの関係がある。

【0080】

Ｓ１４では、複数の試料切片の中から、ａ個の初期観察エリアがランダムに選定される。ａ個の初期観察エリアがユーザーによって人為的に選択されてもよい。Ｓ１６では、ＳＥＭの制御によって、ａ個の初期観察エリアが順次観察され、これによって一次学習用のａ個の画像（高倍率画像）が取得される。Ｓ１８では、ａ個の画像に対する手作業修正等に基づいて、ａ個の正解画像が作成される。

【0081】

Ｓ２０では、ａ個の画像ペアが未学習の膜推定器に入力され、膜推定器の一次学習（初期学習）が実行される。ａ個の画像ペアは、Ｓ１６で取得されたａ個の画像とＳ１８で作成されたａ個の正解画像とからなる。

【0082】

Ｓ２２では、複数の試料切片の全体が低倍率観察され、これにより複数の参照画像（参照画像群）が取得される。各試料切片の全体又はそれに近い範囲に対する任意倍率観察により、複数の参照画像を得てもよい。複数の低倍率画像の取得によれば、一般に、データ総量を少なくでき、また、演算時間を短縮化できる。

【0083】

続いて、二次学習過程が実行される。Ｓ２４では、参照画像群に対してｂ個の候補部分が設定される。ｂ個の候補部分は、複数の試料切片上に観念し得るｂ個の候補エリアに対応するものであり、それらの実体を表すものである。実施形態においては、ｂ個の候補部分がランダムに設定される。他の方法により、ｂ個の候補部分が設定されてもよい。多様性確保の観点から、既観察部分集合を構成する複数の既観察部分と同一の部分はｂ個の候補部分の対象から除外される。すなわち、非重複条件が満たされるようにｂ個の候補部分が選定される。その場合、重複度に基づいて非重複条件が満たされるか否かが判断されてもよい。

【0084】

Ｓ２６では、ｂ個の候補部分についてｂ個の評価値が演算される。その際には、候補部分ごとに、候補部分と複数の既観察部分との間で複数の類似度が演算され、複数の類似度に基づいて評価値が演算される。類似度は、相関演算、ベクトルのノルム演算、その他の手法により演算され得る。評価値は、例えば、複数の類似度の総和又は平均値である。Ｓ２８では、ｂ個の評価値の中から、総合的に見て類似性の低い下位ｃ個（最下位を含むｃ個）の評価値が特定され、それらに対応するｃ個の候補部分からｃ個の候補エリアが特定される。ｃ個の候補エリアがｃ個の現観察エリアとして選定される。Ｓ３０では、ｃ個の現観察エリアが高倍率観察される。これにより二次学習用のｃ個の画像が取得される。なお、二次学習過程において、学習用の複数の画像を取得する方法として、第１の学習用画像取得方法及び第２の学習用画像取得方法が挙げられる。それらについては後に図８～図１１に基づいて詳述する。

【0085】

Ｓ３２では、Ｓ３０で取得されたｃ個の画像が膜推定器に順次入力される。これにより膜推定器からｃ個の膜尤度マップが順次出力される。それらに基づいてｃ個の仮膜画像が生成される。Ｓ３４では、ｃ個の仮膜画像の修正により、ｃ個の正解画像が作成される。Ｓ３６では、Ｓ３０で取得されたｃ個の画像及びそれらに対応するｃ個の正解画像により構成されるｃ個の画像ペアが膜推定器に入力され、これによって膜推定器の二次学習が実行される。Ｓ３８において、膜推定器の推定精度が一定値に到達していないと判断された場合（学習継続が判断された場合）、Ｓ２４からの各工程が繰り返し実行される。Ｓ３８において、学習終了が判定された場合、本処理が終了する。

【0086】

上記の機械学習方法では、二次学習過程において、学習用画像セットの多様性が高められるように、ｃ個の現観察エリアが決定されているので、膜推定器の学習の質を高められる。

【0087】

図８には、第１の学習用画像取得方法が示されている。実施形態において、この第１の学習用画像取得方法は、二次学習過程において実行されるものである。この学習用画像取得方法が一次学習過程等において実行されてもよい。

【0088】

図８において、左側上段にある符号２１６Ａは、評価値演算部によって実行される処理を示している。左側下段にある符号２１８Ａは、観察エリア決定部によって実行される処理を示している。図８においては、同じ参照画像群が、説明の便宜上、参照画像群２０６Ａ（図中左側を参照）及び参照画像群２０６Ｂ（図中中央を参照）として、表現されている。図中右側には、試料切片群２２が示されている。

【0089】

参照画像群２０６Ａに対しては複数の候補部分２２４が定められる。複数の候補部分２２４は、試料切片群２２において観念される複数の候補エリア３００の実体を表すものである。例えば、複数の候補部分２２４は、参照画像群２０６Ａの中からランダムに選定される。その場合、以下に説明するいずれかの既観察部分２２２が候補部分２２４とならないように、つまり非重複条件が満たされるように、選定処理が実行される。非重複条件は、上記のように、既観察エリア３０２が現観察エリアとして重複して観察されないようにするための条件である。これにより、学習用画像セットにおける多様性を確保できる。参照画像群２０６Ａにおいては、複数の既観察部分が破線で示されている（符号２２２ａを参照）。

【0090】

参照画像群２０６Ｂには複数の既観察部分２２２が含まれる。それらは既観察部分集合２２０を構成する。複数の既観察部分２２２は、試料切片群２２における複数の既観察エリア３０２の実体を表すものである。既に説明したように、複数の参照画像２０８は、複数の試料切片２４の高倍率観察により得られたものであり、例えば、各参照画像２０８は各試料切片２４の全体又はそれに近い範囲を表す画像である。

【0091】

学習用の試料切片群２２は、複数の試料切片２４により構成される。上記のように、複数の試料切片２４には複数の既観察エリア３０２が含まれ、また、複数の試料切片２４においては複数の候補エリア３００を観念できる。複数の既観察エリア３０２に対して高倍率観察が既に実行されており、これにより、複数の高倍率画像（学習用画像）２１２が得られている。

【0092】

候補部分２２４ごとに評価値を演算するために、候補部分２２４と既観察部分集合２２０を構成する複数の既観察部分２２２との間で、複数の類似度が演算される。複数の類似度から評価値が演算される。評価値は、例えば、複数の類似度の総和、平均値、その他（最小値、最大値、重心値等）として定められる。評価値は類似性の大小を総合評価するための類似評価値である。

【0093】

図８に示す具体例においては、１番目の候補部分２２４と複数の既観察部分２２２との間で個別的に演算された複数の類似度がｅ１－１，ｅ１－２，ｅ１－３，ｅ１－４，ｅ１－５，・・・で示されている。それらの類似度から評価値Ｅ１が演算されている。これが候補部分２２４ごとに実行され、その結果として、複数の候補部分２２４について複数の評価値Ｅ１，Ｅ２，Ｅ３，・・・が演算される。例えば、候補部分２２４の個数がｍ個であり、既観察部分２２２の個数がｎ個である場合、候補部分２２４ごとにｎ個の類似度が演算され、それらに基づいてｍ個の候補部分２２４についてｍ個の評価値が演算される。

【0094】

符号２２６で示されるように、観察エリア決定部は、上記のように演算された複数の評価値の中で、最小値（類似性の最も低いもの）からｃ個の評価値を選択する。続いて、符号２２８で示されるように、観察エリア決定部は、選択されたｃ個の評価値に対応するｃ個の候補エリアを、ｃ個の現観察エリアとして決定する。ここで、ｃは１以上の任意の整数である。十分な学習結果が得られるまで、以上の処理が繰り返し実行される。

【0095】

上記の第１の学習用画像取得方法によれば、既観察エリア集合に基づいて、１又は複数の現観察エリアを定めることができるので、学習用画像セットにおける多様性を高めることができ、推定器の学習効率を高められる。

【0096】

次に、図９～図１１を用いて、第２の学習用画像取得方法について説明する。実施形態において、第２の学習用画像取得方法は、二次学習過程において実行されるものである。第２の学習用画像取得方法がその後の学習過程等において実行されてもよい。

【0097】

図９において、左側上段にある符号２１６Ａは、評価値演算部によって実行される処理を示しており、左側下段にある符号２１８Ａは、観察エリア決定部によって実行される処理を示している。図９においては、上記図８と同様、同じ参照画像群が、説明の便宜上、参照画像群２０６Ａ（図中左側を参照）及び参照画像群２０６Ｂ（図中右側を参照）として、表現されている。図９においては、試料切片群の図示が省略されている。なお、図９において、図８に示した要素と同様の要素には同一符号を付する。

【0098】

参照画像群２０６Ａに対しては複数の候補部分２２４が定められる。例えば、複数の候補部分２２４は、参照画像群２０６Ａの中からランダムに選定される。その場合、上記非重複条件が満たされるように、選定処理が実行される。参照画像群２０６Ａにおいては、複数の既観察部分が破線で示されている（符号２２２ａを参照）。参照画像群２０６Ｂには複数の既観察部分２２２が含まれる。それらは既観察部分集合２２０を構成する。

【0099】

フィルタ列を構成するｋ個のフィルタＦ１～Ｆｋは、ＣＮＮで構成された膜推定器から取り出される複数の畳み込みフィルタである。図９においては、説明の便宜上、中央右側寄り及び中央左側寄りに２つのフィルタ列が示されている。それらの実体は同一である。膜推定器において、各フィルタは、対象画像のサイズよりも小さなサイズを有し、畳み込み演算によって、対象画像からその特徴量を抽出するものである。実施形態においては、並列的に作用するｋ個のフィルタＦ１～Ｆｋが取り出されて、評価値演算において利用されている。膜推定器が有する全部のフィルタが評価値演算で利用されてもよいし、膜推定器が有する一部のフィルタが利用されてもよい。膜推定器が有する特定の１つのフィルタを利用することも考えられる。膜推定器での処理を考慮しつつ類似度を演算するためには、一般的には、膜推定器が有するできるだけ多くのフィルタを利用するのが望ましい。

【0100】

図９において、ＵＳ２５０は、複数の候補部分２２４に対してアップサンプリングを行うモジュールであり、ＵＳ２５２は、複数の既観察部分２２２に対してアップサンプリングを行うモジュールである。ＵＳ２５０及びＵＳ２５２が単一のモジュールで構成されてもよい。アップサンプリングは、低倍率画像を高倍率画像（膜推定器の入力画像）に相当する画像に変換する処理である。変換後の画像は、膜推定器の入力画像と同じ画素数及び見かけ上の倍率を有する画像となる。図９においては、アップサンプリング後の複数の候補部分がＶ１，Ｖ２，Ｖ３，・・・で表現されている。

【0101】

続いて、アップサンプリング後の複数の候補部分Ｖ１，Ｖ２，Ｖ３，・・・に対して、それぞれフィルタＦ１～Ｆｋが適用され、これによりアップサンプリング後且つフィルタ処理後の複数の候補部分Ｖ１１，・・・，Ｖ１ｋ，Ｖ２１，・・・，Ｖ２ｋ，Ｖ３１，・・・，Ｖ３ｋ，・・・が生じる。

【0102】

一方、ＵＳ２５２により、複数の既観察部分２２２に対してアップサンプリングが適用され、これによりアップサンプリング後の複数の既観察部分Ｕ１，Ｕ２，Ｕ３，・・・が生じる。続いて、アップサンプリング後の複数の既観察部分Ｕ１，Ｕ２，Ｕ３，・・・に対して、それぞれフィルタＦ１～Ｆｋが適用され、これによりアップサンプリング後且つフィルタ処理後の複数の既観察部分Ｕ１１，・・・，Ｕ１ｋ，Ｕ２１，・・・，Ｕ２ｋ，Ｕ３１，・・・，Ｕ３ｋ，・・・が生じる。

【0103】

評価値演算に際しては、アップサンプリング後且つフィルタ処理後の複数の候補部分Ｖ１１，・・，Ｖ１ｋ，Ｖ２１，・・・，Ｖ２ｋ，Ｖ３１，・・・，Ｖ３ｋ，・・・と、アップサンプリング後且つフィルタ処理後の複数の既観察部分Ｕ１１，・・・，Ｕ１ｋ，Ｕ２１，・・・，Ｕ２ｋ，Ｕ３１，・・・，Ｕ３ｋ，・・・との間で、複数の個別類似度が演算される。その場合、同じフィルタ処理が適用されたすべての組み合わせ（２つの部分の組み合わせ）について個別類似度が演算される。

【0104】

例えば、同じフィルタ処理が適用された１番目の候補部分Ｖ１１と複数の既観察部分Ｕ１１，Ｕ２１，Ｕ３１，・・・との間で複数の個別評価値ｅ１１，ｅ１２，ｅ１３，・・・が演算される。同様に、同じフィルタ処理が適用された２番目の候補部分と複数の既観察部分との間で複数の個別類似度が演算される。このようにして、最終的に、同じフィルタ処理が適用されたすべての組み合わせについて個別類似度が演算される。候補部分２２４ごとに、それについて演算された複数の個別類似度に基づいて、例えば、それらの総和、平均値等として、評価値Ｅ１，Ｅ２，Ｅ３，・・・が演算される。個々の評価値Ｅ１，Ｅ２，Ｅ３，・・・は、第１の学習用画像取得方法と同様に、既観察エリア集合に対する個々の候補エリアの類似性の大小を示すものである。

【0105】

以上を整理すると、候補部分２２４の個数をｍ個とし、既観察部分２２２の個数をｎとし、フィルタの個数をｋ個とした場合、候補部分２２４ごとに、ｋ×ｎ個の個別類似度が演算され、ｋ×ｎ個の個別類似度の総和等として評価値が演算される。つまり、ｍ個の候補部分２２４についてｍ個の評価値が演算される。なお、評価値の演算を二段階で行うようにしてもよい。例えば、アップサンプリング後且つフィルタ処理後の候補部分Ｖ１１，・・，Ｖ１ｋ，Ｖ２１，・・・，Ｖ２ｋ，Ｖ３１，・・・，Ｖ３ｋ，・・・ごとに、ｎ個の個別類似度に基づいて中間評価値（例えばＥ１１を参照）を求め、続いて、候補部分２２４ごとに、ｋ個の中間評価値から評価値Ｅ１を求めるようにしてもよい。この場合においても、ｍ個の候補部分２２４についてｍ個の評価値が求まることになる。

【0106】

符号２４０で示されるように、観察エリア決定部は、上記のように演算された複数の評価値の中で、最小値（類似性の最も低いもの）からｃ個の評価値を選択する。続いて、符号２４２で示されるように、観察エリア決定部は、選択されたｃ個の評価値に対応するｃ個の候補エリアを、ｃ個の現観察エリアとして決定する。十分な学習結果が得られるまで、以上の処理が繰り返し実行される。

【0107】

上記の第２の学習用画像取得方法によれば、第１の学習用画像取得方法と同様に、既観察エリア集合に基づいて、１又は複数の現観察エリアを定めることができるので、学習用画像セットにおける多様性を高められ、これにより学習効率を高められる。また、膜推定器の特性の全部又は一部を考慮して評価値を演算することが可能となる。

【0108】

第２の学習用画像取得方法を実行するには、例えば、図１０に示される構成が採用される。図１０には本体の第２構成例が示されている。なお、図２に示した構成と同様の構成には同一符号を付し、その説明を省略する。

【0109】

図１０において、本体２３４は学習制御サブシステム２３４Ａ及び画像処理サブシステム２３４Ｂにより構成される。膜推定器４２に含まれるフィルタ列（複数の畳み込みフィルタ）２３６が取り出され、それが評価値演算部２１６へ送られている。評価値演算部２１６は、図９に示した処理によって、フィルタ列２３６を利用して、複数の候補エリアごとに評価値を演算する。

【0110】

図１１には、第２の学習用画像取得方法の変形例が示されている。図９に示した要素と同様の要素には同一符号を付してその説明を省略する。図１１においては、図９に示されていたＵＳ２５２が除去されている。図１１においては、アップサンプリング後の複数の既観察部分（高密度画像）Ｕ１，Ｕ２，Ｕ３，・・・の代わりに、複数の既観察エリアから取得された複数の学習用画像（高密度画像）Ｈ１，Ｈ２，Ｈ３，・・・が利用されている。複数の学習用画像Ｈ１，Ｈ２，Ｈ３，・・・に対して、それぞれフィルタ処理が適用されている。これにより、複数の学習用画像に基づくフィルタ処理後の複数の既観察部分Ｕ１１，・・・，Ｕ１ｋ，Ｕ２１，・・・，Ｕ２ｋ，Ｕ３１，・・・，Ｕ３ｋ，・・・が生成されている。複数の評価値Ｅ１，Ｅ２，Ｅ３，・・・の演算方法は、図９に示したものと同一である。

【0111】

この変形例によっても、観察実績に基づいて、１又は複数の現観察エリアを定めることができるので、膜推定器の学習効率を高められる。また、膜推定器の特性の全部又は一部を考慮して評価値を演算することが可能となる。

【符号の説明】

【0112】

１０ 生物組織画像処理システム、１６ 走査型電子顕微鏡（ＳＥＭ）、１８ 生物組織画像処理装置、４２ 膜推定器、４４ 加工ツールユニット（作業支援部）、５０ 二値化器、５２ 修正部、５４ ラベリング処理部、５６ ボリュームデータ処理部、２１６ 評価値演算部、２１８観察エリア決定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】