特許 7181002 生物組織画像処理システム及び機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】生物組織画像処理システム及び機械学習方法

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20221122BHJP

   G01N 33/48 20060101ALI20221122BHJP

   G06T 7/00 20170101ALI20221122BHJP

   C12M 1/34 20060101ALN20221122BHJP

【ＦＩ】

G01N23/2251

G01N33/48 P

G06T7/00 350B

G06T7/00 630

C12M1/34 Z

【請求項の数】 10

(21)【出願番号】P 2018099388

(22)【出願日】2018-05-24

(65)【公開番号】P2019203803

(43)【公開日】2019-11-28

【審査請求日】2021-03-25

(73)【特許権者】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小西 功記

(72)【発明者】

【氏名】須賀 三雄

(72)【発明者】

【氏名】西岡 秀夫

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２００４－２１２３５５（ＪＰ，Ａ）

【文献】特開平０５－２９０７８６（ＪＰ，Ａ）

【文献】国際公開第２０１７／２２１５９２（ＷＯ，Ａ１）

【文献】特開２００７－２６３９３２（ＪＰ，Ａ）

【文献】特開２０１５－１４９１６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１８３２１７（ＵＳ，Ａ１）

【文献】内橋堅志 他，敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション，第３１回人工知能学会全国大会論文集，2017年，4K1-4in2，pp.1-4

【文献】大隅正子，低加速電圧走査電子顕微鏡法－生物篇－，電子顕微鏡，1996年，Vol.31 No.1，pp.45-50

【文献】Ligong Han et al.，Learning Generative Models of Tissure Organization with Supervised GANs，2018 IEEE Winter Conference on Applications of Computer Vision，2018年03月12日，pp.682-690

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００－２３／２２７６

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０６Ｔ ７／００－７／９０

Ｃ１２Ｍ １／３４

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｎ ３／０２－３／１０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

生物組織である解析対象試料の観察により画像を生成する電子顕微鏡と、
前記画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、
を含み、
前記推定器は学習用元画像セットによる学習を経た学習済み推定器であり、
前記学習用元画像セットには、第１観察条件の下で電子顕微鏡により生物組織である学習対象試料を観察することにより生成された第１元画像と、第２観察条件の下で電子顕微鏡により前記学習対象試料を観察することにより生成された第２元画像と、が含まれ、
前記第１観察条件は、電子顕微鏡の加速電圧として第１加速電圧を設定する条件であり、
前記第２観察条件は、電子顕微鏡の加速電圧として前記第１加速電圧よりも高い第２加速電圧を設定する条件であり、
前記推定器の学習過程では、前記第１加速電圧が設定されて前記第１元画像が生成され、前記第２加速電圧が設定されて前記第２元画像が生成され、
前記学習過程後の前記解析対象試料の解析過程では、前記第１加速電圧が設定されて前記画像が生成される、
ことを特徴とする生物組織画像処理システム。

【請求項2】

請求項１記載の生物組織画像処理システムにおいて、
前記推定器の学習過程では、学習対象試料ごとに前記第１加速電圧及び前記第２加速電圧が交互に設定される、
ことを特徴とする生物組織画像処理システム。

【請求項3】

請求項１記載の生物組織画像処理システムにおいて、
前記推定器の学習過程では、前記第１元画像に基づいて第１正解画像が生成され、前記第２元画像に基づいて第２正解画像が生成され、
前記学習用元画像セットには、前記第１元画像と前記第１正解画像とからなる第１画像ペア、及び、前記第２元画像と前記第２正解画像とからなる第２画像ペアが含まれる、
ことを特徴とする生物組織画像処理システム。

【請求項4】

請求項１記載の生物組織画像処理システムにおいて、
前記第２元画像に基づいて第２正解画像を生成する正解画像作成部を含む、
ことを特徴とする生物組織画像処理システム。

【請求項5】

請求項４記載の生物組織画像処理システムにおいて、
前記正解画像作成部は、前記第２元画像において前記注目要素の深部像を強調する強調部を含む、
ことを特徴とする生物組織画像処理システム。

【請求項6】

請求項５記載の生物組織画像処理システムにおいて、
前記注目要素は細胞膜であり、
前記注目要素の深部像は前記細胞膜の深部像である、
ことを特徴とする生物組織画像処理システム。

【請求項7】

請求項６記載の装置において、
前記正解画像作成部は、
前記強調部による処理を経た画像を複数の小領域に分割するセグメンテーションを実行するセグメンテーション部と、
前記セグメンテーション後の画像において、前記細胞膜に相当する複数の小領域に対してラベリングを行って前記第２正解画像を生成するアノテーション部と、
を含む、ことを特徴とする生物組織画像処理システム。

【請求項8】

請求項４記載の生物組織画像処理システムにおいて、
前記機械学習型の推定器は第１推定器であり、
前記正解画像作成部は機械学習型の第２推定器を含む、
ことを特徴とする生物組織画像処理システム。

【請求項9】

電子顕微鏡により生物組織である解析対象試料を観察することにより生成された画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物組織画像処理システムにおいて、前記推定器に学習をさせるための機械学習方法であって、
前記推定器に対して、第１加速電圧の下で電子顕微鏡により生物組織としての学習対象試料を観察することにより生成された学習用の第１元画像、及び、それに対応する学習用の第１正解画像を与える工程と、
前記推定器に対して、前記第１加速電圧よりも高い第２加速電圧の下で電子顕微鏡により前記学習対象試料を観察することにより生成された学習用の第２元画像、及び、それに対応する学習用の第２正解画像を与える工程と、
を含み、
前記第１加速電圧は、前記解析対象試料の画像を生成する過程において電子顕微鏡に設定される加速電圧である、
ことを特徴とする機械学習方法。

【請求項10】

電子顕微鏡により生物組織である解析対象試料の観察により生成された画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物組織画像処理システムにおいて、前記推定器に学習をさせるための機械学習方法を実行するためのプログラムであって、
前記推定器に対して、第１加速電圧の下で電子顕微鏡により生物組織である学習対象試料を観察することにより生成された学習用の第１元画像、及び、それに対応する学習用の第１正解画像を与える機能と、
前記推定器に対して、前記第１加速電圧よりも高い第２加速電圧の下で顕微鏡により前記学習対象試料を観察することにより生成された学習用の第２元画像、及び、それに対応する学習用の第２正解画像を与える機能と、
を含み、
前記第１加速電圧は、前記解析対象試料の画像を生成する過程において電子顕微鏡に設定される加速電圧である、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生物組織画像処理システム及び機械学習方法に関する。

【背景技術】

【0002】

生物組織の三次元構造を解析し又はそれをイメージングするための手法として、三次元顕微鏡法が知られている。三次元顕微鏡法においては、一般に、電子顕微鏡が用いられる。例えば、走査型電子顕微鏡（Scanning Electron Microscope）を用いた三次元顕微鏡法として、Focused Ion Beam SEM（FIB-SEM）法、Serial Block-Face SEM（SBF-SEM）法、及び、連続切片SEM（Serial Section SEM）法（非特許文献１を参照）が提案されている。連続切片SEM法は、アレイトモグラフィ（Array-tomography）法とも呼ばれている。

【0003】

連続切片SEM法では、生物組織の試料から、深さ方向に連なる複数の試料切片（極薄片）が切り出され、それらが基板上に配列される。基板上の各試料切片が走査型電子顕微鏡により順次観察され、これにより複数の画像が取得される。取得された複数の画像に基づいて、生物組織に含まれる特定の器官（細胞、ミトコンドリア、核等）の三次元構造が解析され、あるいは、それがイメージングされる。連続切片SEM法によれば、既に観察した試料切片を再び観察することが可能である。

【先行技術文献】

【非特許文献】

【0004】

【文献】甲賀ほか「連続切片SEM法とゴルジ装置の3D構造解析への応用」顕微鏡，49巻3号，２0１4．

【発明の概要】

【0005】

電子顕微鏡による生物組織の観察により得られた画像の処理において、細胞、細胞膜、細胞内の小器官等の注目要素（Target Component）を検出又は識別するために、機械学習型の推定器を利用することが考えられる。その場合、推定器での推定精度が高まるように、推定器を学習させることが望まれる。

【0006】

電子顕微鏡により生成された画像の内容は、加速電圧等の観察条件によって変化する。その観点から言えば、解析用画像の取得時における観察条件（解析時の観察条件）に対して、学習用画像の取得時における観察条件（学習時の観察条件）を合わせるべきであるという考え方が生じる。しかし、推定器における推定対象が生物組織中において深さ方向に有意な厚みを有している場合、上記の考え方は必ずしも成り立たず、学習時の観察条件に多様性をもたせた方がよい場合があるものと考えられる。

【0007】

本発明の目的は、生物組織中の注目要素を推定する機械学習型の推定器を有する生物組織画像処理システムにおいて、注目要素の推定精度を高めることにある。あるいは、本発明の目的は、生物組織中の注目要素を推定する推定器の機械学習過程において、注目要素の推定精度が高まるように推定器に学習を行わせることにある。

【課題を解決するための手段】

【0008】

本発明に係る生物組織画像処理システムは、生物組織である解析対象の観察により画像を生成する電子顕微鏡と、前記画像に対して前記解析対象に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、を含み、前記推定器は学習用元画像セットによる学習を経た学習済み推定器であり、前記学習用元画像セットには、第１観察条件の下で電子顕微鏡により生物組織である学習対象試料を観察することにより生成された第１元画像と、第２観察条件の下で顕微鏡により前記学習対象試料を観察することにより生成された第２元画像と、が含まれ、前記第１観察条件は、前記解析対象試料を観察する際に電子顕微鏡に対して設定される条件であり、前記第２観察条件は、前記第１観察条件とは異なる深さ範囲にわたって観察を行える条件である、ことを特徴とするものである。

【0009】

本発明に係る機械学習方法は、電子顕微鏡により生物組織である解析対象試料を観察することにより生成された画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物組織画像処理システムにおいて、前記推定器に学習をさせるための機械学習方法であって、前記推定器に対して、第１加速電圧の下で電子顕微鏡により生物組織としての学習対象試料を観察することにより生成された学習用の第１元画像、及び、それに対応する学習用の第１正解画像を与える工程と、前記推定器に対して、前記第１加速電圧よりも高い第２加速電圧の下で電子顕微鏡により前記学習対象試料を観察することにより生成された学習用の第２元画像、及び、それに対応する学習用の第２正解画像を与える工程と、を含む、ことを特徴とするものである。

【0010】

上記方法は、ハードウエアの機能又はソフトウエアの機能として実現され、後者の場合、その機能を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。情報処理装置の概念には、パーソナルコンピュータ、電子顕微鏡システム等含まれる。

【0011】

本発明によれば、生物組織中の注目要素を推定する機械学習型の推定器を有する生物組織画像処理システムにおいて、注目要素の推定精度を高められる。あるいは、本発明によれば、生物組織中の注目要素を推定する推定器の機械学習過程において、注目要素の推定精度が高まるように推定器に学習を行わせることが可能となる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る生物組織画像処理システムを示す概念図である。

【図2】生物組織画像処理装置の本体の第１構成例を示すブロック図である。

【図3】機械学習型膜推定器の構成例を示すブロック図である。

【図4】膜尤度マップに基づく仮膜画像の生成を示す図である。

【図5】作業ウインドウの一例を示す図である。

【図6】修正前の膜画像と修正後の膜画像とを示す図である。

【図7】ラベリング処理の一例を示す図である。

【図8】印加電圧の変化に伴う観察深さ範囲の変化等を示す図である。

【図9】コントラスト強調を説明するための図である。

【図10】セグメンテーション及び手作業による修正を説明するための図である。

【図11】元画像及び正解画像を示す図である。

【図12】比較例に係る膜尤度マップ及び実施形態に係る膜尤度マップを示す図である。

【図13】本体の第２構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

（Ａ）実施形態の概要
実施形態に係る生物組織画像処理システムは、電子顕微鏡、及び、機械学習型の推定器を含む。電子顕微鏡は、生物組織である解析対象試料の観察により画像を生成する装置であり、望ましくは、それは走査型電子顕微鏡である。推定器は、電子顕微鏡により生成された画像に対して解析対象試料に含まれる注目要素（注目要素像）を推定する処理を適用するものであり、その推定器は、学習用元画像セットによる学習を経た学習済み推定器である。学習用元画像セットには、第１観察条件の下で電子顕微鏡により学習対象試料を観察することにより生成された第１元画像と、第２観察条件の下で顕微鏡により学習対象試料を観察することにより生成された第２元画像と、が含まれる。第１観察条件は、解析対象試料を観察する際に電子顕微鏡に対して設定される条件であり、その条件は、学習対象試料を観察する際にも電子顕微鏡に対して設定される。第２観察条件は、第１観察条件とは異なる深さ範囲にわたって観察を行える条件であり、その条件は、学習対象試料を観察する際に電子顕微鏡に対して設定される条件である。

【0014】

上記構成によれば、特別な学習過程を経た学習済み推定器の利用により、注目要素についての推定精度を高められる。例えば、第１観察条件では比較的にあまり生じない像（例えば深部像）が注目組織の一部として正しく推定され易くなる。

【0015】

解析対象試料及び学習対象試料は、一般に、同一の（同種の）生物組織であるが、それらは通常、物理的には別のものである。解析対象試料及び学習対象試料は、一般に、同じ電子顕微鏡により観察されるが、それらが異なる電子顕微鏡により観察されてもよい。注目要素は、特定の組織構成要素であり、実施形態において、注目要素は細胞膜である。細胞それ自体、細胞膜によって囲まれた細胞内腔（細胞質）、細胞内の小器官（オルガネラ）等が注目要素とされてもよい。機械学習型の推定器は、例えばＣＮＮで構成されるが、他のタイプの機械学習型の推定器が利用されてもよい。実施形態においては、連続切片SEM法（アレイトモグラフィ法）により複数の画像が取得されているが、FIB-SEM法、SBF-SEM法、その他の手法により複数の画像が取得されてもよい。上記構成は、三次元顕微鏡法の他、二次元顕微鏡法等にも適用され得る。

【0016】

実施形態において、第２観察条件は、第１観察条件よりも大きな深さ範囲にわたって観察を行える条件である。観察条件の切り替えに際して、加速電圧、照射電流その他が変更されてもよい。実施形態において、第１観察条件は、電子顕微鏡の加速電圧として第１加速電圧を設定する条件であり、第２観察条件は、電子顕微鏡の加速電圧として第１加速電圧よりも高い第２加速電圧を設定する条件である。加速電圧を高くすると、観察対象物におけるより深いところからの情報が得られ易くなる。換言すれば、より深いところに存在している物体が画像化され易くなる。第１元画像及び第２元画像を利用して推定器に学習を行わせれば、推定器の入力画像が第１観察条件下で生成された画像であっても、注目組織の深部像が検出され易くなる。解析過程において第１観察条件下で解析対象試料の観察を行えば、解析対象試料の損傷等を防止又は軽減できる。

【0017】

実施形態において、生物組織画像処理システムは、第２元画像に基づいて第２正解画像を生成する正解画像作成部を含む。第２元画像用の正解画像作成部を設けておけば、正解画像の作成に際して、第２元画像に適した画像処理をその画像に対して適用し易くなる。実施形態において、正解画像作成部は、第２元画像において注目要素の深部像を強調する強調部を含む。この構成によれば、注目要素（注目要素像）の一部である深部像が学習対象となり易くなる。実施形態において、注目要素は細胞膜であり、注目要素の深部像は細胞膜の深部像である。例えば、細胞の三次元構造を解析する場合、生物組織切片の内部に存在する細胞膜までを推定又は検出することが望まれる。上記構成はそのような要請に応えるものである。

【0018】

実施形態において、正解画像作成部は、強調部による処理を経た画像を複数の小領域に分割するセグメンテーションを実行するセグメンテーション部と、セグメンテーション後の画像において、細胞膜に相当する複数の小領域に対してラベリングを行って第２正解画像を生成するアノテーション部と、を含む。ラベリングに先立ってセグメンテーション（小領域分割）を行えば、ラベリングの作業が楽になり、あるいは、ラベリングが正確となる。

【0019】

実施形態において、正解画像作成部は機械学習型の第２推定器を含む。この構成は第１推定器のための正解画像の作成に際して別の推定器を利用するものである。第２推定器によって第２元画像中の注目要素を推定し、その推定結果に基づいて第２正解画像が作成される。

【0020】

実施形態に係る機械学習方法は、推定器に対して、第１加速電圧の下で電子顕微鏡により生物組織としての学習対象試料を観察することにより生成された学習用の第１元画像、及び、それに対応する学習用の第１正解画像を与える工程と、推定器に対して、第１加速電圧よりも高い第２加速電圧の下で電子顕微鏡により学習対象試料を観察することにより生成された学習用の第２元画像、及び、それに対応する学習用の第２正解画像を与える工程と、を含む。

【0021】

実施形態においては、推定器の機械学習過程では、第１元画像及び第１正解画像からなる第１画像ペアが第１教師データとして推定器に入力され、第２元画像及び第２正解画像からなる第２画像ペアが第２教師データとして推定器に入力される。第１正解画像は、第１元画像から手作業により作成され、又は、第１元画像に対する推定器の推定結果を修正することにより作成される。第２正解画像は、実施形態において、正解画像作成部によって第２元画像から作成される。正解画像作成部によって、第１正解画像及び第２正解画像の両方が作成されてもよい。

【0022】

（Ｂ）実施形態の詳細
図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析の対象になり得る。

【0023】

図１に示す構成例において、生物組織画像処理システム１０は、試料前処理装置１２、連続切片作成装置１４、走査型電子顕微鏡（ＳＥＭ）１６、及び、生物組織画像処理装置１８によって構成されている。

【0024】

試料前処理装置１２は、生体から取り出された組織２０に対して前処理を行う装置であり、又は、その前処理のための各種の器具に相当する。前処理として、固定処理、染色処理、導電処理、樹脂包埋処理、整形処理等が挙げられる。それらの全部又は一部が、必要に応じて、実施される。染色処理においては四酸化オスミウム、酢酸ウラン、クエン酸鉛等が用いられてもよい。染色処理が以下に説明する各試料切片に対して行われてもよい。前処理に含まれる一部又は全部の工程が手作業によって行われてもよい。

【0025】

連続切片作成装置１４は、ＳＥＭ１６の外部に設けられ、あるいは、ＳＥＭ１６の内部に設けられる。連続切片作成装置１４により、前処理後のキュービック状の試料から、深さ方向（Ｚ方向）に並ぶ複数の試料切片２４が切り出される。その際には、ウルトラミクロトーム等の装置が利用されてもよい。その作業が手作業で行われてもよい。複数の試料切片２４により、試料切片群２２が構成される。実際には、切り出された複数の試料切片２４は、基板２８上に所定の配列で配置される。基板２８は、例えば、ガラス基板、シリコーン基板である。図１においては、基板２８上に、２つの試料切片列からなる試料切片アレイ２２Ａが構成されているが、それは例示に過ぎない。基板２８及び試料切片アレイ２２Ａにより、試料ユニット２６が構成される。

【0026】

ちなみに、個々の試料切片２４における縦及び横のサイズは、例えば、ｎｍオーダー又はμｍオーダーである。それ以上のサイズ（例えばｍｍオーダーのサイズ）を有する試料切片２４が作製されてもよい。個々の試料切片２４の厚み（Ｚ方向のサイズ）は、例えば、数ｎｍ～数百ｎｍであり、実施形態においては、その厚みは例えば３０～7０ｎｍの範囲内である。本願明細書において挙げる数値はいずれも例示である。

【0027】

推定器の学習過程で観察される試料は学習用試料つまり学習対象試料である。学習対象試料から複数の組織切片が作製される。解析過程で観察される試料は解析対象試料である。解析対象試料から複数の組織切片が作製される。図１においては、学習対象試料と解析対象試料の両者がいずれも組織２０として表現されている。また、学習対象試料から切り出された各試料切片及び解析対象試料から切り出された各試料切片がいずれも試料切片２４として表現されている。なお、学習対象試料と解析対象試料は通常、別々のものであるが、それらが同一のものであってもよい。例えば、解析過程と学習過程とが並列的に実行されてもよい。

【0028】

ＳＥＭ１６は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出器３４、制御部２０４等を有している。試料室内には、試料ユニット２６を保持するステージ、及び、そのステージを移動させる移動機構、が設けられている。制御部２０４により、移動機構の動作つまりステージの移動が制御される。具体的には、試料切片アレイ２２Ａの中から選択された特定の試料切片２４に対して電子ビーム３０が照射される。照射位置を走査（例えばラスタースキャン）させながら、各照射位置から放出される反射電子３２が検出器３４で検出される。これによりＳＥＭ画像が形成される。これが試料切片２４ごとに実行される。制御部２０４は、電子ビームを形成するための加速電圧を設定する機能を有する。一般に、加速電圧を上げると、試料切片２４の内部におけるより深い位置からの情報が得られ易くなる。

【0029】

なお、Ｚ方向に直交する方向をＸ方向と定義し、Ｚ方向及びＸ方向に直交する方向をＹ方向と定義した場合、望ましくは、Ｘ方向観察範囲及びＹ方向観察範囲が互いに一致するように、各試料切片２４における観察範囲（電子ビーム二次元走査範囲）が定められる。反射電子３２ではなく、二次電子等が検出されてもよい。

【0030】

実施形態においては、推定器の学習過程では、制御部２０４の制御により、試料切片２４単位で、第１観察条件としての第１加速電圧（低電圧）、及び、第２観察条件としての第２加速電圧（高電圧）が交互に設定される。すなわち、学習対象試料から切り出された個々の試料切片２４が第１加速電圧の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（第１元画像）３６Ｌが生成される。また、個々の試料切片２４が第２加速電圧の下で形成された電子ビーム３０Ｈの走査により観察され、これにより高電圧画像（第２元画像）３６Ｈが生成される（高電圧観察）。通常、１つの試料切片２４に対して低電圧観察及び低電圧観察が連続して実行され、これが試料切片２４ごとに繰り返される。その結果、複数の低電圧画像３６Ｌにより低電圧画像スタック３５Ｌが構成され、また、複数の高電圧画像３６Ｈにより高電圧画像スタック３５Ｈが構成される。

【0031】

一方、解析過程では、制御部２０４の制御により、観察条件として第１加速電圧だけが設定される。すなわち、解析対象試料から切り出された個々の試料切片２４が第１加速電圧の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（解析用元画像）３８Ｌが生成される。複数の低電圧画像３８Ｌにより低電圧画像スタック３７Ｌが構成される。第１加速電圧は、例えば、１ｋｅＶ又は２ｋｅＶであり、第２加速電圧は、例えば、３ｋｅＶ、５ｋｅＶ又は７ｋｅＶである。試料、切片の厚み、注目組織、観察目的その他の事情を考慮して第１加速電圧及び第２加速電圧を定めるのが望ましい。

【0032】

画像スタック３５Ｌ，３５Ｈ，３７Ｌは、Ｚ方向における複数の深さに対応する（換言すればデータ記憶空間内でＺ方向に並ぶ）複数の画像３６Ｌ，３６Ｈ，３８Ｌにより構成される。各画像３６Ｌ，３６Ｈ，３８Ｌは、生物組織画像処理装置１８側から見て、元画像又は入力画像である。各画像３６Ｌ，３６Ｈ，３８Ｌは電子データであり、各画像３６Ｌ，３６Ｈ，３８ＬがＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。

【0033】

生物組織画像処理装置１８は、図示の構成例において、パーソナルコンピュータによって構成されている。生物組織画像処理装置１８がＳＥＭ１６内に組み込まれてもよく、生物組織画像処理装置１８がＳＥＭ１６等を制御するシステムコンピュータ内に組み込まれてもよい。生物組織画像処理装置１８によりＳＥＭ１６が制御されてもよい。

【0034】

生物組織画像処理装置１８は、本体４０、表示器４６及び入力器４８を有している。本体４０が有する複数の機能については、後に、図２以降の各図に基づいて詳しく説明する。図１においては、本体４０が発揮する代表的な２つの機能（第１画像処理機能及び第２画像処理機能）がそれぞれブロックとして表現されている。具体的には、本体４０は、機械学習型の膜推定器を含む第１画像処理部２００、及び、正解画像作成部としての第２画像処理部２０２を有する。表示器４６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。入力器４８は、ユーザーによって操作されるキーボード、ポインティングデバイス等によって構成される。

【0035】

図２には、本体４０についての第１構成例が示されている。本体４０は、上記のように、第１画像処理部２００、第２画像処理部２０２、及び、ボリュームデータ処理部５６を有する。図２に示される各構成の実体は、ユーザーの作業又は行為に相当する部分を除いて、ＣＰＵ、ＧＰＵ等の汎用プロセッサによって実行されるソフトウエアつまりプログラムである。もっとも、それらの構成の一部又は全部が専用プロセッサ又は他のハードウエアによって構成されてもよい。生物組織画像処理装置が有する機能の全部又は一部がネットワーク上に存在する１又は複数の情報処理デバイスにより実行されてもよい。

【0036】

以下、まず、解析過程で機能する構成を中心に詳述し、その後、学習過程で機能する構成について詳述する。もっとも、第１画像処理部２００は、解析過程及び学習過程の両過程において機能する構成を有するので、そのような構成については、解析過程での動作の説明に際して、学習過程での動作についても言及することにする。

【0037】

第１画像処理部２００は、機械学習型の膜推定器４２、二値化器（画像生成器）５０、修正部５２及びラベリング処理部５４、等を有する。

【0038】

膜推定器４２は、膜推定手段として機能するものであり、入力画像２０６に対して膜推定処理を適用し、これにより膜尤度マップ６０を出力する。図示の構成例において、膜推定器４２は、機械学習型膜推定器であるＣＮＮ（Convolutional Neural Network）により構成されている。その具体的な構成例については後に図３を用いて説明する。ＣＮＮによって膜が正しく推定されるように、ＣＮＮの実際の稼働つまり解析過程に先立って、学習過程が事前に実行される。その学習過程には、一次学習過程（初期学習過程）と、二次学習過程と、が含まれる。

【0039】

一次学習過程では、教師データを構成する複数の画像ペアが膜推定器４２に与えられ、これにより膜推定器４２内のＣＮＮパラメータ群が優良化（最適化）される。すなわち、膜推定器４２内に機械学習結果が蓄積される。ここで、複数の画像ペアには、複数の第１画像ペアと、複数の第２画像ペアと、が含まれる。個々の第１画像ペアは、第１元画像（低電圧画像）３６Ｌとそれに対応する正解画像２２３とにより構成される。個々の第２画像ペアは、第２元画像（高電圧画像）３６Ｈとそれに対応する正解画像２２４とにより構成される。正解画像２２３は、例えば、第１元画像３６Ｌに対する手作業により作成される。教師なし機械学習器、簡易な識別器（例えばＳＶＭ（Support Vector Machine））等によって、第１元画像３６Ｌから正解画像２２３が作成されてもよい。一方、正解画像２２４は、後に詳述するように、第２元画像に基づいて、第２画像処理部２０２により作成される。なお、第２画像処理部２０２により、第１元画像３６Ｌから正解画像２２３が作成されてもよい。

【0040】

続く二次学習過程では、一次学習過程を経て膜推定器４２がある程度働くことを前提として、膜推定器４２に対して、一次学習過程と同様に、教師データとして複数の画像ペアが与えられる。実施形態において、その教師データは、一次学習過程で利用された複数の画像ペアと二次学習過程で追加される複数の画像ペアとにより構成される。追加される複数の画像ペアには、複数の第１画像ペアと、複数の第２画像ペアと、が含まれる。個々の第１画像ペアは、第１元画像３６Ｌとそれに対応する正解画像６４Ａとにより構成される。個々の第２画像ペアは、第２元画像３６Ｈとそれに対応する正解画像２２４とにより構成される。

【0041】

正解画像６４Ａは、膜推定器４２から加工ツールユニット４４までの構成により作成される。具体的には、第１元画像３６Ｌを膜推定器４２に入力すると、膜推定器４２から推定結果画像として膜尤度マップ６０が出力される。膜尤度マップ６０に基づく仮膜画像６２の生成、及び、加工ツールユニット４４を利用した仮膜画像６２に対するユーザー（専門家）修正を経て、正解画像６４Ａが作成される。それらの処理については後に詳述する。仮膜画像６２を正解画像６２Ａとして利用することも考えられる。

【0042】

二次学習過程により、膜推定器４２内のＣＮＮパラメータ群が更に優良化される。つまり、膜推定器４２内に機械学習結果が更に蓄積される。二次学習過程は、例えば、入力画像２０６（第１元画像３６Ｌ，第２元画像３６Ｈ）に対する推定処理の結果が、それに対応する正解画像２２３，２２４，６４Ａに十分に類似したと判断された場合に終了する。その後、必要に応じて、上記同様の手法により、膜推定器４２の再学習が実行される。実施形態では、第２画像処理部２０２が一次学習過程及び二次学習過程のいずれにおいても正解画像作成手段として機能している。なお、解析過程においては、入力画像２０６としての元画像（低電圧画像）３８Ｌが膜推定器４２に入力される。

【0043】

データベース５７には、複数の元画像３６Ｌ，３６Ｈ，３８Ｌ、及び、複数の正解画像２２３，２２４，６４Ａが格納される。そこに複数の膜尤度マップ６０が格納されてもよい。膜推定器４２とデータベース５７とが一体化されてもよい。機械学習型の膜推定器として、Ｕ－ｎｅｔが利用されてもよく、また、サポートベクターマシーン、ランダムフォレスト等が利用されてもよい。

【0044】

二値化器５０は、画像生成器として機能するものである。具体的には、二値化器５０は、後に図４を用いて例示するように、膜尤度マップ６０に対する二値化処理により、仮膜画像６２を生成するモジュールである。膜尤度マップ６０は、二次元配列された複数の膜尤度からなる。個々の膜尤度は、膜である確からしさ（確率）を示す数値である。膜尤度は例えば０から１の間をとる。膜尤度マップ６０を膜尤度画像として捉えることもできる。実施形態において、二値化器５０には閾値が設定されており、閾値以上の膜尤度を１に変換し、閾値未満の膜尤度を０に変換する。その結果として生成される画像が仮膜画像６２である。実施形態においては、便宜上、修正前の膜画像を修正後の膜画像から区別するために、修正前の膜画像を仮膜画像６２と呼んでいる。

【0045】

なお、膜推定器４２及び二値化器５０の両者により画像生成部６１が構成される。画像生成部６１の全体がＣＮＮ等により構成されてもよい。その場合でも、膜尤度マップ及び仮膜画像の段階的な生成を観念できる。仮膜画像６２を正解画像６２Ａとして用いることも可能である。二値化処理前に、膜尤度マップ６０に対して、ノイズ除去、エッジ強調等の処理が適用されてもよい。

【0046】

加工ツールユニット４４は、作業支援部又は作業支援手段として機能するものである。加工ツールユニット４４は、図示の構成例において、第１画像処理部２００と第２画像処理部２０２に跨って設けられている。加工ツールユニット４４は、情報処理の観点から見て、表示処理機能及び画像処理機能を有している。作業の観点から見て、修正機能及びラベリング機能を有しており、図２においては、それらの機能が修正部５２、ラベリング処理部５４及び修正部２１４として表現されている。

【0047】

修正部５２は、後に図５において例示する作業ウインドウを介して、ユーザーに対して作業対象となった仮膜画像を作業対象画像として表示し、また、作業対象画像上におけるユーザーの修正指示を受け付けるものである。修正内容は作業対象画像となった仮膜画像に反映される。作業対象画像内に例えば膜の途切れ部分が含まれる場合、その途切れ部分に対して膜画素群が追加される。作業対象画像内に例えば膜以外の部分が含まれ、その部分が膜として誤認されている場合、その部分を構成する膜画素群が削除される。そのような追加及び削除に際し、ユーザーの作業又は操作を支援し各仮膜画像を管理するモジュールが修正部５２である。

【0048】

図示の構成例においては、修正部５２（又は加工ツールユニット４４）に対して、生成された仮膜画像６２の他に、入力された元画像（入力画像）２０６、及び、生成された膜尤度マップ６０も順次入力されている。これにより、作業対象画像としての仮膜画像と共に、又はそれに代えて、作業対象画像に対応する元画像２０６又は膜尤度マップ６０を表示することが可能である。

【0049】

ラベリング処理部５４は、修正後の膜画像（又は修正未了の膜画像）に含まれる個々の領域（細胞内腔）に対して、ラベリング（ペイント及びラベル付け）を行うためのモジュールである。ラベリングには、ユーザーによるマニュアルでのラベリング、及び、自動的なラベリングがある。修正作業及びラベリング作業が完了した段階で、細胞内腔とそれ以外とが区別された三次元ラベリングデータ６６が構成される。それがボリュームデータ処理部５６へ送られる。修正部２１４については後述する。

【0050】

ボリュームデータ処理部５６は、解析部５６Ａ及びレンダリング部５６Ｂを有している。ボリュームデータ処理部５６には、図示の構成例において、複数の元画像からなる元画像スタック３７Ｌが入力されている。元画像スタック３７Ｌはボリュームデータを構成するものである。ボリュームデータ処理部５６には、上記のように、三次元ラベリングデータ６６も入力されている。それもボリュームデータの一種である。

【0051】

解析部５６Ａは、例えば、三次元ラベリングデータ６６に基づいて、対象器官（例えば神経細胞）を解析する。例えば、形態、体積、長さ等が解析されてもよい。その際、三次元ラベリングデータを参照しながら、元画像スタック３７Ｌが解析される。レンダリング部５６Ｂは、三次元ラベリングデータ６６に基づいて、三次元画像（立体的表現画像）を形成するものである。例えば、三次元ラベリングデータ６６に基づいて、元画像スタック３７Ｌの中から画像化部分が抽出され、それに対してレンダリング処理が適用されてもよい。

【0052】

次に、第２画像処理部２０２について説明する。第２画像処理部２０２は、入力画像２０８としての第２元画像（高電圧画像）３６Ｈに基づいて第２正解画像２２４を生成するモジュールである。

【0053】

第２元画像３６Ｈとしての高電圧画像には、第１元画像３６Ｌとしての低電圧画像よりも、細胞膜の深部像がより多く含まれる。加速電圧を上げると、試料切片内部におけるより深いところからの情報が得られるからである（これについては後に図８を用いて具体的に説明する）。高電圧画像において、細胞膜の深部像は、典型的には、細胞膜の浅部像（表層像）の近傍にモヤとして（又はモヤのように）現れる。低電圧画像においても、深部像がモヤとして現れるが、その量は比較的に少なく、また、低電圧画像においては、深部像か否かはっきりしないようなぼやけた像が生じ易い。

【0054】

細胞内部の三次元ラベリングに際しては、細胞膜の浅部像の他、細胞膜の深部像についても、それが細胞膜の一部として検出されることが望まれる。例えば、細胞膜の浅部像から深部像までを順々に撮影し、各深さに対応する形状を決定すべきである。しかし、試料切片の損傷、撮影時間その他の理由から、膜推定器に対しては低電圧画像の入力が求められることがある。低電圧画像の入力を前提として、細胞膜の深部像が細胞膜の一部として検出され易くなるように、膜推定器の学習段階において、膜推定器に対して、その教師データとして、低電圧画像と共に、高電圧画像が与えられている。

【0055】

第２画像処理部２０２は、図示の構成例において、モヤ強調部２１０、セグメンテーション部２１２、及び、修正部（アノテーション部）２１４を有する。

【0056】

モヤ強調部２１０は、入力画像２０８に対して、それに含まれる細胞膜の深部像を強調する処理を適用するものである。具体的には、モヤ強調としてコントラスト強調が実行されている。

【0057】

セグメンテーション部２１２は、コントラスト強調後の画像２１８に対してセグメンテーションを適用するものである。セグメンテーションは、画像内容を複数の小領域に区画する処理である。次のアノテーションにおいてその作業を行いやすいように、このセグメンテーションが実行される。

【0058】

修正部２１４は、修正手段又はアノテーション手段として機能するものである。ユーザー作業のためのツールという意味において、修正部２１４は上記の修正部５２と同じ機能を発揮する。よって、図２においては、修正部２１４は、加工ツールユニット４４の一部として位置付けられている。具体的には、修正部２１４は、セグメンテーション後の画像２２０を表示し、画像２２０に対するユーザーの膜指定及び膜修正を受け付け、その結果として、細胞膜だけが表された膜画像として第２正解画像２２４を作成するものである。画像２２０内には複数の小領域が表示されており、細胞膜に相当する小領域に対してユーザーによって膜ラベルが与えられる。その作業はアノテーション及びペイントに相当するものである。その作業性を高めるために、上記同様の作業ウインドウが表示されてもよい。膜推定器４２の学習過程（一次学習過程、二次学習過程）において、上記のようにして作成された第２正解画像２２４が膜推定器４２に与えられる。

【0059】

上記構成によれば、正解画像６４Ａの作製に際して、膜推定器４２による推定結果を利用することができるので、且つ、修正部５２を利用することができるので、それらを利用できない場合に比べて、正解画像６４Ａの作製負担が大幅に削減される。二次学習過程後の解析過程においては、膜推定器４２及び加工ツールユニット４４の併用により、解析対象又はレンダリング対象となる画像群の品質を高められ、また、その画像群を簡便かつ迅速に生成することが可能である。

【0060】

また、上記構成によれば、解析過程において膜推定器４２に対して低電圧画像を入力することを前提として、低電圧画像の他、高電圧画像をも利用して膜推定器４２の学習が行われているので、膜推定器４２の膜推定精度を高めることが可能である。実際には、学習用の同じ試料切片の同一部位を表す低電圧画像及び高電圧画像が生成され、それらの両方が教師データの一部として膜推定器４２へ与えられている。

【0061】

更に、上記構成によれば、第２正解画像の作成に際して、細胞膜の深部像が細胞膜の一部とみなされる可能性を高められるので、第２正解画像の品質を向上できる。

【0062】

なお、一次学習過程及び二次学習過程では、複数の第１元画像及び複数の第２元画像が所定順序で膜推定器４２に順次入力される。それらの画像がバッチ処理されてもよい。

【0063】

図３には、膜推定器４２の構成例が模式的に示されている。膜推定器４２は、多数の層を有しており、それには、入力層８０、畳み込み層８２、プーリング層８４、出力層８６等が含まれる。それらはＣＮＮパラメータ群８８に従って作用する。ＣＮＮパラメータ群８８には、多数の重み係数、多数のバイアス値、その他が含まれる。ＣＮＮパラメータ群８８は最初に初期値群９４によって構成される。例えば、乱数等を利用して初期値群９４が生成される。

【0064】

学習過程では、評価部９０及び更新部９２が機能する。例えば、評価部９０は、教師データを構成する複数の画像ペア（元画像３６Ｌ，３６Ｈとそれに対応する正解画像２２３，２２４，６４Ａ）に基づいて評価値を計算するものである。具体的には、元画像３６Ｌ，３６Ｈに対する推定処理の結果６０Ａと元画像３６Ｌ，３６Ｈに対応する正解画像２２３，２２４，６４Ａとを誤差関数に順次与えることにより評価値が演算される。更新部９２は、その評価値が良い方向に変化するように、ＣＮＮパラメータ群８８を更新する。それを繰り返すことによって、ＣＮＮパラメータ群８８が全体的に最適化される。実際には、評価値が一定値に到達した時点で、学習過程の終了が判断される。図３に示した構成は単なる例示に過ぎず、膜推定器４２として、多様な構造を有する推定器を利用することが可能である。

【0065】

図４には、二値化器の作用が示されている。膜推定器から膜尤度マップ６０が出力される。膜尤度マップ６０は、複数の画素に相当する複数の膜尤度６０ａからなるものであり、個々の膜尤度６０ａは膜であることの確からしさを示す数値である。符号５０Ａで示すように、二値化器は膜尤度マップ６０を二値化し、これにより二値化画像としての仮膜画像６２を生成する。二値化に際しては、個々の膜尤度６０ａが閾値と比較される。例えば、閾値以上の膜尤度６０ａが値１を有する画素６２ａに変換され、閾値未満の膜尤度６０ａが値０を有する画素６２ｂに変換される。画素６２ａが膜を構成する画素（膜画素）として取り扱われる。閾値はユーザーにより可変設定し得る。その設定が自動化されてもよい。例えば、仮膜画像６２を観察しながら閾値が可変されてもよい。

【0066】

図５には、加工ツールユニットにより表示される作業ウインドウが例示されている。図示の例において、作業ウインドウ１００は、表示画像１０２を含んでいる。表示画像１０２は、ユーザーによって選択された深さに対応する仮膜画像（作業対象画像）及び元画像からなる合成画像（複合画像）である。グレイスケール画像としての元画像が背景画像を構成しており、それに対して、カラー画像（例えば青色画像）としての仮膜画像（作業対象画像）が重畳表示されている。なお、図示された表示画像１０２は脳組織を示しており、そこには、複数の細胞の断面が現れている。同時に、細胞内の小器官（ミトコンドリア等）の断面も現れている。

【0067】

タブ１０４が選択された場合、上記で説明した表示画像１０２が表示される。タブ１０５が選択された場合、グレイスケール画像としての元画像だけが表示される。タブ１０６が選択された場合、グレイスケール画像としての膜尤度マップ（膜尤度画像）だけが表示される。膜尤度マップの観察により、閾値が適切に設定されていること等を確認できる。また、元画像の単独表示によれば、膜の細部を詳細観察することが容易となる。作業対象画像としての仮膜画像だけを表示するタブを追加してもよい。膜尤度マップを背景画像とし、それに対して仮膜画像が重畳表示されてもよい。

【0068】

深さ選択ツール１０８は、Ｚ方向において、特定の深さ（表示深さ）を選択するための表示要素（操作要素）である。それは、Ｚ軸を表すＺ軸シンボル１０８ｂと、Ｚ軸シンボル１０８ｂに沿ってスライド運動するスライダとしてのマーカー１０８ａと、からなる。マーカー１０８ａを移動させて、所望の深さを選択することが可能である。このような深さ選択ツール１０８によれば、選択する深さや深さ変化量を直感的に認識し易いという利点を得られる。なお、Ｚ軸シンボル１０８ｂの左端点が深さゼロに相当し、Ｚ軸シンボル１０８ｂの右端点が最大深さに相当している。他の形態を有する深さ選択ツールを採用してもよい。深さ入力欄１１４は、深さを数値として直接的に指定するための欄である。深さ入力欄１１４に、マーカー１０８ａの位置によって現在選択されている深さが数値として表示されてもよい。

【0069】

透過度調整ツール１１０は、表示画像１０２が表示されている状態において、合成表示されているカラーの仮膜画像（作業対象画像）の透過度（表示重み）を調整するためのツールである。例えば、マーカー１１０ａを左側へ移動させると、カラーの仮膜画像の表示重みが小さくなり、その透明度が上がって、元画像が支配的に表示されるようになる。逆に、マーカー１１０ａを右側へ移動させると、カラーの仮膜画像の表示重みが大きくなり、その透明度が下がって、カラーの仮膜画像がよりはっきりと表示されるようになる。

【0070】

重合表示ツール１１２は、現在表示されている画像（合成画像、元画像又は膜尤度マップ）に対して、深さ方向に浅い側に隣接する画像（合成画像、元画像又は膜尤度マップ）又は深さ方向に深い側に隣接する画像（合成画像、元画像又は膜尤度マップ）を重ねて表示する場合において操作されるものである。マーカー１１２ａを左側へ移動させると、浅い側に隣接する画像に対する表示重みが大きくなり、逆に、マーカー１１２ａを右側へ移動させると、深い側に隣接する画像に対する表示重みが大きくなる。３つ以上の画像を重ね合わせて表示してもよい。もっとも、あまり多くの画像を重ね合わせると、画像内容が複雑になり過ぎてしまうので、少数の画像を重ね合わせるのが望ましい。このような重合表示によれば、奥行き情報を得られ易くなる。

【0071】

ボタン列１１５は、仮想的な複数のボタン１１６，１１８，１２０，１２１，１２２，１２６によって構成される。ボタン１１６は、画像ズーム（拡大又は縮小）を行う場合に操作される表示要素である。ボタン１１８は、ペンツールを利用する場合に操作される表示要素である。ボタン１１８をオンにすると、カーソルの形態がペン形に代わり、それを用いて膜画素の追加を行える。ペンのサイズを変更することも可能である。ボタン１２０は、消しゴムを利用する場合に操作される表示要素である。ボタン１２０をオンにすると、カーソルの形態が消しゴム形に代わり、それを用いて膜画素の削除を行える。消しゴムのサイズを変更することも可能である。

【0072】

ボタン１２１は、ペイントを行う場合に操作される表示要素である。ボタン１２１をオンした上で、いずれかの領域を指定すれば、その領域が塗り潰される。また、ボタン１２１の操作によって、ペイント（又はラベリング）のために用意されている複数の機能の中から任意の機能を選択することも可能である。オブジェクト番号（ラベル）付けボタン１２２の操作により、カラーパレット１２４が表示される。例えば、ペイント処理済み領域に対して、カラーパレットの中から選択されたカラーが与えられる。これにより、その領域が、選択されたカラーによって着色される。個々の色がそれぞれオブジェクト番号に対応付けられている。レイヤ間にわたって複数の領域に対して同じカラーつまり同じオブジェクト番号を付与すれば、それらの領域によって特定の細胞内の三次元内腔領域が画定される。

【0073】

ボタン１２６は、白黒反転用のボタンである。それを操作すると、表示された画像において、黒く表示されていた部分が白く表示され、逆に白く表示されていた部分が黒く表示される。

【0074】

上記の他、ラベリング後の複数の仮膜画像に基づいて三次元像を生成及び表示するためのボタンを設けるのが望ましい。図５に示した作業ウインドウ１００の内容は例示に過ぎず、ユーザー作業においてその作業性が良好になるように、その内容が適宜定められるのが望ましい。

【0075】

図６には、修正前の仮膜画像１８０と修正後の仮膜画像１８２とが示されている。修正前の仮膜画像１８０には、膜途切れ部分１８４，１８８が含まれる。修正後の仮膜画像１８２においては、符号１８６及び符号１９０で示されているように、膜途切れ部分が補修されている。また、修正前の仮膜画像１８０には、非膜部分１９２，１９６が含まれている。修正後の仮膜画像１８２においては、符号１９４及び符号１９８で示されているように、それらの非膜部分が消失している。修正後の仮膜画像１８２によれば、ラベリングを的確に行うことが可能となり、ひいては、三次元ラベリングデータの品質を高めることが可能となる。

【0076】

図７には、ラベリング処理に含まれる三次元繋ぎ処理が例示されている。図７においては、Ｚ方向に並ぶ複数の仮膜画像Ｄ１～Ｄ４が示されている。深さＺｉに対応する仮膜画像Ｄ１が作業対象画像である。それが以下に説明する処理での基準画像とされる。

【0077】

三次元繋ぎ処理の第１例では、基準画像である仮膜画像Ｄ１に含まれる領域Ｒ１について代表点が特定される。例えば、代表点として中心点、重心点等が特定される。次いで、その代表点を通過する垂線Ｃが定義される。基準画像から、例えば、深い側にN枚の仮膜画像が参照され、それらの画像において垂線Ｃが通過している各領域が特定される。そして、垂線Ｃが通過している領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，・・・に対して、同じラベルが付与される。以上の処理が基準画像から浅い側のＮ枚の仮膜画像に対して適用されてもよい。自動的なラベリングの結果は、通常、ユーザーによって目視確認される。

【0078】

三次元繋ぎ処理の第２例では、基準画像である仮膜画像Ｄ１に含まれる領域Ｒ１（の外縁）が仮膜画像Ｄ２上に投影され、投影領域Ｒ１ａが定義される。仮膜画像Ｄ２上において、投影領域Ｒ１ａに対して最も重なり合う領域Ｒ２が特定される。続いて、領域Ｒ２が仮膜画像Ｄ３上に投影され、投影領域Ｒ２ａが定義される。仮膜画像Ｄ３上において、投影領域Ｒ２ａに対して最も重なり合う領域Ｒ３が特定される。同様に、仮膜画像Ｄ４上において、投影領域Ｒ３ａが定義され、それに基づいて領域Ｒ４が特定される。領域Ｒ１、及び、それを出発点として特定された領域Ｒ２，Ｒ３，Ｒ４の全部に対して、同じラベルが付与される。

【0079】

上記の処理では、投影元の領域がレイヤ変更時に逐次更新されていたが、それを固定するようにしてもよい。例えば、領域Ｒ１を仮膜画像Ｄ２，Ｄ３，Ｄ４へ投影するようにしてもよい。また、上記の処理では、基準画像からＺ方向の一方側に繋がり先が探索されていたが、基準画像からＺ方向の両側に繋がり先が探索されてもよい。その探索範囲がユーザー選択されてもよい。いずれにしても、自動的なラベリングの結果が、通常、ユーザーによって目視確認される。その場合には、図５に示した作業ウインドウが利用される。

【0080】

以上説明した三次元繋ぎ処理は例示であり、上記以外の三次元繋ぎ処理が採用されてもよい。領域間における繋がり関係の特定に際しては、領域ごとの１又は複数の特徴量が利用され得る。領域の特徴量として、面積、形態、周囲長、重心点、輝度ヒストグラム、テクスチャ、等が利用されてもよい。あるいは、領域間の特徴量として、重合面積、代表点間距離、等が利用されてもよい。

【0081】

図８には、印加電圧の変化に伴って生じる観察深さ範囲の変化及びＳＥＭ画像の変化が誇張して模式的に示されている。符号２３０，２３２，２３４は、互いに異なる３つの観察条件を示している。観察条件２３０は加速電圧を低い電圧とする条件である。観察条件２３２は加速電圧を中程度の電圧とする条件である。観察条件２３４は加速電圧を高い電圧とする条件である。図８の上段（Ａ）には、試料切片２３６の断面と電子ビーム２４４，２４６，２４８との関係が示されている。各断面には、Ｚ方向に平行に伸長した膜部分２３８と、Ｚ方向に対して斜めの方向に伸長した膜部分２４０と、が含まれる。図８の下段（Ｂ）にはＳＥＭ画像が示されている。

【0082】

図示の例において、観察条件２３０が選択された場合、電子ビーム２４４による観察の対象は、もっぱら試料切片２３６の表層となる。このため、ＳＥＭ画像上においては、２つの膜部分２３８，２４０の表層を表す像２３８ａ，２４０ａが現れる。観察条件２３２が選択された場合、電子ビーム２４６による観察の対象は、試料切片２３６の中間層にまで及ぶ。このため、ＳＥＭ画像上においては、膜部分２３８の中間層までを表す像（中間積算像）２３８ｂが現れ、膜部分２４０については像２４０ｂの近傍に深部像２４０ｃが現れる。観察条件２３４が選択された場合、電子ビーム２４８による観察の対象は、図示の例では、試料切片２３６の全体に及んでいる。このため、ＳＥＭ画像上においては、膜部分２３８の全体を表す像（全体積算像）２３８ｃが現れ、膜部分２４０については像２４０ｄの近傍に幅の広い深部像２４０ｅが現れる。

【0083】

試料の損傷の回避又は軽減のためには低い加速電圧で試料を観察することが求められるが、その一方、膜推定器による膜推定に際しては、細胞膜の深部像も細胞膜の一部として正しく推定されることが求められる。膜推定器に対して細胞膜の深部像が細胞膜の一部であることをしっかり教え込むことが必要となる。すなわち、膜推定器の学習段階において、深部像を多く含む画像を膜推定器に与える必要がある。そのような観点から、実施形態では、膜推定器の学習過程において、複数の低電圧画像と共に複数の高電圧画像を膜推定器に与えるようにしている。それらの比率は１対１であってもよいが、その比率は状況に応じて変更し得る。

【0084】

図９及び図１０を用いて、第２画像処理部の作用について具体例を用いて説明する。第２画像処理部においては、最初に、図９に示されているように、第２元画像（高電圧画像）２５０に対して、モヤ強調としてのコントラスト強調２５２が適用される。続いて、コントラスト強調後の画像２５４に対してセグメンテーション２５６が実行される。図１０に示されているように、セグメンテーション後の画像２５８には多数の小領域が設定されている。その画像２５８上において、細胞膜に相当する複数の小領域に対して膜ラベルがユーザーによって付与される。膜ラベルが付与された複数の小領域を塗り潰すことにより、膜画像２６２が作成される。塗り潰し後において膜画像２６２が修正されてもよい。それ以前の段階において画像が修正されてもよい。このようにして作成された膜画像２６２が第２正解画像として利用される。なお、図１０に示されている膜画像２６２においては白い部分が膜部分である。

【0085】

図１１及び図１２を用いて、実施形態の効果について説明する。既に説明したように、実施形態では、膜推定器の学習段階において、膜推定器に対して低電圧画像及び高電圧画像の両方が与えられる。これに対し、以下の比較例は、膜推定器の学習段階において、膜推定器に対して低電圧画像だけを与えたものである。

【0086】

図１１の左側には、入力画像２７０が示されており、図１１の右側には、入力画像２７０に対応する正解画像２７２が示されている。なお、正解画像２７２では、黒い部分が膜部分である。

【0087】

図１２の左側には、比較例に係る膜尤度マップ２７４が示されている。図１１の右側には、実施形態に係る膜尤度マップ２７６が示されている。それらの膜尤度マップ２７４，２７６においては、膜尤度の大きさが黒色の濃さで表現されている。２つの膜尤度マップ２７４，２７６を対比すると、膜尤度マップ２７４上で薄く表現された膜部分Ａ１，Ｂ１，Ｃ１，Ｄ１が、膜尤度マップ２７６上で濃く表現された膜部分Ａ２，Ｂ２，Ｃ２，Ｄ２に変化している。ここで、膜部分Ａ１，Ｂ１（及び膜部分Ａ２，Ｂ２）は、深部像を含む部分であると思われる。以上のように、高電圧画像を用いて膜推定器に学習させることにより、様々な向きを有している細胞膜の推定精度を高められる。

【0088】

比較例についてのランド（Rand）誤差は０．０１２であったが、実施形態についてのランド誤差は０．００９であった。ランド誤差は、１－（Rand Index）で定義されるものであり、ここでRand Indexは評価対象画像と正解画像との間の一致度又は類似度を示す公知の指標である。

【0089】

図１３には、本体の第２構成例が示されている。なお、図２に示した構成と同一の構成には同一符号を付し、その説明を省略する。

【0090】

本体２８０は第１画像処理部２００及び第２画像処理部２８１を含む。第２画像処理部２８１は、機械学習型の膜推定器２８２、二値化器２８４及び修正部２８６を含む。膜推定器２８２は、図示の例において、ＣＮＮで構成されている。膜推定器２８２は、入力画像２０８として第２元画像（高電圧画像）３６Ｈに対して膜推定処理を適用し、膜尤度マップを出力するものである。膜推定器２８２は、高電圧画像を利用した学習を経た学習済み推定器である。二値化器２８４は二値化器５０と同様に膜尤度マップから仮膜画像を生成するものである。修正部２８６は、修正部５２と同様の機能を有し、仮膜画像に対するユーザー修正を受け付け、これにより第２正解画像２２４を生成するものである。第２構成例は、第２正解画像の生成において膜推定器４２とは別の膜推定器２８２を利用するものである。

【0091】

上記実施形態では、２つの観察条件が利用されていたが、３つ以上の観察条件が利用されてもよい。上記膜推定器としてＣＮＮが利用されていたが、他の機械学習型膜推定器が利用されてもよい。

【符号の説明】

【0092】

１０ 生物組織画像処理システム、１６ 走査型電子顕微鏡（ＳＥＭ）、１８ 生物組織画像処理装置、４２ 膜推定器、４４ 加工ツールユニット（作業支援部）、５０ 二値化器、５２ 修正部、５４ ラベリング処理部、５６ ボリュームデータ処理部、２００ 第１画像処理部、２０２ 第２画像処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】