特許 7181003 生物組織画像処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】生物組織画像処理装置及び方法

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20221122BHJP

   G01N 33/48 20060101ALI20221122BHJP

   G06T 7/00 20170101ALI20221122BHJP

   C12M 1/34 20060101ALN20221122BHJP

【ＦＩ】

G01N23/2251

G01N33/48 P

G06T7/00 350B

G06T7/00 630

C12M1/34 Z

【請求項の数】 12

(21)【出願番号】P 2018099389

(22)【出願日】2018-05-24

(65)【公開番号】P2019204695

(43)【公開日】2019-11-28

【審査請求日】2021-03-25

(73)【特許権者】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小西 功記

(72)【発明者】

【氏名】吉田 隆彦

(72)【発明者】

【氏名】須賀 三雄

(72)【発明者】

【氏名】西岡 秀夫

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２００４－２１２３５５（ＪＰ，Ａ）

【文献】特開平０５－２９０７８６（ＪＰ，Ａ）

【文献】国際公開第２０１７／２２１５９２（ＷＯ，Ａ１）

【文献】特開２００７－２６３９３２（ＪＰ，Ａ）

【文献】特開２０１５－１４９１６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１８３２１７（ＵＳ，Ａ１）

【文献】内橋堅志 他，敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション，第３１回人工知能学会全国大会論文集，2017年，4K1-4in2，pp.1-4

【文献】大隅正子，低加速電圧走査電子顕微鏡法－生物篇－，電子顕微鏡，1996年，Vol.31 No.1，pp.45-50

【文献】Ligong Han et al.，Learning Generative Models of Tissure Organization with Supervised GANs，2018 IEEE Winter Conference on Applications of Computer Vision，2018年03月12日，pp.682-690

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００－２３／２２７６

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０６Ｔ ７／００－７／９０

Ｃ１２Ｍ １／３４

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｎ ３／０２－３／１０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

生物組織の観察により生成された複数の深さに対応する複数の第１電子顕微鏡画像に基づいて、前記複数の深さに対応する複数の膜画像を生成する膜画像生成部と、
前記生物組織の観察により生成された複数の深さに対応する複数の第２電子顕微鏡画像に基づいて、前記複数の深さに対応する、膜の深部像としてのモヤ領域を含む複数のモヤ画像を生成するモヤ画像生成部と、
第１の深さの前記モヤ画像に含まれるモヤ領域に基づいて、前記第１の深さとは異なる第２の深さの前記膜画像に含まれる対象領域を選定する三次元ラベリング処理を前記複数の膜画像に対して行うラベリング処理部と、
を含むことを特徴とする生物組織画像処理装置。

【請求項2】

請求項１記載の生物組織画像処理装置において、
前記第１電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件が設定され、
前記第２電子顕微鏡画像の取得時において、前記電子顕微鏡に対して前記第１観察条件よりも大きな深さ範囲にわたって観察を行える第２観察条件が設定される、
ことを特徴とする生物組織画像処理装置。

【請求項3】

請求項２記載の生物組織画像処理装置において、
前記第１観察条件は前記電子顕微鏡に対して第１加速電圧を設定する条件であり、
前記第２観察条件は前記電子顕微鏡に対して前記第１加速電圧よりも高い第２加速電圧を設定する条件である、
ことを特徴とする生物組織画像処理装置。

【請求項4】

請求項１記載の生物組織画像処理装置において、
前記膜画像生成部は、機械学習型の膜推定器を含む、
ことを特徴とする生物組織画像処理装置。

【請求項5】

請求項１記載の生物組織画像処理装置において、
前記モヤ画像生成部は、前記第２電子顕微鏡画像からモヤ画像成分を抽出することにより前記モヤ画像を生成する、
ことを特徴とする生物組織画像処理装置。

【請求項6】

請求項１記載の生物組織画像処理装置において、
前記ラベリング処理部は、前記第１の深さのモヤ画像に含まれるモヤ領域に基づいて、前記第２の深さの膜画像に含まれる対象領域を選定するための基準情報を生成する基準情報生成部を含む、
ことを特徴とする生物組織画像処理装置。

【請求項7】

請求項６記載の生物組織画像処理装置において、
前記基準情報生成部は、前記第１の深さのモヤ画像に含まれるモヤ領域、及び、前記第１の深さの膜画像に含まれる領域であって前記モヤ領域を含む第１の対象領域に基づいて、前記基準情報として、前記第１の深さの基準ベクトルを演算する基準ベクトル演算部を含み、
前記ラベリング処理部は、前記第１の深さの基準ベクトルに基づいて、前記第２の深さの膜画像に含まれる前記対象領域として、前記第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する、
ことを特徴とする生物組織画像処理装置。

【請求項8】

請求項７記載の生物組織画像処理装置において、
前記基準ベクトル演算部は、前記第１の深さのモヤ画像に含まれるモヤ領域の代表座標、及び、前記第１の深さの膜画像に含まれる第１の対象領域の代表座標に基づいて、前記第１の深さの基準ベクトルを演算する、
ことを特徴とする生物組織画像処理装置。

【請求項9】

請求項６記載の生物組織画像処理装置において、
前記基準情報生成部は、前記第１の深さのモヤ画像に含まれるモヤ領域、及び、前記第１の深さの膜画像に含まれる領域であって前記モヤ領域を含む第１の対象領域に基づいて、前記基準情報として、前記第１の深さの基準領域を演算する基準領域演算部を含み、
前記ラベリング処理部は、前記第１の深さの基準領域に基づいて、前記第２の深さの膜画像に含まれる前記対象領域として、前記第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する、
ことを特徴とする生物組織画像処理装置。

【請求項10】

請求項９記載の生物組織画像処理装置において、
前記基準領域演算部は、前記第１の深さの膜画像に含まれる第１の対象領域から、前記第１の深さのモヤ画像に含まれるモヤ領域又はそれを基礎として生成された領域を減算することにより、前記第１の深さの基準領域を演算する、
ことを特徴とする生物組織画像処理装置。

【請求項11】

生物組織の観察により生成された複数の深さに対応する複数の第１電子顕微鏡画像に基づいて、前記複数の深さに対応する複数の膜画像を生成する工程と、
前記生物組織の観察により生成された複数の深さに対応する複数の第２電子顕微鏡画像に基づいて、前記複数の深さに対応する、膜の深部像としてのモヤ領域を含む複数のモヤ画像を生成する工程と、
第１の深さの前記モヤ画像に含まれるモヤ領域に基づいて、前記第１の深さとは異なる第２の深さの前記膜画像に含まれる対象領域を選定する三次元ラベリング処理を前記複数の膜画像に対して行う工程と、
を含むことを特徴とする生物組織画像処理方法。

【請求項12】

情報処理装置において生物組織画像処理を実行するためのプログラムであって、
生物組織の観察により生成された複数の深さに対応する複数の第１電子顕微鏡画像に基づいて、前記複数の深さに対応する複数の膜画像を生成する機能と、
前記生物組織の観察により生成された複数の深さに対応する複数の第２電子顕微鏡画像に基づいて、前記複数の深さに対応する、膜の深部像としてのモヤ領域を含む複数のモヤ画像を生成する機能と、
第１の深さの前記モヤ画像に含まれるモヤ領域に基づいて、前記第１の深さとは異なる第２の深さの前記膜画像に含まれる対象領域を選定する三次元ラベリング処理を前記複数の膜画像に対して行う機能と、
を有する、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生物組織画像処理装置及び方法に関する。

【背景技術】

【0002】

生物組織の三次元構造を解析し又はそれをイメージングするための手法として、三次元顕微鏡法が知られている。三次元顕微鏡法においては、一般に、電子顕微鏡が用いられる。例えば、走査型電子顕微鏡（Scanning Electron Microscope）を用いた三次元顕微鏡法として、Focused Ion Beam SEM（FIB-SEM）法、Serial Block-Face SEM（SBF-SEM）法、及び、連続切片SEM（Serial Section SEM）法（非特許文献１を参照）が提案されている。連続切片SEM法は、アレイトモグラフィ（Array-tomography）法とも呼ばれている。

【0003】

連続切片SEM法では、生物組織の試料から、深さ方向に連なる複数の試料切片（極薄片）が切り出され、それらが基板上に配列される。基板上の各試料切片が走査型電子顕微鏡により順次観察され、これにより複数の画像が取得される。取得された複数の画像に基づいて、生物組織に含まれる特定の器官（細胞、ミトコンドリア、核等）の三次元構造が解析され、あるいは、それがイメージングされる。連続切片SEM法によれば、既に観察した試料切片を再び観察することが可能である。

【先行技術文献】

【非特許文献】

【0004】

【文献】甲賀ほか「連続切片SEM法とゴルジ装置の3D構造解析への応用」顕微鏡，49巻3号，2014．

【発明の概要】

【0005】

生物組織の観察により生成された電子顕微鏡画像の内容は、加速電圧等の観察条件によって変化する。本発明者らの実験、研究によれば、例えば、加速電圧を上げて観察を行った場合、細胞膜（例えば神経細胞膜）の深部像がモヤのように現れ易くなることが確認されている。その深部像は細胞膜の三次元形態又は三次元構造を反映したものであると考えられる。生物組織を構成する他の要素が有する膜（例えばミトコンドリア膜）を観察する場合にもその膜の深部像が現れ得る。そこで、複数の膜画像に基づく三次元ラベリング処理において深部像を活用することが望まれる。

【0006】

本発明の目的は、生物組織画像としての電子顕微鏡画像に含まれる深部像を三次元ラベリング処理において活用することにある。

【課題を解決するための手段】

【0007】

本発明に係る生物組織画像処理装置は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する膜画像生成部と、前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成するモヤ画像生成部と、前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用するラベリング処理部と、を含むことを特徴とする。

【0008】

本発明に係る生物組織画像処理方法は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する工程と、前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成する工程と、前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用する工程と、 を含むことを特徴とする。

【0009】

上記方法は、ハードウエアの機能又はソフトウエアの機能として実現され、後者の場合、その機能を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。情報処理装置の概念には、パーソナルコンピュータ、電子顕微鏡システム等が含まれる。

【0010】

本発明によれば、膜の深部像を利用して三次元ラベリング処理を行うことが可能となる。これにより、例えば、三次元ラベリング処理の正確性を向上でき、あるいは、三次元ラベリング処理におけるユーザーの負担を軽減できる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る生物組織画像処理システムを示す概念図である。

【図2】生物組織画像処理装置の本体の第１構成例を示すブロック図である。

【図3】機械学習型膜推定器の構成例を示すブロック図である。

【図4】膜尤度マップに基づく仮膜画像の生成を示す図である。

【図5】作業ウインドウの一例を示す図である。

【図6】修正前の膜画像と修正後の膜画像とを示す図である。

【図7】加速電圧の変化に伴う観察深さ範囲の変化を示す図である。

【図8】低電圧画像から生成される膜画像及び高電圧画像から生成されるモヤ画像を示す図である。

【図9】モヤ検出処理の一例を示す概念図である。

【図10】基準情報演算方法の第１例を示すフローチャートである。

【図11】基準情報演算方法の第１例を示す説明図である。

【図12】繋がり関係特定方法の第１例を示すフローチャートである。

【図13】繋がり関係特定方法の第１例を示す説明図である。

【図14】基準情報演算方法の第２例を示すフローチャートである。

【図15】基準情報演算方法の第２例を示す説明図である。

【図16】繋がり関係特定方法の第２例を示すフローチャートである。

【図17】繋がり関係特定方法の第２例を示す説明図である。

【図18】三次元表示の一例を示す図である。

【発明を実施するための形態】

【0012】

（Ａ）実施形態の概要
実施形態に係る生物組織画像処理システムは、膜画像生成部、モヤ画像生成部、及び、ラベリング処理部を有する。膜画像生成部は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて膜画像を生成するものである。モヤ画像生成部は、生物組織の観察により生成された第２電子顕微鏡画像に基づいて膜の深部像としてのモヤ領域（Hazy Region）を含むモヤ画像を生成するものである。ラベリング処理部は、膜画像に基づく三次元ラベリング処理においてモヤ領域を利用するものである。モヤ領域は膜の三次元形態又は三次元構造が反映された特別な情報である。上記構成は、三次元ラベリング処理において、そのような特別な情報を利用するものである。膜は、実施形態において細胞膜であるが、他の膜であってもよい。

【0013】

実施形態において、第１電子顕微鏡画像と第２電子顕微鏡画像は、生物組織中の同一部位の観察により生成される。それらの画像は通常、同一倍率を有する。実施形態において、第１電子顕微鏡画像と第２電子顕微鏡画像は別々の画像であるが、モヤ領域を抽出してそれを利用できる限りにおいて、第１電子顕微鏡画像と第２電子顕微鏡画像とを同一とする変形例も考えられる。実施形態においては、連続切片SEM法（アレイトモグラフィ法）により複数の画像が取得されているが、FIB-SEM法、SBF-SEM法、その他の手法により複数の画像が取得されてもよい。

【0014】

実施形態においては、第１電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件が設定され、第２電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件よりも大きな深さ範囲にわたって観察を行える第２観察条件が設定される。この構成によれば、第２電子顕微鏡画像において膜の深部像が現れ易くなる。観察条件の切り替えに際して、加速電圧、照射電流その他が変更され得る。実施形態において、第１観察条件は電子顕微鏡に対して第１加速電圧を設定する条件であり、第２観察条件は電子顕微鏡に対して前記第１加速電圧よりも高い第２加速電圧を設定する条件である。

【0015】

実施形態において、膜画像生成部は、機械学習型の膜推定器を含む。膜推定器は例えばＣＮＮで構成される。他のタイプの機械学習型の膜推定器が利用されてもよい。機械学習型以外の膜推定器を利用することも考えられる。膜推定器の入力画像を低電圧画像とすれば、仮膜画像の修正時におけるユーザーの負担を軽減できる。モヤ画像生成部の入力画像を高電圧画像とすれば、モヤ領域の検出精度を高められる。

【0016】

実施形態において、モヤ画像生成部は、第２電子顕微鏡画像からモヤ画像成分を抽出することによりモヤ画像を生成するものである。モヤ画像成分は、一般に、特徴的な性質を有しており、その性質を利用してモヤ画像成分を抽出することが可能である。モヤ画像生成部は、フィルタ処理器、機械学習型のモヤ推定器、その他として構成され得る。単一の推定器（例えばＣＮＮ）が膜画像生成部及びモヤ画像生成部として機能してもよい。

【0017】

実施形態において、膜画像生成部は、複数の深さに対応する複数の第１電子顕微鏡画像に基づいて複数の深さに対応する複数の膜画像を生成し、モヤ画像生成部は、複数の深さに対応する複数の第２電子顕微鏡画像に基づいて複数の深さに対応する複数のモヤ画像を生成し、ラベリング処理部は、複数の膜画像に対して三次元ラベリング処理を実行し、ラベリング処理部は、第１の深さのモヤ画像に含まれるモヤ領域に基づいて、第１の深さとは異なる第２の深さの膜画像に含まれる対象領域を選定するための基準情報を生成する基準情報生成部を含む。基準情報は、自動的なラベリングにおいて判定情報として利用され、あるいは、マニュアルでのラベリングにおいて支援情報として参照される。第２の深さは、第１の深さに隣接する深さであってもよいし、他の深さであってもよい。異なる２つの深さに存在する２つの対象領域が繋がっているのか否かを判断するに際しては、一般に、個々の対象領域が有するあるいは対象領域間で定義される１又は複数の特徴量が参照される。そのような特徴量として基準情報が利用され得る。対象領域は、抽出の対象となる領域であり、実施形態においては、細胞膜の内部つまり膜内領域である。それよりも大きな領域である細胞領域（細胞膜までを含む領域）等が対象領域とされてもよい。

【0018】

実施形態において、基準情報生成部は、第１の深さのモヤ画像に含まれるモヤ領域、及び、第１の深さの膜画像に含まれる領域であってモヤ領域を含む第１の対象領域に基づいて、基準情報として、第１の深さの基準ベクトルを演算する基準ベクトル演算部を含み、ラベリング処理部は、第１の深さの基準ベクトルに基づいて、第２の深さの膜画像に含まれる対象領域として、第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する。この構成においては、膜で囲まれた細胞質等の三次元の構造又は形態を示す情報として、第１の深さの基準ベクトルが利用される。繋がり関係の概念には、繋がっている可能性が認められる関係が含まれる。繋がり関係の判断に際しては、基準ベクトルを含む複数の特徴量が総合的に考慮されてもよい。

【0019】

実施形態において、基準ベクトル演算部は、第１の深さのモヤ画像に含まれるモヤ領域の代表座標、及び、第１の深さの膜画像に含まれる第１の対象領域の代表座標に基づいて、第１の深さの基準ベクトルを演算する。各代表座標は、それぞれの領域を代表するものであり、例えば、重心、中心、その他の座標である。

【0020】

実施形態において、基準情報生成部は、第１の深さのモヤ画像に含まれるモヤ領域、及び、第１の深さの膜画像に含まれる領域であってモヤ領域を含む第１の対象領域に基づいて、基準情報として、第１の深さの基準領域を演算する基準領域演算部を含み、ラベリング処理部は、第１の深さの基準領域に基づいて、第２の深さの膜画像に含まれる対象領域として、第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する。実施形態において、基準領域演算部は、第１の深さの膜画像に含まれる第１の対象領域から、第１の深さのモヤ画像に含まれるモヤ領域又はそれを基礎として生成された領域を減算することにより、第１の深さの基準領域を演算する。第１の深さの基準領域は、深さ方向から見て、第１の対象領域の中で、第２の対象領域に重合している可能性が高い部分である。逆に言えば、モヤ領域は、深さ方向から見て、第１の対象領域の中で、第２の対象領域に重合している可能性が低い部分である。上記構成は、重合している可能性の低い部分を除外して、重合している可能性の高い部分を、繋がり関係の判定に利用するものである。

【0021】

（Ｂ）実施形態の詳細
図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析の対象になり得る。

【0022】

図１に示す構成例において、生物組織画像処理システム１０は、試料前処理装置１２、連続切片作成装置１４、走査型電子顕微鏡（ＳＥＭ）１６、及び、生物組織画像処理装置１８によって構成されている。

【0023】

試料前処理装置１２は、生体から取り出された組織２０に対して前処理を行う装置であり、又は、その前処理のための各種の器具に相当する。前処理として、固定処理、染色処理、導電処理、樹脂包埋処理、整形処理等が挙げられる。それらの全部又は一部が、必要に応じて、実施される。染色処理においては四酸化オスミウム、酢酸ウラン、クエン酸鉛等が用いられてもよい。染色処理が以下に説明する各試料切片に対して行われてもよい。前処理に含まれる一部又は全部の工程が手作業によって行われてもよい。

【0024】

連続切片作成装置１４は、ＳＥＭ１６の外部に設けられ、あるいは、ＳＥＭ１６の内部に設けられる。連続切片作成装置１４により、前処理後のキュービック状の試料から、深さ方向（Ｚ方向）に並ぶ複数の試料切片２４が切り出される。その際には、ウルトラミクロトーム等の装置が利用されてもよい。その作業が手作業で行われてもよい。複数の試料切片２４により、試料切片群２２が構成される。実際には、切り出された複数の試料切片２４は、基板２８上に所定の配列で配置される。基板２８は、例えば、ガラス基板、シリコーン基板である。図１においては、基板２８上に、２つの試料切片列からなる試料切片アレイ２２Ａが構成されているが、それは例示に過ぎない。基板２８及び試料切片アレイ２２Ａにより、試料ユニット２６が構成される。

【0025】

ちなみに、個々の試料切片２４における縦及び横のサイズは、例えば、ｎｍオーダー又はμｍオーダーである。それ以上のサイズ（例えばｍｍオーダーのサイズ）を有する試料切片２４が作製されてもよい。個々の試料切片２４の厚み（Ｚ方向のサイズ）は、例えば、数ｎｍ～数百ｎｍであり、実施形態においては、その厚みは例えば３０～7０ｎｍの範囲内である。本願明細書において挙げる数値はいずれも例示である。

【0026】

ＳＥＭ１６は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出器３４、制御部２０４等を有している。試料室内には、試料ユニット２６を保持するステージ、及び、そのステージを移動させる移動機構、が設けられている。制御部２０４により、移動機構の動作つまりステージの移動が制御される。具体的には、試料切片アレイ２２Ａの中から選択された特定の試料切片２４に対して電子ビーム３０が照射される。照射位置を走査（例えばラスタースキャン）させながら、各照射位置から放出される反射電子３２が検出器３４で検出される。これによりＳＥＭ画像が形成される。これが試料切片２４ごとに実行される。制御部２０４は、電子ビームを形成するための加速電圧を設定する機能を有する。一般に、加速電圧を上げると、試料切片２４の内部におけるより深い位置からの情報が得られ易くなる。

【0027】

なお、Ｚ方向に直交する方向をＸ方向と定義し、Ｚ方向及びＸ方向に直交する方向をＹ方向と定義した場合、望ましくは、Ｘ方向観察範囲及びＹ方向観察範囲が互いに一致するように、各試料切片２４における観察範囲（電子ビーム二次元走査範囲）が定められる。反射電子３２ではなく、二次電子等が検出されてもよい。

【0028】

実施形態においては、解析過程において、制御部２０４の制御により、試料切片２４ごとに、第１観察条件としての第１加速電圧（低電圧）、及び、第２観察条件としての第２加速電圧（高電圧）が順次設定される。すなわち、解析対象試料から切り出された個々の試料切片２４が第１加速電圧の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（第１元画像）３８Ｌが生成される。続いて、個々の試料切片２４が第２加速電圧の下で形成された電子ビーム３０Ｈの走査により観察され、これにより高電圧画像（第２元画像）３８Ｈが生成される（高電圧観察）。通常、１つの試料切片２４に対して低電圧観察及び低電圧観察が連続して順次実行され、これが試料切片２４ごとに繰り返される。その結果、複数の低電圧画像３８Ｌにより低電圧画像スタック３６Ｌが構成され、また、複数の高電圧画像３８Ｈにより高電圧画像スタック３６Ｈが構成される。

【0029】

第１加速電圧は、例えば、１ｋｅＶ又は２ｋｅＶであり、第２加速電圧は、例えば、３ｋｅＶ、５ｋｅＶ又は７ｋｅＶである。試料、観察対象、観察目的その他の事情を考慮して第１加速電圧及び第２加速電圧を定めるのが望ましい。

【0030】

後述する膜推定器４２の学習過程では、制御部２０４の制御により、第１観察条件つまり第１加速電圧だけが設定される。すなわち、学習対象試料から切り出された個々の試料切片２４が第１加速電圧（低電圧）の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（解析用元画像）が生成される。複数の低電圧画像により低電圧画像スタックが構成される。学習過程には一次学習（初期学習過程）及び二次学習過程が含まれる。学習過程において、学習用画像として、低電圧画像に加えて高電圧画像が利用されてもよい。

【0031】

解析過程で取得される画像スタック３６Ｌ，３６Ｈは、Ｚ方向における複数の深さに対応する（換言すればデータ記憶空間内でＺ方向に並ぶ）複数の画像３８Ｌ，３８Ｈにより構成される。各画像３８Ｌ，３８Ｈは、生物組織画像処理装置１８側から見て、元画像又は入力画像である。各画像３８Ｌ，３８Ｈは電子データであり、各画像３８Ｌ，３８ＨがＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。

【0032】

生物組織画像処理装置１８は、図示の構成例において、パーソナルコンピュータによって構成されている。生物組織画像処理装置１８がＳＥＭ１６内に組み込まれてもよく、生物組織画像処理装置１８がＳＥＭ１６等を制御するシステムコンピュータ内に組み込まれてもよい。生物組織画像処理装置１８によりＳＥＭ１６が制御されてもよい。

【0033】

生物組織画像処理装置１８は、本体４０、表示器４６及び入力器４８を有している。本体４０が有する複数の機能については、後に、図２以降の各図に基づいて詳しく説明する。図１においては、本体４０が発揮する代表的な３つの機能（膜推定機能、モヤ検出機能、及び、ラベリング処理機能）がそれぞれブロックとして表現されている。具体的には、本体４０は、膜画像生成部の一部を構成する機械学習型の膜推定器４２、モヤ画像生成部としてのモヤ検出器２００、及び、三次元ラベリング処理を実行するラベリング処理部２０２を有する。表示器４６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。入力器４８は、ユーザーによって操作されるキーボード、ポインティングデバイス等によって構成される。

【0034】

図２には、本体４０の構成例が示されている。図２に示される各構成の実体は、ユーザーの作業又は行為に相当する部分を除いて、ＣＰＵ、ＧＰＵ等の汎用プロセッサによって実行されるソフトウエアつまりプログラムである。もっとも、それらの構成の一部又は全部が専用プロセッサ又は他のハードウエアによって構成されてもよい。生物組織画像処理装置が有する機能の全部又は一部がネットワーク上に存在する１又は複数の情報処理デバイスにより実行されてもよい。

【0035】

本体４０は、機械学習型の膜推定器４２、二値化器（画像生成器）５０、修正部５２、モヤ検出器２００、ラベリング処理部２０２、ボリュームデータ処理部５６等を有する。

【0036】

膜推定器４２は、膜推定手段として機能するものであり、入力画像２０６に対して膜推定処理を適用し、これにより膜尤度マップ６０を出力する。入力画像２０６は、低電圧画像としての元画像３８Ｌである。なお、高電圧画像としての元画像３８Ｈは、膜推定器４２に対して並列に設けられたモヤ検出器２００へ入力される。

【0037】

図示の構成例において、膜推定器４２は、機械学習型膜推定器であるＣＮＮ（Convolutional Neural Network）により構成されている。その具体的な構成例については後に図３を用いて説明する。ＣＮＮによって膜が正しく推定されるように、ＣＮＮの実際の稼働つまり解析過程に先立って、学習過程が事前に実行される。その学習過程には、上記のように、一次学習過程と二次学習過程とが含まれる。一次学習過程だけが実行されてもよい。

【0038】

一次学習過程では、教師データを構成する複数の画像ペアが膜推定器４２に与えられ、これにより膜推定器４２内のＣＮＮパラメータ群が優良化（最適化）される。すなわち、膜推定器４２内に機械学習結果が蓄積される。ここで、個々の画像ペアは、元画像３８Ｌとそれに対応する正解画像６８とにより構成される。正解画像６８は、例えば、元画像３８Ｌに対する手作業により作成される。教師なし機械学習器、簡易な識別器（例えばＳＶＭ（Support Vector Machine））等によって、元画像３８Ｌから正解画像６８が作成されてもよい。この場合、かかる識別器に対して元画像３８Ｌを入力し、その出力に基づいてユーザーにおいて識別器がある程度働いていると判断できた場合に、その出力を正解画像６８として利用してもよい。一定の一次学習過程を経た膜推定器４２の出力に基づいて正解画像６８が作成されてもよい。

【0039】

続く二次学習過程では、一次学習過程を経て膜推定器４２がある程度働くことを前提として、膜推定器４２に対して、一次学習過程と同様に、教師データとして複数の画像ペアが与えられる。実施形態においては、その教師データは、一次学習過程で利用された複数の画像ペアと二次学習過程で追加された複数の画像ペアとにより構成される。追加される各画像ペアは、元画像３８Ｌとそれに対応する正解画像６４Ａとからなる。正解画像６４Ａは、膜推定器４２から修正部５２までの構成により、生物画像処理装置自身によって作成される。具体的には、元画像３８Ｌを膜推定器４２に入力すると、膜推定器４２から推定結果画像として膜尤度マップ６０が出力される。膜尤度マップ６０に基づく仮膜画像６２の生成、及び、修正部５２を利用した仮膜画像６２に対するユーザー（専門家）修正を経て、正解画像６４Ａが作成される。個々の処理については後に詳述する。仮膜画像６２を正解画像６２Ａとして利用することも考えられる。二次学習過程により、膜推定器４２内のＣＮＮパラメータ群が更に優良化される。つまり、膜推定器４２内に機械学習結果が更に蓄積される。二次学習過程は、例えば、元画像３８Ｌに対する推定処理の結果が、元画像３８Ｌに対応する正解画像６８，６４Ａに十分に類似したと判断された場合に終了する。その後、必要に応じて、上記同様の手法により、膜推定器４２の再学習が実行される。

【0040】

データベース５７には、複数の元画像３８Ｌ，３８Ｈ、及び、複数の正解画像６８，６４Ａが格納される。膜推定器４２とデータベース５７とが一体化されてもよい。機械学習型の膜推定器として、Ｕ－ｎｅｔが利用されてもよく、また、ＳＶＭ、ランダムフォレスト等が利用されてもよい。

【0041】

二値化器５０は、画像生成器として機能するものである。具体的には、二値化器５０は、後に図４を用いて例示するように、膜尤度マップ６０に対する二値化処理により、仮膜画像６２を生成するモジュールである。膜尤度マップ６０は、二次元配列された複数の膜尤度からなる。個々の膜尤度は、膜である確からしさ（確率）を示す数値である。膜尤度は例えば０から１の間をとる。膜尤度マップ６０を膜尤度画像として捉えることもできる。実施形態において、二値化器５０には閾値が設定されており、閾値以上の膜尤度を１に変換し、閾値未満の膜尤度を０に変換する。その結果として生成される画像が仮膜画像６２である。実施形態においては、便宜上、修正前の膜画像を修正後の膜画像から区別するために、修正前の膜画像を仮膜画像６２と呼んでいる。

【0042】

なお、膜推定器４２及び二値化器５０の全体がＣＮＮ等により構成されてもよい。その場合でも、膜尤度マップ及び仮膜画像の段階的な生成を観念できる。仮膜画像６２を正解画像６２Ａとして用いることも可能である。二値化処理前に、膜尤度マップ６０に対して、ノイズ除去、エッジ強調等の処理が適用されてもよい。実施形態においては、膜推定器４２から修正部５２までの部分が膜画像生成部又は膜画像生成手段として機能している。

【0043】

修正部５２は、後に図５において例示する作業ウインドウを介して、ユーザーに対して作業対象となった仮膜画像を作業対象画像として表示し、また、作業対象画像上におけるユーザーの修正指示を受け付けるものである。修正内容は作業対象画像となった仮膜画像に反映される。作業対象画像内に例えば膜の途切れ部分が含まれる場合、その途切れ部分に対して膜画素群が追加される。作業対象画像内に例えば膜以外の部分が含まれ、その部分が膜として誤認されている場合、その部分を構成する膜画素群が削除される。そのような追加及び削除に際し、ユーザーの作業又は操作を支援し各仮膜画像を管理するモジュールが修正部５２である。ユーザーが仮膜画像の品質に満足する場合には修正部５２による処理をスキップさせることもできる。

【0044】

図示の構成例においては、修正部５２に対して、生成された仮膜画像６２の他に、入力画像（元画像）２０６、及び、生成された膜尤度マップ６０も入力されている。これにより、作業対象画像としての仮膜画像６２と共に、又はそれに代えて、作業対象画像に対応する元画像２０６又は膜尤度マップ６０を表示することが可能である。

【0045】

ラベリング処理部２０２は、ラベリング処理手段として機能し、また、基準情報生成部及び選定部としても機能する。ラベリング処理部２０２は、修正後の膜画像に含まれる個々の領域（膜内領域）に対して、ラベリング（ペイント及びラベル付け）を行うモジュールである。

【0046】

ラベリングには、ユーザーによるマニュアルでのラベリング処理、及び、自動的なラベリング処理がある。ラベリング処理時のユーザーの負担を形成し、又は、ラベリング処理の正確性を上げるために、実施形態においては、深さ方向の繋がり関係を判定するための特徴量として、又はそのための複数の特徴量の１つとして、基準情報が利用される。基準情報は、実施形態において、後に詳述するように、選択的に（又は同時に）利用される基準ベクトル及び基準領域である。ラベリング処理部２０２は、基準ベクトル演算部２１０及び基準領域演算部２１２を有している。それらについては後に詳述する。この他、ラベリング処理部２０２は選定部を有しているが、その図示は省略されている。ラベリング処理が完了した段階で、膜で囲まれた細胞質とそれ以外とが区別された三次元ラベリングデータ６６が構成される。それがボリュームデータ処理部５６へ送られる。

【0047】

ボリュームデータ処理部５６は、解析部５６Ａ及びレンダリング部５６Ｂを有している。ボリュームデータ処理部５６には、図示の構成例において、複数の元画像からなる元画像スタック３６Ｌが入力されている。元画像スタック３６Ｌはボリュームデータを構成するものである。ボリュームデータ処理部５６には、上記のように、三次元ラベリングデータ６６も入力されている。それもボリュームデータの一種である。

【0048】

解析部５６Ａは、例えば、三次元ラベリングデータ６６に基づいて、対象器官（例えば神経細胞）を解析する。例えば、形態、体積、長さ等が解析されてもよい。その際、三次元ラベリングデータを参照しながら、元画像スタック３６Ｌが解析される。レンダリング部５６Ｂは、三次元ラベリングデータ６６に基づいて、三次元画像（立体的表現画像）を形成するものである。例えば、三次元ラベリングデータ６６に基づいて、元画像スタック３７Ｌの中から画像化部分が抽出され、それに対してレンダリング処理が適用されてもよい。

【0049】

図２の下段に示されているモヤ検出器２００は、モヤ画像生成部として機能する。モヤ検出器２００には、入力画像２０８として、高電圧画像である元画像３８Ｈが入力されている。高電圧画像には、低電圧画像よりも、細胞内部の三次元構造又は形態が現れ易い（これについては後に図７を用いて具体的に説明する）。特に、高電圧画像には、細胞膜の深部像がより多く現れる。その深部像は、高電圧画像においてモヤのように現れる。そのモヤつまりモヤ画像成分を検出するモジュールがモヤ検出器２００である。モヤ検出器２００は後に説明するようにモヤ画像成分を抽出するフィルタを有している。低電圧画像にも深部像つまりモヤが現れるが、その量は比較的に少ない。そこで、実施形態においては、同じ試料切片から低電圧画像及び高電圧画像の２つの画像が取得されている。

【0050】

なお、膜推定器４２の入力画像２０６がある程度のモヤを含み得るものである場合、その入力画像２０６をモヤ検出器２００に入力する変形例が考えられる。モヤ検出器２００をＣＮＮ等の機械学習型膜推定器で構成してもよい。膜推定器４２とモヤ検出器２００とを単一の機械学習型膜推定器で構成することも考えられる。その場合、その推定器から膜尤度マップとモヤ尤度マップの両方が並列的に出力されることになる。

【0051】

もっとも、膜推定器４２に対して高電圧画像を入力した場合、仮膜画像６２内に膜でないものが多々含まれてしまう。このため修正部５２での修正作業の負担が増大してしまう。実施形態においては、膜推定器４２に低電圧画像を入力し、且つ、モヤ検出器２００に高電圧画像を入力したので、修正部５２での修正作業の増大を防止し、且つ、モヤ領域を高精度に検出することが可能である。モヤ領域は、基準ベクトルの演算及び基準領域の演算で利用される。これについては図８以降の各図を参照しながら後に詳述する。

【0052】

図３には、膜推定器４２の構成例が模式図として示されている。膜推定器４２は、多数の層を有しており、それらには、入力層８０、畳み込み層８２、プーリング層８４、出力層８６等が含まれる。それらの層はＣＮＮパラメータ群８８に従って作用する。ＣＮＮパラメータ群８８には、多数の重み係数、多数のバイアス値、その他が含まれる。ＣＮＮパラメータ群８８は最初に初期値群９４によって構成される。例えば、乱数等を利用して初期値群９４が生成される。

【0053】

学習過程では、評価部９０及び更新部９２が機能する。例えば、評価部９０は、教師データを構成する複数の画像ペア（元画像３８Ｌとそれに対応する正解画像６８，６４Ａ）に基づいて評価値を計算するものである。具体的には、元画像３８Ｌに対する推定処理の結果６０Ａと元画像３８Ｌに対応する正解画像６８，６４Ａとを誤差関数に順次与えることにより評価値が演算される。更新部９２は、その評価値が良い方向に変化するように、ＣＮＮパラメータ群８８を更新する。それを繰り返すことによって、ＣＮＮパラメータ群８８が全体的に最適化される。実際には、評価値が一定値に到達した時点で、学習過程の終了が判断される。図３に示した構成は単なる例示に過ぎず、膜推定器４２として、多様な構造を有する推定器を利用することが可能である。

【0054】

図４には、二値化器の作用が示されている。膜推定器から膜尤度マップ６０が出力される。膜尤度マップ６０は、複数の画素に相当する複数の膜尤度６０ａからなるものであり、個々の膜尤度６０ａは膜であることの確からしさを示す数値である。符号５０Ａで示すように、二値化器は膜尤度マップ６０を二値化し、これにより二値化画像としての仮膜画像６２を生成する。二値化に際しては、個々の膜尤度６０ａが閾値と比較される。例えば、閾値以上の膜尤度６０ａが値１を有する画素６２ａに変換され、閾値未満の膜尤度６０ａが値０を有する画素６２ｂに変換される。画素６２ａが膜を構成する画素（膜画素）として取り扱われる。閾値はユーザーにより可変設定し得る。その設定が自動化されてもよい。例えば、仮膜画像６２を観察しながら閾値が可変されてもよい。

【0055】

図５には、加工ツールユニット（修正部５２及びラベリング処理部２０２）により表示される作業ウインドウが例示されている。図示の例において、作業ウインドウ１００は、表示画像１０２を含んでいる。表示画像１０２は、ユーザーによって選択された深さに対応する仮膜画像（作業対象画像）及び元画像からなる合成画像（複合画像）である。グレイスケール画像としての元画像が背景画像を構成しており、それに対して、カラー画像（例えば青色画像）としての仮膜画像（作業対象画像）が重畳表示されている。なお、図示された表示画像１０２は脳組織を示しており、そこには、複数の細胞の断面が現れている。同時に、細胞内の小器官（ミトコンドリア等）の断面も現れている。

【0056】

タブ１０４が選択された場合、上記で説明した表示画像１０２が表示される。タブ１０５が選択された場合、グレイスケール画像としての元画像だけが表示される。タブ１０６が選択された場合、グレイスケール画像としての膜尤度マップ（膜尤度画像）だけが表示される。膜尤度マップの観察により、閾値が適切に設定されていること等を確認できる。また、元画像の単独表示によれば、膜の細部を詳細観察することが容易となる。作業対象画像としての仮膜画像だけを表示するタブを追加してもよい。膜尤度マップを背景画像とし、それに対して仮膜画像が重畳表示されてもよい。

【0057】

深さ選択ツール１０８は、Ｚ方向において、特定の深さ（表示深さ）を選択するための表示要素（操作要素）である。それは、Ｚ軸を表すＺ軸シンボル１０８ｂと、Ｚ軸シンボル１０８ｂに沿ってスライド運動するスライダとしてのマーカー１０８ａと、からなる。マーカー１０８ａを移動させて、所望の深さを選択することが可能である。このような深さ選択ツール１０８によれば、選択する深さや深さ変化量を直感的に認識し易いという利点を得られる。なお、Ｚ軸シンボル１０８ｂの左端点が深さゼロに相当し、Ｚ軸シンボル１０８ｂの右端点が最大深さに相当している。他の形態を有する深さ選択ツールを採用してもよい。深さ入力欄１１４は、深さを数値として直接的に指定するための欄である。深さ入力欄１１４に、マーカー１０８ａの位置によって現在選択されている深さが数値として表示されてもよい。

【0058】

透過度調整ツール１１０は、表示画像１０２が表示されている状態において、合成表示されているカラーの仮膜画像（作業対象画像）の透過度（表示重み）を調整するためのツールである。例えば、マーカー１１０ａを左側へ移動させると、カラーの仮膜画像の表示重みが小さくなり、その透明度が上がって、元画像が支配的に表示されるようになる。逆に、マーカー１１０ａを右側へ移動させると、カラーの仮膜画像の表示重みが大きくなり、その透明度が下がって、カラーの仮膜画像がよりはっきりと表現されるようになる。

【0059】

重合表示ツール１１２は、現在表示されている画像（合成画像、元画像又は膜尤度マップ）に対して、深さ方向に浅い側に隣接する画像（合成画像、元画像又は膜尤度マップ）又は深さ方向に深い側に隣接する画像（合成画像、元画像又は膜尤度マップ）を重ねて表示する場合において操作されるものである。マーカー１１２ａを左側へ移動させると、浅い側に隣接する画像に対する表示重みが大きくなり、逆に、マーカー１１２ａを右側へ移動させると、深い側に隣接する画像に対する表示重みが大きくなる。３つ以上の画像を重ね合わせて表示してもよい。もっとも、あまり多くの画像を重ね合わせると、画像内容が複雑になり過ぎてしまうので、少数の画像を重ね合わせるのが望ましい。このような重合表示によれば、奥行き情報を得られ易くなる。

【0060】

ボタン列１１５は、仮想的な複数のボタン１１６，１１８，１２０，１２１，１２２，１２６によって構成される。ボタン１１６は、画像ズーム（拡大又は縮小）を行う場合に操作される表示要素である。ボタン１１８は、ペンツールを利用する場合に操作される表示要素である。ボタン１１８をオンにすると、カーソルの形態がペン形に代わり、それを用いて膜画素の追加を行える。ペンのサイズを変更することも可能である。ボタン１２０は、消しゴムを利用する場合に操作される表示要素である。ボタン１２０をオンにすると、カーソルの形態が消しゴム形に代わり、それを用いて膜画素の削除を行える。消しゴムのサイズを変更することも可能である。

【0061】

ボタン１２１は、マニュアルでペイントを行う場合に操作される表示要素である。ボタン１２１をオンした上で、いずれかの領域を指定すれば、その領域が塗り潰される。また、ボタン１２１の操作によって、ペイント（又はラベリング）のために用意されている複数の機能の中から任意の機能を選択することも可能である。オブジェクト番号（ラベル）付けボタン１２２の操作により、カラーパレット１２４が表示される。例えば、ペイント処理済み領域に対して、カラーパレットの中から選択されたカラーが与えられる。これにより、その領域が、選択されたカラーによって着色される。個々の色がそれぞれオブジェクト番号に対応付けられている。レイヤ間にわたって複数の領域に対して同じカラーつまり同じオブジェクト番号を付与すれば、それらの領域によって特定細胞内の三次元内腔領域が画定される。

【0062】

ボタン１２６は、白黒反転用のボタンである。それを操作すると、表示された画像において、黒く表示されていた部分が白く表示され、逆に白く表示されていた部分が黒く表示される。

【0063】

上記の他、三次元像を表示させるためのボタンを設けるのが望ましい。図５に示した作業ウインドウ１００の内容は例示に過ぎず、ユーザー作業においてその作業性が良好になるように、その内容が適宜定められるのが望ましい。

【0064】

実施形態において、ラベリング処理はマニュアルで又は自動的に実行される。マニュアルでのラベリング処理の際には、後述する基準情報に基づいて（あるいはそれを含む複数の特徴量に基づいて）、１又は複数のラベリング候補が自動的に特定される。自動的なラベリング処理においては、後述する基準情報に基づいて（あるいはそれを含む複数の特徴量に基づいて）、ラベリング対象が自動的に特定される。すなわち、実施形態においては、ある深さの膜画像及びモヤ画像に基づいて基準情報が演算されており、その基準情報を利用して、別の深さの膜画像においてラベリング候補又はラベリング対象が自動的に特定される。

【0065】

図６には、修正前の仮膜画像１８０と修正後の仮膜画像１８２とが示されている。修正前の仮膜画像１８０には、膜途切れ部分１８４，１８８が含まれる。修正後の仮膜画像１８２においては、符号１８６及び符号１９０で示されているように、膜途切れ部分が補修されている。また、修正前の仮膜画像１８０には、非膜部分１９２，１９６が含まれている。修正後の仮膜画像１８２においては、符号１９４及び符号１９８で示されているように、それらの非膜部分が消失している。修正後の仮膜画像１８２によれば、ラベリングを的確に行うことが可能となり、ひいては、三次元ラベリングデータの品質を高めることが可能となる。

【0066】

図７には、加速電圧の変化に伴って生じる観察深さ範囲の変化及びＳＥＭ画像の変化が誇張して模式的に示されている。符号２３０，２３２，２３４は、互いに異なる３つの観察条件を示している。観察条件２３０は加速電圧を低い電圧とする条件である。観察条件２３２は加速電圧を中程度の電圧とする条件である。観察条件２３４は加速電圧を高い電圧とする条件である。図７の上段（Ａ）には、試料切片２３６の断面と電子ビーム２４４，２４６，２４８との関係が示されている。各断面には、Ｚ方向に平行に走行している膜部分２３８と、Ｚ方向に対して斜めの方向に走行している膜部分２４０と、が含まれる。符号２４２は、膜に囲まれた部分（内腔、細胞質）を示している。図７の下段（Ｂ）にはＳＥＭ画像が示されている。

【0067】

図示の例において、観察条件２３０が選択された場合、電子ビーム２４４による観察の対象は、もっぱら試料切片２３６の表層となる。このため、ＳＥＭ画像上においては、２つの膜部分２３８，２４０の表層を表す像２３８ａ，２４０ａが現れることになる。観察条件２３２が選択された場合、電子ビーム２４６による観察の対象は、試料切片２３６の中間層にまで及ぶ。このため、ＳＥＭ画像上においては、膜部分２３８の中間層までを表す像（中間積算像）２３８ｂが現れ、膜部分２４０については像２４０ｂの近傍に深部像２４０ｃが現れる。観察条件２３４が選択された場合、電子ビーム２４８による観察の対象は、図示の例では、試料切片２３６の全体に及んでいる。このため、ＳＥＭ画像上においては、膜部分２３８の全体を表す像（全体積算像）２３８ｃが現れ、膜部分２４０については像２４０ｄの近傍に幅の広い深部像２４０ｅが現れる。

【0068】

以上のように加速電圧の変更によって、取得できる深さ情報が異なることから、実施形態においては、上記のように個々の試料切片から低電圧画像及び高電圧画像が取得されている。それらが別々に処理された上で、それらの処理結果から、深さ方向における膜内領域の繋がり関係を判定するための基準情報が生成されている。

【0069】

以下、基準情報の生成について具体的に説明する。

【0070】

図８において、上段には、低電圧画像としての元画像３００Ｌが例示されており、また、元画像３００Ｌに基づいて生成された膜画像３０２が例示されている。図８において、下段には、高電圧画像としての元画像３００Ｈが例示されており、また、元画像３００Ｈに基づいて生成されたモヤ画像３０４が例示されている。元画像３００Ｈには元画像３００Ｌよりもはっきりとしたモヤ画像成分が含まれている。モヤ画像３０４には高輝度部分としてのモヤ領域が含まれる。図８の右側には、膜画像３０２とモヤ画像３０４との空間的関係を理解するための画像として、重合画像３０６が示されている。重合画像３０６は、背景画像としての膜画像３０２と、それに重ね合わされたモヤ画像３０４と、からなるものである。ラベリング処理部２０２においては、実際には、重合画像３０６は生成されておらず、膜画像３０２とモヤ画像３０４とが別々に処理される。

【0071】

図９には、モヤ検出器の作用が模式的に示されている。元画像３３０は高電圧画像であり、それに対してフィルタ３３２がラスタースキャンされる。フィルタ３３２の中心は注目画素３３４である。具体的には、拡大表現されたフィルタ３３２Ａにおいて、それは３×３の画素からなり、フィルタ３３２Ａを利用して注目画素３３４Ａがモヤ画素か否かが判定される。

【0072】

符号３３６で示されているように、フィルタ３３２内に含まれる９個の画素の平均輝度がａ１以上であり、且つ、９個の画素の輝度の分散がａ２以下であるか否かが判定される。その判定条件が満たされる場合、符号３３８で示すように、モヤフラグとして１がモヤ管理テーブル３４２に書き込まれる。具体的には注目画素に対応するセル３４６に１が書き込まれる。一方、上記判定条件が満たされない場合、符号３４０で示すように、モヤフラグとして０がモヤ管理テーブル３４２に書き込まれる。具体的には注目画素に対応するセル３４６に０が書き込まれる。符号３４８で示すように、フィルタ３３２を移動させながら、各移動位置において上記処理が実行される。これによりモヤ管理テーブル３４２が有するすべてのセルに値が書き込まれる。その時点でモヤ画像が完成する。

【0073】

モヤ領域は比較的に高輝度の領域であり、且つ、モヤ領域においては輝度の変化が比較的に少ない。そのような特徴を利用してモヤ領域が検出されている。上記条件に対して面積条件を追加し、一定以上の面積を有するモヤ画素集団を抽出するようにしてもよい。上記のフィルタ３３２はモヤ画像成分を抽出する方法の１つに過ぎず、他の方法によりモヤ画像成分が抽出されてもよい。

【0074】

図１０及び図１１には、基準情報演算方法の第１例が示されている。その方法は、図２に示したラベリング処理部の中の基準ベクトル演算部において実行される。図１０に示されている処理は、ｎ番目の画像セット（膜画像及びモヤ画像）ごとに実行され、且つ、モヤ領域ごとに実行される。ｎは深さ番号である。

【0075】

Ｓ１０では、図１１の左側に示されるように、モヤ領域Ｍが特定される。図１１においては、実施形態の理解のため、重合画像２５０が示されている。Ｓ１２では、モヤ領域Ｍの代表点として重心Ｏ１が演算される。重心Ｏ１に代えて中心点等が演算されてもよい。Ｓ１４では、重心Ｏ１を含む膜内領域が特定される。図１１においては、膜内領域の外縁が符号Ｕで示されている。Ｓ１６では、膜内領域の代表点として重心Ｏ２が演算される。重心Ｏ２に代えて中心点等が演算されてもよい。Ｓ１８では、図１１の中央に示されているように、２つの重心Ｏ１，Ｏ２を通過する直線Ｌが定義される。Ｓ２０では、直線Ｌ上において、外縁Ｕとの交点Ａが特定される。この場合、モヤ領域Ｍに近い側の交点として交点Ａが特定される。

【0076】

続いて、Ｓ２２では、モヤ領域Ｍを囲み、それに外接する楕円Ｑ０が定義される。その場合、楕円Ｑ０の中心はモヤ領域Ｍの重心Ｏ１である。楕円Ｑ０を利用しないことも考えられるが、楕円Ｑ０を発生させることにより、モヤ領域Ｍを演算上、取扱い易くなる。Ｓ２４では、楕円Ｑ０が既に外縁Ｕに接しており（又は外縁Ｕを超えており）、以下に説明する所定条件を満たす状況下で交点Ｂが既に発生しているか否かが判断される。交点Ｂが生じているならば、処理がＳ２８へ移行し、交点Ｂが生じていない場合には処理がＳ２６へ移行する。

【0077】

Ｓ２６では、楕円Ｑ０が外縁Ｕに接するまで、楕円Ｑ０が拡大される。外縁Ｕに接した時点の楕円が楕円Ｑ１である。楕円Ｑ０と楕円Ｑ１は相似関係にある。つまり、拡大過程では楕円Ｑ０の長軸長及び短軸長が同じ比率で増大される。Ｓ２８では、楕円Ｑ１（又は楕円Ｑ０）と直線Ｌの２つの交点の内で、交点Ａから遠い方の交点が特定される。それが交点Ｂである。図１１の右側に示されるように、交点Ａから交点Ｂに向かうベクトルとして基準ベクトルＶが定義される。

【0078】

モヤ画像中に複数のモヤ領域が含まれる場合、個々のモヤ領域ごとに上記同様の処理が実行される。１つの膜内領域に複数のモヤ領域が含まれる場合、最大のモヤ領域に対して上記処理が適用されるようにしてもよい。モヤ領域を含まない膜内領域については、上記処理は適用されない。実施形態においては、モヤを有する膜内領域に限り、繋がり関係を判定するための１又は複数の特徴量に対して基準ベクトルが加えられている。

【0079】

基準ベクトルはモヤ領域つまり膜の深部像の特徴を示すものである。基準ベクトルの基点は膜の端を示し、基準ベクトルの向きは膜が走行している方向を示す。基準ベクトルの大きさは膜の傾斜角度の大小を示す。よって、そのような基準ベクトルを利用して三次元ラベリング処理を支援し、又は、それを自動化することが可能となる。

【0080】

図１２及び図１３には繋がり関係特定方法の第１例が示されている。この方法は、ラベリング処理部において実行される。ここでは、説明の都合上、ｎ番目の深さの膜画像及びモヤ画像に基づいてｎ番目の深さについて１つの基準ベクトルが演算されることを前提とする。ｎ番目の深さにおいて、複数の基準ベクトルが演算されている場合、基準ベクトルごとに繋がり関係が特定される。ｎ番目の深さの膜画像（基準膜画像）から深い側に存在する複数の膜画像及び深い側の存在する複数の膜画像に対して、以下の処理が並列的に適用されてもよい。

【0081】

Ｓ３０では、ｎ番目の深さの膜画像（及びモヤ画像）に基づいて演算されたｎ番目の深さの基準ベクトルが、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像上に投影される（ｉは１以上の整数である）。図１３には、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５２が示されている。そこに投影された基準ベクトルが符号Ｖ１で示されている。上記のように、ｎは深さ番号であり、整数である。

【0082】

Ｓ３２では、基準ベクトルＶ１に基づいて、複数の候補領域の中から１又は複数の候補領域が絞り込まれる。具体的には、図１３において、膜画像２５２には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが含まれる。投影された基準ベクトルＶ１に直交する線であって、基準ベクトルＶ１の基点を通過する分割線Ｐが定義される。分割線Ｐによって膜画像２５２は２つの部分２５２Ａ，２５２Ｂに分割される。実施形態においては、基準ベクトルが向く側の部分２５２Ａ内に重心点が存在する膜内領域が候補領域とされる。具体的には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが有する重心Ｏａ，Ｏｂ，Ｏｃ，Ｏｄの内で、部分２５２Ａに属するものは重心Ｏａ，Ｏｂである。それらの重心Ｏａ，Ｏｂを含む膜内領域Ｒａ，Ｒｂが候補領域とされる。

【0083】

Ｓ３４では、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５２上に、ｎ番目の深さの膜画像上において特定された膜内領域が投影される。例えば、投影元の膜内領域に対してラベル（１００）が付与されているものとする。投影された膜内領域Ｕ１と、絞り込み後の各膜内領域（候補領域）Ｒａ，Ｒｂとの間で、重合面積が演算され、最大の重合面積を生じさせる膜内領域Ｒｂが繋がり関係を有する膜内領域として選定される。つまり、それに対しては同じラベル（１００）が付与される。

【0084】

以上の処理が個々の深さにおいて、且つ、個々の基準ベクトルごとに、実行される。重合面積に代えて、重心間の距離、基準ベクトルの先端と重心との間の距離、面積サイズの近さ、形態の近さ、等が利用されてもよいし、それらの組み合わせが利用されてもよい。自動的なラベリング処理を実行した場合、その実行結果がユーザーにより確認される。マニュアルでのラベリング処理においては、上記のようなプロセスにより特定された複数の候補領域が表示される。その場合に、最有力候補領域が他とは異なる色相で表示される。繋がり可能性の大小を色相の違いで表現するようにしてもよい。

【0085】

図１４及び図１５には、基準情報演算方法の第２例が示されている。その方法は、図２に示したラベリング処理部の中の基準領域演算部において実行される。図１４に示されている処理は、ｎ番目の画像セット（膜画像及びモヤ画像）ごとに且つ基準領域ごとに実行される。なお、図１４及び図１５において、図１０及び図１１に示した工程及び要素には同一の工程番号又は同一の符号を付し、その説明を省略する。

【0086】

Ｓ２２Ａでは、図１５の中央に示されているように、モヤ領域Ｍを取り囲みつつそれに接する外接円Ｑ２が生成される。外接楕円が生成されてもよい。外接円Ｑ２の中心はモヤ領域Ｍの重心に一致している。Ｓ２４Ａでは、外接円Ｑ２が交点Ａを内包しているか否かが判定される。内包していれば、処理がＳ２８Ａへ移行し、内包していなければ、処理がＳ２６Ａへ移行する。

【0087】

Ｓ２６Ａでは、外接円Ｑ２が交点Ａを含むまで外接円Ｑ２が拡大される。交点Ａが外接円Ｑ２の縁上に位置した状態での外接円が符号Ｑ３で示されている。Ｓ２８Ａでは、外縁Ｕで囲まれた膜内領域から、外接円Ｑ３が削除され、図１５の左側に示されている基準領域Ｅが生成される。膜内領域からモヤ領域を単純に減算することにより基準領域を生成してもよい。基準領域Ｅは、膜内領域において深さ方向に広がっている部分であると推認され、それが代表領域あるいは主たる領域として利用される。

【0088】

図１６及び図１７には、繋がり関係特定方法の第２例が示されている。この方法もラベリング処理部において実行される。ここでは、ｎ番目の深さの膜画像及びモヤ画像に基づいてｎ番目の深さについて１つの基準領域が演算されることを前提とする。ｎ番目の深さにおいて、複数の基準領域が演算されている場合、基準領域ごとに繋がり関係が特定される。ｎ番目の深さの膜画像を基準として、そこから深い側に存在する複数の膜画像及びそこから浅い側に存在する複数の膜画像に対して以下の処理が適用されてもよい。なお、図１７において、図１５に示した要素には同一の符号を付し、その説明を省略する。

【0089】

Ｓ４０では、ｎ番目の深さの膜画像（及びモヤ画像）に基づいて演算されたｎ番目の深さの基準領域が、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像上に投影される。その基準領域を含む膜内領域にはラベル（１００）が与えられているものとする。図１７には、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５６が示されている。そこに投影された基準領域が符号Ｅ１で示されている。図１７において、膜画像２５６には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが含まれる。投影された基準領域Ｅ１と、各膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄとの間で重合面積が演算される。最大の重合面積を有する膜内領域Ｒｂが繋がり関係を有する膜内領域として選定される。つまり、そこには、同じラベル（１００）が付与される。繋がり関係の判定に際して、他の１又は複数の特徴量が考慮されてもよい。

【0090】

以上の処理が個々の深さにおいて、且つ、個々の基準領域ごとに、実行される。モヤ領域を有しない膜内領域については、所定の１又は複数の特徴量に基づいて、深さ方向において膜内領域間の繋がり関係が判定される。自動的なラベリングに代えて、複数の候補領域及び最有力候補領域を表示してもよい。上記実施形態では、膜内領域及びモヤ領域に基づいて、基準ベクトル及び基準領域が演算されたが、他の基準情報が演算されてもよい。例えば、膜内領域に対するモヤ領域の偏倚量、膜内領域とモヤ領域の面積比、その他が演算されてもよい。

【0091】

図１８には、ラベリング処理結果に基づいて生成される三次元像２５８が模式的に示されている。三次元像２５８は例えばサーフェイスレンダリング法、ボリュームレンダリング法等によって生成される。個々の細胞像２６２ａ，２６２ｂ，２６２ｃは、例えば、それぞれ異なる色相で表現される。

【0092】

実施形態において、観察条件の異なる３つ以上の画像に基づいて繋がり関係が判定されてもよい。加速電圧の変更に代えて照射電流等の他の条件が変更されてもよい。繋がり関係の判定に際して、基準ベクトルと基準領域の両方が利用されてもよい。一般に、繋がり関係の判定に際しては、多様な特徴量を利用することができる。そのような特徴量として、上記であげたものの他、テクスチャ、Ｈｕモーメント、形状類似度、周囲長等があげられる。細胞膜以外の膜に上記処理が適用されてもよい。

【符号の説明】

【0093】

１０ 生物組織画像処理システム、１６ 走査型電子顕微鏡（ＳＥＭ）、１８ 生物組織画像処理装置、４２ 膜推定器、５０ 二値化器、５２ 修正部、２００ モヤ検出器、２０２ ラベリング処理部、２１０ 基準ベクトル演算部、２１２ 基準領域演算部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】