▶ 日本電子株式会社の特許一覧 ▶ 株式会社ニコンの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】生物組織画像処理装置及び方法
(51)【国際特許分類】
G01N 23/2251 20180101AFI20221122BHJP
G01N 33/48 20060101ALI20221122BHJP
G06T 7/00 20170101ALI20221122BHJP
C12M 1/34 20060101ALN20221122BHJP
【ＦＩ】
G01N23/2251
G01N33/48 P
G06T7/00 350B
G06T7/00 630
C12M1/34 Z
【請求項の数】
17
(21)【出願番号】P 2018099386
(22)【出願日】2018-05-24
(65)【公開番号】P2019204312
(43)【公開日】2019-11-28
【審査請求日】2021-03-25
(73)【特許権者】
【識別番号】000004271
【氏名又は名称】日本電子株式会社
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】小西 功記
(72)【発明者】
【氏名】三村 正文
(72)【発明者】
【氏名】須賀 三雄
(72)【発明者】
【氏名】西岡 秀夫
【審査官】田中 洋介
(56)【参考文献】
【文献】特開２０１７－０２７１３８（ＪＰ，Ａ）
【文献】特開２０１２－０３７８６１（ＪＰ，Ａ）
【文献】特開２０１８－０１１８７０（ＪＰ，Ａ）
【文献】国際公開第２０１６／１９０１２９（ＷＯ，Ａ１）
【文献】特開２０１３－１５２４２６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０１８３２１７（ＵＳ，Ａ１）
【文献】内橋堅志 他，敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション，第３１回人工知能学会全国大会論文集，2017年，4K1-4in2，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２３／００－２３／２２７６
Ｇ０１Ｎ ３３／４８－３３／９８
Ｇ０６Ｔ ７／００－７／９０
Ｃ１２Ｍ １／３４
Ｇ０６Ｎ ２０／００－２０／２０
Ｇ０６Ｎ ３／０２－３／１０
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に基づいて複数の注目要素尤度マップを生成することにより前記複数の元画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含み、前記複数の注目要素尤度マップに基づいて前記複数の元画像から複数の注目要素画像を生成する画像生成部と、前記複数の注目要素画像の中からユーザー選択された空間軸上又は時間軸上の位置に対応する特定の注目要素画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の注目要素画像へ反映させる作業支援部と、
を含み、
前記画像生成部は、前記推定器として、異なるタイプの機械学習型の複数の推定器を含み、
前記複数の推定器にそれぞれ前記複数の元画像が入力され、
前記作業支援部は、前記複数の推定器がそれぞれ生成した複数の注目要素尤度マップの差分に基づいて前記作業対象画像に含まれる修正候補を識別表示する、
ことを特徴とする生物組織画像処理装置。
【請求項2】
請求項１記載の生物組織画像処理装置において、前記注目要素は特定の膜であり、
前記複数の推定器には、第１膜推定器と前記第１膜推定器とは異なるタイプの機械学習型の第２膜推定器とが含まれ、
前記第１膜推定器は、前記複数の元画像に対して前記膜を推定する処理を適用し、これにより複数の第１膜尤度マップを生成し、
前記第２膜推定器は、前記複数の元画像に対して前記膜を推定する処理を適用し、これにより複数の第２膜尤度マップを生成し、
前記作業支援部は、前記複数の第１膜尤度マップと前記複数の第２膜尤度マップの差分に基づいて前記作業対象画像に含まれる修正候補を識別表示する、
ことを特徴とする生物組織画像処理装置。
【請求項3】
生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に基づいて複数の注目要素尤度マップを生成することにより前記複数の元画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含み、前記複数の注目要素尤度マップに基づいて前記複数の元画像から複数の注目要素画像を生成する画像生成部と、
前記複数の注目要素画像の中からユーザー選択された空間軸上又は時間軸上の位置に対応する特定の注目要素画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の注目要素画像へ反映させる作業支援部と、
を含み、
前記画像生成部は、前記推定器として、第１推定器と第２推定器とを含み、
前記第１推定器は、前記複数の元画像に対して前記生物組織に含まれる細胞膜を推定する処理を適用し、これにより複数の膜尤度マップを生成し、
前記第２推定器は、前記第１推定器と一体化又は別体化された推定器であって、前記複数の元画像に対して前記生物組織に含まれるオルガネラを推定する処理を適用し、これにより複数のオルガネラ尤度マップを生成し、
前記複数のオルガネラ尤度マップに基づいて、前記複数の膜尤度マップを補正する補正部が設けられ、
前記画像生成部は、前記補正部による補正後の複数の膜尤度マップに基づいて、前記複数の注目要素画像として複数の膜画像を生成する、
ことを特徴とする生物組織画像処理装置。
【請求項4】
請求項１乃至３のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記作業対象画像を含む作業ウインドウを表示し、
前記作業ウインドウには、前記位置を選択する際に操作される位置選択用表示要素が含まれる、
ことを特徴とする生物組織画像処理装置。
【請求項5】
請求項４記載の生物組織画像処理装置において、前記作業ウインドウには、更に、前記作業対象画像の内容を追加する際に操作される追加用表示要素と、前記作業対象画像の内容を削除する際に操作される削除用表示要素と、が含まれる、
ことを特徴とする生物組織画像処理装置。
【請求項6】
請求項５記載の生物組織画像処理装置において、前記作業ウインドウには、更に、前記作業対象画像に対して所定単位でラベリングを行う際に操作されるラベリング用表示要素が含まれる、
ことを特徴とする生物組織画像処理装置。
【請求項7】
請求項１乃至６のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記作業対象画像の表示に際し、その背景画像として、前記選択された位置に対応する特定の元画像を同時に表示する機能を有する、
ことを特徴とする生物組織画像処理装置。
【請求項8】
請求項１乃至７のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記作業対象画像を表示する機能に加えて、前記選択された位置に対応する特定の元画像を表示する機能、及び、前記選択された位置に対応する特定の注目要素尤度マップを表示する機能を有する、
ことを特徴とする生物組織画像処理装置。
【請求項9】
請求項１乃至８のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記選択された位置に対応する、特定の元画像、特定の注目要素尤度マップ、及び、前記特定の注目要素画像の内のいずれかの画像の表示に際し、当該画像に対して、当該画像と同じ種類の画像であって前記選択された位置とは異なる位置に対応する他の画像を重ねて表示する機能を有する、
ことを特徴とする生物組織画像処理装置。
【請求項10】
請求項１乃至９のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記複数の注目要素画像に対するラベル付け結果に基づいて、そのラベル付け結果を表す三次元像を作成しその三次元像を表示する三次元像処理部を有し、
前記三次元像を観察しながら前記作業対象画像の修正及びそれに対するラベル付けを行える、
ことを特徴とする生物組織画像処理装置。
【請求項11】
請求項１乃至１０のいずれかに記載の生物組織画像処理装置において、前記作業支援部は、前記複数の注目要素画像の中における第１の注目要素画像に対するラベル付け結果に基づいて、前記複数の注目要素画像の中における第２の注目要素画像の中から１又は複数のラベル付け候補を選定する候補選定部を有する、
ことを特徴とする生物組織画像処理装置。
【請求項12】
請求項１１記載の生物組織画像処理装置において、前記候補選定部は、前記第１の注目要素画像においてラベル付けされた部分と、前記第２の注目要素画像に含まれる各ラベル付け候補と、の間における類似度に基づいて、前記各ラベル付け候補の表示態様を変化させる、
ことを特徴とする生物組織画像処理装置。
【請求項13】
請求項１乃至１２のいずれかに記載の生物組織画像処理装置において、前記推定器の学習過程には一次学習過程及び二次学習過程が含まれ、
前記二次学習過程では前記作業支援部による修正を経た複数の注目要素画像が前記推定器に与えられる、
ことを特徴とする生物組織画像処理装置。
【請求項14】
異なるタイプの機械学習型の複数の膜推定器に対して、生物組織の顕微鏡観察により得られた複数の深さに対応する複数の元画像を入力し、これにより前記複数の深さに対応する複数の膜尤度マップを得る工程と、前記複数の膜尤度マップに基づいて、前記複数の深さに対応する複数の膜画像を得る工程と、
前記複数の膜画像の中からユーザーにより選択された深さに対応する特定の膜画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の膜画像へ反映させる工程と、
前記複数の膜推定器がそれぞれ生成した複数の膜尤度マップの差分に基づいて前記作業対象画像に含まれる修正候補を識別表示する工程と、
を含む、ことを特徴とする生物組織画像処理方法。
【請求項15】
請求項１４記載の生物組織画像処理方法において、前記ユーザーの修正を経た複数の膜画像を利用して前記膜推定器に学習を行わせる工程を含む、
ことを特徴とする生物組織画像処理方法。
【請求項16】
情報処理装置において生物組織画像を処理するためのプログラムであって、異なるタイプの機械学習型の複数の膜推定器に対して、生物組織の顕微鏡観察により得られた複数の深さに対応する複数の元画像を入力し、これにより前記複数の深さに対応する複数の膜尤度マップを生成する機能と、
前記複数の膜尤度マップに基づいて、前記複数の深さに対応する複数の膜画像を生成する機能と、
前記複数の膜画像の中からユーザーにより選択された深さに対応する特定の膜画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の膜画像へ反映させる機能と、
前記複数の膜推定器がそれぞれ生成した複数の膜尤度マップの差分に基づいて前記作業対象画像に含まれる修正候補を識別表示する機能と、
を含む、ことを特徴とするプログラム。
【請求項17】
請求項１６記載のプログラムにおいて、前記ユーザーの修正を経た複数の膜画像を利用して前記膜推定器に学習を行わせる機能を含む、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は生物組織画像処理装置及び方法に関する。
【背景技術】
【0002】
生物組織の三次元構造を解析し又はそれをイメージングするための手法として、三次元顕微鏡法が知られている。三次元顕微鏡法においては、一般に、電子顕微鏡又は光学顕微鏡が用いられる。例えば、走査型電子顕微鏡（Scanning Electron Microscope）を用いた三次元顕微鏡法として、Focused Ion Beam SEM（FIB-SEM）法、Serial Block-Face SEM（SBF-SEM）法、及び、連続切片SEM（Serial Section SEM）法（非特許文献１を参照）が提案されている。連続切片SEM法は、アレイトモグラフィ（Array-tomography）法とも呼ばれている。
【0003】
連続切片SEM法では、生物組織の試料から、深さ方向に連なる複数の試料切片（極薄片）が切り出され、それらが基板上に配列される。基板上の各試料切片が走査型電子顕微鏡により順次観察され、これにより複数の画像が取得される。取得された複数の画像に基づいて、生物組織に含まれる特定の器官（細胞、ミトコンドリア、核等）の三次元構造が解析され、あるいは、それがイメージングされる。連続切片SEM法によれば、既に観察した試料切片を再び観察することが可能である。
【先行技術文献】
【非特許文献】
【0004】
【文献】甲賀ほか「連続切片SEM法とゴルジ装置の3D構造解析への応用」顕微鏡，49巻3号，2014．
【発明の概要】
【0005】
上記のように、生物組織について、その三次元構造を解析又はイメージングする場合、生物組織における複数の深さに位置する面又は層が観察され、これにより複数の深さに対応する複数の画像が取得される。その上で、各画像に対して、注目要素（Target Component）を検出又は識別する処理が適用される。ここで、注目要素は、画像処理に際して、検出対象又は識別対象となる特定の組織構成要素（又は細胞構成要素）である。最終的な解析対象又は画像化対象が注目要素とされてもよいし、最終的な解析対象又は画像化対象とは別の組織構成要素が注目要素とされてもよい。後者の例を挙げると、細胞膜に囲まれた細胞内腔（細胞質）の画像化に際しては、最初に、細胞膜が注目要素として検出又は識別される。
【0006】
多数の画像において注目要素を検出又は識別する処理の全部を手作業で行うのは非常に大変である。その処理を機械学習型の推定器に行わせることが考えられる。しかし、生物組織は非常に複雑な三次元構造を有しており、また、それには個体差もある。推定結果としての複数の注目要素画像を、目視観察しながら、必要に応じて、マニュアル修正することが必要となる。その作業を支援する手段又はツールの実現が望まれている。なお、時間軸上において並ぶ複数の注目要素画像についても、それらのマニュアル修正を支援する手段又はツールの実現が望まれている。
【0007】
本発明の目的は、生物組織画像処理において、空間軸上又は時間軸上で連なる複数の注目要素画像に対するマニュアル修正を支援することにある。あるいは、本発明の目的は、生物組織画像処理において、複数の注目要素画像に対するマニュアル修正を効率的に又は正確に行えるようにすることにある。
【課題を解決するための手段】
【0008】
本発明に係る生物組織画像処理装置は、生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含み、前記複数の元画像から複数の注目要素画像を生成する画像生成部と、前記複数の注目要素画像の中からユーザー選択された空間軸上又は時間軸上の位置に対応する特定の注目要素画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の注目要素画像へ反映させる作業支援部と、を含むものである。
【0009】
本発明に係る生物組織画像処理方法は、機械学習型の膜推定器に対して、生物組織の顕微鏡観察により得られた複数の深さに対応する複数の元画像を入力し、これにより前記複数の深さに対応する複数の膜尤度マップを得る工程と、前記複数の膜尤度マップに基づいて、前記複数の深さに対応する複数の膜画像を得る工程と、前記複数の膜画像の中からユーザーにより選択された深さに対応する特定の膜画像を取り出してそれを作業対象画像として表示し、当該作業対象画像に対するユーザーの修正を前記特定の膜画像へ反映させる工程と、を含むものである。
【0010】
上記方法は、ハードウエアの機能又はソフトウエアの機能として実現され、後者の場合、その機能を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。情報処理装置の概念には、パーソナルコンピュータ、電子顕微鏡システム、光学顕微鏡システム等が含まれる。
【0011】
本発明によれば、生物組織画像処理において、複数の注目要素画像に対するマニュアル修正を支援できる。あるいは、本発明によれば、生物組織画像処理において、複数の注目要素画像に対するマニュアル修正を効率的に又は正確に行える。
【図面の簡単な説明】
【0012】
【図1】実施形態に係る生物組織画像処理システムを示す概念図である。
【図2】生物組織画像処理装置の本体の第１構成例を示すブロック図である。
【図3】機械学習型膜推定器の構成例を示すブロック図である。
【図4】膜尤度マップに基づく仮膜画像の生成を示す図である。
【図5】加工ツールユニットが有する複数の機能を示す図である。
【図6】作業ウインドウの第１例を示す図である。
【図7】表示処理を説明するための図である。
【図8】他の表示処理を説明するための図である。
【図9】補間処理の第１例を説明するための図である。
【図10】補間処理の第２例を説明するための図である。
【図11】修正前の膜画像と修正後の膜画像とを示す図である。
【図12】ラベリング処理の一例を示す図である。
【図13】複数のラベル付け候補の提示を示す図である。
【図14】管理テーブルの一例を示す図である。
【図15】作業ウインドウの第２例を示す図である。
【図16】三次元像を示す図である。
【図17】生物組織画像処理装置の本体の第２構成例を示すブロック図である。
【図18】生物組織画像処理装置の本体の第３構成例を示すブロック図である。
【図19】第３構成例における処理内容を示すフローチャートである。
【図20】第３構成例における処理結果を示す図である。
【発明を実施するための形態】
【0013】
（Ａ）実施形態の概要
実施形態に係る生物組織画像処理装置には、機械学習型の推定器を含む画像生成部、及び、作業支援部が含まれる。機械学習型の推定器は、生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に対して、生物組織に含まれる注目要素（より正確には注目要素の像）を推定する処理を適用するものである。この処理により、複数の元画像から複数の注目要素画像が生成される。作業支援部は、複数の注目要素画像の中からユーザー選択された位置に対応する特定の注目要素画像を取り出して、それを作業対象画像として表示し、作業対象画像に対するユーザーの修正を特定の注目要素画像へ反映させるものである。
実施形態に係る生物組織画像処理装置には、機械学習型の推定器を含む画像生成部、及び、作業支援部が含まれる。機械学習型の推定器は、生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に対して、生物組織に含まれる注目要素（より正確には注目要素の像）を推定する処理を適用するものである。この処理により、複数の元画像から複数の注目要素画像が生成される。作業支援部は、複数の注目要素画像の中からユーザー選択された位置に対応する特定の注目要素画像を取り出して、それを作業対象画像として表示し、作業対象画像に対するユーザーの修正を特定の注目要素画像へ反映させるものである。
【0014】
上記構成によれば、空間軸上又は時間軸上の位置を選択すると、選択された位置に対応する特定の注目要素画像が作業対象画像として表示される。表示された作業対象画像を修正すれば、その修正が作業対象画像つまり特定の注目要素画像に反映される。修正作業過程において、例えば、空間軸上又は時間軸上で隣接する２つの注目要素画像を対比したい場合、空間軸上又は時間軸上で隣接する２つの位置を交互に選択すればよい。具体的には、例えば、空間軸上のある深さから浅い側又は深い側へ、深さを順次選択しながら、表示された個々の作業対象画像に対して必要な修正を施すようにしてもよい。このように、上記構成によれば、複数の位置に対応する複数の注目要素画像を修正する場合に、作業効率を高められ、あるいは、作業の正確性を高められる。実施形態においては、空間軸としての深さ軸上において並ぶ複数の元画像が推定器に入力されるが、時間軸上において並ぶ複数の画像が推定器に入力されてもよい。
【0015】
注目要素は、特定の組織構成要素又は特定の細胞構成要素であり、実施形態において、注目要素は細胞膜である。細胞膜によって囲まれた細胞内腔（細胞質）、細胞内の小器官（オルガネラ）等が注目要素とされてもよい。機械学習型の推定器は、例えばＣＮＮで構成されるが、他のタイプの機械学習型の推定器が利用されてもよい。実施形態において、作業支援部は、推定器の学習過程で推定器に与えられる正解画像を生成する場合においても利用され得る。実施形態においては、連続切片SEM法（アレイトモグラフィ法）により複数の元画像が取得されているが、FIB-SEM法、SBF-SEM法、その他の手法により複数の元画像が取得されてもよい。各注目要素画像を修正するユーザーは、通常、生物組織について一定の知識を有する専門家である。他の者において各注目要素画像が修正されてもよい。
【0016】
実施形態において、推定器は、複数の元画像に基づいて複数の注目要素尤度マップを生成し、画像生成部は、複数の注目要素尤度マップに基づいて複数の注目要素画像を生成する画像生成器を含む。すなわち、実施形態において、画像生成部は、推定器と、画像生成器と、により構成される。それら全体が機械学習型推定部により構成されてもよい。画像生成器は例えば二値化器により構成される。
【0017】
実施形態において、作業支援部は、作業対象画像を含む作業ウインドウを表示し、作業ウインドウには、位置を選択する際に操作される位置選択用表示要素が含まれる。この構成によれば、位置選択用表示要素を操作することにより、位置を簡便に選択できる。位置選択用表示要素として、所定の軸上をスライド運動する表示要素としてのスライダを有するものを採用するのが望ましい。そのような構成によれば、選択する位置を直感的に認識し易くなり、操作性を向上できる。実施形態において、位置選択用表示要素は深さ選択用表示要素である。
【0018】
実施形態において、作業ウインドウには、更に、作業対象画像の内容を追加する際に操作される追加用表示要素と、作業対象画像の内容を削除する際に操作される削除用表示要素と、が含まれる。例えば、作業対象画像として細胞膜を示す膜画像が表示されている状態において、追加用表示要素の操作によって膜画像中における膜途切れ部分に複数の膜画素が補間され、一方、削除用表示要素の操作によって膜画像中における誤推定部分（例えばミトコンドリアの膜に相当する複数の膜画素）が削除される。
【0019】
実施形態において、作業ウインドウには、更に、作業対象画像に対して所定単位でラベリングを行う際に操作されるラベリング用表示要素が含まれる。ラベリングは、三次元の繋がり関係を管理するための属性付け、つまりラベル付けである。例えば、ある深さにおける細胞内領域と他の深さにおける細胞内領域が同じ細胞に属すると判断された場合、それらの領域に対して同じラベルが与えられる。その作業はアノテーションに相当するものである。実施形態においては、作業対象画像の修正を行いつつ、ラベリングを行えるので、作業効率を高められる。ラベリングが自動的に行われてもよい。あるいは、ラベリングに際して１又は複数の候補が自動的に選定及び提示されてもよい。
【0020】
実施形態において、作業支援部は、作業対象画像の表示に際し、その背景画像として、選択された位置に対応する特定の元画像を同時に表示する機能を有する。この構成によれば、元画像を参照しながら、作業対象画像を修正し又はラベル付けすることが可能となるので、その作業性又はその正確性を高められる。合成表示される元画像及び作業支援画像を相互に識別できるように、望ましくは、それらの内で一方の画像が白黒で表示され、それらの内で他方がカラーで表示される。
【0021】
実施形態において、作業支援部は、作業対象画像を表示する機能に加えて、選択された位置に対応する特定の元画像を表示する機能、及び、選択された位置に対応する特定の注目要素尤度マップを表示する機能を有する。元画像が表示されれば、その元画像を参考にしながら、作業対象画像を修正することが可能となる。また、注目要素尤度マップが表示されれば、推定器の推定結果の妥当性や二値化処理の結果等の妥当性を評価することが可能となる。実施形態においては、作業支援部により、複数の元画像からなる第１の画像スタック、複数の注目要素尤度マップからなる第２の画像スタック、及び、複数の注目要素画像からなる第３の画像スタック、の３つのスタックが相互に対応付けられながら管理される。
【0022】
実施形態において、作業支援部は、選択された位置に対応する、特定の元画像、特定の注目要素尤度マップ、及び、特定の注目要素画像の内のいずれかの画像の表示に際し、当該画像に対して、当該画像と同じ種類の画像であって、選択された位置とは異なる位置に対応する他の画像を重ねて表示する機能を有する。空間軸上又は時間軸上の組織の連続性から、当該軸上において並ぶ複数の画像を同時に重ねて表示すれば、相互の対比から、修正の要否を的確に判断することが可能となる。また、そのような重合表示によれば、ラベル付けを正確に行うことが可能となる。重合表示に際しては、少なくとも上側の画像の透過度を可変できるように構成するのが望ましい。空間軸上又は時間軸上において連なる３枚以上の画像が重ね合わされてもよい。
【0023】
実施形態において、作業支援部は、複数の注目要素画像に対するラベル付け結果に基づいて、そのラベル付け結果を表す三次元像を作成しその三次元像を表示する三次元像処理部を有する。この構成によれば、三次元像を観察しながら、作業対象画像の修正やラベル付け結果の修正を行える。三次元像によれば、各深さで行われた修正やラベル付けの結果の適否を容易に判断することが可能となる。例えば、ラベル付けが誤っている場合、三次元像が不自然に歪んだり、三次元像において不自然な欠損部又は突起部が生じたりする。そのような情報に基づいてラベル付け結果等が修正される。
【0024】
実施形態において、作業支援部は、複数の注目要素画像の中における第１の注目要素画像に対するラベル付け結果に基づいて、複数の注目要素画像の中における第２の注目要素画像の中から１又は複数のラベル付け候補を選定する候補選定部を有する。この構成は、空間軸又は時間軸上の組織の連続性を前提として、ある位置でのラベル付け結果を、他の位置でのラベル付けに役立てるものである。この構成によれば、ラベル付けに際してのユーザーの負担が軽減される。
【0025】
実施形態において、候補選定部は、第１の注目要素画像においてラベル付けされた部分と、第２の注目要素画像に含まれる各ラベル付け候補と、の間における類似度に基づいて、各ラベル付け候補の表示態様を変化させる。この構成によれば、各ラベル付け候補の表示態様から、繋がり可能性の大小を直感的に認識できるので、ユーザーによるラベル付けを支援することが可能となる。
【0026】
実施形態に係る生物組織画像処理装置は、生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に対して生物組織に含まれる特定の膜を推定する処理を適用し、これにより複数の位置に対応する複数の第１膜尤度マップを生成する機械学習型の第１膜推定器と、第１膜推定器とは異なるタイプの機械学習型の膜推定器であって、複数の元画像に対して特定の膜を推定する処理を適用し、これにより複数の第２膜尤度マップを生成する機械学習型の第２膜推定器と、複数の第１膜尤度マップに基づいて複数の位置に対応する複数の膜画像を生成する画像生成器と、複数の注目要素画像の中からユーザーにより選択された位置に対応する特定の注目要素画像を取り出してそれを作業対象画像として表示する作業支援部であって、複数の第１膜尤度マップと複数の第２膜尤度マップの差分に基づいて作業対象画像に含まれる修正候補を識別表示する作業支援部と、を含むものである。この構成は、２種類の機械学習型の膜推定器を併用するものである。２つの膜推定器の推定結果が解離している部分について、ユーザーに対して修正を促せる。なお、膜以外の注目要素が推定対象とされてもよい。３種類以上の膜推定器が利用されてもよい。
【0027】
上記の推定器を含むＮ（但しＮは３以上の整数）個の注目要素推定器を設け、Ｎ個の注目要素推定器から出力されたＮ個の注目要素尤度マップに基づいて作業対象画像に含まれる修正候補を特定しそれを識別表示してもよい。その場合、Ｎ個の注目要素尤度マップに基づいて、画素ごとに注目要素尤度のばらつき情報を演算し、そのばらつき情報に基づいて修正候補となる画素を特定するようにしてもよい。ばらつき情報は例えば標準偏差である。
【0028】
実施形態に係る生物組織画像処理装置は、生物組織の観察により得られた空間軸上又は時間軸上で連なる複数の元画像に対して生物組織に含まれる細胞膜を推定する処理を適用し、これにより複数の位置に対応する複数の膜尤度マップを生成する機械学習型の第１推定器と、第１推定器と一体化又は別体化された推定器であって、複数の元画像に対して生物組織に含まれるオルガネラを推定する処理を適用し、これにより複数のオルガネラ尤度マップを生成する機械学習型の第２推定器と、複数のオルガネラ尤度マップに基づいて、複数の膜尤度マップを補正する補正部と、補正後の複数の膜尤度マップに基づいて複数の位置に対応する複数の膜画像を生成する画像生成器と、複数の膜画像の中からユーザーにより選択された位置に対応する特定の膜画像を取り出してそれを作業対象画像として表示する作業支援部と、を含むものである。この構成は、細胞膜以外の注目要素としてのオルガネラ（細胞内小器官）を別途推定し、その推定結果を膜尤度マップの補正で利用するものである。細胞膜の推定に際しては、オルガネラ又はその膜が誤認対象となりやすい。上記構成は、オルガネラ又はその膜を別途推定し、その推定結果に基づいて、膜尤度マップを優良化するものである。単一の推定器が第１推定器及び第２推定器として機能してもよい。第１推定器と第２推定器がそれぞれ別々の推定器により構成されてもよい。なお、細胞膜とオルガネラとの組み合わせ以外の組み合わせに対して、上記同様の構成を適用することも考えられる。３つ以上の推定対象が並列的に推定されてもよい。
【0029】
実施形態においては、推定器の学習過程には、一次学習過程及び二次学習過程が含まれ、二次学習過程では作業支援部による修正を経た複数の注目要素画像が推定器に与えられる。すなわち、推定器の学習過程及びその後の画像処理過程の両方において作業支援部が機能する。
【0030】
（Ｂ）実施形態の詳細
図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析対象又はイメージング対象になり得る。
図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析対象又はイメージング対象になり得る。
【0031】
図１に示す構成例において、生物組織画像処理システム１０は、試料前処理装置１２、連続切片作成装置１４、走査型電子顕微鏡（ＳＥＭ）１６、及び、生物組織画像処理装置１８によって構成されている。
【0032】
試料前処理装置１２は、生体から取り出された組織２０に対して前処理を行う装置であり、又は、その前処理のための各種の器具に相当する。前処理として、固定処理、染色処理、導電処理、樹脂包埋処理、整形処理等が挙げられる。それらの全部又は一部が、必要に応じて、実施される。染色処理においては四酸化オスミウム、酢酸ウラン、クエン酸鉛等が用いられてもよい。染色処理が以下に説明する各試料切片に対して行われてもよい。前処理に含まれる一部又は全部の工程が手作業によって行われてもよい。
【0033】
連続切片作成装置１４は、ＳＥＭ１６の外部に設けられ、あるいは、ＳＥＭ１６の内部に設けられる。連続切片作成装置１４により、前処理後のキュービック状の試料から、深さ方向（Ｚ方向）に並ぶ複数の試料切片２４が切り出される。その際には、ウルトラミクロトーム等の装置が利用されてもよい。その作業が手作業で行われてもよい。複数の試料切片２４により、試料切片群２２が構成される。実際には、切り出された複数の試料切片は、基板２８上に所定の配列で配置される。基板２８は、例えば、ガラス基板、シリコーン基板である。図１においては、基板２８上に、２つの試料切片列からなる試料切片アレイ２２Ａが構成されているが、それは例示に過ぎない。基板２８及び試料切片アレイ２２Ａにより、試料ユニット２６が構成される。
【0034】
ちなみに、個々の試料切片２４における縦及び横のサイズは、例えば、ｎｍオーダー又はμｍオーダーである。それ以上のサイズ（例えばｍｍオーダーのサイズ）を有する試料切片２４が作製されてもよい。個々の試料切片２４の厚み（Ｚ方向のサイズ）は、例えば、数ｎｍ～数百ｎｍであり、実施形態においては、その厚みは例えば３０～７０ｎｍの範囲内である。本願明細書において挙げる数値はいずれも例示である。
【0035】
ＳＥＭ１６は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出器３４等を有している。試料室内には、試料ユニット２６を保持するステージ、及び、そのステージを移動させる移動機構、が設けられている。ＳＥＭ１６内の制御部により、移動機構の動作つまりステージの移動が制御される。具体的には、試料切片アレイ２２Ａの中から選択された特定の試料切片２４に対して電子ビーム３０が照射される。照射位置を走査（例えばラスタースキャン）させながら、各照射位置から放出される反射電子３２が検出器３４で検出される。これによりＳＥＭ画像が形成される。これが試料切片２４ごとに実行される。その結果として、複数の試料切片２４の観察結果である複数のＳＥＭ画像３８が得られる。複数のＳＥＭ画像３８はＳＥＭ画像スタック３６を構成する。
【0036】
なお、Ｚ方向に直交する方向をＸ方向と定義し、Ｚ方向及びＸ方向に直交する方向をＹ方向と定義した場合、望ましくは、Ｘ方向観察範囲及びＹ方向観察範囲が互いに一致するように、各試料切片２４における観察範囲（電子ビーム二次元走査範囲）が定められる。反射電子３２ではなく、二次電子等が検出されてもよい。ＳＥＭ１６内の制御部は、電子ビーム３０を形成するための加速電圧を可変する機能も備えている。生物組織、生物組織中の観察対象、観察目的等に応じて、電子ビーム形成時の加速電圧が切り替えられてもよい。一般に、後述する膜推定器の学習過程及びその後の生物組織の解析過程では同じ加速電圧が設定される。
【0037】
上記のＳＥＭ画像スタック３６は、Ｚ方向における複数の深さ（深さ軸上の複数の深さ）に対応する（換言すればデータ記憶空間内でＺ方向に並ぶ）複数のＳＥＭ画像３８により構成される。各ＳＥＭ画像３８は、生物組織画像処理装置１８側から見て、元画像又は入力画像である。各ＳＥＭ画像３８は電子データであり、各ＳＥＭ画像がＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。
【0038】
生物組織画像処理装置１８は、図示の構成例において、パーソナルコンピュータによって構成されている。生物組織画像処理装置１８がＳＥＭ１６内に組み込まれてもよく、生物組織画像処理装置１８がＳＥＭ１６等を制御するシステムコンピュータ内に組み込まれてもよい。生物組織画像処理装置１８によりＳＥＭ１６が制御されてもよい。
【0039】
生物組織画像処理装置１８は、本体４０、表示器４６及び入力器４８を有している。本体４０が有する複数の機能については、後に、図２以降の各図に基づいて詳しく説明する。図１においては、本体４０が発揮する代表的な２つの機能（膜推定機能及び加工機能）がそれぞれブロックとして表現されている。具体的には、本体４０は、機械学習型の膜推定器４２及び加工ツールユニット（作業支援部）４４を有している。表示器４６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。入力器４８は、ユーザーによって操作されるキーボード、ポインティングデバイス等によって構成される。
【0040】
図２には、本体４０についての第１構成例が示されている。本体４０は、機械学習型の膜推定器４２、二値化器（画像生成器）５０、加工ツールユニット（作業支援部）４４、ボリュームデータ処理部５６、等を有する。加工ツールユニット４４は、修正部５２及びラベリング処理部５４を有している。ボリュームデータ処理部５６は、解析部５６Ａ及びレンダリング部５６Ｂを有している。
【0041】
図２に示される各構成の実体は、ユーザーの作業又は行為に相当する部分を除いて、基本的に、ＣＰＵ、ＧＰＵ等の汎用プロセッサによって実行されるソフトウエアつまりプログラムである。もっとも、それらの構成の一部又は全部が専用プロセッサ又は他のハードウエアによって構成されてもよい。生物組織画像処理装置が有する機能の全部又は一部がネットワーク上に存在する１又は複数の情報処理デバイスにより実行されてもよい。以下、本体４０内の各構成について詳述する。
【0042】
膜推定器４２は、膜推定手段として機能する。膜推定器４２は、入力された元画像（ＳＥＭ画像）５８に対して膜推定処理を適用し、これによって膜尤度マップ６０を出力するものである。図示の構成例において、膜推定器４２は、ＣＮＮ（Convolutional Neural Network）により構成されている。その具体的な構成例については後に図３を用いて説明する。ＣＮＮによって膜が正しく推定されるように、ＣＮＮの実際の稼働に先立って、ＣＮＮ学習過程が事前に実行される。その学習過程には、一次学習過程（初期学習過程）と、二次学習過程と、が含まれる。
【0043】
一次学習過程では、教師データを構成する複数の画像ペアが膜推定器４２に与えられ、これにより膜推定器４２内のＣＮＮパラメータ群が優良化（最適化）される。すなわち、膜推定器４２内に機械学習結果が蓄積される。ここで、個々の画像ペアは、元画像（ＳＥＭ画像）５８とそれに対応する正解画像６８とにより構成される。正解画像６８は、例えば、元画像５８に対する手作業により作成される。教師なし機械学習器、簡易な識別器（例えばＳＶＭ（Support Vector Machine））等によって、元画像５８から正解画像６８が作成されてもよい。この場合、かかる識別器に対して元画像５８を入力し、その出力に基づいてユーザーにおいて識別器がある程度働いていると判断できた場合に、その出力を正解画像６８として利用してもよい。一定の一次学習過程を経た膜推定器４２の出力に基づいて正解画像６８が作成されてもよい。
【0044】
続く二次学習過程では、一次学習過程を経て膜推定器４２がある程度働くことを前提として、膜推定器４２に対して、一次学習過程と同様に、教師データとして複数の画像ペアが与えられる。実施形態においては、その教師データは、一次学習過程で利用された複数の画像ペアと二次学習過程で追加された複数の画像ペアとにより構成される。追加される各画像ペアは、元画像５８とそれに対応する正解画像６４Ａとからなる。正解画像６４Ａは、膜推定器４２から加工ツールユニット４４までの構成により、生物画像処理装置自身によって作成される。具体的には、元画像５８を膜推定器４２に入力すると、膜推定器４２から推定結果画像として膜尤度マップ６０が出力される。膜尤度マップ６０に基づく仮膜画像の生成、及び、加工ツールユニット４４を利用した仮膜画像６２に対するユーザー（専門家）修正を経て、正解画像６４Ａが作成される。個々の処理については後に詳述する。仮膜画像６２を正解画像６２Ａとして利用することも考えられる。二次学習過程により、膜推定器４２内のＣＮＮパラメータ群が更に優良化される。つまり、膜推定器４２内に機械学習結果が更に蓄積される。二次学習過程は、例えば、元画像５８に対する推定処理の結果が、元画像５８に対応する正解画像６８，６４Ａに十分に類似したと判断された場合に終了する。その後、必要に応じて、上記同様の手法により、膜推定器４２の再学習が実行される。
【0045】
二次学習過程では、膜推定結果を基礎として正解画像を作成できるので、元画像から正解画像の全部を手作業で作成する場合に比べ、ユーザーの負担が大幅に軽減される。二次学習過程後における必要な学習過程においても同様である。なお、一次学習過程及び二次学習過程において、膜推定器４２に対し、複数の画像ペアが一括して与えられて、それがバッチ処理されてもよい。
【0046】
データベース５７には、複数の元画像５８、複数の正解画像６８，６８Ａ等が格納される。膜推定器４２とデータベース５７とが一体化されてもよい。機械学習型の膜推定器として、Ｕ－ｎｅｔが利用されてもよく、また、ＳＶＭ、ランダムフォレスト等が利用されてもよい。
【0047】
二値化器５０は、画像生成器として機能するものである。具体的には、二値化器５０は、後に図４を用いて例示するように、膜尤度マップ６０に対する二値化処理により、仮膜画像６２を生成するモジュールである。膜尤度マップ６０は、二次元配列された複数の膜尤度からなる。個々の膜尤度は、膜である確からしさ（確率）を示す数値である。膜尤度は例えば０から１の間をとる。膜尤度マップ６０を膜尤度画像として捉えることもできる。実施形態において、二値化器５０には閾値が設定されており、閾値以上の膜尤度を１に変換し、閾値未満の膜尤度を０に変換する。その結果として生成される画像が仮膜画像６２である。実施形態においては、便宜上、修正前の膜画像を修正後の膜画像から区別するために、修正前の膜画像を仮膜画像６２と呼んでいる。
【0048】
なお、膜推定器４２及び二値化器５０の両者により画像生成部６１が構成される。画像生成部６１の全体がＣＮＮ等により構成されてもよい。その場合でも、膜尤度マップ及び仮膜画像の段階的な生成を観念できる。仮膜画像６２を正解画像６２Ａとして用いることも可能である。二値化処理前に、膜尤度マップ６０に対して、ノイズ除去、エッジ強調等の処理が適用されてもよい。
【0049】
加工ツールユニット４４は、作業支援部又は作業支援手段として機能するものである。加工ツールユニット４４は、情報処理の観点から見て、表示処理機能及び画像処理機能を有している。作業の観点から見て、修正機能及びラベリング機能を有しており、図２においては、それらの機能が修正部５２及びラベリング処理部５４として表現されている。加工ツールユニット４４が発揮する具体的な複数の機能については後に図５を用いて整理する。ここでは、その概要又はその主要な機能について説明する。
【0050】
修正部５２は、後に図６において例示する作業ウインドウを介して、ユーザーに対して作業対象となった仮膜画像を作業対象画像として表示し、また、作業対象画像上におけるユーザーの修正指示を受け付けるものである。修正内容は作業対象画像となった仮膜画像に反映される。作業対象画像内に例えば膜の途切れ部分が含まれる場合、その途切れ部分に対して膜画素群が追加される。作業対象画像内に例えば膜以外の部分が含まれ、その部分が膜として誤認されている場合、その部分を構成する膜画素群が削除される。そのような追加及び削除に際し、ユーザーの作業又は操作を支援し各仮膜画像を管理するモジュールが修正部５２である。
【0051】
図示の構成例においては、修正部５２（又は加工ツールユニット４４）に対して、生成された仮膜画像６２の他に、入力された元画像５８、及び、生成された膜尤度マップ６０も順次入力されている。これにより、作業対象画像としての仮膜画像と共に、又はそれに代えて、作業対象画像に対応する元画像５８又は膜尤度マップ６０を表示することが可能である。これに関しては、後に図７、８を用いて説明する。修正部５２において実行される補間処理については、後に図９、１０等を用いて説明する。
【0052】
ラベリング処理部５４は、修正後の膜画像（又は修正未了の膜画像）に含まれる個々の領域（細胞内腔）に対して、ラベリング（ペイント及びラベル付け）を行うためのモジュールである。ラベリングには、ユーザーによるマニュアルでのラベリング、及び、自動的なラベリングがある。ラベリングについては、後に図１２、１３を用いて説明する。ラベリング結果を管理するための管理テーブルについては、後に図１４に例示する。修正作業及びラベリング作業が完了した段階で、細胞内腔とそれ以外とが区別された三次元ラベリングデータ６６が構成される。それがボリュームデータ処理部５６へ送られる。
【0053】
ボリュームデータ処理部５６には、図示の構成例において、複数の元画像からなる元画像スタック（ＳＥＭ画像スタック）３６が入力されている。元画像スタック３６はボリュームデータを構成するものである。また、ボリュームデータ処理部５６には、上記のように、三次元ラベリングデータ６６も入力されている。それもボリュームデータの一種である。
【0054】
解析部５６Ａは、例えば、三次元ラベリングデータ６６に基づいて、対象器官（例えば神経細胞）を解析する。例えば、形態、体積、長さ等が解析されてもよい。その際、三次元ラベリングデータを参照しながら元画像スタック３６が解析される。レンダリング部５６Ｂは、三次元ラベリングデータ６６に基づいて、三次元画像（立体的表現画像）を形成するものである。例えば、三次元ラベリングデータ６６に基づいて、元画像スタック３６の中から画像化部分が抽出され、それに対してレンダリング処理が適用されてもよい。
【0055】
既に説明した二次学習過程においては、修正後の各膜画像６４がそれぞれ正解画像６４Ａとして膜推定器４２に入力される。各正解画像６４Ａの作製に際して、膜推定器４２による推定結果を利用することができるので、且つ、加工ツールユニット４４を利用することができるので、それらを利用しない場合に比べて、各正解画像６４Ａの作製負担が大幅に削減される。すなわち、上記構成によれば、膜推定器４２の学習過程で要する労力及び時間を削減することが可能である。二次学習過程後の解析過程においては、膜推定器４２及び加工ツールユニット４４の併用により、解析対象又はレンダリング対象となる画像群の品質を高められ、また、その画像群を簡便かつ迅速に生成することが可能である。後に説明するように、加工ツールユニット４４は、三次元像処理部（三次元像生成手段）及び候補選定部（候補選定手段）としても機能する。
【0056】
図３には、膜推定器４２の構成例が模式的に示されている。膜推定器４２は、多数の層を有しており、それには、入力層８０、畳み込み層８２、プーリング層８４、出力層８６等が含まれる。それらはＣＮＮパラメータ群８８に従って作用する。ＣＮＮパラメータ群８８には、多数の重み係数、多数のバイアス値、その他が含まれる。ＣＮＮパラメータ群８８は最初に初期値群９４によって構成される。例えば、乱数等を利用して初期値群９４が生成される。
【0057】
学習過程では、評価部９０及び更新部９２が機能する。例えば、評価部９０は、教師データを構成する複数の画像ペア（元画像５８とそれに対応する正解画像６８，６４Ａ）に基づいて評価値を計算するものである。具体的には、元画像５８に対する推定処理の結果６０Ａと元画像５８に対応する正解画像６８，６４Ａとを誤差関数に順次与えることにより評価値が演算される。更新部９２は、その評価値が良い方向に変化するように、ＣＮＮパラメータ群８８を更新する。それを繰り返すことによって、ＣＮＮパラメータ群８８が全体的に最適化される。実際には、評価値が一定値に到達した時点で、学習過程の終了が判断される。図３に示した構成は単なる例示に過ぎず、膜推定器４２として、多様な構造を有する推定器を利用することが可能である。
【0058】
図４には、二値化器の作用が示されている。膜推定器から膜尤度マップ６０が出力される。膜尤度マップ６０は、複数の画素に相当する複数の膜尤度６０ａからなるものであり、個々の膜尤度６０ａは膜であることの確からしさを示す数値である。符号５０Ａで示すように、二値化器は膜尤度マップ６０を二値化し、これにより二値化画像としての仮膜画像６２を生成する。二値化に際しては、個々の膜尤度６０ａが閾値と比較される。例えば、閾値以上の膜尤度６０ａが値１を有する画素６２ａに変換され、閾値未満の膜尤度６０ａが値０を有する画素６２ｂに変換される。画素６２ａが膜を構成する画素（膜画素）として取り扱われる。閾値はユーザーにより可変設定し得る。その設定が自動化されてもよい。例えば、仮膜画像６２を観察しながら閾値が可変されてもよい。
【0059】
図５には、加工ツールユニットが有する複数の機能が整理されている。上段（Ａ）には修正部が有する複数の機能が示されており、下段（Ｂ）にはラベリング処理部が有する複数の機能が示されている。それらの機能の詳細又は具体例については、図６以降の各図を参照しながら説明する。ここでは、それらの機能について概説する。
【0060】
まず、修正部の機能について説明する。仮膜画像に対する修正には、大別して、マニュアル修正（Ａ１）と自動修正（Ａ２）とがある。マニュアル修正（Ａ１）では、修正ツールとしての仮想的なペン及び仮想的な消しゴムが利用される。ペンは膜を描く（非膜画素を膜画素に転換する）ための修正ツールであり、消しゴムは膜を消去する（膜画素を非膜画像に転換する）ための修正ツールである。他の修正ツールが設けられてもよい。
【0061】
マニュアル修正（Ａ１）に際しては、（Ａ１１）で示されるように、ユーザーによって選択された深さに対応する仮膜画像が作業対象画像としてカラーで表示される。その際、背景画像として、選択された深さに対応する元画像が白黒画像として表示される。（Ａ１２）で示されるように、選択された深さを基準として、深さ方向に並んだ同種の複数の画像（元画像、膜尤度マップ又は仮膜画像）を重ねて表示することも可能である。更に、（Ａ１３）で示されるように、マニュアル修正作業を支援するために、修正候補が表示されてもよい。
【0062】
自動修正（Ａ２）では、仮膜画像に含まれる膜途切れ部分が自動的に補間される。具体的には、ユーザー指定された２点の間が自動的に連結される。そのために幾つかの機能が用意されており、必要に応じて、それらの中からいずれかの機能が選択される。例えば、（Ａ２１）で示されるように、作業対象画像（仮膜画像）に基づいて、作業対象画像上の２点間が補間されてもよい。（Ａ２２）で示されるように、作業対象画像に対応する元画像に基づいて、作業対象画像上の２点間が補間されてもよい。（Ａ２３）で示されるように、作業対象画像に対応する尤度マップに基づいて、作業対象画像上の２点間が補間されてもよい。（Ａ２４）で示されるように、深さ方向に連なる複数の画像（元画像、膜尤度マップ又は仮膜画像）に基づいて、三次元補間が実行されてもよい。
【0063】
次に、ラベリング処理部の機能について説明する。ラベリング方法として、マニュアルラベリング（Ｂ１）と、自動ラベリング（Ｂ２）とがある。
【0064】
マニュアルラベリング（Ｂ１）では、ラベリングツールが利用され、ユーザーによって特定の領域（閉領域）がラベリング対象として指定される。すると、その領域がペイント処理され、また、その領域に対して固有のラベルが付与される。ラベルは、繋がり関係を管理するための識別子又は属性値である。その際、必要に応じて、（Ｂ１１）で示されるように、作業対象画像上に、他の深さに対応する画像（例えば、ラベリング済みの隣接する仮膜画像）がオーバーレイ表示されてもよい。あるいは、（Ｂ１２）で示されるように、深さ方向における領域間の繋がり関係が自動的に判定され、作業対象画像上に１又は複数のラベリング候補が表示されてもよい。その際に繋がり可能性の大小が自動的に判定され、その判定結果に基づいて各ラベリング候補の表示態様が制御されてもよい。
【0065】
自動ラベリング（Ｂ２）においては、レイヤ間での領域の繋がり関係が自動的に判定され、これによってペイント及びラベル付けが自動的に遂行される。その場合、例えば、（Ｂ２１）で示すように、ラベル付けされた特定の領域について、その代表座標を通過する垂線（Ｚ方向に平行な仮想線）を定義し、その垂線が通過する１又は複数の領域に対して、特定の領域に付されたラベルと同じラベルを付すようにしてもよい（串刺し方式）。その場合、特定の領域が存在する深さを基準深さとして、深さ方向の両側に一定の範囲を設定し、その範囲内において自動的なラベリングが実行されてもよい。また、（Ｂ２２）で示されるように、深さ方向における領域間の類似度等を基準として、レイヤ間において繋がり関係を自動的に判定し、その判定結果に基づいて自動的にラベリングを行うようにしてもよい。自動的なラベリングが実行された場合、通常、そのラベリング結果がユーザーにおいて目視確認される。
【0066】
以上挙げた機能は例示であり、ユーザーによる修正作業及びラベリング作業が効率的となり、あるいは、その負担が軽減されるように、更には、三次元ラベリングデータの品質が高まるように、加工ツールユニットを構成するのが望ましい。
【0067】
図６には、加工ツールユニットにより表示される作業ウインドウが例示されている。図示の例において、作業ウインドウ１００は、表示画像１０２を含んでいる。表示画像１０２は、ユーザーによって選択された深さに対応する仮膜画像（作業対象画像）及び元画像からなる複合画像である。グレイスケース画像としての元画像が背景画像を構成しており、それに対して、カラー画像（例えば青色画像）としての仮膜画像（作業対象画像）が重畳表示されている。なお、図示された表示画像１０２は脳組織を示しており、そこには、複数の細胞の断面が現れている。同時に、細胞内の小器官（ミトコンドリア等）の断面も現れている。
【0068】
タブ１０４が選択された場合、上記で説明した表示画像１０２が表示される。タブ１０５が選択された場合、グレイスケール画像としての元画像だけが表示される。タブ１０６が選択された場合、グレイスケール画像としての膜尤度マップ（膜尤度画像）だけが表示される。尤度マップの観察により、閾値が適切に設定されていること等を確認できる。また、元画像の単独表示によれば、膜の細部を詳細観察することが容易となる。作業対象画像としての仮膜画像だけを表示するタブを追加してもよい。膜尤度マップを背景画像とし、それに対して仮膜画像が重畳表示されてもよい。
【0069】
深さ選択ツール１０８は、Ｚ方向（つまり空間軸としての深さ軸上）において、特定の深さ（表示位置としての表示深さ）を選択するための表示要素（操作要素）である。それは、Ｚ軸を表すＺ軸シンボル１０８ｂと、Ｚ軸シンボル１０８ｂに沿ってスライド運動するスライダとしてのマーカー１０８ａと、からなる。マーカー１０８ａを移動させて、所望の深さを選択することが可能である。このような深さ選択ツール１０８によれば、選択する深さや深さ変化量を直感的に認識し易いという利点を得られる。なお、Ｚ軸シンボル１０８ｂの左端点が深さゼロに相当し、Ｚ軸シンボル１０８ｂの右端点が最大深さに相当している。他の形態を有する深さ選択ツールを採用してもよい。深さ入力欄１１４は、深さを数値として直接的に指定するための欄である。深さ入力欄１１４に、マーカー１０８ａの位置によって現在選択されている深さが数値として表示されてもよい。
【0070】
透過度調整ツール１１０は、表示画像１０２が表示されている状態において、合成表示されているカラーの仮膜画像（作業対象画像）の透過度（表示重み）を調整するためのツールである。例えば、マーカー１１０ａを左側へ移動させると、カラーの仮膜画像の表示重みが小さくなり、その透明度が上がって、元画像が支配的に表示されるようになる。逆に、マーカー１１０ａを右側へ移動させると、カラーの仮膜画像の表示重みが大きくなり、その透明度が下がって、カラーの仮膜画像がよりはっきりと表現されるようになる。
【0071】
重合表示ツール１１２は、現在表示されている画像（表示画像、元画像又は膜尤度マップ）に対して、深さ方向に浅い側に隣接する画像（表示画像、元画像又は膜尤度マップ）又は深さ方向に深い側に隣接する画像（表示画像、元画像又は膜尤度マップ）を重ねて表示する場合において操作されるものである。マーカー１１２ａを左側へ移動させると、浅い側に隣接する画像に対する表示重みが大きくなり、逆に、マーカー１１２ａを右側へ移動させると、深い側に隣接する画像に対する表示重みが大きくなる。３つ以上の画像を重ね合わせて表示してもよい。もっとも、あまり多くの画像を重ね合わせると、画像内容が複雑になり過ぎてしまうので、少数の画像を重ね合わせるのが望ましい。このような重合表示によれば、奥行き情報を得られ易くなる。
【0072】
ボタン列１１５は、仮想的な複数のボタン１１６，１１８，１２０，１２１，１２２，１２６によって構成される。ボタン１１６は、画像ズーム（拡大又は縮小）を行う場合に操作される表示要素である。ボタン１１８は、ペンツールを利用する場合に操作される表示要素である。ボタン１１８をオンにすると、カーソルの形態がペン形に代わり、それを用いて膜画素の追加を行える。ペンのサイズを変更することも可能である。ボタン１２０は、消しゴムを利用する場合に操作される表示要素である。ボタン１２０をオンにすると、カーソルの形態が消しゴム形に代わり、それを用いて膜画素の削除を行える。消しゴムのサイズを変更することも可能である。
【0073】
ボタン１２１は、ペイントを行う場合に操作される表示要素である。ボタン１２１をオンした上で、いずれかの領域を指定すれば、その領域が塗り潰される。また、ボタン１２１の操作によって、ペイント（又はラベリング）のために用意されている複数の機能の中から任意の機能を選択することも可能である。オブジェクト番号（ラベル）付けボタン１２２の操作により、カラーパレット１２４が表示される。例えば、ペイント処理済み領域に対して、カラーパレットの中から選択されたカラーが与えられる。これにより、その領域が、選択されたカラーによって着色される。個々の色がそれぞれオブジェクト番号に対応付けられている。レイヤ間にわたって複数の領域に対して同じカラーつまり同じオブジェクト番号を付与すれば、それらの領域によって特定細胞内の三次元内腔領域が画定される。
【0074】
ボタン１２６は、白黒反転用のボタンである。それを操作すると、表示された画像において、黒く表示されていた部分が白く表示され、逆に白く表示されていた部分が黒く表示される。
【0075】
上記の他、三次元像を表示させるためのボタンを設けるのが望ましい。三次元像の表示に関しては後に図１５及び図１６を用いて説明する。図６に示した作業ウインドウ１００の内容は例示に過ぎず、ユーザー作業においてその作業性が良好になるように、その内容が適宜定められるのが望ましい。
【0076】
図７及び図８に基づいて、加工ツールユニットにおける表示処理について説明する。図７に示す処理は図５において（Ａ１１）で示した表示処理に相当するものである。図８に示す処理は図５において（Ａ１２）及び（Ｂ１１）で示した表示処理に相当するものである。
【0077】
図７において、元画像スタック１３０は、Ｚ方向（深さ方向）に並ぶ複数の元画像により構成される。膜尤度マップスタック１３２は、Ｚ方向に並ぶ複数の膜尤度マップにより構成される。仮膜画像スタック１３４は、Ｚ方向に並ぶ複数の仮膜画像スタックにより構成される。個々の仮膜画像は、その修正後において膜画像となるが、それは便宜上の区別であり、ここでは、修正前及び修正後を区別することなく、仮膜画像と称することにする。それらのスタック１３０，１３２，１３４は、加工ツールユニットによって管理され、あるいは、生物組織処理装置が有する制御部によって管理される。
【0078】
元画像の表示が指定されている場合、元画像スタック１３０から、ユーザーによって選択された深さＺｉに対応する元画像１３０ｉが取り出され、それが表示器４６に表示される。膜尤度マップの表示が指定されている場合、膜尤度マップスタック１３２から、ユーザーによって選択された深さＺｉに対応する膜尤度マップ１３２ｉが取り出され、それが表示器４６に表示される。仮膜画像の表示が指定されている場合、仮膜画像スタック１３４から、ユーザーによって選択された深さＺｉに対応する仮膜画像１３４ｉが取り出され、それが表示器４６に表示される。実際には、深さＺｉに対応する元画像１３０ｉ上に、深さＺｉに対応する仮膜画像１３４ｉが合成され、その合成画像が表示器４６に表示される。合成に先立って、仮膜画像１３４ｉが例えば青色のカラー画像に変換される。また合成時においては、元画像１３０ｉに対して表示重みｗ０が乗算され、仮膜画像１３４ｉに対して表示重みｗ１が乗算される。各表示重みｗ０、ｗ１をユーザーにより変更し得る。
【0079】
仮膜画像１３４ｉは作業対象画像であり、それに対してユーザーが修正を行うと、符号１３５で示されるように、その修正内容が直ちに仮膜画像１３４ｉに反映される。深さＺｉを変更しながら、表示された各作業対象画像に対して、修正処理及びラベリング処理が施される。その過程において、必要に応じて、元画像１３０ｉ又は膜尤度マップ１３２ｉを単独で表示することも可能である。実施形態においては、リングバッファ内に過去ｍ回分の修正内容が修正履歴として管理されており、必要に応じて、Ｕｎｄｏ操作を行える。
【0080】
図８には、重合表示が選択された場合の表示処理が示されている。図７に示した構成と同様の構成には同一符号を付しその説明を省略する。図示した表示処理では、３種類の表示画像に対して重合表示処理を選択的に適用することが可能である。一部の画像だけに対して重合表示処理が適用されてもよい。
【0081】
元画像の表示が指定されている場合であって、Ｚ方向に浅い側の隣接画像の重合表示が指示された場合、元画像スタック１３０から、深さＺｉに対応する元画像１３０ｉ及び深さＺｉ－１に対応する元画像１３０ｉ－１が取り出される。それらが重合されて表示される。元画像１３０ｉに対して、深さＺｉ＋１に対応する元画像１３０ｉ＋１を重合する場合にも、上記同様の処理が実行される。なお、追加的に表示される元画像１３０ｉ－１，１３０ｉ＋１の透過度は、表示重みｗ３を可変することによって調整される。
【0082】
膜尤度マップの表示が指定されている場合であって、Ｚ方向に浅い側（又は深い側）の隣接画像の重合表示が指示された場合、膜尤度マップスタック１３２から、深さＺｉに対応する膜尤度マップ１３２ｉ、及び、深さＺｉ－１（又は深さＺｉ＋１）に対応する膜尤度マップ１３２ｉ－１（又は膜尤度マップ１３２ｉ＋１）が取り出される。それらが重合されて、表示される。
【0083】
これと同様に、仮膜画像の表示が指定されている場合であって、Ｚ方向に浅い側（又は深い側）の隣接画像の重合表示が指示された場合、仮膜画像スタック１３４から、深さＺｉに対応する仮膜画像１３４ｉ、及び、深さＺｉ－１（又は深さＺｉ＋１）に対応する仮膜画像１３４ｉ－１（又は仮膜画像１３４ｉ＋１）が取り出される。それらが重合されて、表示される。その場合、実際には、隣接する２つの合成画像が重合表示されることになる。合成処理後に重合処理されてもよい。
【0084】
図９には、補間処理の第１例が示されている。これは図５において（Ａ２１）で示した補間処理に相当するものである。図９において、仮膜画像スタック１３４から深さＺｉに対応する仮膜画像が取り出され、それが作業対象画像１４０として表示される。作業対象画像１４０の修正過程において、ユーザーにより、膜途切れ部分１４６の両端が２つの点１４２，１４４により指定される。２つの点１４２，１４４の間が作業対象画像１４０の内容に基づいて自動的に補間される。符号１４８は、自動的に追加された補間線（連結線）を示している。その場合、スプライン補間その他の技術を利用し得る。なお、作業対象画像１４０中において、細胞膜以外の細胞構成要素が膜として検出されている場合、符号１５０で示されるように、それが消しゴムによって消去される。
【0085】
図１０には、補間処理の第２例が示されている。これは図５において（Ａ２２）で示した補間処理に相当するものである。図１０において、仮膜画像スタック１３４から、深さＺｉに対応する仮膜画像が取り出され、それが作業対象画像１４０として表示される。作業対象画像１４０上において、ユーザーにより、膜途切れ部分の両端が２つの点１４２，１４４により指定される。一方、元画像スタック１３０から、深さＺｉに対応する元画像１５２も取り出される。その元画像１５２に対して必要に応じてエッジ強調処理が適用される。その上で、元画像１５２上において、２つの点１４２，１４４に対応する２つの点が特定され（符号１５４を参照）、それらの点の間が補間される（符号１５６を参照）。例えば、２つの点の間を結ぶ経路が探索される。その場合には公知の各種技術を利用可能である。図１０において、作業対象画像１４０上には、探索された経路と同じ形態を有する補間線１５８が追加されている。経路の探索に際しては、例えば、最短経路問題を解く各種の方法を利用し得る。例えば、Dijkstra法が利用されてもよい。上記同様の手法によって三次元の経路が探索されてもよい。
【0086】
図１１には、修正前の仮膜画像１８０と修正後の仮膜画像１８２とが示されている。修正前の仮膜画像１８０には、膜途切れ部分１８４，１８８が含まれる。修正後の仮膜画像１８２においては、符号１８６及び符号１９０で示されているように、膜途切れ部分が補修されている。また、修正前の仮膜画像１８０には、非膜部分１９２，１９６が含まれている。修正後の仮膜画像１８２においては、符号１９４及び符号１９８で示されているように、それらの非膜部分が消失している。修正後の仮膜画像１８２によれば、ラベリングを的確に行うことが可能となり、ひいては、三次元ラベリングデータの品質を高めることが可能となる。
【0087】
図１２には、ラベリング処理に含まれる三次元繋ぎ処理が例示されている。その内容は図５において（Ｂ２１）で示した処理又は（Ｂ２２）で示した処理に相当するものである。図１２においては、Ｚ方向に並ぶ複数の仮膜画像Ｄ１～Ｄ４が示されている。深さＺｉに対応する仮膜画像Ｄ１が作業対象画像である。それが以下に説明する処理での基準画像とされる。
【0088】
上記の（Ｂ２１）で示した処理においては、基準画像である仮膜画像Ｄ１に含まれる領域Ｒ１について代表点が特定される。例えば、代表点として中心点、重心点等が特定される。次いで、その代表点を通過する垂線Ｃが定義される。基準画像から、例えば、深い側にN枚の仮膜画像が参照され、それらの画像において垂線Ｃが通過している各領域が特定される。そして、垂線Ｃが通過している領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，・・・に対して、同じラベルが付与される。また、以上の処理が基準画像から浅い側のＮ枚の仮膜画像に対して適用されてもよい。自動的なラベリングの結果は、通常、ユーザーによって目視確認される。
【0089】
上記の（Ｂ２２）で示した処理においては、仮膜画像Ｄ１に含まれる領域Ｒ１（の外縁）が仮膜画像Ｄ２上に投影され、投影領域Ｒ１ａが定義される。仮膜画像Ｄ２上において、投影領域Ｒ１ａに対して最も重なり合う領域Ｒ２が特定される。続いて、領域Ｒ２が仮膜画像Ｄ３上に投影され、投影領域Ｒ２ａが定義される。仮膜画像Ｄ３上において、投影領域Ｒ２ａに対して最も重なり合う領域Ｒ３が特定される。同様に、仮膜画像Ｄ４上において、投影領域Ｒ３ａが定義され、それに基づいて領域Ｒ４が特定される。領域Ｒ１、及び、それを出発点として特定された領域Ｒ２，Ｒ３，Ｒ４の全部に対して、同じラベルが付与される。
【0090】
上記の処理では、投影元の領域がレイヤ変更時に逐次更新されていたが、それを固定するようにしてもよい。例えば、領域Ｒ１を仮膜画像Ｄ２，Ｄ３，Ｄ４に投影するようにしてもよい。また、上記の処理では、基準画像からＺ方向の一方側に繋がり先が探索されていたが、基準画像からＺ方向の両側に繋がり先が探索されてもよい。その探索範囲がユーザー選択されてもよい。いずれにしても、自動的なラベリングの結果が、通常、ユーザーによって目視確認される。その場合には、図６に示した作業ウインドウが利用される。
【0091】
以上説明した三次元繋ぎ処理は例示であり、上記以外の三次元繋ぎ処理が採用されてもよい。領域間における繋がり関係の特定に際しては、領域ごとの１又は複数の特徴量が利用され得る。領域の特徴量として、面積、形態、周囲長、重心点、輝度ヒストグラム、テクスチャ、等が利用されてもよい。あるいは、領域間の特徴量として、重合面積、代表点間距離、等が利用されてもよい。
【0092】
図１３には、候補表示の一例が示されている。その処理は、図５において（Ａ１３）で示した処理に相当するものである。深さＺｉに対応する仮膜画像（作業対象画像）２００上に、投影領域２０２が定義されている。投影領域２０２は、例えば、深さＺｉ－１に対応する仮膜画像上でラベル付けされた元領域の投影により定義される領域である。仮膜画像２００において、投影領域２０２と重なり合う複数の領域２０４ａ，２０４ｂ，２０４ｃが特定される。また、投影領域２０２（又は元領域）と、各領域２０４ａ，２０４ｂ，２０４ｃとの間で、それぞれ類似度（例えば重合面積）が演算される。各領域２０４ａ，２０４ｂ，２０４ｃについて演算された各類似度に基づいて、各領域２０４ａ，２０４ｂ，２０４ｃがそれぞれ異なるカラーで識別表現される。すなわち、類似度の違いが色相の違いとして識別表現される。これにより、ユーザーは、個々の領域２０４ａ，２０４ｂ，２０４ｃの類似度を参考にしながら、ラベリングを行うことが可能となる。例えば、図示の例では、最も類似度の大きい領域２０４ａに対して、元領域に付与したラベルと同じラベルが付与される。
【0093】
図１４には、管理テーブルが例示されている。図示された管理テーブル２０６は、ラベリング処理の結果を管理するためのテーブルである。管理テーブル２０６は、例えば、上記ラベリング処理部の中に構築される。管理テーブル２０６は、複数のレコード２０６ａからなり、個々のレコード２０６ａは１つの画素に対応している。レコード２０６ａにおいては、画素座標、クラス、及び、ラベルが管理されている。クラスは、画素の属性として、膜、膜内部、及び、その他を識別するデータである。ラベルは、三次元データ空間内において繋がり関係を特定する数値データである。繋がり関係のある（ある細胞膜の内部の）画素群には同じラベルが付与される。
【0094】
【0095】
図１５において、作業ウインドウ１００Ａ内のボタン列１１５には、三次元像表示のためのボタン２１０が含まれる。ボタン２１０を操作すると、表示画像１０２上に又はそれとは別の場所に、サブ表示画像２１２が表示される。図示の例では、サブ表示画像２１２は、三次元空間を表すワイヤーフレーム（座標系を示す図形）２１３、及び、その内部に表現された三次元像２１５を含む。三次元像２１５は、図示の例では、３つの部分２１４ａ，２１４ｂ，２１４ｃの集合体である。各部分２１４ａ，２１４ｂ，２１４ｃはそれぞれ細胞内腔の三次元形態を示している。
【0096】
具体的には、ラベリング処理によって生成された三次元ラベリングデータに基づいてレンダリング処理を実行することにより、立体感を有する三次元像２１５が生成されている。視点、光源等のパラメータはユーザーにより変更され得る。サブ表示画像２１２が別ウインドウの形式でポップアップ表示されてもよい。三次元像２１５の参照により、修正結果の妥当性やラベリング処理結果の妥当性を容易に判断することが可能となる。
【0097】
サブ表示画像２１２には、現在選択されている深さを示す枠図形２１６が含まれる。作業ウインドウ１００Ａ内に含まれる深さ選択ツール１０８において、マーカー１０８ａをスライド移動させると、表示されている作業対象画像の内容が変化し、同時に、枠図形２１６が深さ方向に運動する。枠図形２１６の位置を参照することによって、三次元データ空間内における作業対象レイヤを直感的に認識することが可能となる。
【0098】
図１６に示される三次元像２２６，２２７が表示されてもよい。三次元像２２６，２２７は、ある細胞内腔を複数のディスク２２８の積層体として表現したものである。このような三次元像２２６，２２７によれば、各試料切片の厚さを三次元像に反映させることが可能となる。複数のディスクに代えて複数の平板状円板を表示するようにしてもよい。
【0099】
【0100】
本体４０Ａにおいて、膜推定器２５０は、細胞膜と他の膜（図示の構成例ではミトコンドリア膜）とを同時に推定する機能を有している。膜推定器２５０に対して元画像（ＳＥＭ画像）５８を入力すると、細胞膜の推定結果として膜尤度マップＡ２５４が出力され、同時に、ミトコンドリア膜の推定結果として膜尤度マップＢ２５８が出力される。
【0101】
膜尤度マップ補正部２６２は、膜尤度マップＢに基づいて、膜尤度マップＡを補正するモジュールである。具体的には、膜尤度マップＢ２５８を構成する座標（ｘ，ｙ）の膜尤度ｂが判定閾値α以上であれば、膜尤度マップＡ２５４における座標（ｘ，ｙ）の膜尤度ａの値が０に置換される。一方、膜尤度マップＢ２５８における座標（ｘ，ｙ）の膜尤度ｂが判定閾値αよりも小さければ、膜尤度マップＡ２５４における座標（ｘ，ｙ）の膜尤度ａの値が維持される。膜尤度マップ補正部２６２から、補正後の膜尤度マップ２６４が出力される。二値化器５０は膜尤度マップ２６４を二値化処理し、仮膜画像６２を生成する。
【0102】
二値化器５０及び修正部５２に対して並列に設けられた二値化器２６８及び修正部２７０は、膜尤度マップＢ２５８に基づいて正解画像２７２を作成するためのものである。二値化器２６８は、二値化器５０と同様の機能を有し、膜尤度マップＢから仮膜画像を生成する。修正部２７０は、修正部５２と同様の機能を有する。修正部５２により、仮膜画像がマニュアルで修正され、あるいは、自動的に修正され、これにより正解画像２７２が生成される。加工ツールユニット２６６は、修正部５２、ラベリング処理部５４、及び、修正部２７０によって構成されている。
【0103】
膜推定器２５０における細胞膜の学習のために、元画像５８とそれに対応する正解画像６４Ａ，６８とが教師データとして利用される。正解画像６４Ａは修正部５２による修正が行われた後の膜画像６４であり、正解画像６８は元画像から別途作成された画像である。膜推定器２５０におけるミトコンドリア膜についての学習のために、元画像５８とそれに対応する正解画像２７２，２７４とが教師データとして利用される。正解画像２７２は修正部２７０による修正が行われた後の膜画像であり、正解画像２７４は元画像から別途作成された画像である。なお、教師データとして、正解画像６４Ａに代えて、仮膜画像６２を用いることもできる。
【0104】
第２構成例によれば、細胞膜の推定結果が他の推定結果により補正されるので、細胞膜の推定精度を高めることが可能となる。また、ミトコンドリア膜を示す膜画像の修正に際して、図６に示した作業ウインドウを利用することができるから、その修正作業において作業効率を高められる。
【0105】
上記第２構成例では、膜尤度マップＢ２５８における膜尤度が閾値α以上である場合に補正が実行されていたが、膜尤度マップＢ２５８における膜尤度の大小に応じて補正度合いが可変されるようにしてもよい。単一の膜推定器２５０に代えて、細胞膜を推定する膜推定器とミトコンドリア膜を推定する膜推定器とを併設するようにしてもよい。その場合、望ましくは、２つの膜推定器がそれぞれ機械学習型の推定器で構成される。細胞膜、ミトコンドリア、及び、背景を個別的に且つ同時に推定する多クラス推定型の推定器を設けてもよい。
【0106】
図１８には、生物組織画像処理装置の本体の第３構成例が示されている。本体４０Ｂは、元画像５８を入力して膜推定を行う２つの機械学習型膜推定器２８０，２８２を有する。２つの機械学習型膜推定器２８０，２８２は互いに異なる構成を有し、すなわち、それらのタイプ又は方式は互いに相違する。例えば、膜推定器２８０は、図２に示した膜推定器４２に相当し、それは例えばＣＮＮにより構成される。膜推定器２８２は例えばランダムフォレストにより構成される。膜推定器２８０，２８２はいずれも細胞膜の推定を行うためのものであるが、それらの性質又は特性に相違があることから、２つの膜推定器２８０，２８２の推定結果は必ずしも同一にならない。例えば、元画像中のある部分について、膜推定器２８０，２８２の内の一方が膜と判断し、それらの内の他方も膜と判断することもあれば、膜推定器２８０，２８２の内の一方が膜と判断し、それらの内の他方が非膜と判断することもある。
【0107】
処理部２９６は、膜推定器２８０から出力された膜尤度マップＡ２８４と膜推定器２８２から出力された膜尤度マップＢ２８６とを比較し、両者の差が大きい画素（又は画素群）を修正候補として判定するものである。図示の構成例では、処理部２９６から修正部３０６へ修正候補を特定する情報３０２が送られている。修正部３０６内に処理部２９６が設けられもよい。
【0108】
二値化器２９２は、図２に示した二値化器５０に相当し、それは膜尤度マップＡ２８４から仮膜画像２９８を生成するものである。二値化器２９４は、二値化器２９２と同様の作用を発揮するものであり、それは膜尤度マップＢ２８６から仮膜画像３００を生成するものである。
【0109】
加工ツールユニット３０４は、図２に示した加工ツールユニット４４と同様の機能を有し、それは、修正部３０６及びラベリング処理部３１０を有する。修正部３０６は、二値化器２９２から出力された仮膜画像２９８及び二値化器２９４から出力された仮膜画像３００に対して修正を施すためのものである。修正後の膜画像３０８がラベリング処理部３１０に送られている。その膜画像３０８は、正解画像３１２として膜推定器２８０へ送られている。修正後の膜画像３０９は、正解画像３１６として膜推定器２８２へ送られている。加工ツールユニット３０４は、選択された深さに対応する仮膜画像の表示に際して、あるいは、入力された仮膜画像２９８の表示に際して、修正候補を識別表示する機能を有する。修正候補の特定及びその識別表示については、後に図１９及び図２０を用いて説明する。なお、修正後の膜画像３０９がラベリング処理部３１０へ送られてもよい。
【0110】
膜推定器２８０の学習過程では、膜推定器２８０に対して、元画像５８とそれに対応する正解画像３１２，３１４とが教師データとして入力される。正解画像３１２は、修正後の膜画像３０８である。正解画像３１４は、元画像から別途作成されたものである。膜推定器２８２の学習過程では、膜推定器２８２に対して、元画像５８とそれに対応する正解画像３１６，３１８とが教師データとして入力される。正解画像３１６は、修正後の膜画像３０９である。正解画像３１８は、元画像から別途作成されたものである。
【0111】
【0112】
図１９において、Ｓ３０では、画素単位で、膜尤度マップＡと膜尤度マップＢとが比較される。比較単位を他の単位としてもよい。２つの膜尤度マップＡ，Ｂの比較により差分マップが生成される。Ｓ３２では、差分マップを構成する複数の差分値がソートされる。すなわち、それらについて順位付けがなされる。Ｓ３４では、ソート後の差分値列において、上位Ｍ個の差分値が特定される。すなわち、最大の差分値を含むＭ個の差分値が特定される。それらに対応する複数の画素がそれぞれ修正候補となる。Ｓ３６では、作業対象画像上において、複数の修正候補が識別表示される。例えば、高輝度表示され、あるいは、特定の色相で表示される。
【0113】
その表示例が図２０に模式的に示されている。作業対象画像３２０上において、局所部分３２２，３２４は、複数の修正候補画像が密集している部分である。通常、このように複数の修正候補画素が局所的に密集する。場合によっては、エッジに沿って、複数の修正候補画素が並ぶ。いずれにしても、このような候補表示によれば、ユーザーにおいて、修正を行った方がよい部分、あるいは、２つの膜推定結果に解離が生じた部分を特定し、その部分に対して、必要な補正を施すことが可能となる。これにより修正作業の正確性を高められる。
【0114】
更に第４構成例として、並列的に演算されたＮ個の膜尤度マップに基づいて画素単位でばらつき情報を演算し、そのばらつき情報から修正候補を特定して、それを識別表示する態様が考えられる（但しＮは３以上の整数である）。具体的には、タイプの異なるＮ個の膜推定器と、それらから出力されるＮ個の膜尤度マップに基づいて画素単位で膜尤度の標準偏差を演算する演算器と、画素単位での膜尤度の標準偏差に基づいて画素単位で修正候補か否かを判定する判定器と、修正候補となる画素を識別表示する表示処理器と、を設けるものである。ばらつき情報として標準偏差以外の情報（例えば分散又はそれに相当する情報）を演算するようにしてもよい。この構成は、Ｎ個の推定結果が揃わない場合には膜でない可能性が高いのでそれを修正候補として表示するものである。
【0115】
上記実施形態によれば、作業ウインドウに含まれる深さ選択ツールの操作によって、所望の深さに対応する仮膜画像を作業ウインドウ内に表示し、それに対して必要な修正やラベル付けを行うことが可能である。深さを段階的に変更しながら仮膜画像の修正を繰り返すことが容易であり、組織の連続性を考慮しながら、効率的に修正作業を進めることが可能である。また、仮膜画像の表示に際しては、それに対応する（同じ深さの）元画像が背景画像として表示されるので、元画像と仮膜画像とを対比しながら、つまり推定結果の妥当性を確認しながら、修正作業を行える。
【0116】
修正作業に際して、ラベリングされた部分の三次元像を観察できるようにすれば、各深さの仮膜画像の修正やラベル付けの適否を判断することも可能である。また、深さの異なる複数の画像の重合表示によれば、例えば２つの領域の不自然な重なり（修正エラー又はラベリングエラー）等を容易に特定することが可能となる。
【0117】
複数の元画像が透過型電子顕微鏡や光学顕微鏡によって取得されてもよい。細胞膜ではなく、細胞内腔、細胞内小器官（オルガネラ）、その他が推定器における推定対象とされてもよい。上記実施形態では、連続切片SEM法が採用されていたが、FIB-SEM法、SBF-SEM法、その他の手法が採用されてもよい。空間軸上で連なる画像列ではなく、時間軸上で連なる画像列が処理対象とされてもよい。
【0118】
上記の実施形態において、二次学習過程を経た膜推定器を有する生物組織画像処理装置（又はそれに相当するソフトウエア）がユーザーに対して提供又は納入されてもよい。二次学習過程を経たパラメータセットがインターネット上のクラウド（サーバー）からユーザー側の情報処理装置へ提供されてもよい。
【符号の説明】
【0119】
１０ 生物組織画像処理システム、１６ 走査型電子顕微鏡（ＳＥＭ）、１８ 生物組織画像処理装置、４２ 膜推定器、４４ 加工ツールユニット（作業支援部）、５０ 二値化器、５２ 修正部、５４ ラベリング部、５６ ボリュームデータ処理部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
