(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】画像生成装置、撮像装置、培養装置、画像生成方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231114BHJP
C12M 1/34 20060101ALI20231114BHJP
C12M 3/00 20060101ALI20231114BHJP
【FI】
G06T7/00 630
C12M1/34 A
C12M3/00 A
(21)【出願番号】P 2019005373
(22)【出願日】2019-01-16
【審査請求日】2021-12-21
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】吉田 隆彦
(72)【発明者】
【氏名】信田 萌伽
【審査官】渡部 幸和
(56)【参考文献】
【文献】米国特許出願公開第2010/0074486(US,A1)
【文献】米国特許出願公開第2010/0119113(US,A1)
【文献】特開2011-210044(JP,A)
【文献】特開2011-070633(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
C12M 1/34
C12M 3/00
(57)【特許請求の範囲】
【請求項1】
第1画像を構成する複数の画素から第1画素を設定する第1画素設定部と、
前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定部と、
(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出部と、
前記第1画像に対応する第1画像データを取得する第1画像データ取得部と、
抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成部と、
を備える画像生成装置。
【請求項2】
請求項1に記載の画像生成装置において、
前記画素抽出部は、前記終点画素の位置に基づいて、前記(b)が終了される終了条件を設定する画像生成装置。
【請求項3】
請求項2に記載の画像生成装置において、
前記画素抽出部は、前記画素抽出部が設定する前記複数の候補画素、前記新たな複数の候補画素、設定された前記第2画素および設定された前記新たな第2画素のいずれかが前記終点画素の少なくとも一つに対応する場合、または、前記新たな複数の候補画素からの前記新たな第2画素の設定が所定の回数行われた場合、前記終了条件が満たされたものとして前記(b)を終了する画像生成装置。
【請求項4】
請求項1から3のいずれか一項に記載の画像生成装置において、
前記第1画像において、少なくとも前記抽出画素を含む第1画素領域を設定する領域設定部を備え、
前記画像生成部は、前記第1画素領域を示す前記第2画像に対応する前記第2画像データを生成する画像生成装置。
【請求項5】
請求項4に記載の画像生成装置において、
前記第1画素設定部は、前記領域設定部が設定した前記第1画素領域において、新たな第1画素と新たな終点画素を設定し、
前記画素抽出部は、前記第1画素領域から前記新たな第1画素から前記新たな終点画素を繋ぐ新たな抽出画素の再度の抽出を行い、
前記再度の抽出において、前記新たな第1画素から1画素以上離れた複数の位置に前記複数の候補画素を指定し、前記第2画素から1画素離れた位置に前記
新たな複数の候補画素を指定し、
前記領域設定部は、前記新たな抽出画素を含む新たな第1画素領域を設定する画像生成装置。
【請求項6】
請求項4または5に記載の画像生成装置において、
前記画素抽出部は、前記複数の第3画素の輝度に基づいて、前記複数の候補画素のそれぞれごとに第1の値を算出し、前記第1の値に基づいて前記第2画素を設定する画像生成装置。
【請求項7】
請求項6に記載の画像生成装置において、
前記画素抽出部は、前記複数の第3画素の輝度の和または算術平均に基づいて、前記第1の値を算出する画像生成装置。
【請求項8】
請求項6または7に記載の画像生成装置において、
前記画素抽出部は、前記新たな複数の第3画素の輝度値に基づいて、前記新たな複数の候補画素のそれぞれごとに前記第1の値を算出し、複数の前記第1の値に基づいて前記抽出画素を抽出する画像生成装置。
【請求項9】
請求項6から8までのいずれか一項に記載の画像生成装置において、
前記第2画素が設定された際の当該第2画素に対応する前記第1の値に基づいて、前記抽出画素が抽出対象に対応しているかについての信頼度を算出する信頼度算出部を備える画像生成装置。
【請求項10】
請求項4から9のいずれか一項に記載の画像生成装置において、
前記複数の第3画素は、前記第1画素と前記第2画素とを結ぶ線上に位置する画素を中心とした範囲の画素である画像生成装置。
【請求項11】
請求項
9に記載の画像生成装置において、
前記信頼度に基づいて、前記抽出画素が連続した抽出対象に対応しているか否かの判定を行う判定部を備える画像生成装置。
【請求項12】
請求項4から11までのいずれか一項に記載の画像生成装置において、
前記第1画像は、撮像により得られた画像の各画素について、学習済みの機械学習を用いて抽出対象に対応する確率を算出し、前記確率に基づいた輝度を対応させた画像である画像生成装置。
【請求項13】
請求項4から12までのいずれか一項に記載の画像生成装置において、
前記第1画素設定部は、前記第1画像データにおける輝度を二値化して得られた二値化画像に対応するデータを用いて前記第1画素を設定する画像生成装置。
【請求項14】
請求項13に記載の画像生成装置において、
前記第1画素設定部は、前記二値化画像において、前記終点画素からの距離、および、前記二値化画像において同一の値を持つ連結された領域の広さに基づいて、前記第1画素を設定する画像生成装置。
【請求項15】
請求項13に記載の画像生成装置において、
前記終点画素は、互いに連結されていない複数の画素または画素領域を備え、
前記第1画素設定部は、前記二値化画像において同一の値を持ち連結された複数の画素を含む領域の重心に基づいて前記第1画素を設定する画像生成装置。
【請求項16】
請求項4から15までのいずれか一項に記載の画像生成装置において、
前記第1画像データ取得部は、異なる時間に複数回の前記第1画像データの取得を行い、
前記第1画像における前記終点画素に対応する部分を追尾する追尾部を備える画像生成装置。
【請求項17】
請求項4から16までのいずれか一項に記載の画像生成装置において、
前記画素抽出部は、前記第1画素領域の少なくとも一部を前記終点画素として前記(b)を行う画像生成装置。
【請求項18】
請求項4から17までのいずれか一項に記載の画像生成装置において、
前記終点画素は、互いに連結されていない複数の画素または画素領域を備え、
前記画素抽出部は、抽出対象の線状部分の交叉を検出する第1交叉検出部を備える画像生成装置。
【請求項19】
請求項4から18までのいずれか一項に記載の画像生成装置において、
前記画素抽出部は、前記(b)において設定された一部の前記抽出画素を含む領域を除外し、再度前記(b)を行い、抽出対象の線状部分の交叉を検出する第2交叉検出部を備える画像生成装置。
【請求項20】
請求項4から19までのいずれか一項に記載の画像生成装置において、
抽出対象の線状部分の幅を算出する幅算出部を備える画像生成装置。
【請求項21】
請求項20に記載の画像生成装置において、
前記幅算出部は、前記第1画素領域における点に対応する前記第1画素領域の幅を、前記点を含み前記第1画素領域の内部に含まれる最大の円の直径により算出する画像生成装置。
【請求項22】
請求項20に記載の画像生成装置において、
前記幅算出部は、前記第1画素領域における点に対応する前記第1画素領域の幅を、前記点を通る複数の線分において、前記第1画素領域に含まれる長さが最も短い場合の前記長さにより算出する画像生成装置。
【請求項23】
請求項4から22までのいずれか一項に記載の画像生成装置において、
前記画素抽出部は、互いに連結されていない複数の始点配置領域に配置された複数の前記第1画素についての前記(b)を、前記複数の始点配置領域を除く領域に配置された前記第1画素についての前記(b)とは異なる時間に行う画像生成装置。
【請求項24】
請求項23に記載の画像生成装置において、
前記複数の始点配置領域の間隔は、抽出対象の線状部分の長さに基づいて設定される画像生成装置。
【請求項25】
請求項4から24までのいずれか一項に記載の画像生成装置において、
前記領域設定部は、前記抽出画素のそれぞれに対し、複数の第2画素領域を設定し、前記複数の第2画素領域を含む連結された一つの前記第1画素領域を設定する画像生成装置。
【請求項26】
請求項1から25までのいずれか一項に記載の画像生成装置と、
撮像部とを備える撮像装置。
【請求項27】
請求項1から25までのいずれか一項に記載の画像生成装置と、
細胞を培養して撮像する培養部とを備え、
前記第1画像データ取得部は、前記培養部での撮像により得られた入力画像データを前記第1画像データとして取得する、
培養装置。
【請求項28】
第1画像を構成する複数の画素から第1画素を設定する第1画素設定と、
前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定と、
(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出と、
前記第1画像に対応する第1画像データを取得する第1画像データ取得と、
抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成と、
を含む画像生成方法。
【請求項29】
第1画像を構成する複数の画素から第1画素を設定する第1画素設定処理と、
前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定処理と、
(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出処理と、
前記第1画像に対応する第1画像データを取得する第1画像データ取得処理と、
抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成処理と、
を処理装置に行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、撮像装置、培養装置、画像生成方法およびプログラムに関する。
【背景技術】
【0002】
分枝等を適宜備える線状の部分を含む対象物を撮像して得られた画像に対して画像処理を行う方法が提案されている(特許文献1参照)。このような画像処理では、精度の悪化を抑制しつつ、迅速に処理を行うことが望ましい。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本発明の第1の態様によると、画像生成装置は、第1画像を構成する複数の画素から第1画素を設定する第1画素設定部と、前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定部と、(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出部と、前記第1画像に対応する第1画像データを取得する第1画像データ取得部と、抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成部と、を備える。
本発明の第2の態様によると、撮像装置は、第1の態様の画像生成装置と、撮像部とを備える。
本発明の第3の態様によると、培養装置は、第1の態様の画像生成装置と、細胞を培養して撮像する培養部とを備え、前記第1画像データ取得部は、前記培養部での撮像により得られた入力画像データを前記第1画像データとして取得する。
本発明の第4の態様によると、画像生成方法は、第1画像を構成する複数の画素から第1画素を設定する第1画素設定と、前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定と、(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出と、前記第1画像に対応する第1画像データを取得する第1画像データ取得と、抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成と、を含む。
本発明の第5の態様によると、プログラムは、第1画像を構成する複数の画素から第1画素を設定する第1画素設定処理と、前記複数の画素から少なくとも一つの終点画素を設定する終点画素設定処理と、(a)前記複数の画素のうち前記第1画素を中心に少なくとも2画素離れた複数の候補画素を指定し、前記複数の候補画素から前記第1画素と前記複数の候補画素の少なくとも1つとの位置に基づき設定される複数の第3画素の輝度値から第2画素を設定し、(b)前記複数の画素のうち前記第1画素および前記第2画素を除き、前記第2画素を中心に少なくとも2画素離れた新たな複数の候補画素を指定し、前記第2画素と前記新たな複数の候補画素の少なくとも1つとの位置に基づき設定される新たな複数の第3画素の輝度値から新たな第2画素を設定し、(c)前記(b)における前記新たな第2画素の設定を繰り返し実行して複数の前記新たな第2画素を順次設定し、次いで(d)前記第1画素と、前記第2画素と、前記新たな第2画素との少なくとも一部を含み、前記第1画素から前記終点画素につながる画素列を抽出画素として抽出する画素抽出処理と、前記第1画像に対応する第1画像データを取得する第1画像データ取得処理と、抽出された前記画素列に基づいて第2画像に対応する第2画像データを生成する画像生成処理と、を処理装置に行わせる。
【図面の簡単な説明】
【0005】
【
図1】
図1は、一実施形態の画像生成装置の構成を示す概念図である。
【
図2】
図2は、データ処理部の構成を示す概念図である。
【
図5】
図5は、探索領域を説明するための概念図である。
【
図6】
図6は、始点画素の設定を説明するための概念図である。
【
図7】
図7は、選択画素設定処理を説明するための概念図である。
【
図8】
図8は、候補画素を説明するための概念図である。
【
図9】
図9は、輝度と候補画素パラメータとの関係を示すグラフである。
【
図11】
図11は、一実施形態に係る画像生成方法の流れを示すフローチャートである。
【
図12】
図12は、一実施形態に係る画像生成方法の流れを示すフローチャートである。
【
図13】
図13は、選択画素の再度の抽出を説明するための概念図である。
【
図14】
図14は、変形例に係る画像生成方法の流れを示すフローチャートである。
【
図15】
図15は、算出画素領域の大きさと神経突起の幅との関係を説明するための概念図である。
【
図16】
図16は、一実施形態の画像生成装置の構成を示す概念図である。
【
図17】
図17(A)、17(B)、17(C)および17(D)は、候補領域および確定領域を説明するための概念図である。
【
図18】
図18は、一実施形態に係る画像生成方法の流れを示すフローチャートである。
【
図19】
図19は、始点画素の設定を説明するための概念図である。
【
図20】
図20は、変形例の画像生成装置の構成を示す概念図である。
【
図21】
図21は、変形例の画像生成装置の構成を示す概念図である。
【
図22】
図22(A)、22(B)および22(C)は、交叉の検出を説明するための概念図である。
【
図23】
図23(A)、23(B)、23(C)および23(D)は、交叉の検出を説明するための概念図である。
【
図24】
図24は、変形例の画像生成装置の構成を示す概念図である。
【
図25】
図25は、神経突起の幅の算出を説明するための概念図である。
【
図26】
図26は、神経突起の幅の算出を説明するための概念図である。
【
図27】
図27は、出力輝度値の算出を説明するための概念図である。
【
図28】
図28は、一実施形態の画像生成装置の構成を示す概念図である。
【
図29】
図29は、第1選択画素設定処理を説明するための概念図である。
【
図30】
図30は、第2選択画素設定処理を説明するための概念図である。
【
図31】
図31は、一実施形態に係る画像生成方法の流れを示すフローチャートである。
【
図32】
図32は、一実施形態に係る画像生成方法の流れを示すフローチャートである。
【
図34】
図34は、変形例に係る画像生成方法の流れを示すフローチャートである。
【
図35】
図35は、プログラムの提供を説明するための概念図である。
【発明を実施するための形態】
【0006】
以下、図を参照して本発明を実施するための形態について説明する。
【0007】
-第1実施形態-
第1実施形態の画像生成装置は、取得した画像データ(以下、入力画像データと呼ぶ)に基づいて、複数の画素を抽出し、抽出された複数の画素に基づいて画像データ(以下、出力画像データと呼ぶ)を生成する。
【0008】
図1は、本実施形態の画像生成装置の構成を示す概念図である。画像生成装置1は、培養部100と、情報処理部40とを備える。培養部100は、培養器10と、観察用試料台11と、駆動部12と、撮像部20とを備える。情報処理部40は、入力部41と、通信部42と、記憶部43と、出力部44と、制御部50とを備える。制御部50は、データ処理部51と、出力制御部52と、装置制御部53とを備える。
【0009】
画像生成装置1は、培養装置として構成され、培養部100での撮像により得られた入力画像データがデータ処理部51に入力され処理される構成となっている。
なお、画像生成装置1は、入力画像データを取得できれば、画像生成装置1が撮像や培養を行う構成でなくともよい。
【0010】
本実施形態では、入力画像データに対応する入力画像から、直線、曲線または交叉等を含む線状の部分を抽出対象として抽出する。以下では、細胞Ceが神経細胞であり、神経突起Nrに対応する部分を抽出する例を用いて説明するが、上記のような線状の部分を含めば、抽出対象はこの例に限定されず、画像を構成する任意の要素とすることができる。
【0011】
培養部100は、細胞Ceを培養し、培養された細胞Ceの撮像を行う。
【0012】
培養器10は、細胞Ceが培養されている培養容器Cを内部に格納する。培養器10の内部は、不図示の温度調節器により予め設定された温度に維持される等、予め設定された環境で培養が行われるように制御される。駆動部12は、アクチュエーターを備え、予め定められた時間に培養容器Cを移動させ、培養器10の内部にある観察用試料台11に載置する。さらに、駆動部12は、細胞Ceの撮像のため、撮像部20の焦点面に細胞Ceが配置されるように、撮像部20または観察用試料台11等を適切な位置に移動させる。
【0013】
撮像部20は、CMOSやCCD等の撮像素子を含む撮像装置を備え、細胞Ce、特に細胞Ceの神経突起Nrを撮像する。撮像部20による撮像の方法は、撮像画像において、神経突起Nrに対応する画素が、当該画素の輝度値により他の部分と所望の精度で区別することができれば特に限定されない。例えば、撮像部20による撮像の方法は、蛍光観察法や位相差観察法等を用いることができる。
【0014】
撮像部20が蛍光観察法により撮像を行う場合、遺伝子導入により、細胞CeにGFP等の蛍光タンパク質を発現させたり、神経突起Nrに局在するタンパク質と蛍光タンパク質とを融合させたタンパク質を発現させたりすることで蛍光染色を行うことができる。撮像後の細胞Ceの利用に問題が無ければ、免疫染色等の他の標識法を行ってもよい。
【0015】
撮像部20が細胞Ceを撮像して得られた撮像画像に対応するデータは、デジタル信号に変換され、画素と輝度値とが対応付けられた入力画像データとして情報処理部40に入力され(矢印A1)、記憶部43に記憶される。
【0016】
情報処理部40は、画像生成装置1のユーザ(以下、単に「ユーザ」と呼ぶ)とのインターフェースとなる他、様々なデータに関する通信、記憶、演算等の処理を行う。
なお、情報処理部40は、培養部100と物理的に離れた情報処理装置として構成してもよい。また、画像生成装置1が用いるデータの一部は遠隔のサーバ等に保存してもよく、画像生成装置1が行う演算処理の一部は遠隔のサーバ等で行ってもよい。
【0017】
入力部41は、マウス、キーボード、各種ボタンまたはタッチパネル等の入力装置を備える。入力部41は、培養部100による撮像やデータ処理部51によるデータ処理に必要なデータ等を、ユーザから受け付ける。
【0018】
通信部42は、インターネット等の無線や有線による接続により通信可能な通信装置を備え、画像生成装置1における制御や処理に関するデータを適宜送受信する。
【0019】
記憶部43は、不揮発性の記憶媒体を備え、制御部50に処理を行わせるプログラムおよび、データ処理部51の処理に関する画像データ等を記憶する。
【0020】
出力部44は、液晶モニタ等の表示装置を備え、データ処理部51の処理により得られた出力画像データに基づく画像等を出力する。
【0021】
制御部50は、CPU等の処理装置により構成され、画像生成装置1を制御する動作の主体として機能し、記憶部43に搭載されているプログラムを実行することにより各種処理を行う。
【0022】
制御部50のデータ処理部51は、撮像部20から入力された入力画像データを処理し、抽出対象に対応する複数の画素を抽出し、抽出された複数の画素に基づいて出力画像データ(後述の連結領域画像データ)を生成する。
【0023】
図2は、データ処理部51の構成を示す概念図である。データ処理部51は、確率分布画像生成部511と、領域設定部512と、終点画素設定部513と、始点画素設定部514と、画素抽出部600と、画像生成部700とを備える。画素抽出部600は、候補画素指定部601と、選択画素設定部602とを備える。
【0024】
データ処理部51の確率分布画像生成部511は、記憶部43に記憶されている入力画像データに基づいて、確率分布画像に対応する確率分布画像データを生成し取得する。
【0025】
図3は、確率分布画像Gpを示す概念図である。確率分布画像Gpは、確率分布画像Gpの各画素の輝度が、当該画素が抽出対象の神経突起Nrに対応する確率と対応付けられている画像である。
図3は、神経細胞に対応する確率分布画像Gpを示しているが、わかりやすくするため神経突起Nrは1本のみ示した。
図3の確率分布画像Gpでは、ハッチングが濃い部分程、当該部分に対応する画素が神経突起Nrに対応する画像部分である可能性が高いことを示している。確率分布画像Gpは、各画素に対して上記確率が1次元の輝度値として対応し、グレースケール画像として表現されることが好ましいが、上記確率と輝度値とが対応付けられれば確率分布画像Gpの態様は特に限定されない。
【0026】
確率分布画像生成部511は、入力画像データに対し、所定の画像処理アルゴリズムによる処理を行うことで、各画素について、抽出対象である神経突起Nrに対応する確率を算出する。上記所定の画像処理アルゴリズムは、学習済みの機械学習である。この機械学習は、神経細胞を撮像して得られた複数の画像と、当該画像における神経突起に対応する部分を示す画像とを演算装置に入力して学習させた深層学習である。
なお、上記所定の画像処理アルゴリズムは、上記確率と輝度値とが対応付けられれば特に限定されず、深層学習以外の機械学習や、機械学習以外のアルゴリズムを用いてもよい。
【0027】
確率分布画像Gpでは、被写体の細胞Ce(
図1)とは異なり、神経突起Nrに対応する部分と、細胞体Soに対応する部分とが、必ずしも連結されていない。この理由の一つは、入力画像を撮像により得る際に、神経突起Nr等の線状の部分が細いために十分な精度で撮像できないためである。細胞等の撮像によく用いられている蛍光顕微鏡により得られた画像でもこの傾向がみられる。
【0028】
図3の確率分布画像Gpには、神経突起Nrに対応する複数の画素領域断片Fを示した。画素領域断片F1と画素領域断片F2とは2画素以上離れ、画素領域断片F2と画素領域断片F3とも2画素以上離れている。このような場合、確率分布画像Gpを用いて神経突起Nrを解析する際に神経突起Nrの長さを算出することが難しく、神経突起Nrから適切に情報を取得することができない。
【0029】
画素領域断片F3と画素領域断片F4とは、斜め方向には隣接しているが、縦方向または横方向には連結されていない。このような場合に画素領域断片F3とF4とが連結されているものとするか連結されていないものとするかは特に限定されず、上記のような神経突起Nrを解析する際の解析アルゴリズムにおける連結性の定義等に基づいて適宜設定することができる。
【0030】
データ処理部51は、確率分布画像Gpから、抽出対象である神経突起Nrに対応し、一体に連結された複数の画素からなる連結画素領域を算出する。連結画素領域を示す画像を連結領域画像と呼ぶ。
【0031】
図4は、
図3の確率分布画像Gpから得られた連結領域画像Gsを示す概念図である。連結画素領域Dcは、神経突起Nrに対応しており、かつ連結画素領域Dcを構成する画素が互いに連結されている。
図4では、連結画素領域Dcに連結された細胞体Soに対応する部分も示されているが、この部分は連結領域画像Gsに示しても、示さなくてもよい。以下では、データ処理部51が始点画素と終点画素とを設定し、始点画素と終点画素とを連結する連結画素領域Dcを導出し、連結領域画像Gsに対応する連結領域画像データを生成する点を説明する。
【0032】
データ処理部51は、始点画素と終点画素とを設定し、始点画素を始点として複数の画素を順々に設定する。設定された画素を、以下、選択画素と呼ぶ。データ処理部51は、終点画素の位置に基づいた条件(以下、終了条件と呼ぶ)が満たされた際に設定されている当該選択画素の少なくとも一つを抽出する。ここで抽出された画素を抽出画素と呼ぶ。
【0033】
領域設定部512は、抽出画素を探索する範囲である探索領域を設定する。探索領域は、後述の候補画素指定部601が候補画素を指定する範囲となる。領域設定部512は、確率分布画像Gp(
図3)において、ユーザが設定した範囲に対応する画素領域を探索領域とする。領域設定部512は、ユーザの設定がなかった場合、確率分布画像Gpの全体を探索領域とする。
【0034】
図5は、探索領域を示す概念図である。領域設定部512は、ユーザがマウスのカーソル等を用いて設定した矩形の範囲を探索領域D1として設定している。
【0035】
終点画素設定部513は、探索領域D1を構成する画素から終点画素Pxtを設定する。終点画素Pxtは、1つでもよいし、複数でもよい。神経突起Nr(
図3)を抽出対象とする場合、終点画素Pxtは、細胞Ce(
図1)の細胞体Soに対応する画素とする。入力画像や確率分布画像Gpから細胞体Soに対応する画素を決定する方法は特に限定されない。終点画素設定部513は、確率分布画像Gpを二値化し、二値化された画像においてオープニング処理により神経突起Nrを消去し、連結された最大の画素領域に対応する画素を細胞体Soに対応する画素とする等、公知の方法等を用いることができる。
【0036】
始点画素設定部514は、探索領域D1を構成する画素から始点画素を設定する。始点画素設定部514は、確率分布画像Gpにおける各画素の輝度を二値化して得られた二値化画像(以下、第1二値化画像と呼ぶ)に対応する第1二値化画像データを生成し、この第1二値化画像に基づいて始点画素を設定する。
【0037】
図6は、
図3の確率分布画像Gpを二値化して得られた第1二値化画像Gb1の一例を示す図である。
図6の第1二値化画像Gb1では、確率分布画像Gpの各画素領域断片F(F1,F2,F3およびF4)を構成する画素が黒に、それ以外の部分が白に対応する輝度値を備えるように変換されている。確率分布画像Gpのノイズの量等に基づいて、二値化の際の閾値は適宜設定することができる。細胞体Soは、終点画素Pxtに対応する。
【0038】
始点画素設定部514は、第1二値化画像Gb1において、終点画素Pxtからの距離と、第1二値化画像Gb1において抽出対象に対応し、同一の値を有する画素領域の広さとに基づいて、始点画素Pxiを設定する。始点画素設定部513は、画素領域断片Fのうち探索領域D1で最も画素数が多い画素領域断片F1を選択し、選択された画素領域断片F1における終点画素Pxtから最も遠い画素を始点画素Pxiとして設定することが好ましい。画素領域断片F1における各画素と終点画素Pxtとの間の距離としては、当該各画素と終点画素Pxtの重心との間の距離や、当該各画素と、終点画素Pxtのうち最も当該各画素に近い画素との間の距離等を用いることができる。
【0039】
画素抽出部600(
図2)は、始点画素Pxiを始点に、探索領域D1において選択画素を設定していき、所定の条件に基づいて複数の選択画素が構成する画素列を複数の抽出画素として抽出する。始点画素Pxiは抽出画素に含まれてもよい。この画素の抽出は、ダイクストラ法に基づいた方法により行われる。選択画素の設定では、候補画素指定部601が探索領域D1において複数の候補画素を指定し、選択画素設定部602が複数の候補画素から選択画素を設定する。
【0040】
図7は、画素抽出部600による選択画素の設定を説明するための概念図である。始点画素Pxiの位置に基づいた複数の位置に対応する画素が、複数の候補画素Pxcとしてそれぞれ指定される。ここで、始点画素Pxiに対応する各候補画素Pxcのそれぞれについて、候補画素パラメータが算出される。候補画素パラメータは非負の値をとり、ダイクストラ法における距離に対応する。始点画素Pxiおよび各候補画素Pxcをノードとするとノードを結ぶエッジEdのそれぞれに候補画素パラメータが対応する。候補画素パラメータの値に基づいて、始点画素Pxiに対応する候補画素Pxcのうち1つの画素が選択画素Pxdとして選択され設定される。ここで設定された画素が選択画素Pxd1となる(矢印A3)。選択画素Pxdとして選択された候補画素Pxcは、候補画素としての指定が解除される。
なお、選択画素Pxdを設定する度に全ての候補画素Pxcを一旦解除し、改めて必要な候補画素全体を再設定してもよい。
【0041】
次に、始点画素Pxiを除いた探索領域D1(
図5)において、選択画素Pxd1の位置に基づいた複数の位置に対応する画素が、複数の候補画素Pxcとしてそれぞれ指定される。始点画素Pxiおよび選択画素Pxd1に対応する各候補画素Pxcのうち、始点画素Pxiから各候補画素Pxcまでの1または複数のエッジEdに対応する候補画素パラメータの和が最も小さい候補画素Pxcが新たな選択画素Pxd2として設定される(矢印A4)。このようにして、終了条件が満たされるまで、複数の選択画素Pxdが順に設定される。
【0042】
候補画素指定部601による候補画素Pxcの指定についてより詳しく説明する。候補画素指定部601は、始点画素Pxiおよび既に設定した選択画素Pxdを除いた探索領域D1において、始点画素Pxiおよび既に設定した選択画素Pxdのそれぞれから、少なくともN画素以上離れた位置に複数の候補画素Pxcを指定する。以下、Nを候補画素位置パラメータと呼ぶ。ここで、画素抽出部600が確率分布画像Gpに対して最初に抽出画素の抽出を行う場合、画素抽出部600はNを2以上に設定する。
【0043】
ここで、「X画素離れる」と記載した場合の画素間の距離は、以下のように定義される。縦横の格子における格子点の位置に対応して画素が配置されている場合、縦方向に離れた二画素の間および横方向に離れた二画素の間の距離については、それぞれの方向における単位格子の幅を一画素離れた距離とする。すなわち、ある画素に対して縦方向または横方向に隣り合った画素が一画素離れた画素であり、縦方向または横方向で隣り合った二つの画素間の距離を、一画素離れた距離とする。斜め方向に離れた二画素の間の距離については、縦方向または横方向の距離のうちより長い方の距離とする。
【0044】
例えば、座標(0,0)にある画素と座標(1,1)にある画素は斜め方向に隣接しており、縦方向の距離1、横方向の距離1のため、1画素離れていることになる。座標(0,0)にある画素と座標(2,2)にある画素は、縦方向の距離2、横方向の距離2のため、2画素離れていることになる。座標(0,0)にある画素と座標(1,2)にある画素は、縦方向の距離の距離2、横方向の距離1のため、2画素離れていることになる。
【0045】
候補画素位置パラメータNが2以上であり、始点画素Pxiまたは選択画素Pxdと2画素以上離れて候補画素Pxcを設定するため、選択画素Pxdの設定回数を少なくすることができ、迅速に抽出対象に対応する画素を抽出することができる。また、第1二値化画像Gb1(
図6)において、本来連結されている抽出対象に対応する画素領域が、ノイズ等により1画素の間隔をおいて途切れて(抽出対象に対応する確率が低くなって)いても、当該間隔を跳び越えて選択画素Pxdからなる画素列を設定することができるため、抽出対象を正確に反映した連結画素領域Dcを出力することができる。
【0046】
図8は、候補画素位置パラメータNを6とした場合の1つの選択画素Pxd0に対応する候補画素Pxcの指定を示す概念図である。
図8の例では、選択画素Pxd0から縦方向または横方向に6画素離れた位置に候補画素Pxcが配置されている。さらに、選択画素Pxd0から縦方向および横方向の両方に6画素ずつ移動した位置にも候補画素Pxcが配置されている。
図8上部にある選択画素Pxdpは、選択画素Pxd0よりも前に選択画素Pxdとして設定されたものである。既に選択画素Pxdとして設定された画素は、候補画素Pxcとして指定されない。始点画素Pxiに対しても選択画素Pxdと同様に候補画素Pxcが指定される。
【0047】
選択画素設定部602は、始点画素Pxiまたは選択画素Pxdと、候補画素Pxcとの位置に基づいて、候補画素パラメータを算出する際に輝度値を用いる画素の範囲である算出画素領域Dsを設定する。算出画素領域Dsに含まれる各画素を、算出画素Pxsと呼ぶ。算出画素Pxsは、始点画素Pxiまたは選択画素Pxdと、候補画素Pxcとを結ぶ線上に位置する画素(以下、中心画素Pxoと呼ぶ)を中心とした所定の範囲に含まれる画素であることが好ましい。
【0048】
図8の例では、中心画素Pxoは、選択画素Pxd0と候補画素Pxc1とを結ぶ線Lcd上に位置し、線Lcd上に位置する7つの画素の真ん中の画素、言い換えれば線Lcdの中点を含む画素に該当する。
図8の例では、算出画素領域Dsは、中心画素Pxoを中心とした7×7の正方形の領域であり、49個の算出画素Pxsが含まれている。他の候補画素Pxcについても、同様に中心画素Pxoおよび算出画素領域Dsが設定される。
なお、候補画素位置パラメータNおよび算出画素領域Dsは、神経突起Nrの幅から設定してもよい。候補画素位置パラメータNおよび算出画素領域Dsの幅の少なくとも一つが、神経突起Nrの幅よりも大きくなるように候補画素位置パラメータNおよび算出画素領域Dsを設定することができる。例えば、神経突起Nrの幅が2画素分の幅である場合、候補画素位置パラメータNを5画素分や7画素分の長さに設定することができる。他の例として、始点画素Pxiまたは選択画素Pxdと、候補画素Pxcとが、当該候補画素Pxcの算出画素領域Dsに含まれるように候補画素位置パラメータNおよび算出画素領域Dsを設定することができる。これにより、確率分布画像Gpの画素をより多く用い、情報の無駄を少なくして計算を行うことができる。
【0049】
選択画素設定部602は、各候補画素Pxcに対応する算出画素領域Dsに含まれる複数の算出画素Pxsの輝度値から候補画素パラメータdを算出する。候補画素パラメータdは、算出画素領域Dsに含まれる算出画素Pxsの輝度値の和や、算術平均等の平均値を用いて算出される。例えば、候補画素パラメータdは、各候補画素Pxcに対応する算出画素領域Dsに含まれる輝度の和をIpatch、aを定数として、以下の式(1)により算出することができる。
d = exp(-Ipatch/a) …(1)
【0050】
図9は、式(1)により算出された、算出画素Pxsの輝度値の和I
patchに対する候補画素パラメータdの値を示したものである。候補画素パラメータdは、和I
patchが増加すると単調減少するように設定されている。確率分布画像Gp(
図8)の輝度値が、画素が抽出対象に対応する確率を示していることから、算出画素Pxsの輝度値が高い程、候補画素パラメータdが小さくなることを意味する。このことは、ダイクストラ法における距離の値が小さいことに対応する。
【0051】
選択画素設定部602は、始点画素Pxiおよび選択画素Pxdに対応する複数の候補画素Pxcのうち、始点画素Pxiから候補画素Pxcまでの各エッジEd(
図7)に対応する候補画素パラメータdの和の値が最も小さい候補画素Pxcを、新たな選択画素Pxdとして設定する。新たな選択画素Pxdが設定されたら、候補画素指定部601は、上述したように既に指定されていた候補画素Pxcに加え、新たな選択画素Pxdの位置に基づいた複数の位置のそれぞれに候補画素Pxcを指定し、選択画素設定部602が複数の候補画素Pxcからさらに新たな選択画素Pxdを設定する。この候補画素Pxcの指定と選択画素Pxdの設定とを繰り返す処理(以下、選択画素設定処理と呼ぶ)により、画素抽出部600は、複数の選択画素Pxdを設定する。
【0052】
画素抽出部600は、選択画素設定処理を行う前に終点画素Pxt(
図5)に基づいた終了条件を設定し、この終了条件が満たされたときに、選択画素設定処理を終了する。この終了条件の少なくとも一つ(以下、第1終了条件と呼ぶ)は、候補画素指定部601が設定する候補画素Pxc(
図8)が終点画素Pxtと重なる場合である。第1終了条件が満たされた場合、画素抽出部600は、選択画素設定処理を終了し、その時点で設定されている複数の選択画素Pxdのうち、終点画素Pxtから最も少ない画素数離れた選択画素Pxdに対応する画素列に含まれる複数の選択画素Pxdを抽出画素として記憶部43に記憶する。ここで当該画素列とは、始点画素Pxiと、選択画素設定処理において選択された複数の選択画素Pxdの少なくとも一部とからなり、始点画素Pxiと、上記の終点画素Pxtから最も少ない画素数離れた選択画素Pxdとをつなぐ画素列である。複数の選択画素Pxdの少なくとも一部は、始点画素Pxiから始まる複数の選択画素Pxdからなる複数の列のうち、候補画素パラメータdの和が最も小さい列を構成する複数の選択画素Pxdであり、これらの選択画素Pxdが抽出画素となる。ここで、「つなぐ」とは画素列において隣り合う順番の画素が互いに対応付けられていることを指す。画素Aと画素Bとが「対応付け」られているとは、画素Aに対して候補画素Pxcが配置され得るいずれかの位置に画素Bが配置されていることを指す。その後、画素抽出部600は、設定された複数の選択画素Pxdを破棄し、選択画素Pxdが設定されていない状態に戻す。そして、後述のように、領域設定部512による複数の抽出画素に基づく連結画素領域Dcの設定が行われる。
なお、設定された選択画素Pxdの破棄は、新たな選択画素設定処理が開始されるまでに行われればいつ行ってもよい。
【0053】
終了条件の他の一つ(以下、第2終了条件と呼ぶ)は、予め定められた回数だけ選択画素Pxdの設定が行われた場合とする。上記回数は、確率分布画像Gp(
図8)の倍率および解像度、ならびに抽出対象の特性等に基づいて適宜設定することができる。第2終了条件が満たされた場合、画素抽出部600は、設定された複数の選択画素Pxdを破棄し、選択画素Pxdが設定されていない状態に戻す。その後、始点画素Pxiの位置を変更したり、候補画素位置パラメータNを変更する等、条件を変更して選択画素設定処理をやり直すことが好ましい。第2終了条件を設定しておくことで、始点画素Pxiを含む画素領域断片Fや後述の候補領域Fcが、抽出すべき神経突起Nrでなかった場合等に不必要な探索を避け、計算コストの削減が可能になる。
【0054】
領域設定部512は、抽出された複数の抽出画素に基づいて、連結画素領域Dc(
図4)を設定する。領域設定部512は、始点画素Pxiおよび抽出された複数の抽出画素のそれぞれに所定の範囲の画素領域(以下、連結要素画素領域と呼ぶ)を対応させる。始点画素Pxiおよび複数の抽出画素のそれぞれに対応する各連結要素画素領域は、他の連結要素画素領域と一部の画素が重なるように上記所定の範囲が事前に設定される。領域設定部512は、設定された複数の連結要素画素領域の少なくとも一つに対応する画素を含む画素領域を連結画素領域Dcとして設定する。
【0055】
図10は、連結画素領域Dcの設定を説明するための概念図である。
図10では、連結要素画素領域Deは、始点画素Pxiまたは抽出画素Pxeを中心とした、7×7の正方形の画素領域として設定されている。
図10では、候補画素位置パラメータNは3として選択画素設定処理が行われた場合を示す。候補画素位置パラメータNよりも連結要素画素領域Deの幅が十分大きいため、各連結要素画素領域Deは他の連結要素画素領域Deと重なり部分を有し、連結された連結画素領域Dcが得られている。例として、始点画素Pxiに対応する連結要素画素領域De1と抽出画素Pxe1に対応する連結要素画素領域De2とが、一部の画素について重なっている点を示した。
なお、連結要素画素領域Deの形状や大きさは特に限定されない。連結要素画素領域Deの形状または大きさは、算出画素領域Ds(
図8)の形状または大きさに基づいて定めてもよい。例えば、連結要素画素領域Deの形状および大きさは、算出画素領域Dsの形状および大きさと等しくすることができる。これにより、候補画素パラメータdを算出する際に寄与する画素領域の大きさと連結要素画素領域Deの大きさが略等しくなるため、より正確に抽出対象に対応した連結画素領域Dcを設定することができる。また、連結要素画素領域Deの大きさを、互いに隣り合った始点画素Pxiおよび抽出画素Pxeまたは互いに隣り合った二つの抽出画素Pxeが含まれる大きさに設定してもよい。
【0056】
画像生成部700は、連結画素領域Dcを示す連結領域画像Gs(
図4参照)に対応する画像データ(以下、連結領域画像データと呼ぶ)を生成する。連結領域画像Gsでは、連結画素領域Dcに対応する部分が、他の部分と区別して示される。画像生成部700は、連結領域画像Gsにおいて連結画素領域Dcに対応する部分または当該部分に終点画素Pxt(
図6)を加えた部分を、他の部分とは色相、明度および彩度の少なくとも一つが異なるようにして連結領域画像データを生成する。生成された連結領域画像データは、データ処理部51からの出力画像データとなる。連結領域画像データは、その後適宜形態解析等に供され、神経突起長の算出等が行われる。
【0057】
図1に戻って、制御部50の出力制御部52は、出力部44を制御し、連結領域画像Gsを出力画像として出力させる。
【0058】
制御部50の装置制御部53は、入力部41からの入力等に基づいて、培養部100の各部を制御する(矢印A2)。装置制御部53は、培養に関する制御を行ったり、撮像部20に撮像を行わせる。
【0059】
図11は、本実施形態に係る画像生成方法の流れを示すフローチャートである。ステップS1001において、培養部100は、細胞Ceを培養する。ステップS1001が終了したら、ステップS1003が開始される。ステップS1003において、撮像部20は、培養された細胞Ceを撮像し、情報処理部40は、撮像画像に対応する入力画像データを取得する。ステップS1003が終了したら、ステップS1005が開始される。
【0060】
ステップS1005において、確率分布画像生成部511は、入力画像データを、確率分布画像Gpに対応する確率分布画像データに変換する。ステップS1005が終了したら、ステップS1007が開始される。ステップS1007において、終点画素設定部513は、終点画素Pxtを設定する。ステップS1007が終了したら、ステップS1009が開始される。
【0061】
ステップS1009において、始点画素設定部514は、始点画素Pxiを設定する。ステップS1009が終了したら、ステップS1011が開始される。ステップS1011において、画素抽出部600は、複数の選択画素Pxdを設定し、複数の抽出画素を抽出する。ステップS1011が終了したら、ステップS1013が開始される。
【0062】
ステップS1013において、領域設定部512は、抽出された複数の抽出画素Pxeに基づいて、連結画素領域Dcを設定する。ステップS1013が終了したら、ステップS1015が開始される。ステップS1015において、画像生成部700は、連結画素領域Dcを示す連結領域画像Gsに対応する連結領域画像データを生成する。ステップS1015が終了したら、ステップS1017が開始される。
【0063】
ステップS1017において、出力部44は、連結領域画像Gsを出力する。ステップS1017が終了したら、処理が終了される。
【0064】
図12は、
図11のフローチャートにおけるステップS1011の流れを示すフローチャートである。ステップS1009が終了したら、ステップS111が開始される。ステップS111において、候補画素指定部601は、始点画素Pxiから少なくともN画素離れた位置にある複数の画素を候補画素Pxcに指定する。ステップS111が終了したら、ステップS113が開始される。ステップS113において、選択画素設定部602は、各候補画素Pxcに対応する算出画素領域Dsに含まれる複数の算出画素Pxsの輝度から、候補画素パラメータdを算出する。ステップS113が終了したら、ステップS115が開始される。
【0065】
ステップS115において、選択画素設定部602は、各候補画素Pxcの候補画素パラメータdに基づいて、複数の候補画素Pxcから選択画素Pxdを設定する。ステップS115が終了したら、ステップS117が開始される。ステップS117において、候補画素指定部601は、既に設定された選択画素Pxdから、少なくともN画素離れた位置に存在する複数の画素を、候補画素Pxcに指定する。ステップS117が終了したら、ステップS119が開始される。
【0066】
ステップS119において、候補画素指定部601は、複数の候補画素Pxcのうち少なくとも一つは終点画素Pxtであるか否かを判定する。候補画素指定部601は、複数の候補画素Pxcが終点画素Pxtを含む場合、ステップS119を肯定判定し、ステップS127が開始される。候補画素指定部601は、複数の候補画素Pxcが終点画素Pxtを含まない場合、ステップS119を否定判定してステップS121が開始される。
【0067】
ステップS121において、選択画素設定部602は、各候補画素Pxcに対応する算出画素領域Dsに含まれる複数の算出画素Pxsの輝度から、候補画素パラメータdを算出する。ステップS121が終了したら、ステップS123が開始される。ステップS123において、選択画素設定部602は、各候補画素Pxcの候補画素パラメータdに基づいて、複数の候補画素Pxcから新たな選択画素Pxdを設定する。ステップS123が終了したら、ステップS125が開始される。
【0068】
ステップS125において、画素抽出部600は、予め定められた回数だけ、選択画素Pxdの設定を行ったか否かを判定する。画素抽出部600は、上記回数だけ、選択画素Pxdの設定を行っていた場合、ステップS125を肯定判定し、処理が終了される。画素抽出部600は、選択画素Pxdの設定を行った回数が上記回数未満の場合、ステップS125を否定判定してステップS117に戻る。
【0069】
ステップS127において、画素抽出部600は、設定されている選択画素Pxdの少なくとも一つからなる抽出画素を記憶部43に記憶させた後、選択画素Pxdが設定されていない状態とする。ステップS127が終了したら、ステップS1013(
図11)が開始される。
なお、候補画素Pxcを指定した段階でステップS119の判定を行わず、選択画素Pxdが設定された後に終点画素Pxtと一致したかどうかを判定し、一致していた場合にはステップS127が開始されるものとしてもよい。
【0070】
上述の実施の形態によれば、次の作用効果が得られる。
(1)本実施形態の画像生成装置1または画像生成方法では、確率分布画像Gpを構成する複数の画素から始点画素Pxiを設定する始点画素設定部514と、確率分布画像Gpを構成する複数の画素のうち始点画素Pxiを除く複数の画素から複数の候補画素Pxcを指定し、複数の候補画素Pxcから選択画素Pxdを設定する画素抽出部600と、を備え、画素抽出部600は、確率分布画像Gpを構成する複数の画素のうち設定した選択画素Pxdを除く複数の画素から複数の候補画素Pxcを指定し、複数の候補画素Pxcから新たに選択画素Pxdを設定する選択画素設定処理を繰り返し行い、複数の候補画素Pxcは、指定されるときに除かれた始点画素Pxiおよび選択画素Pxdである除外画素から少なくとも2画素離れている。これにより、精度の悪化を抑制しつつ、迅速に抽出対象に対応する画素を抽出する処理を実現することができる。
【0071】
(2)本実施形態の画像生成装置1において、確率分布画像Gpに対応する確率分布画像データを取得する確率分布画像生成部511を備え、画素抽出部600は、除外画素と候補画素Pxcとの位置に基づいて設定された複数の算出画素Pxsの輝度に基づいて、複数の候補画素Pxcから新たな選択画素Pxdを設定し、選択画素設定処理により得られた複数の選択画素Pxdの少なくとも一部を抽出画素Pxeとして抽出し、抽出された複数の抽出画素Pxeに基づいて連結領域画像Gsに対応する連結領域画像データを生成する画像生成部700とを備える。これにより、精度の悪化を抑制しつつ、迅速に抽出対象に対応する画素を抽出し、当該抽出に基づく画像を提供することができる。
【0072】
(3)本実施形態の画像生成装置1において、確率分布画像Gpにおいて、少なくとも複数の抽出画素Pxeを含む連結画素領域Dcを設定する領域設定部512を備え、画像生成部700は、連結画素領域Dcを示す連結領域画像Gsに対応する連結領域画像データを生成する。これにより、連結された画素領域(連結画素領域Dc)を得ることができ、形態解析等を精度よく行うことができる。
【0073】
(4)本実施形態の画像生成装置1において、連結画素領域Dcと連結される1以上の終点画素Pxtを設定する終点画素設定部513を備え、画素抽出部600は、終点画素Pxtの位置に基づいた、選択画素設定処理が終了される条件を設定する。これにより、入力画像において抽出対象が接続される部分がある場合に、当該接続を反映した連結画素領域Dcを設定することができる。
【0074】
(5)本実施形態の画像生成装置1において、画素抽出部600は、候補画素設定部601が指定する候補画素Pxcが終点画素Pxtの少なくとも一つに対応する場合、または、複数の候補画素Pxcからの選択画素Pxdの設定が所定の回数行われた場合、終了条件が満たされたものとして選択画素設定処理を終了する。これにより、連結画素領域Dcを入力画像において抽出対象が接続される部分に適切に接続するとともに、抽出対象に対応しない選択画素Pxdを誤って設定してしまった場合等に不必要な探索を避け、計算コストの削減が可能になる。
【0075】
(6)本実施形態の画像生成装置1において、選択画素設定部602は、複数の算出画素Pxsの輝度に基づいて、それぞれの候補画素Pxcごとに候補画素パラメータdを算出し、候補画素パラメータdに基づいて複数の候補画素Pxcから選択画素Pxdを設定する。これにより、精度よく抽出対象に対応する画素を抽出することができる。
【0076】
(7)本実施形態の画像生成装置1において、選択画素設定部602は、複数の算出画素Pxsの輝度の和または算術平均に基づいて、候補画素パラメータdを算出する。これにより、ノイズの低減等をすることができ、精度よく抽出対象に対応する画素を抽出することができる。
【0077】
(8)本実施形態の画像生成装置1において、複数の算出画素Pxsは、選択画素Pxdと候補画素Pxcとに基づく算出画素領域Dsに含まれる複数の画素である。これにより、適切な位置の画素の輝度に基づいて、精度よく抽出対象に対応する画素を抽出することができる。
【0078】
(9)本実施形態の画像生成装置1において、算出画素領域Dsの範囲は、選択画素Pxdと候補画素Pxcとを結ぶ線Lcd上に位置する中心画素Pxoを中心とした範囲である。これにより、より適切な位置の画素の輝度に基づいて、さらに精度よく抽出対象に対応する画素を抽出することができる。
【0079】
(10)本実施形態の画像生成装置1において、領域設定部512は、事前に設定された範囲または算出画素領域Dsに基づいて、複数の抽出画素Pxeから連結画素領域Dcを設定する。これにより、抽出対象に対応する連結画素領域Dcを精度よく設定することができる。
【0080】
(11)本実施形態の画像生成装置1において、確率分布画像Gpは、撮像により得られた入力画像の各画素について、学習済みの機械学習を用いて抽出対象に対応する確率を算出し、この確率に基づいた輝度を対応させた画像である。これにより、抽出対象の特性に合わせて学習させた画像処理アルゴリズムを用いて精度よく上記確率の分布を得ることができる。
【0081】
(12)本実施形態の画像生成装置1において、上記機械学習は、撮像により得られた複数の撮像画像と、それぞれの撮像画像において抽出対象に対応する部分を示す画像とを演算装置に入力して学習させた深層学習である。これにより、深層学習に基づいて精度よく上記確率の分布を得ることができる。
【0082】
(13)本実施形態の画像生成装置1において、画像生成装置1のユーザにより、確率分布画像Gpにおいて始点画素Pxiまたは候補画素Pxcを配置する範囲である探索領域D1を指定することができる。これにより、ユーザの指示に基づいて、適切に確定画素Pxdを抽出する範囲を指定することができる。
【0083】
(14)本実施形態の画像生成装置1において、始点画素設定部514は、確率分布画像データにおける輝度を二値化して得られた第1二値化画像Gb1に対応するデータを用いて始点画素Pxiを設定する。これにより、抽出対象に対応する部分に適切に始点画素Pxiを設定することができる。
【0084】
(15)本実施形態の画像生成装置1において、始点画素設定部514は、第1二値化画像Gb1において、終点画素Pxtからの距離、および、第1二値化画像Gb1において同一の値を持つ連結された画素領域断片Fの広さに基づいて、始点画素Pxiを設定する。これにより、ノイズの影響を低減しながら、入力画像において抽出対象と接続される部分(細胞体So等)からの距離に基づいて適切に始点画素Pxiを設定することができる。
【0085】
(16)本実施形態の画像生成装置1において、抽出対象は、確率分布画像Gpにおける神経突起Nrに対応する部分である。これにより、神経突起Nrに対応する画素を、精度の悪化を抑えつつ、迅速に抽出することができ、神経突起Nrの長さ等を正確に解析するための画像データを提供することができる。神経突起Nrの長さを含む形状を解析できると、薬剤を神経細胞に投与する実験や生体からの試料におけるその変化を調べることにより、薬剤の効果や病気の進行度の定量化が可能となる。
【0086】
(17)本実施形態の画像生成装置1において、終点画素Pxtは、神経突起Nrに接続する細胞体Soに対応する。これにより、細胞体Soへの接続が反映された連結画素領域Dcを設定することができる。
【0087】
(18)本実施形態の画像生成装置1は、連結領域画像Gsを出力する出力部44を備える。これにより、視覚を通じてユーザに連結領域画像Gsを認識させることができる。
【0088】
(19)本実施形態に係る撮像装置は、画像生成装置としての情報処理部40と、撮像部20とを備える。これにより、撮像した画像から、抽出対象に対応する画素を、精度の悪化を抑えつつ、迅速に抽出することができる。
【0089】
(20)本実施形態に係る培養装置は、画像生成装置としての情報処理部40と、細胞Ceを培養する培養部100とを備える。これにより、培養されている細胞Ceを連結領域画像Gsを用いて解析し、この解析に基づいて培養条件や培養時間を調節したりすることができる。
【0090】
次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
(変形例1)
上述の実施形態において、得られた連結画素領域Dcを探索領域D1として、再度確定画素の抽出を行ってもよい。
【0091】
図13は、本変形例の画素の抽出方法を説明するための概念図である。領域設定部512は、上述の実施形態で設定された連結画素領域Dc(
図10)を、探索領域D1に設定する。候補画素指定部601がこのように設定された探索領域D1において候補画素Pxc(
図8)を指定するようにして、画素抽出部600は抽出画素Pxeの再度の抽出を行う。この再度の抽出における選択画素Pxd(
図8)の設定では、候補画素位置パラメータNを、上述の実施形態の最初の抽出における候補画素位置パラメータN(Nが2以上)よりも小さい値にする。従って、候補画素指定部601は、この再度の抽出において、候補画素位置パラメータNは、1以上に設定する。始点画素設定部514は、探索領域D1に始点画素Pxiを設定するが、上述の実施形態での始点画素Pxiをそのまま用いてもよい。
【0092】
図13では、再度の抽出において候補画素位置パラメータNを1とした場合の抽出された抽出画素Pxeを示した。領域設定部512は、始点画素Pxiと、再度の抽出において抽出された抽出画素Pxeのそれぞれに連結要素画素領域De(
図10)を設定し、これらの連結要素画素領域Deが連結された新たな連結画素領域を設定することができる。この際の連結要素画素領域Deの幅は、上述の実施形態の最初の抽出における連結要素画素領域Deの幅よりも小さくし、例えば最初の連結画素領域Dcの設定の際に7画素としていた場合、再度の設定の際には2画素や3画素等に設定することができる。
【0093】
上記のように再度の抽出において候補画素位置パラメータNや連結要素画素領域Deの幅を最初の抽出画素Pxeの抽出のときよりも小さい値にすることで、最初の連結画素領域Dcの設定を抽出対象に対応する画素の粗い抽出とし、再度の抽出をより高い精度の抽出とすることができる。そして、再度の抽出では、最初の抽出よりも精度を高くしても、探索領域D1が狭くなっているため計算量の上昇を抑えることができる。
【0094】
図14は、本変形例に係る画像生成方法の流れを示すフローチャートである。ステップS2001からS2013までは、
図11のフローチャートのステップS1001からS1013までにそれぞれ対応するため、説明を省略する。ステップS2013が終了したら、ステップS2015が開始される。
【0095】
ステップS2015において、領域設定部512は、ステップS2013で設定された連結画素領域Dcを探索領域D1に設定し、画素抽出部600は、再度、複数の選択画素Pxdを設定し、複数の抽出画素Pxeを抽出する。ステップS2015が終了したら、ステップS2017が開始される。ステップS2017において、領域設定部512は、再度抽出された複数の抽出画素Pxeに基づいて、連結画素領域Dcを設定する。ステップS2017が終了したら、ステップS2019が開始される。ステップS2019およびS2021は、
図11のフローチャートのステップS1015およびS1017にそれぞれ対応するため、説明を省略する。
【0096】
本変形例の画像生成装置において、始点画素設定部514は、領域設定部512が設定した連結画素領域Dc(探索領域D1)において、始点画素Pxiを設定し、画素抽出部600は、連結画素領域Dcから複数の抽出画素Pxeの再度の抽出を行い、候補画素指定部514は、この再度の抽出において、始点画素Pxiおよび選択画素Pxdから1画素以上離れた複数の位置に候補画素Pxcを設定し、領域設定部512は、この再度の抽出により抽出された画素を含む連結画素領域Dcを設定する。これにより、より精度の高い画素の抽出をしながら、計算量の上昇を抑えることができる。
【0097】
(変形例2)
上述の実施形態において、算出画素領域Ds(
図8)を変化させた際の候補画素パラメータdの値に基づいて、連結要素画素領域Deの形状または大きさを定めてもよい。例えば、候補画素パラメータdが算出画素領域Dsにおける算出画素Pxsの輝度値の平均値に基づくとする。この場合、算出画素領域Dsに対して抽出対象の神経突起Nrの幅が小さいと、算出画素領域Dsにおいて神経突起Nrに対応しない算出画素Pxsの割合が増え、候補画素パラメータdが変化する。
【0098】
図15は、算出画素領域Dsと神経突起Nrとの対応を示す概念図である。神経突起Nrの幅Wに対して算出画素領域Dsが大きいため、神経突起Nrと重なる算出画素Pxs1よりも、神経突起Nrと重ならない算出画素Pxs2の方が多くなっている。算出画素領域Dsを
図15に示す大きさから小さくしていった場合、算出画素領域Dsの幅が神経突起Nrの幅Wと同程度になると、その後算出画素領域Dsをより小さくしても、候補画素パラメータdの変化はそれまでより小さくなる。従って、算出画素領域Dsを変化させて候補画素パラメータdを算出していったときに、候補画素パラメータdの変化が小さくなった際の算出画素領域Dsを、当該選択画素Pxd(
図8)に対応する連結要素画素領域Deとすると、神経突起Nrの幅に基づいた連結画素領域Dc(
図4)を生成することができる。
【0099】
選択画素設定部602は、各候補画素Pxc(
図8)に対して、算出画素領域Dsの大きさを異ならせて複数の候補画素パラメータdを算出する。領域設定部512は、算出された候補画素パラメータdに基づいて当該候補画素が抽出画素Pxeとなった場合の連結要素画素領域Deの大きさを設定することができる。
【0100】
本変形例の画像生成装置において、領域設定部512は、算出画素領域Dsを変化させた際の候補画素パラメータdに基づいて、連結画素領域Dcの広さを変更可能とする。これにより、抽出対象の線状部分の幅等に基づいた連結画素領域Dcを提供することができる。
【0101】
(変形例3)
上述の実施形態では、入力画像の被写体を細胞Ce(
図1)とし、抽出対象の線状部分を神経突起Nrとして説明したが、線状の部分を含めば、抽出対象はこの例に限定されず、例えば血管とすることも好ましい。
【0102】
さらに、入力画像の被写体を眼底とし、抽出対象の線状部分を眼底における血管とすることがより好ましい。眼底画像では、視神経乳頭から血管が様々な方向へ伸びていくことが示される。従って、抽出対象の線状部分を血管とし、確率分布画像生成部511が、入力画像から、各画素が血管に対応する確率を輝度値に対応させた確率分布画像Gp(
図5)を生成する。終点画素設定部513は視神経乳頭に対応する画素領域を抽出し、終点画素Pxtに設定する。始点画素設定部514は始点画素Pxi(
図6)を第1二値化画像における画素領域断片Fに設定する。画素抽出部600は、血管に対応する複数の抽出画素Pxeを抽出し、領域設定部512は、連結画素領域Dcを設定する。
【0103】
本変形例の画像生成装置1において、抽出対象は確率分布画像Gpにおける血管に対応する部分である。これにより、血管を被写体とした画像から、血管に対応する部分を精度の低下を抑えつつ、迅速に抽出することができる。得られた血管に対応する部分の情報に基づいて、血管の長さや面積を算出することができ、血管の定量化が可能となる。医師の目視等による治療の効果や病気の進行度の評価ではばらつきが生じ得るが、本変形例の方法では客観性を持った評価が可能になる。
【0104】
本変形例の画像生成装置1において、抽出対象は、確率分布画像Gpにおける血管に対応する部分であり、確率分布画像Gpは眼底に対応する画像であり、終点画素Pxtは、視神経乳頭に対応する。これにより、眼底における血管を精度の低下を抑えつつ、迅速に抽出することができる。
【0105】
-第2実施形態-
第2実施形態の画像生成装置2は、第1実施形態に係る画像生成装置1と同様の構成を有しているが、データ処理部の構成が第1実施形態とは異なっている。第2実施形態では、複数の神経突起Nrが確率分布画像Gpにある場合に精度よくこれらの神経突起Nrに対応する画素を抽出するための方法を説明する。第1実施形態との同一部分については第1実施形態と同一の符号で参照し、場合に応じ説明を省略する。
【0106】
図16は、本実施形態の画像生成装置2の構成を示す概念図である。画像生成装置2は、データ処理部51a以外の構成要素も
図1と同様に含むが、図示を省略した。画像生成装置2は、信頼度算出部515と、判定部516と、候補・確定領域設定部517とを備える点で上述の実施形態の画像生成装置1と異なっている。
【0107】
以下では、探索領域D1(
図5)が、分枝した複数の神経突起Nrに対応する画像部分を含む場合や、1つの細胞体Soから伸びた複数の神経突起Nrに対応する画像部分を含む場合の、これらの神経突起Nrに対応する画素の抽出を説明する。本実施形態において得られる複数の神経突起Nrまたは神経細胞の位置情報から、細胞間相互作用の定量化を行うことができる。
【0108】
信頼度算出部515は、画素抽出部600が抽出した複数の抽出画素Pxeが、抽出対象に対応する部分に対応しているか否かについての信頼度を算出する。信頼度算出部515は、この信頼度を示す信頼度パラメータRを、抽出画素Pxeに対応する選択画素Pxdが設定された際の当該選択画素Pxdに対応する候補画素パラメータdに基づいて算出する。信頼度算出部515は、抽出された複数の抽出画素Pxdの画素列について、当該抽出画素Pxdに対応する選択画素Pxdが設定された際の当該選択画素Pxdに対応する候補画素パラメータdの算術平均等の平均をとった値daveを信頼度パラメータRとして算出することが好ましい。ここでは、信頼度パラメータRの数値が小さい方が信頼度が高いものとするが、対応付けができれば特に限定されず、信頼度パラメータRの定義に基づいて適宜設定される。
【0109】
判定部516は、信頼度パラメータRに基づいて、画素抽出部600が抽出した複数の抽出画素Pxeが、連続した1本の神経突起Nrに対応しているか否かの判定(以下、信頼度判定と呼ぶ)を行う。判定部516は、信頼度パラメータRが、閾値Thに基づく条件を満たすか否かに基づいて、信頼度判定を行う。閾値Thは、過去に抽出画素Pxeの抽出を行った例等に基づいて予め設定され、記憶部43に記憶されている。例えば、候補画素パラメータdが最も小さい候補画素Pxcが選択画素Pxdとして設定される条件で、信頼度算出部515がdaveを信頼度パラメータRとして算出したとする。この場合、判定部516は、信頼度パラメータRが閾値Thより大きい場合には、画素抽出部600が抽出した複数の抽出画素Pxdは信頼度が十分ではないものと判定して破棄し、当該判定の対象となった抽出画素Pxeについての連結画素領域Dcの設定等は行われない。信頼度判定は、終点画素Pxtと接続される連結画素領域Dcが設定される場合、例えば、上述の第1終了条件により選択画素設定処理が終了した場合に行うことが好ましい。
【0110】
上述のように、抽出した抽出画素Pxeの信頼度に基づいた判定を行うことにより、神経突起Nrに対応しない画像部分を神経突起Nrとして抽出するリスクを低減することができる。
【0111】
候補・確定領域設定部517は、画素抽出部600による選択画素設定処理が行われる前に、確率分布画像Gpにおいて、神経突起Nrに対応する部分の候補となる領域(以下、候補領域と呼ぶ)を設定する。候補・確定領域設定部517は、確率分布画像Gpにおける各画素の輝度を二値化して得られた二値化画像(以下、第2二値化画像と呼ぶ)に対応する第2二値化画像データを生成する。探索領域D1は、二値化の際の閾値に基づいて、抽出対象に対応する確率が高い領域と、低い領域とに分けられることになる。
なお、第2二値化画像としては、第1二値化画像を用いてもよい。
【0112】
候補・確定領域設定部517は、第2二値化画像データに基づいて候補領域を設定する。候補・確定領域設定部517は、上記抽出対象に対応する確率が高い領域を、候補領域として設定する。さらに、候補・確定領域設定部517は、確定領域を設定する。確定領域は、画素抽出部600による抽出画素Pxeの抽出が行われるまでは、該当する領域が無いものとされる。画素抽出部600による抽出画素Pxeの抽出の結果、少なくとも一部の候補領域が抽出対象に対応する領域であると確定したとき、候補・確定領域設定部517は、当該確定された候補領域を候補領域から外し、確定領域として設定する。
【0113】
候補・確定領域設定部517は、候補領域を示す候補領域画像に対応する候補領域画像データ、および、確定領域を示す確定領域画像に対応する確定領域画像データをそれぞれ生成する候補領域画像生成部および確定領域画像生成部として機能する。候補領域画像および確定領域画像の態様は特に限定されないが、二値化された画像であることが情報量の節約等の観点から好ましい。
【0114】
図17(A)は、画素抽出部600が選択画素設定処理を行う前の、候補領域画像Gcおよび確定領域画像Gdの例を示す図である。候補領域画像Gcでは、分枝した同一の神経突起Nr(
図4)に対応する4つの分離された候補領域Fc1,Fc2,Fc3およびFc4(以下、候補領域を一般にFcの符号で示す)が示されている。一方、確定領域画像Gdでは、この段階では確定領域が設定されていない。
図17(A)では、抽出対象の神経突起Nrが接続されている細胞体Soの位置を、候補領域画像Gcおよび確定領域画像Gdの左に模式的に示した(
図17(C)および(D)でも同様である)。
【0115】
図17(B)は、画素抽出部600による抽出画素Pxeの抽出および領域設定部512による連結画素領域Dcの設定により、候補領域Fc2から候補領域Fc1を通り細胞体Soへと接続される連結画素領域Dc12が設定された点を示す概念図である。候補領域Fc3およびFc4は、連結画素領域Dc12とは分離されている。
【0116】
図17(C)は、候補領域Fcおよび確定領域の更新を示す概念図である。判定部516により連結画素領域Dc12に対応する抽出画素Pxeの信頼度判定が行われ、信頼度が高いものとして確定されたとする。この場合、候補・確定領域設定部517は、候補領域Fc1およびFc2を候補領域Fcではないものとして設定を更新し、連結画素領域Dc12を確定領域Fd1(以下、確定領域を一般にFdの符号で示す)として設定する。
【0117】
一部の候補領域Fcが確定領域Fdとして設定されたら、始点画素設定部514は、残りの候補領域Fcのいずれかにおいて始点画素Pxiを設定する。終点画素設定部513は、細胞体Soおよび、設定された確定領域Fd1を終点画素Pxtとして設定する。
【0118】
図17(D)は、
図17(C)の状態から、候補領域Fcおよび確定領域Fdのさらなる更新が行われた後の候補領域画像Gcおよび確定領域画像Gdを示す概念図である。
図17(C)の状態から、候補領域Fc4に始点画素Pxiが設定され、細胞体Soおよび連結画素領域Dc12が終点画素Pxtと設定されて、抽出画素Pxeの抽出および連結画素領域Dc3の設定が行われた。さらに、当該連結画素領域Dc3が信頼度判定により信頼度が高いと判定されたものとする。このとき、候補・確定領域設定部517は、候補領域Fc4を候補領域Fcでないものとして設定を更新し、確定領域Fd1と連結画素領域Dc3が連結された新たな確定領域Fd2を確定領域Fdに設定する。
【0119】
図18は、本変形例に係る画像生成方法の流れを示すフローチャートである。ステップS3001からS3005までは、
図11のフローチャートのステップS1001からS1005までにそれぞれ対応するため、説明を省略する。ステップS3005が終了したら、ステップS3007が開始される。
【0120】
ステップS3007において、候補・確定領域設定部517は、候補領域Fcおよび確定領域Fdに対応するデータを生成する。ステップS3007が終了したら、ステップS3009が開始される。ステップS3009において、始点画素設定部514は始点画素Pxiを設定し、終点画素設定部513は終点画素Pxtを設定し、画素抽出部600は、複数の選択画素Pxdを設定して複数の抽出画素Pxeを抽出し、領域設定部512は当該抽出画素Pxeに基づいた連結画素領域Dcを設定する。ステップS3009が終了したら、ステップS3011が開始される。
【0121】
ステップS3011において、判定部516は、ステップS3009で抽出された複数の抽出画素Pxeについて信頼度判定を行う。ステップS3011が終了したら、ステップS3013が開始される。ステップS3013において、候補・確定領域設定部517は、信頼度判定の結果に基づいて候補領域Fcおよび確定領域Fdに対応するデータを更新する。信頼度判定で信頼度が高いと判定された場合、信頼度判定の対象となった複数の抽出画素Pxeが配置されている候補領域Fcが候補領域から削除され、ステップS3009で設定された連結画素領域Dcが確定領域Fdとして設定される。信頼度判定で信頼度が低いと判定された場合、ステップS3009で抽出された抽出画素Pxeおよび設定された連結画素領域Dcは破棄される。さらにこの場合、信頼度判定の対象となった複数の抽出画素Pxeが抽出される際の選択画素設定処理において始点画素Pxiが配置された候補領域Fc、または当該複数の抽出画素Pxeが配置された候補領域Fcについては、候補領域Fcから削除することができる。ステップS3013が終了したら、ステップS3015が開始される。
【0122】
ステップS3015において、候補・確定領域設定部517は、候補領域Fcがまだ残っているか否かを判定する。候補領域Fcがまだ残っている場合、候補・確定領域設定部517はステップS3015を肯定判定してステップS3009に戻る。候補領域Fcが残っていない場合、候補・確定領域設定部517は、ステップS3015を否定判定してステップS3017が開始される。
【0123】
ステップS3017およびS3019は、
図11のフローチャートにおけるステップS1015およびS1017と同様であるため説明を省略する。
【0124】
上述の第2実施形態によれば、第1実施形態により得られる作用効果の他に、次の作用効果が得られる。
(1)本実施形態の画像生成装置2は、複数の選択画素Pxdが複数の候補画素Pxcから設定された際の当該選択画素Pxdに対応する候補画素パラメータdに基づいて、複数の抽出画素Pxdが抽出対象に対応しているかについての信頼度を算出する信頼度算出部515を備える。これにより、抽出された抽出画素Pxeの画素列が正確に抽出できているかの情報が得られ、当該情報を利用した処理を行うことができる。
【0125】
(2)本実施形態の画像生成装置2において、上記信頼度に基づいて、複数の抽出画素Pxeが連続した抽出対象に対応しているかの信頼度判定を行う判定部516を備える。これにより、信頼度判定に基づいて、信頼度の高い抽出画素Pxeを利用することができ、抽出の精度を高めることができる。
【0126】
(3)本実施形態の画像生成装置2において、判定部516は、候補画素指定部601が指定する候補画素Pxcが終点画素Pxtの少なくとも一つに対応することにより第1終了条件が満たされ設定画素設定処理が終了された際に、信頼度判定を行う。これにより、第2終了条件により設定画素Pxdの設定が終了した場合のように、終点画素Pxtと連結画素領域Dcとが連結されない場合に信頼度判定を行わないことで、計算量を低減することができる。
【0127】
(4)本実施形態の画像生成装置2において、画素抽出部600は、連結画素領域Dcの少なくとも一部を終点画素Pxtとして選択画素設定処理を行う。これにより、神経突起Nr等の抽出対象が分枝を有する場合等においても、複数回の抽出画素Pxeの抽出により精度よく抽出対象に対応する連結画素領域Dcを設定することができる。
【0128】
(5)本実施形態の画像生成装置2は、抽出対象に対応する部分として確定した確定領域Fdを示す確定領域画像Gdに対応するデータを生成する候補・確定領域設定部517を備える。これにより、確定領域Fdをユーザにわかりやすく示したり、画像処理に供することができる。
【0129】
(6)本実施形態の画像生成装置2において、確定領域画像Gdは二値化された画像であり、候補・確定領域設定部517は、確定した連結画素領域Dcに基づいて上記二値化された画像を更新する。これにより、情報量や計算量を低減し、効率的に処理を行うことができる。
【0130】
次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
(変形例1)
上述の実施形態では、確率分布画像Gpにおいて細胞体Soが一つ示されている場合を用いて説明を行ってきた。確率分布画像Gpに複数の細胞体Soが示されている場合でもこれらの細胞体Soを終点画素Pxtとして同様に連結画素領域Dcの設定を行うことができる。しかし、この場合に、始点画素設定部514は、候補領域Fcの重心に基づいた位置に始点画素Pxiを設定することが好ましい。
【0131】
図19は、本変形例の始点画素Pxiの設定を説明するための概念図である。探索領域D1に、細胞体So1およびSo2に対応する画素領域と、互いに連結されていない候補領域Fc5、Fc6、Fc7およびFc8が示されている。互いに連結されている複数の終点画素Pxtを終点画素領域と呼ぶとすると、細胞体So1およびSo2のそれぞれは、互いに連結されていない2つの終点画素領域に相当する。
【0132】
ここで、同一の候補領域Fcに始点を有する抽出画素Pxeの画素列(以下、抽出画素列と呼ぶ)において、始点画素Pxiの位置により、信頼度パラメータRの値が変化する場合がある。例えば、候補領域Fc7の両端にある始点画素Pxi1と始点画素Pxi2とのそれぞれから複数の選択画素Pxdの設定を行い、細胞体So2に接続された抽出画素列を得た場合を考える。この場合、始点画素Pxi2から細胞体So2へと向かう抽出画素列の方が、候補領域Fc7の分だけ輝度値が高い領域を通過するため、信頼度パラメータRが候補画素パラメータdの平均値daveで表されるときにはこのdaveの値が小さく、始点画素Pxi1を始点とする選択画素設定処理の場合と比べてより信頼度が高くなる。従って、候補領域Fcにおいてどの位置に始点画素Pxiを設定するかによって、抽出される抽出画素Pxeの信頼度がばらつき、当該候補領域Fcが異なる細胞体Soに接続され得る。
【0133】
このような信頼度のばらつきを抑制するため、互いに連結されていない終点画素Pxtまたは終点画素領域が探索領域D1に複数存在する場合、始点画素設定部514は、始点画素Pxiを候補領域Fcの重心に基づいた位置に設定する。例えば、始点画素設定部514は、候補領域Fcの重心を算出し、当該重心を含む画素を始点画素Pxiに設定する。当該重心を含む画素が無い場合には、始点画素設定部514は当該重心に最も近い画素を始点画素Pxiに設定することができる。
【0134】
本変形例の画像生成装置において、終点画素Pxtは、互いに連結されていない複数の画素または画素領域を備え、始点画素設定部514は、候補領域Fcを示す二値化画像において同一の値を持ち連結された複数の画素を含む候補領域Fcの重心に基づいて始点画素Pxiを設定する。これにより、適切な終点画素Pxtに連結画素領域Dcが連結される可能性を高めることができる。
【0135】
(変形例2)
上述の実施形態では、終点画素設定部513が画像処理により、確率分布画像Gpから細胞体Soに対応する画素を抽出し終点画素Pxtに設定する構成としたが、培養の際に細胞体Soに対応する画素を所定の時間間隔で抽出して得られたデータを用いて終点画素Pxtを設定してもよい。細胞Ceの培養においては、細胞Ceが移動する場合がある。従って、ある時刻(第1時刻)と、第1時刻と異なる第2時刻において、同一の細胞Ceを同定しておくことが、同一の細胞Ceの形態等の特性の変化を時系列的に解析するために必要である。上記所定の時間間隔は、細胞Ceの特性に合わせて数分~数日等に適宜設定される。上記所定の時間間隔は、適宜変化してもよい。
【0136】
図20は、本変形例に係るデータ処理部51bを示す概念図である。本変形例では、データ処理部51bは、細胞Ceの位置を追尾する追尾部518を備える。確率分布画像生成部511は、撮像部20から所定の時間間隔で撮像された細胞Ceの撮像画像を取得し、当該撮像画像から、確率分布画像データを生成する。追尾部518は、上述の終点画素設定部513による場合と同様に、確率分布画像Gpにおける細胞体Soに対応する画素の抽出を行う。上記所定の時間間隔に比べて細胞Ceの移動が遅い場合は、追尾部518は、直前に行った抽出結果を利用して当該画素の抽出を行ってもよい。終点画素設定部513は、追尾部518による細胞体Soに対応する画素の抽出により得られたデータに基づいて終点画素Pxtを設定することができる。
【0137】
本変形例の画像生成装置において、確率分布画像生成部511は、異なる時間に複数回の確率分布画像データの取得を行い、追尾部518は、確率分布画像Gpにおける終点画素Pxtに対応する部分を追尾する。これにより、過去の細胞Ceの位置等に基づいて、より正確に終点画素Pxtの設定を行うことができる。
なお、本変形例は、細胞体Soが複数存在する場合により好適に用いられるが、細胞体Soが一つの場合でも同様の作用効果を上げることができる。
【0138】
(変形例3)
上述の実施形態において、データ処理部は,神経突起Nr等の抽出対象の線状の部分の交叉の存在を判定する交叉判定部を備えてもよい。
【0139】
図21は、本変形例に係るデータ処理部51cを示す概念図である。本変形例では、データ処理部51cは、交叉が存在するか否かを判定する交叉判定部519を備える。交叉判定部519は交叉を検出する交叉検出部として機能する。
【0140】
図22(A)は、神経突起が交叉している場合の候補領域Fcの例を示す概念図である。細胞体So1から伸びる神経突起Nr1は、候補領域Fc21およびFc23と、候補領域Fc22の一部と対応している。細胞体So2から伸びる神経突起Nr2は、候補領域Fc22の一部と、候補領域Fc24とに対応している。候補領域Fc22には、交叉J1が存在している。
【0141】
画素抽出部600は、探索領域D1が複数の連結されていない終点画素または終点画素領域を含む場合、まず上述の実施形態と同様、始点画素Pxiを始点として複数の選択画素Pxdの設定および複数の抽出画素の抽出を行う。
【0142】
図22(B)は、抽出された抽出画素Pxeに基づいて領域設定部512が設定した連結画素領域Dc21を示す概念図である。
図22(B)の例では、始点画素Pxiと細胞体So1とを接続する連結画素領域Dc21が設定された場合を示す。
【0143】
連結画素領域Dc21が設定されたら、画素抽出部600は抽出された抽出画素Pxeを記憶部43に記憶させた後に選択画素Pxdおよび抽出画素Pxeが設定されていない状態にする。その後、終点画素設定部513は、連結画素領域Dc21が接続されている細胞体So1を終点画素Pxtから除き、細胞体So2を終点画素Pxtとして抽出画素Pxeの抽出を行う。
【0144】
図22(C)は、細胞体So1を終点画素Pxtから除いた場合に抽出された抽出画素Pxeに基づいて領域設定部512が設定した連結画素領域Dc22を示す概念図である。
図22(C)の例では、始点画素Pxiと細胞体So2とを接続する連結画素領域Dc22が設定されている。
【0145】
交叉判定部519は、設定された連結画素領域Dc21および連結画素領域Dc22に基づいて、交叉J1に対応する画素または画素領域を検出する。交叉判定部519は、連結画素領域Dc21と連結画素領域Dc22の重なっている領域において、始点画素Pxiと反対側の端にある画素または当該端から所定の範囲にある画素領域を交叉に対応する画素とする。交叉判定部519は、候補領域Fc22に交叉がある点を示すデータを生成してもよい。上記所定の範囲は、連結画素領域Dc21または22の幅等に基づいて適宜定めればよい。
【0146】
次に、終点画素Pxtが1つの画素または連結された画素領域からなる場合において抽出対象の線状部分の交叉に対応する画素を検出する点を説明する。以下の方法は終点画素Pxtが一つの画素または連結された画素領域である場合に好適であるが、終点画素Pxtが複数の連結されていない画素または画素領域からなる場合にも適用可能である。
【0147】
図23(A)は、1つの細胞体Soから伸びる2つの神経突起Nr3およびNr4が交叉している場合の候補領域Fcを示す概念図である。細胞体Soから伸びる神経突起Nr3は、候補領域Fc31、Fc33およびFc34と、候補領域Fc32の一部と対応している。細胞体Soから伸びる神経突起Nr4は、候補領域Fc32の一部と、候補領域Fc35およびFc36とに対応している。候補領域Fc32には、交叉J2が存在している。
【0148】
画素抽出部600は、探索領域D1が1つの終点画素Pxtまたは連結された終点画素領域を含む場合、まず上述の実施形態と同様、始点画素Pxiを始点として複数の選択画素Pxdの設定および抽出画素Pxeの抽出を行う。
【0149】
図23(B)は、抽出された抽出画素Pxeに基づいて領域設定部512が設定した連結画素領域Dc31を示す概念図である。
図23(B)の例では、候補領域Fc31、Fc32、Fc33およびFc34を通る、始点画素Pxiと細胞体Soとを接続する連結画素領域Dc31が設定された場合を示す。
【0150】
連結画素領域Dc31が設定されたら、選択画素設定部602は抽出された抽出画素Pxeを記憶部43に記憶させた後、選択画素Pxdおよび抽出画素Pxeが設定されていない状態にする。その後、領域設定部512は、連結画素領域Dc31に対応する候補領域Fcの一部を探索領域D1から除く。候補領域Fcのうち探索領域D1から除かれた一部を、以下、除外領域と呼ぶ。例えば、領域設定部512は、既に設定した連結画素領域Dc31において、終点画素Pxt側の所定の個数の抽出画素Pxeに対応する連結要素画素領域De(
図10)に含まれる領域に含まれる候補領域Fcを除外領域として探索領域D1から除く。
【0151】
図23(C)は、除外領域Dexを模式的に示す概念図である。画素抽出部600は、点線で囲まれた部分における候補領域Fcを除外領域Dexとして探索領域D1から除外し、始点画素Pxiを始点に選択画素Pxdの設定を行う。
【0152】
図23(D)は、除外領域Dexを探索領域D1から除いた場合に抽出された抽出画素Pxeに基づいて領域設定部512が設定した連結画素領域Dc32を示す概念図である。
図23(D)の例では、候補領域Fc31、Fc32およびFc35を通り、始点画素Pxiと細胞体Soとを接続する連結画素領域Dc32が設定されている。
【0153】
交叉判定部519は、設定された連結画素領域Dc31および連結画素領域Dc32に基づいて、交叉J2に対応する画素または画素領域を検出する。交叉判定部519は、連結画素領域Dc31と連結画素領域Dc32の重なっている領域において、始点画素Pxiと反対側の端にある画素または当該端から所定の範囲にある画素領域を交叉に対応する画素とする。交叉検出部519は、候補領域Fc32に交叉がある点を示すデータを生成してもよい。上記所定の範囲は、連結画素領域Dc31または32の幅等に基づいて適宜定めればよい。
【0154】
交叉が存在しない場合には、第2終了条件により選択画素設定処理が終了する等して、
図22(C)や
図23(D)のような抽出画素列は得られない。上述のように交叉判定部519により、交叉の有無が判定され、交叉が検出された場合には交叉に対応する画素が導出されたら、これらの情報を用いて、形態解析等を行うことができる。また、画像生成部700は、交叉の位置等を連結領域画像Gsにおいて示すようにしてもよい。
【0155】
本変形例の画像生成装置において、終点画素Pxtは、互いに連結されていない複数の画素または画素領域を備え、交叉判定部519は抽出対象の線状部分の交叉の有無を判定し交叉を検出する。これにより、複数の連結されていない終点画素領域等に対応する部分(細胞体So1、So2等)が示された入力画像における、交叉の位置についての情報を提供することができる。その結果、交叉がある状況でも精度よく神経突起Nrに対応する画素の抽出を行うことができる。交叉についての情報を含む位置情報により、より正確に細胞間相互作用の定量化が可能となる。
【0156】
本変形例の画像生成装置において、画素抽出部600は、選択画素設定処理において設定された一部の複数の抽出画素Pxeを含む領域を除外し、再度選択画素設定処理を行い、交叉検出部519は、抽出対象の線状部分の交叉を検出する。これにより、1つの終点画素Pxtまたは連結された終点画素領域しか入力画像にない場合でも、入力画像における交叉の位置についての情報を提供することができる。
【0157】
(変形例4)
上述の実施形態において、データ処理部は,神経突起Nr等の抽出対象の線状の部分の幅を検出する幅検出部を備えてもよい。
【0158】
図24は、本変形例に係るデータ処理部51dを示す概念図である。本変形例では、データ処理部51dは、抽出対象の線状の部分の幅を検出する幅検出部520を備える。
【0159】
図25は、連結画素領域Dcに基づいて抽出対象の線状の部分(神経突起Nr)の幅を検出する点を説明するための概念図である。ユーザが入力部41を介して連結画素領域Dcにおける点T(以下、入力点Tと呼ぶ)の位置における神経突起Nrの幅を算出するように入力したとする。この場合、幅検出部520は、入力点Tを含み連結画素領域Dcに内接する円のうち、半径rが最も大きい円Ciを算出し、当該半径rの2倍を神経突起Nrの幅Wdとして算出する。算出された幅Wdについての情報は、出力部44から出力される。
【0160】
本変形例の画像生成装置において、幅算出部520は、抽出対象の線状部分の幅Wdを算出する。これにより、抽出対象の線状部分の太さ等の形態に関する情報を提供することができる。
【0161】
本変形例の画像生成装置において、幅算出部520は、連結画素領域Dcにおける入力点Tに対応する連結画素領域Dcの幅Wdを、入力点Tを含み連結画素領域Dcの内部に含まれる最大の円Ciの直径により算出する。これにより、抽出対象の線状部分の幅Wdを算出することができる。
【0162】
(変形例5)
上述の変形例では、連結画素領域Dcの内接円を用いて神経突起Nrの幅を算出したが、連結画素領域Dcを通る線分の長さに基づいて神経突起Nrの幅Wdを算出してもよい。
【0163】
図26は、連結画素領域Dcに基づいて抽出対象の線状の部分(神経突起Nr)の幅を検出する点を説明するための概念図である。ユーザが入力部41を介して入力点Tの位置における神経突起Nrの幅を算出するように入力したとする。この場合、幅検出部520は、入力点Tを通り複数の異なる方向に伸びる線分L1,L2およびL3を仮定し、線分L1,L2およびL3において連結画素領域Dcの内部に含まれる長さを算出する。幅検出部520は、算出された上記長さのうち、最も短い値を神経突起Nrの幅Wdとする。
なお、線分L1,L2およびL3の方向は特に限定されず、一定の角度ずつずれる等、適宜設定することができる。また、幅Wdの算出のために用いる線分の本数も特に限定されない。
【0164】
本変形例の画像生成装置において、幅算出部520は、連結画素領域Dcにおける入力点Tに対応する連結画素領域の幅Wdを、入力点Tを通る複数の線分L1,L2およびL3において、連結画素領域Dcに含まれる長さが最も短い場合の当該長さにより算出する。これにより、計算量を抑えつつ、抽出対象の線状部分の幅Wdを算出することができる。
【0165】
(変形例6)
上述の実施形態において、入力画像または確率分布画像Gp等においてユーザが入力した点における輝度値を出力する際、当該輝度値を複数の画素の輝度に基づいて算出し、出力してもよい。これにより、ばらつきを抑えより精度の高い輝度を提供することができる。
【0166】
図27は、出力される輝度値(以下、出力輝度値と呼ぶ)を算出する方法を説明するための概念図である。ユーザが入力部41を介して指定した入力点Tについて、出力輝度値を算出する場合、データ処理部51aは、入力点Tの位置に基づく所定の範囲(以下、対応画素領域Ctと呼ぶ)における画素の輝度値の算術平均等の平均を出力輝度値として算出する。算出された出力輝度値は、出力部44から出力される。対応画素領域Ctの形状や大きさは特に限定されず、入力点Tを中心とした半径数画素の円の範囲に対応する画素領域等とすることができる。
【0167】
-第3実施形態-
第3実施形態の画像生成装置3は、第2実施形態に係る画像生成装置2と同様の構成を有しているが、データ処理部の構成が第2実施形態とは異なっている。第3実施形態では、複数の始点画素Pxiについての選択画素設定処理を並列に行う際に、精度を落とさずに迅速に行う方法を説明する。第2実施形態との同一部分については第2実施形態と同一の符号で参照し、場合に応じ説明を省略する。
【0168】
図28は、本実施形態の画像生成装置3の構成を示す概念図である。画像生成装置3は、制御部50aおよびデータ処理部51e以外の構成要素も
図1と同様に含むが、図示を省略した。画像生成装置3は、領域設定部512aが始点配置領域設定部531および候補画素配置領域設定部532を備える点で上述の実施形態の画像生成装置2と異なっている。さらに、画像生成装置3の制御部50aは、マルチコア化されたCPUのように並列処理に適したCPUを備え、データ処理部51eの行う選択画素設定処理は、この並列処理に適したCPUにより行われることが好ましい。
【0169】
以下では、確率分布画像Gpが、複数の細胞体Soに対応する部分を含む際の、連結画素領域Dcの設定の方法を説明する。本実施形態に係る画像生成方法は細胞体Soが複数存在したり等、神経突起Nrが複雑に伸びている場合等に好適であるが、特にこのような場合に限定されず適用することが可能である。
【0170】
上述の実施形態では、領域設定部512が設定した探索領域D1に始点画素Pxiおよび候補画素Pxcが設定される構成とした。本実施形態では、始点配置領域設定部531が設定した始点配置領域に始点画素Pxiが設定され、候補画素配置領域設定部532が設定した候補画素配置領域に候補画素Pxcが設定される。
【0171】
図29は、始点配置領域を示す概念図である。始点配置領域80は、第1始点配置領域81と、第2始点配置領域82とを備える。第1始点配置領域81は、互いには連結されていないがそれぞれが一つの連続した領域である、第1連結領域81a、第2連結領域81b、第3連結領域81cおよび第4連結領域81dを備える。第2始点配置領域82は、互いには連結されていないがそれぞれが一つの連続した領域である、第1連結領域82a、第2連結領域82b、第3連結領域82cおよび第4連結領域82dを備える。
【0172】
以下では、第1連結領域81a、第2連結領域81b、第3連結領域81cおよび第4連結領域81d、ならびに、第2連結領域82a、第2連結領域82b、第3連結領域82cおよび第4連結領域82dのそれぞれを区別せずに個々の領域を指す場合、単に連結領域と記載する。符号81a、81b、81cおよび81dを81a~dと記載し、符号82a、82b、82cおよび82dを82a~dと記載する。
【0173】
後述するように、第1始点配置領域81に配置された始点画素Pxi1a、Pxi1b、Pxi1cおよびPxi1d(以下、Pxi1a~dと記載する)を始点とする選択画素設定処理と、第2始点配置領域82に配置された始点画素Pxi2a、Pxi2b、Pxi2cおよびPxi2d(
図30)を始点とする選択画素設定処理とは、同時並行して行われない。このように、始点配置領域80は、始点配置領域80に配置された始点画素Pxiに対応する選択画素設定処理をいつ行うかに基づいて、複数の領域(第1始点配置領域81および第2始点配置領域82)に分割されている。
【0174】
第1始点配置領域81に含まれる連結領域81a~d同士の間、および、第2始点配置領域82に含まれる連結領域82a~d同士の間は、予め定められた最小連結領域間隔をMとすると、少なくともM画素以上離れている。
図29の始点配置領域80の例では、各連結領域81a~d、82a~dの縦方向の画素数は確率分布画像Gpの縦方向の画素数と等しく、横方向の画素数はMiとなっている。Miは、Mと等しいかより大きい値とする。
【0175】
連結領域81a~dにそれぞれ配置された始点画素Pxi1a~dを始点とする選択画素設定処理の少なくとも一部は、同時並行して行われる。従って、連結領域81a~d同士の間を少なくともM画素離すことで、異なる始点画素Pxiを始点にした選択画素Pxdの画素列が、確率分布画像Gpの同一の候補領域Fc(
図17)を通ったりする可能性を低減することができる。連結領域82a~dについても同様である。これにより、候補領域Fcと確定領域Fd(
図17)が適切に更新され、抽出対象に対応する部分が複雑な構造をしている場合でも精度を落とさずに迅速に連結画素領域Dcの設定を行うことができる。
【0176】
最小連結領域間隔Mは、撮像部20の撮像の際の実効倍率、確率分布画像Gpの画素の幅、および、入力画像の被写体について過去に得られた線状の部分の長さの統計値等に基づいて算出される。例えば、被写体を特定の種類の神経細胞とし、当該種類の神経細胞において神経突起Nrの長さの上限をLmax、上記実効倍率をx、上記画素の幅をyとすると、M=2×Lmax×x/yの式により連結領域間隔Mを算出することができる。一例として、Lmax=500μm、x=10(倍)、y=8μmとすると、最小連結領域間隔Mは1250ピクセルとなる。これにより、2つの連結領域(例えば連結領域81aおよび81b)にあるそれぞれの始点画素Pxiへと、これらの間にある連結領域(例えば連結領域82b)にある細胞体Soからまっすぐ神経突起Nrが伸びている場合にも、同時並行して設定されている選択画素Pxdの画素列が同一の候補画素Pxcを通過する可能性を低減することができる。
なお、確率分布画像Gpの画素の幅等のパラメータに基づいて最小連結領域間隔Mを設定する場合、最小連結領域間隔Mは、各細胞Ceの幅や神経突起Nrの長さに基づいて定めてもよい。また、最小連結領域間隔Mは、効率化の観点から各連結領域81a~d,82a~dに基づいて定めることができる。
【0177】
始点配置領域設定部531は、入力部41からの入力等に基づいて、始点配置領域80、第1始点配置領域81、第2始点配置領域82および連結領域81a~d、82a~dを設定する。入力部41から確率分布画像Gpにおけるこれらの領域に対応する画像部分を示す画像データまたは、当該画像部分の形状若しくは大きさに関する情報が入力される。始点配置領域設定部531は、この画像データや情報に基づいて確率分布画像Gpにおける各画素が、始点配置領域80、第1始点配置領域81、第2始点配置領域82および連結領域81a~d、82a~dに含まれることまたは含まれないことを設定する。
【0178】
候補画素配置領域設定部532は、選択画素設定処理において候補画素Pxcが配置される領域である候補画素配置領域90を設定する。候補画素配置領域90は、入力部41からの入力等に基づいて設定される。
図29では、候補画素配置領域90は確率分布画像Gpの全体に設定されている。候補画素Pxcが設定される領域は、選択画素Pxdが設定され抽出画素Pxeが抽出される領域になる。
【0179】
始点画素設定部514は、始点配置領域80に始点画素Pxiを設定する。始点画素設定部514は、第1始点配置領域81を始点とする選択画素設定処理を行う際には、第1始点配置領域81に始点画素Pxi1a~dを配置する。始点画素設定部514は、第2始点配置領域82を始点とする選択画素設定処理を行う際には、第2始点配置領域82に始点画素Pxi2a~dを配置する。
【0180】
画素抽出部600は、始点画素Pxiの位置に基づいて、複数の選択画素設定処理を、同時並行して行う。領域設定部512aは、これら複数の選択画素設定処理で設定された選択画素Pxdから抽出された抽出画素Pxeに基づいて連結画素領域Dcを設定する。
【0181】
図29では、画素抽出部600が、第1始点配置領域81に配置された始点画素Pxi1a~dを始点とする複数の選択画素設定処理(以下、第1選択画素設定処理と呼ぶ)を同時並行して行う点が模式的に示されている。
図29には、始点画素Pxi1aと細胞体So1aとを接続する連結画素領域Dc1a、始点画素Pxi1bと細胞体So1bとを接続する連結画素領域Dc1b、始点画素Pxi1cと細胞体So1cとを接続する連結画素領域Dc1c、および、始点画素Pxi1dと細胞体So1dとを接続する連結画素領域Dc1dとが示されている。
【0182】
画素抽出部600は、第1選択画素設定処理とは異なる時間に、第2始点配置領域82に配置された始点画素Pxi2a~dを始点とする複数の選択画素設定処理(以下、第2選択画素設定処理と呼ぶ)を同時並行して行う。
【0183】
図30は、画素抽出部600が、複数の第2選択画素設定処理を同時並行して行う点を模式的に示す概念図である。
図30には、始点画素Pxi2aと細胞体So2aとを接続する連結画素領域Dc2a、始点画素Pxi2bと細胞体So2bとを接続する連結画素領域Dc2b、始点画素Pxi2cと細胞体So2cとを接続する連結画素領域Dc2c、および、始点画素Pxi2dと細胞体So2dとを接続する連結画素領域Dc2dとが示されている。
【0184】
領域設定部512aは、同時並行して行われた複数の選択画素設定処理に基づいて得られた複数の連結画素領域Dc(
図4)の統合を行う。この統合では、少なくとも一つの連結画素領域Dcに含まれる画素からなる1つの連結された連結画素領域Dcを新たに設定する。候補・確定領域設定部は、統合された連結画素領域Dcに基づいて、候補領域Fcおよび確定領域Fd(
図17)を更新する。
【0185】
図31は、本実施形態に係る画像生成方法の流れを示すフローチャートである。ステップS4001からS4007までは、
図11のフローチャートのステップS1001からS1007までと同一であるため、説明を省略する。ステップS4007が終了したら、ステップS4009が開始される。
【0186】
ステップS4009において、始点配置領域設定部531は、第1始点配置領域81、第2始点配置領域82および連結領域81a~d、82a~dを設定する。ステップS4009が終了したら、ステップS4011が開始される。ステップS4011において、始点画素設定部514が始点配置領域80に始点画素Pxiを設定し、画素抽出部600が複数の選択画素Pxdを設定して複数の抽出画素Pxeを抽出し、領域設定部512aが連結画素領域Dcを設定する並列処理を行い、領域設定部512aは、統合された連結画素領域を設定する。ステップS4011が終了したら、ステップS4013が開始される。
【0187】
ステップS4013において、画像生成部700は、統合された連結画素領域を示す連結領域画像Gsに対応する連結領域画像データを生成する。ステップS4013が終了したら、ステップS4015が開始される。ステップS4015において、出力部44は、連結領域画像Gsを出力する。ステップS4015が終了したら、処理が終了される。
【0188】
図32は、
図31のフローチャートにおけるステップS4011の流れを示すフローチャートである。
図32のフローチャートでは、第1始点配置領域81の第1連結領域81aおよび第2連結領域81bについての選択画素設定処理と、第2始点配置領域82の第1連結領域82aおよび第2連結領域82bについての選択画素設定処理とがそれぞれ同時並行に行われる点を記載し、他の連結領域についての選択画素設定処理についての記載は省略した。ステップS4009が終了したら、ステップS501aおよびステップS501bが開始される。
【0189】
ステップS501aにおいて、始点画素設定部514は、第1始点配置領域81の第1連結領域81aに始点画素Pxiを設定する。ステップS501aが終了したらステップS503aが開始される。ステップS503aにおいて、画素抽出部600は、ステップS501aで設定された始点画素Pxiを始点に、複数の選択画素Pxdを設定し、抽出画素Pxeを抽出し、領域設定部512aは、当該抽出画素Pxeに基づいて連結画素領域Dcを設定する。
なお、本実施形態の候補画素Pxcの設定では、候補画素位置パラメータNの値は特に限定されず、1以上の任意の値に設定することができる。以下の選択画素設定処理でも同様である。
【0190】
ステップS501bにおいて、始点画素設定部514は、第2始点配置領域82の第2連結領域82aに始点画素Pxiを設定する。ステップS503bにおいて、画素抽出部600は、ステップS503aで設定された始点画素Pxiを始点に、複数の設定画素Pxdを設定し、抽出画素Pxeを抽出し、領域設定部512aは、当該抽出画素Pxeに基づいて連結画素領域Dcを設定する。ステップS503aおよびステップS503bが終了したら、ステップS505が開始される。
【0191】
ステップS505において、領域設定部512aは連結画素領域Dcを統合し、候補・確定領域設定部517は候補領域Fcおよび確定領域Fdを更新する。ステップS505が終了したら、ステップS507aおよびS507bが開始される。
【0192】
ステップS507aにおいて、始点画素設定部514は、第2始点配置領域82の第1連結領域82aに始点画素Pxiを設定する。ステップS507aが終了したら、ステップS509aが開始される。ステップS509aにおいて、画素抽出部600は、ステップS507aで設定された始点画素Pxiを始点に、複数の選択画素Pxdを選択し、抽出画素Pxeを抽出し、領域設定部512aは、当該抽出画素Pxeに基づいて連結画素領域Dcを設定する。
【0193】
ステップS507bにおいて、始点画素設定部514は、第2始点配置領域82の第2連結領域82bに始点画素Pxiを設定する。ステップS507bが終了したら、ステップS509bが開始される。ステップS509bにおいて、画素抽出部600は、ステップS507bで設定された始点画素Pxiを始点に、複数の選択画素Pxdを設定し、抽出画素Pxeを抽出し、領域設定部512aは、当該抽出画素Pxeに基づいて連結画素領域Dcを設定する。ステップS509aおよびステップS509bが終了したら、ステップS511が開始される。
【0194】
ステップS511において、領域設定部512aは、連結画素領域Dcを統合し、統合された連結画素領域を設定する。ステップS511が終了したら、ステップS4013が開始される。
【0195】
上述の第3実施形態によれば、第1実施形態および第2実施形態により得られる作用効果の他に、次の作用効果が得られる。
(1)本実施形態の画像生成装置3において、画素抽出部600は、互いに連結されていない連結領域81a~dに配置された複数の始点画素Pxi1a~dについての選択画素設定処理を、上記連結領域81a~dを除く始点配置領域80である連結領域82a~dに配置された始点画素Pxi2a~dについての選択画素設定処理とは異なる時間に行う。これにより、抽出対象が複雑な構造をしている場合でも精度を落とさずに迅速に抽出対象に対応する画素を抽出することができる。
【0196】
(2)本実施形態の画像生成装置3において、連結領域81a~dの間隔は、抽出対象の線状部分の長さに基づいて設定される。これにより、抽出対象の線状部分の特性に合わせ、適切な連結領域81a~dの間隔Miを設定することができ、より迅速に抽出対象に対応する画素を抽出することができる。
【0197】
次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
(変形例1)
上述の実施形態では、
図30の第1始点配置領域81および第2始点配置領域82のように連結領域81a~dおよび82a~dを設定したが、連結領域の形状や大きさは、連結領域同士の間が少なくとも最小連結領域間隔M離れていれば特に限定されない。
【0198】
図33は、連結領域の一例を示す概念図である。確率分布画像Gpには、それぞれ異なる時間の選択画素設定処理に対応する第3始点配置領域83および第4始点配置領域84が始点配置領域80として設定されている。第3始点配置領域83は、確率分布画像Gpの四隅に配置された矩形の連結領域83a、83b、83cおよび83dと、確率分布画像Gpの中心から点対称に広がる十字の形状をした連結領域83eとを備える。第4始点配置領域84は、連結領域83a、83b、83cおよび83dのそれぞれと、連結領域83eとの間に位置するL字状または回転されたL字の形状の連結領域84a、84b、84cおよび84dを備える。
【0199】
連結領域83a、83b、83cおよび83dのそれぞれと、連結領域83eとの間隔Mi2、および、上下および左右に隣り合う連結領域84a、84b、84cおよび84dの間の間隔Mi1は、抽出対象の線状部分の長さに基づき、最小連結領域間隔Mよりも大きく設定される。
なお、細胞Ceの密集度合を例えば細胞体Soの密度等により公知の方法等を用いて検出し、密集している領域が一つの連結領域に入るように、同時並行して選択画素設定処理が行われる複数の連結領域同士の間隔を設定してもよい。これにより、並列処理を効率よく行うことができる。
【0200】
(変形例2)
上述の実施形態では、画素抽出部600は、ダイクストラ法に基づいて抽出画素Pxeの抽出を行ったが、Astarアルゴリズムにより抽出画素Pxeの抽出を行ってもよい。Astarアルゴリズムでは選択画素Pxdを設定する際、候補画素Pxcと終点画素Pxtとの間の距離を利用して選択画素Pxdを設定する点が上述の方法とは異なる。
【0201】
(変形例3)
上述の実施形態では、画素抽出部600は、ダイクストラ法に基づいて抽出画素Pxeの抽出を行ったが、クラスカル法等の最小全域木(MST;Minimum Spanning Tree)を求める手法を利用して抽出画素Pxeの抽出を行ってもよい。
【0202】
(変形例4)
上述の実施形態では、画素抽出部600は、ダイクストラ法に基づいて抽出画素Pxdの抽出を行った。しかし、画素の組合せごとに所定のパラメータ(以下、エネルギーと呼ぶ)を定義し、所定の条件の下で、エネルギーが最大または最小になるような複数の画素の組合せを抽出画素Pxeとして算出してもよい。
【0203】
確率分布画像Gpの各画素について、抽出画素Pxeとして抽出される場合を1、抽出画素Pxeとして抽出されない場合を0の数値に対応させるものとする。この場合、確率分布画像Gpが100個の画素からなるとすると、複数の抽出画素Pxeの画素列の抽出は、2の100乗の組合せから適切な組み合わせを探索することに相当する。
【0204】
抽出画素Pxeとして抽出されるか否かについて、複数の画素間の相関を考慮しないものとする。この場合は、確率分布画像Gpにおけるi番目の画素のエネルギーをeiとして、抽出画素Pxeのエネルギーeiの和が最大値または最小値等の最適化された値になるような組合せを算出すればよい。例えば、エネルギーが画素の輝度値である場合には、エネルギーの和が最大値となる画素の組合せを算出すればよい。輝度値の逆数をエネルギーとする場合や、画像が白黒反転している場合には、エネルギーの和が最小値となる組合せを算出すればよい。このような最適化にあたっては、適宜、始点と終点との連結性等に基づいた制約を示す条件を加えてもよい。以下の複数の画素間の相関を考慮する場合も同様である。
【0205】
抽出画素Pxeとして抽出されるか否かについて、複数の画素間の相関を考慮するものとする。この場合は、確率分布画像Gpにおけるi番目の画素とj番目の画素が共に抽出画素Pxeであることについてのエネルギーをeijとして、抽出画素Pxeの組合せに含まれる画素の任意のペアにおけるエネルギーeijの和が最大値または最小値等の最適化された値になるような組合せを算出すればよい。
【0206】
(変形例5)
上述の実施形態では、第1選択画素設定処理と、第2選択画素設定処理とを交互に行うものとした。しかし、第1選択画素設定処理または第2選択画素設定処理を連続して行ったり、所定の条件に基づいていずれかを行う構成にしてもよい。本変形例では、各候補領域Fcに対応する神経突起の長さに基づいて、第1始点配置領域81および第2始点配置領域82のいずれかを選択し、選択された領域における選択画素設定処理を行い、抽出画素Pxeを抽出する。本変形例に係る画像生成方法の流れは、第3実施形態の
図31のフローチャートで示された流れと同様であるが、ステップS4011に対応する部分が異なる。
【0207】
図34は、本変形例において、
図31のフローチャートにおけるステップS4011に対応する部分の流れを示すフローチャートである。ステップS4009(
図31)が終了したら、ステップS601が開始される。ステップS601において、データ処理部51eは、各候補領域Fcについて、対応する神経突起Nrの長さについての情報を取得する。データ処理部51eは、確率分布画像Gpを解析して得られた各画素領域断片F(
図3)に対応する神経突起Nrの長さを、候補領域Fcに対応する神経突起Nrの長さとして取得する。候補領域Fcに対応する神経突起Nrの長さの算出方法は特に限定されない。ステップS601が終了したら、ステップS602が開始される。
【0208】
ステップS602において、画素抽出部600は、仮に始点画素Pxiを設定した場合に、第1始点配置領域81および第2始点配置領域82のうち、最も長い神経突起に対応する始点画素Pxiが含まれる領域を選択する。ステップS602が終了したら、ステップS603が開始される。ステップS603において、始点画素設定部514が、ステップS602で選択された領域において設定され得る始点画素Pxiのうち少なくとも一部を設定し、選択画素設定部602が複数の選択画素Pxdを設定し、画素抽出部600が抽出画素Pxeを抽出し、領域設定部512aが連結画素領域Dcを設定する。例えば、始点画素設定部514は、上記選択された領域における各連結領域において、ステップS601で取得された情報に基づき最も長い神経突起に対応する始点画素Pxiを設定することができる。ステップS603が終了したら、ステップS604が開始される。
【0209】
ステップS604は
図32のフローチャートのステップS505と同一であるため、説明を省略する。ステップS604が終了したら、ステップS605が開始される。ステップS605において、画素抽出部600は、候補領域Fcがまだ残っているか否かを判定する。候補領域Fcがまだ残っている場合、画素抽出部600は、ステップS605を肯定判定してステップS602に戻る。候補領域Fcが残っていない場合、画素抽出部600は、ステップS605を否定判定してステップS606が開始される。ステップS606は、ステップS511と同一であるため説明を省略する。ステップS606が終了したら、処理が終了される。
【0210】
本変形例の画像生成方法では、第1始点配置領域81または第2始点配置領域82、または連結領域81a~d,82a~dに含まれる各始点画素Pxiに対応する神経突起Nrの長さに基づいて、選択画素設定処理を行う順番が設定される。これにより、予め得られた神経突起Nrの長さに基づいて、所望の順番で効率的に画素の抽出を行うことができる。
【0211】
(変形例6)
上述の実施形態の情報処理装置40の情報処理機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した選択画素Pxdの設定および抽出画素Pxeの抽出や連結画素領域Dcの設定等のデータ処理部51、51a、51b、51c、51dおよび51eによる処理等に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【0212】
また、パーソナルコンピュータ(以下、PCと呼ぶ)等に適用する場合、上述した制御に関するプログラムは、CD-ROMなどの記録媒体やインターネット等のデータ信号を通じて提供することができる。
図34はその様子を示す図である。PC950は、CD-ROM953を介してプログラムの提供を受ける。また、PC950は通信回線951との接続機能を有する。コンピュータ952は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線951は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ952はハードディスクを使用してプログラムを読み出し、通信回線951を介してプログラムをPC950に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線951を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【0213】
上述した情報処理機能を実現するためのプログラムとして、確率分布画像Gpを構成する複数の画素から始点画素Pxiを設定する始点画素設定処理(
図11のフローチャートのステップS1009に対応)と、前記複数の画素のうち始点画素Pxiを除く複数の画素から複数の候補画素Pxcを指定し、複数の候補画素Pxcから選択画素Pxdを設定する画素抽出処理(S1011に対応)と、を処理装置に行わせるためのプログラムであって、複数の候補画素Pxcは、始点画素Pxiから少なくとも2画素離れているプログラムが含まれる。これにより、精度の悪化を抑制しつつ、迅速に抽出対象に対応する画素を抽出する処理を実現することができる。
【0214】
本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0215】
1,2,3…画像生成装置、10…培養器、20…撮像部、40…情報処理部、43…記憶部、44…出力部、50,50a…制御部、51,51a,51b,51c,51d,51e…データ処理部、80…始点配置領域、81…第1始点配置領域、82…第2始点配置領域、83…第3始点配置領域、84…第4始点配置領域、81a,81b,81c,81d,82a,82b,82c,82d,83a,83b,83c,83d,83e,84a,84b,84c,84d…連結領域、90…候補画素配置領域、100…培養部、511…確率分布画像生成部、512,512a…領域設定部、513…終点画素設定部、514…始点画素設定部、515…信頼度算出部、516…判定部、517…候補・確定領域設定部、518…追尾部、519…交叉判定部、520…幅算出部、600…画素抽出部、601…候補画素指定部、602…選択画素設定部、700…画像生成部、Ce…細胞、D1…探索領域、Dc,Dc12,Dc21,Dc22,Dc3,Dc31,Dc32,Dc1a,Dc1b,Dc1c,Dc1d,Dc2a,Dc2b,Dc2c,Dc2d…連結画素領域、Ds…算出画素領域、F,F1,F2,F3,F4…画素領域断片、Fc,Fc1,Fc2,Fc3,Fc4,Fc5,Fc6,Fc7,Fc8,Fc21,Fc22,Fc23,Fc24,Fc31,Fc32,Fc33,Fc34,Fc35,Fc36…候補領域、Fd,Fd1,Fd2…確定領域、Gc…候補領域画像、Gd…確定領域画像、Gp…確率分布画像、Gs…連結領域画像、J1,J2…交叉、M…最小連結領域間隔、Nr,Nr1,Nr2,Nr3,Nr4…神経突起、Pxc,Pxc1…候補画素、Pxd,Pxd0,Pxd1,Pxd2…選択画素、Pxe,Pxe1…抽出画素、Pxi,Pxi1,Pxi2,Pxi1a,Pxi1b,Pxi1c,Pxi1d,Pxi2a,Pxi2b,Pxi2c,Pxi2d…始点画素、Pxs,Pxs1,Pxs2…算出画素、Pxt…終点画素、So,So1,So2,So1a,So1b,So1c,So1d,So2a,So2b,So2c,So2d…細胞体、T…入力点、W,Wd…神経突起の幅。