特許 7400823 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231212BHJP

   G06T 1/00 20060101ALI20231212BHJP

【ＦＩ】

G06T5/00 710

G06T1/00 290Z

【請求項の数】 14

(21)【出願番号】P 2021546576

(86)(22)【出願日】2020-08-28

(86)【国際出願番号】 JP2020032732

(87)【国際公開番号】W WO2021054089

(87)【国際公開日】2021-03-25

【審査請求日】2022-03-11

(31)【優先権主張番号】P 2019168631

(32)【優先日】2019-09-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】岩佐 昭生

【審査官】橘 高志

(56)【参考文献】

【文献】特開２００９－２２６１４１（ＪＰ，Ａ）

【文献】特開２０１９－０７４４９６（ＪＰ，Ａ）

【文献】特開２００１－２８３２１５（ＪＰ，Ａ）

【文献】特開２０１６－２１２０９２（ＪＰ，Ａ）

【文献】特開２０１７－００６２９６（ＪＰ，Ａ）

【文献】Changming Sun et al.，Fast Linear Feature Detection Using Multiple Directional Non-Maximum Suppression，The 18th International Conference on Pattern Recognition，米国，IEEE，2006年，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮像して得た第１画像を画像処理して得られる第２画像において、前記第１画像の第１画素に対応する位置にある、前記第２画像の第２画素の画素値を設定する第１画像処理部と、
前記第１画像を画像処理して得られる第３画像において、前記第１画素に対応する位置にある、前記第３画像の第３画素の画素値を設定する第２画像処理部と、
前記第１画像処理部で処理された前記第２画素の画素値と前記第２画像処理部で処理された前記第３画素の画素値とに基づき強調画像を生成する第３画像処理部とを備え、
前記第１画像処理部は、
前記第１画素に対応して設定され、一方向に沿って配置される画素を含む第１画素群を設定する第１画素群設定部と、
前記複数の第１画素群のそれぞれに含まれる画素の画素値の大きさに基づいて、前記複数の第１画素群のそれぞれの第１候補画素値を算出する第１算出部と、
前記複数の第１候補画素値に基づいて、前記第２画像の第２画素の画素値を設定する第１画素値設定部とを備え、
前記第２画像処理部は、
前記第１画素に対応して設定され、少なくとも２つの方向に沿って配置される画素を含む第２画素群を設定する第２画素群設定部と、
複数の前記第２画素群のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の前記第２画素群のそれぞれの第２候補画素値を算出する第２算出部と、
複数の前記第２候補画素値に基づいて、前記第３画像の第３画素の画素値を設定する第２画素値設定部とを備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第１画素群設定部は、前記第１画像と前記第１画素群との相対位置が互いに異なる複数の角度をなす関係であって、前記第１画像のそれぞれにおいて複数の方向に沿って配置される複数の前記第１画素群を設定し、
前記第２画素群設定部は、前記第１画像と前記第２画素群との相対位置が互いに異なる複数の角度をなす関係であって、前記第１画像のそれぞれにおいて前記少なくとも２つの方向に沿って配置される複数の前記第２画素群を設定し、
前記第１算出部は、複数の前記第１画素群のそれぞれに含まれる画素の画素値の和または平均に基づいて、複数の前記第１候補画素値を算出し、
前記第２算出部は、複数の前記第２画素群のそれぞれに含まれる画素の画素値の和または平均に基づいて、複数の前記第２候補画素値を算出する、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記第１算出部は、前記第１画素群について、1次元フィルタを用いて前記第１候補画素値を算出し、
前記第２算出部は、前記第１画素群について、２次元フィルタを用いて前記第２候補画素値を算出する、画像処理装置。

【請求項4】

請求項２または請求項３に記載の画像処理装置において、
前記第１画像処理部は、前記第１候補画素値に基づき前記第２画像における線状の部分が強調された第１強調画像を生成し、
前記第２画像処理部は、前記第２候補画素値に基づき前記第３画像における画素値が特定方向に偏らない２次元平滑化画像を生成し、
前記第３画像処理部は、前記第１強調画像の画素値と前記２次元平滑化画像の画素値に基づいて、前記第１強調画像の線状の部分が強調された第２強調画像を生成する、
画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記第１画素値設定部は、複数の前記第１候補画素値のうち最も大きな値の０．８倍～１．２倍の値、または最も小さな値の０．８倍～１．２倍の値を、前記第２画素の画素値に設定する画像処理装置。

【請求項6】

請求項１に記載の画像処理装置において、
第１画素群設定部は、前記第１画素に対応して設定される複数の前記第１画素群であって、前記第１画像における所定の方向に対して互いに異なる複数の角度をなす複数の方向に沿って配置されるか、または、前記第１画像を所定の方向に対して互いに異なる複数の角度で移動させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の前記第１画素群を設定し、
前記第２画素群設定部は、前記第１画像における所定の方向に対して異なる複数の角度で前記少なくとも２つの方向を回転させて得られた少なくとも２つの方向に沿って配置されるか、または、異なる複数の角度で回転させた前記第１画像のそれぞれにおいて前記少なくとも２つの方向に沿って配置される複数の前記第２画素群を設定する、
画像処理装置。

【請求項7】

請求項６に記載の画像処理装置において、
前記第３画像処理部は、前記第３画像に基づいて、前記第２画像における線状でない部分の少なくとも一部を除去する第１除去部を備える画像処理装置。

【請求項8】

請求項１に記載の画像処理装置において、
前記第１画素に対応して設定される複数の第３画素群であって、前記第１画像の所定の方向に対して複数の角度をなす複数の方向に沿って配置されるか、または、前記第１画像を複数の角度で回転させて得られた複数の画像のそれぞれにおいて所定の方向に並ぶ複数の前記第３画素群を設定する第３画素群設定部と、
複数の前記第３画素群のそれぞれに含まれる画素の画素値の和または平均に基づいて、前記第１画素が前記第１画像における線状の部分に対応しているか否かについての対応情報を生成する情報生成部と、
前記情報生成部が生成した前記対応情報に基づいて、前記第１画素群設定部の前記第１画素群を設定する処理を制御する処理制御部を備える画像処理装置。

【請求項9】

請求項８に記載の画像処理装置において、
前記第１画素群設定部が前記複数の第１画素群を設定する際の前記複数の角度の個数は、前記第１画素の位置により異なり、
前記処理制御部は、前記対応情報に基づいて、前記第１画像の各位置における前記個数を設定する画像処理装置。

【請求項10】

請求項９に記載の画像処理装置において、
前記処理制御部は、前記対応情報に基づいて、前記第１画像の各位置において、前記第１画素群設定部が前記第１画素群を設定する処理を行うか否かを決定する画像処理装置。

【請求項11】

請求項８に記載の画像処理装置において、
前記情報生成部が生成した前記対応情報に基づいて、前記第２画像における線状でない部分の少なくとも一部を除去する第２除去部を備える画像処理装置。

【請求項12】

請求項４に記載の画像処理装置において、
前記第３画像処理部は、前記第２強調画像に対し、前記第２強調画像の各部分に含まれる画素の画素値に基づいて、異なる複数の閾値により画素値の二値化を行う二値化部を備える画像処理装置。

【請求項13】

請求項１から１２までのいずれか一項に記載の画像処理装置において、
前記第１画像処理部が画像処理の対象とする前記第１画素の位置または範囲を入力するための入力部を備える画像処理装置。

【請求項14】

請求項１から１３までのいずれか一項に記載の画像処理装置において、
前記第１画像は、神経突起または血管の画像である画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

例えば、形態的特徴である分枝等のような線状の部分を含む対象物を撮像して得られた画像に対して画像処理を行う方法が提案されている（例、特許文献１参照）。このような画像処理においてノイズを低減する処理を行う際には、線状の部分についての情報を残しつつ当該処理を行う必要がある。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２００９／０１５４７９２号明細書

【発明の概要】

【0004】

本発明の第１の態様によると、画像処理装置は、第１画像を画像処理して得られる第２画像において、前記第１画像の第１画素に対応する位置にある、前記第２画像の第２画素の画素値を設定する第１画像処理部を備え、前記第１画像処理部は、前記第１画素に対応して設定される複数の第１画素群であって、前記第１画像における所定の方向に対して互いに異なる複数の角度をなす複数の方向に沿って配置されるか、または、前記第１画像を所定の方向に対して互いに異なる複数の角度で移動させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群を設定する第１画素群設定部と、前記複数の第１画素群のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出する第１算出部と、前記複数の第１候補画素値に基づいて、前記第２画像の第２画素の画素値を設定する第１画素値設定部とを備える。
本発明の第２の態様によると、画像処理方法は、第１画像を画像処理して得られる第２画像において、前記第１画像の第１画素に対応する位置にある、前記第２画像の第２画素の画素値を設定することを含み、前記第２画素の画素値の設定は、前記第１画素に対応して設定される複数の第１画素群であって、前記第１画像における所定の方向に対して互いに異なる複数の角度をなす複数の方向に沿って配置されるか、または、前記第１画像を異なる複数の角度で移動させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群を設定することと、前記複数の第１画素群のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出することと、前記複数の第１候補画素値に基づいて、前記第２画像の第２画素の画素値を設定することとを備える。
本発明の第３の態様によると、プログラムは、第１画像を画像処理して得られる第２画像において、前記第１画像の第１画素に対応する位置にある、前記第２画像の第２画素の画素値を設定する第１画像処理を処理装置に行わせるためのプログラムであって、前記第１画像処理は、前記第１画素に対応して設定される複数の第１画素群であって、前記第１画像における所定の方向に対して互いに異なる複数の角度をなす複数の方向に沿って配置されるか、または、前記第１画像を異なる複数の角度で移動させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群を設定する第１画素群設定処理と、前記複数の第１画素群のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出する第１算出処理と、前記複数の第１候補画素値に基づいて、前記第２画像の第２画素の画素値を設定する第１画素設定処理とを備える。

【図面の簡単な説明】

【0005】

【図1】図１は、第１実施形態の画像処理装置の構成を示す概念図である。

【図2】図２は、第１実施形態に係るデータ処理部の構成を示す概念図である。

【図3】図３は、第１実施形態に係る撮像画像を示す概念図である。

【図4】図４は、第１実施形態に係る第１画像処理を説明するための概念図である。

【図5】図５は、第１実施形態に係る第２画像処理を説明するための概念図である。

【図6】図６は、第１実施形態に係る画像処理方法の流れを示すフローチャートである。

【図7】図７は、第１実施形態に係る第１画像処理の流れを示すフローチャートである。

【図8】図８は、第１実施形態に係る第２画像処理の流れを示すフローチャートである。

【図9】図９は、変形例２に係るデータ処理部の構成を示す概念図である。

【図10】図１０は、変形例２に係る第１画像処理を説明するための概念図である。

【図11】図１１は、１次元フィルタの角度が０°、３０°、６０°、９０°、１２０°および１５０°の各場合における、撮像画像の線状の部分および１次元フィルタの位置を示す概念図である。

【図12】図１２は、１次元フィルタの角度と、フィルタに対応する複数の画素の画素値の平均値とを示すグラフである。

【図13】図１３は、１次元フィルタの角度と、フィルタに対応する複数の画素の画素値の平均値とを示すグラフである。

【図14】図１４は、変形例２に係る画像処理方法の流れを示すフローチャートである。

【図15】図１５は、第１画素が選択される範囲の設定を説明するための概念図である。

【図16】図１６は、強調画像を表示するための表示画面の一例を示す概念図である。

【図17】図１７は、パラメータを設定するための表示画面の一例を示す概念図である。

【図18】図１８は、変形例７に係る画像処理方法の流れを示すフローチャートである。

【図19】図１９は、変形例７に係る表示画面の一例を示す概念図である。

【図20】図２０は、変形例７に係る表示画面の一例を示す概念図である。

【図21】図２１は、変形例７に係る表示画面の一例を示す概念図である。

【図22】図２２は、変形例８に係る表示画面の一例を示す概念図である。

【図23】図２３は、プログラムの提供を説明するための概念図である。

【発明を実施するための形態】

【0006】

以下、図を参照して本発明を実施するための形態について説明する。

【0007】

－第１実施形態－
図１は、本実施形態の画像処理装置の構成を示す概念図である。画像処理装置１は、培養部１００と、情報処理部４０とを備える。培養部１００は、培養室（培養チャンバー）１０と、観察用試料台（ステージ）１１と、駆動部１２と、撮像部２０とを備える。情報処理部４０は、入力部４１と、通信部４２と、記憶部４３と、出力部４４と、制御部５０とを備える。制御部５０は、データ処理部５１と、出力制御部５２と、装置制御部５３とを備える。

【0008】

画像処理装置１は、培養装置として構成され、培養部１００でのサンプル（例、細胞）の撮像により得られた画像データである撮像画像データがデータ処理部５１に入力され処理される構成となっている。

【0009】

本実施形態では、撮像画像データに対応する撮像画像から、直線、曲線、折れ線または交叉等を含む線状の部分を強調する画像処理を行う。ここで、「強調する」とは、線状の部分と他の部分（例、背景部分、線状以外の部分）を画素値により区別しやすくすることを指し、線状の部分の輝度が高まる場合に限定されない。以下では、細胞Ｃｅが神経細胞であり、線状の部分として神経突起Ｎｒに対応する部分を強調する例を用いて説明するが、上記のような線状の部分を含めば、強調する対象はこの例に限定されず、画像を構成する任意の要素（例、他の細胞、細胞以外）とすることができる。
なお、描画された画像等、撮像された画像以外の画像に対して上記画像処理を行ってもよい。

【0010】

培養部１００は、細胞Ｃｅを培養する培養室１０を備え、培養室１０において培養された細胞Ｃｅの撮像を撮像部２０によって行う。

【0011】

培養室１０は、細胞Ｃｅが培養されている培養容器Ｃを内部に格納する。培養容器Ｃは、例えば、ウェルプレート又はディッシュである。培養室１０の内部には、制御部５０に制御される不図示の温度調節器（例、ヒーター）及び温度センサが配置されている。培養室１０の内部は、該温度調節器と該温度センサとにより予め設定された温度に維持される等、予め設定された環境で細胞Ｃｅの培養が行われるように制御される。駆動部１２は、アクチュエーターを備え、予め定められた時間に培養容器Ｃを移動させ、培養室１０の内部にある観察用試料台１１に載置する。さらに、駆動部１２は、細胞Ｃｅの撮像のため、撮像部２０の焦点面に細胞Ｃｅが配置されるように、撮像部２０または観察用試料台１１等を光軸方向の適切な位置（例、観察位置）に移動させる。

【0012】

撮像部２０は、ＣＭＯＳまたはＣＣＤ等の撮像素子を含む撮像装置を備え、細胞Ｃｅ、特に細胞Ｃｅの神経突起Ｎｒを撮像する。撮像部２０による撮像の方法は、細胞Ｃｅを含む撮像画像において、神経突起Ｎｒに対応する画素が、当該画素または当該画素の周辺の複数の画素の輝度値により他の部分と所望の精度で区別することができれば特に限定されない。例えば、撮像部２０による撮像の方法は、蛍光観察法または位相差観察法等を用いることができる。蛍光観察法の場合、撮像部２０はサンプルの蛍光画像を取得し、その蛍光画像が後述の画像解析に用いられるし、位相差観察法の場合は、撮像部２０はサンプルの位相差画像を取得し、その位相差画像が後述の画像解析に用いられる。

【0013】

撮像部２０が蛍光観察法により撮像を行う場合、遺伝子導入により、細胞Ｃｅに緑色蛍光タンパク質（ＧＦＰ）等の蛍光タンパク質を発現させたり、神経突起Ｎｒに局在するタンパク質と蛍光タンパク質とを融合させたタンパク質を発現させたりすることで蛍光染色を行うことができる。撮像後の細胞Ｃｅの利用（例、培養、継代、ピックアップ）に問題が無ければ、免疫染色等の他の標識法を行ってもよい。

【0014】

撮像部２０が細胞Ｃｅを撮像して得られた画素信号は、デジタル信号に変換され、画素と輝度値とが対応付けられた撮像画像データとして情報処理部４０に入力され（図１の矢印Ａ１）、記憶部４３に記憶される。

【0015】

情報処理部４０は、画像処理装置１のユーザ（以下、単に「ユーザ」と呼ぶ）とのインターフェースとなる他、様々なデータに関する通信、記憶、演算等の処理を行う。
なお、情報処理部４０は、培養部１００と物理的に離れた情報処理装置として構成してもよい。また、画像処理装置１が用いるデータの少なくとも一部はネットワークでつながる遠隔のサーバ等に保存してもよい。

【0016】

入力部４１は、マウス、キーボード、各種ボタンまたはタッチパネル等の入力装置を備える。入力部４１は、培養部１００による撮像やデータ処理部５１によるデータ処理に必要なデータ等を、ユーザから受け付ける。

【0017】

通信部４２は、インターネット等の無線や有線による接続により通信可能な通信装置を備え、画像処理装置１における制御や処理に関するデータを適宜送受信する。

【0018】

記憶部４３は、不揮発性の記憶媒体を備え、制御部５０に処理を行わせるプログラムおよび、データ処理部５１の処理に関する画像データ等を記憶する。

【0019】

出力部４４は、液晶モニタ等の表示装置を備え、データ処理部５１の処理により得られた情報を示す画像等を出力する。

【0020】

制御部５０は、ＣＰＵ等の処理装置により構成され、画像処理装置１を制御する動作の主体として機能し、記憶部４３に搭載されているプログラムを実行することにより各種処理を行う。

【0021】

制御部５０のデータ処理部５１は、撮像部２０から入力された撮像画像データを取得して処理し、撮像画像における線状の部分が強調された画像を生成する。以下では、この画像を強調画像と呼ぶ。

【0022】

図２は、データ処理部５１の構成を示す概念図である。データ処理部５１は、第１画像処理部６１と、第２画像処理部６２と、第１除去部６４と、二値化部６５とを備える。第１画像処理部６１は、第１画素群設定部６１１と、第１算出部６１２と、第１画素値設定部６１３とを備える。第２画像処理部６２は、第２画素群設定部６２１と、第２算出部と６２２と、第２画素値設定部６２３とを備える。第１画素群設定部６１１と、第２画素群設定部６２１は、設定部を構成する。

【0023】

データ処理部５１の第１画像処理部６１は、撮像画像に対応する撮像画像データに対して画像処理を行い、第１強調画像に対応する第１強調画像データを生成する。以下では、第１画像処理部６１によるこの画像処理を、第１画像処理と呼ぶ。ここで、第１強調画像とは、第１画像処理により撮像画像における線状の部分（例、神経突起Ｎｒ）が強調された強調画像である。第１画像処理部６１は、撮像画像における各画素に対応する、第１強調画像の画素値を設定する。以下では、撮像画像において第１画像処理部６１による処理の対象となる画素を第１画素と呼び、第１画素に対応する第１強調画像における画素を第２画素と呼ぶ。ここで、第１画素と第２画素が「対応する」とは、これらの画素が撮像画像における被写体の同じ位置からの光による輝度を示すことを指すが、当該位置は所望の解析の精度が得られれば一定のずれが許容される。

【0024】

図３は、撮像画像の一例を示す概念図である。撮像画像Ｇ１は、複数の画素Ｐｘからなる。図３の例では、ハッチングが濃い部分程、輝度が高い画素であることを示している。図３の撮像画像Ｇ１では、輝度が高い部分として、細胞体Ｓｏおよび神経突起Ｎｒが示されている。一方、撮像画像Ｇ１には、撮像におけるノイズ等に起因する輝度を有する画素であるノイズ画素Ｐｘｎも散在している。この理由の一つは、撮像の際に、神経突起Ｎｒ等の線状の部分に対応する画素信号が弱いために十分な精度で撮像できないためである。特に、細胞等の撮像に良く用いられる蛍光顕微鏡でもこの傾向が見られる。
なお、撮像画像データにおける画像の表現方法は特に限定されず、例えば画素値が大きい程明度または彩度が高い部分としてもよいし、画素値が小さい程明度または彩度が高い部分としてもよい。

【0025】

神経細胞の培養では、神経突起Ｎｒの長さ（又は幅）および分枝の数等の数値を測定することにより、神経細胞を評価することが行われている。正確な神経細胞の評価のためには、撮像画像から神経突起を適切に抽出することが必要である。図３のようなノイズ画素Ｐｘｎを有する撮像画像Ｇ１では、線状の部分を精度よく抽出することが難しい場合がある。本実施形態の画像処理装置１は、撮像画像における線状の部分を強調する画像を生成することにより、神経突起Ｎｒを適切に抽出することを容易にする。
なお、神経突起の評価以外にも、画像における線状の部分の利用、抽出または解析等を行う様々な用途において、本実施形態の画像処理装置１を利用することができる。また、細胞体Ｓｏについては、予め撮像画像から細胞体Ｓｏに対応する部分を検出し、当該部分をマスクして以下の第１画像処理等を行うことができる。細胞体Ｓｏの検出は、オープニング処理およびクロージング処理等により撮像画像のディテールを消去すること等により適宜行うことができる。

【0026】

第１画像処理部６１の第１画素群設定部６１１は、撮像画像Ｇ１の第１画素に対応する複数の第１画素群を設定する。

【0027】

図４は、第１画像処理の説明をするための概念図である。第１画素群設定部６１１は、撮像画像Ｇ１に含まれる画素Ｐｘから第１画素Ｐｘ１を選択する。第１画素群設定部６１１は、第１画像処理部６１により予め設定された、撮像画像Ｇ１において第１画素Ｐｘ１が選択される領域（以下、対象領域と呼ぶ）に含まれる画素から第１画素Ｐｘ１を選択して設定する。

【0028】

対象領域は、撮像画像全体としてもよいが、例えば、撮像画像Ｇ１の辺縁部にある画素を第１画素Ｐｘ１としたときに、後述の１次元フィルタに対応する画素が無い場合がある。従って、この場合、適宜撮像画像Ｇ１の周囲に仮想の画素を補充し、所望の精度で後述する画像処理が行われるようにしておくことが好ましい。対象領域は、後述する１次元フィルタに対応する画素が無い場合が生じないように、撮像画像Ｇ１から、１次元フィルタの長さの２分の１程度辺縁部を除いた部分に設定することができる。

【0029】

第１画素群設定部６１１は、第１画素Ｐｘ１を含み、基準方向に対して所定の角度をなす複数の方向に沿って配置されている画素群を第１画素群Ｐｇ１として設定する。この所定の角度を、以下では第１角度θ１と呼ぶ。基準方向は、図４では、撮像画像Ｇ１の左右方向としている（矢印Ａ１０参照）が、特に限定されず、いずれの方向でもよい。図４では、第１角度θ１が０°の場合の第１画素群Ｐｇ１に含まれる複数の画素Ｐｘ１１、Ｐｘ１２、Ｐｘ１、Ｐｘ１３およびＰｘ１４を示した。第１画素群Ｐｇ１は、このように一方向に並び互いに隣接する複数の画素を含むことが好ましい。第１画素群設定部６１１は、第１角度θ１が４５°および９０°の場合、撮像画像Ｇ１においてそれぞれ斜め方向および縦方向に並び互いに隣接する複数の画素を第１画素群Ｐｇ１と設定することができる。

【0030】

図４では、第１角度θ１が０°、３０°および６０°の場合の第１画素群Ｐｇ１に対応する撮像画像Ｇ１の部分領域を、それぞれ１次元フィルタＦ１、Ｆ１１およびＦ１２で模式的に示した。１次元フィルタＦ１１およびＦ１２に対応する第１画素群Ｐｇ１を設定する場合、これらの１次元フィルタと重なる画素や、これらの１次元フィルタに対応する直線が通る画素を第１画素群Ｐｇ１に含めることができる。しかし、このようにして設定された画素は一直線上に並ばないため、精度が少し落ちてしまう。

【0031】

従って、実際の計算では、第１画素群設定部６１１は、撮像画像Ｇ１を基準方向に対して第１角度θ１をなす方向に回転させて得た画像において、第１画素に対応する画素を中心に所定の方向に沿って配置される複数の画素を、第１画素群Ｐｇ１として設定することが好ましい。この所定の方向は特に限定されず、基準方向等、任意の方向とすることができる。図４の例では、第１画素群設定部６１１は、１次元フィルタＦ１を固定しながら撮像画像Ｇ１をθ１だけ時計回りに回転させ、得られた画像における１次元フィルタＦ１の範囲にある縦１×横５ピクセルの画素を第１画素群Ｐｇ１として設定する。これにより、回転前の撮像画像Ｇ１において１次元フィルタＦ１１に対応する第１画素群Ｐｇ１を、１次元フィルタを回転させて第１画素群Ｐｇ１を設定する場合よりも精密に設定することができる。

【0032】

第１画素群設定部６１１は、複数の第１角度θ１について、それぞれ第１画素群Ｐｇ１を設定する。複数の第１角度θ１は、例えば１°～４５°等の範囲から選択される所定の角度ごとに複数設定される。例えば、第１画素群設定部６１１は、複数の第１角度θ１を、１°ごとに０°から１７９°まで設定し、各第１角度θ１について第１画素群Ｐｇ１を設定することができる。

【0033】

第１画素群Ｐｇ１を構成する画素の数は、２以上であれば特に限定されない。当該画素の数は、撮像画像Ｇ１における線状の部分の曲率または曲率半径等に基づいて設定することができる。
なお、第１画素群Ｐｇ１は、２画素×５画素の画素ブロック等、複数の列からなる画素群としてもよい。この場合、一方向に並ぶ画素数が、他の方向に並ぶ画素数の２倍を超えることが好ましい。

【0034】

第１画像処理部６１の第１算出部６１２は、第１画素群Ｐｇ１に含まれる画素の画素値に基づいて、第１候補画素値を算出する。第１候補画素値は、第１強調画像において、第１画素Ｐｘ１に対応する第２画素に設定される画素値の候補となる値である。言い換えれば、第２画素に設定される画素値は、複数の第１候補画素値から選択される。

【0035】

第１算出部６１２は、第１画素群Ｐｇ１に含まれる画素の画素値の平均値を算出し、第１候補画素値とする。例えば、第１算出部６１２は、１次元フィルタＦ１に対応する画素Ｐｘ１１、Ｐｘ１２、Ｐｘ１、Ｐｘ１３およびＰｘ１４の画素の算術平均を算出し、１次元フィルタＦ１に対応する第１画素群Ｐｇ１の第１候補画素値とする。第１算出部６１２は、第１画素群設定部６１１が設定した各第１画素群Ｐｇ１について、第１候補画素値を算出する。第１算出部６１２は、複数の第１角度θ１のそれぞれに対応する第１画素群Ｐｇ１について、第１候補画素値を算出する。
なお、第１算出部６１２は、幾何平均等の、算術平均以外の平均により、第１画素群Ｐｇ１に含まれる画素の画素値の平均値を第１候補画素値として算出してもよい。あるいは、第１算出部６１２は、第１画素群Ｐｇ１に含まれる画素の画素値の和や、当該和を画素値として設定可能な数値範囲に合わせて適宜規格化等の調整を行った値を第１候補画素値として設定することができる。上記和または平均のように、第１画素群Ｐｇ１に含まれる画素の画素値の全体的な大きさに基づいて第１候補画素値を設定することができれば、第１算出部６１２により設定される第１候補画素値の算出方法は特に限定されない。

【0036】

第１画像処理部６１の第１画素値設定部６１３は、第１画素Ｐｘ１について算出された複数の第１候補画素値から、第１画素Ｐｘ１に対応する、第１強調画像における第２画素の画素値を設定する。

【0037】

第１画素値設定部６１３は、第１画素Ｐｘ１についての複数の第１候補画素値のうち、最も大きい値を対応する第２画素の画素値に設定することができる。このことは、第１画像処理において、複数の方向の１次元フィルタＦ，Ｆ１１，Ｆ１２のうち、画素値の最も高い画素が並んでいる方向に対応する１次元フィルタによる画素値を第１強調画像に反映させることになる。その結果、画素値が高い程画素が神経突起Ｎｒ等の線状の部分に対応する可能性が高い場合、平滑化を行うとともに当該線状の部分を強調することができる。第１画素値設定部６１３は、第１画素Ｐｘ１についての複数の第１候補画素値のうち、最も小さい値を対応する第２画素の画素値に設定することができる。これにより、画素値が低い程画素が線状の部分に対応する可能性が高い場合、平滑化を行うとともに線状の部分を強調することができる。
なお、第２画素の画素値は、上記最も大きい値または最も小さい値の０．８倍～１．２倍、好ましくは０．９倍～１．１倍の範囲の値を設定してもよい。このような場合でも、ある程度の精度で線状の部分の強調を行うことができる。

【0038】

第１画像処理部６１は、ある第１画素Ｐｘ１について上述の第１画素群設定部６１１、第１算出部６１２および第１画素値設定部６１３による第１画像処理を終えたら、撮像画像Ｇ１の対象領域における上記第１画素Ｐｘ１とは異なる画素を第１画素Ｐｘ１として、第１画像処理を行う。第１画像処理部６１は、対象領域に含まれる各画素に対し、第１画像処理を行う。
なお、第１画素群設定部６１１および第１算出部６１２は、第１角度θ１を固定して、対象領域の各第１画素Ｐｘ１について、当該第１角度θ１に対応する方向の１次元フィルタによる第１候補画素値を算出してもよい。この後、第１画素群設定部６１１および第１算出部６１２は、第１角度θ１を変えて再び固定し、同様に各第１画素Ｐｘ１の第１候補画素値を算出する。この処理を繰り返し、第１候補画素値を各第１角度θ１および各第１画素Ｐｘ１について算出した後、第１画素値設定部６１３が各第１画素Ｐｘ１に対応する第２画素の画素値を算出することができる。このように、設定領域の各画素Ｐｘについて対応する第２画素の画素値が算出できれば、計算の順序等は特に限定されない。

【0039】

データ処理部５１の第２画像処理部６２は、撮像画像Ｇ１に対応する撮像画像データに対して画像処理を行い、２次元平滑化画像に対応する２次元平滑化画像データを生成する。以下では、第２画像処理部６２によるこの画像処理を、第２画像処理と呼ぶ。ここで、２次元平滑化画像とは、少なくとも２方向に沿って配置される画素に対応する２次元フィルタにより撮像画像Ｇ１に平滑化処理を行って得られる画像である。２次元フィルタでは、一方向に並ぶ画素数が、他の方向に並ぶ画素数の２倍以下であることが好ましい。第２画像処理部６２は、撮像画像Ｇ１における各画素に対応する、２次元平滑化画像の画素値を設定する。以下では、撮像画像Ｇ１における第１画素Ｐｘ１に対応する２次元平滑化画像における画素を第３画素と呼ぶ。

【0040】

第２画像処理部６２の第２画素群設定部６２１は、撮像画像Ｇ１の第１画素Ｐｘ１に対応する複数の第２画素群を設定する。

【0041】

図５は、第２画像処理の説明をするための概念図である。第２画素群設定部６２１は、撮像画像Ｇ１に含まれる画素Ｐｘから第１画素Ｐｘ１を選択する。第２画素群設定部６２１は、対象領域に含まれる画素から第１画素Ｐｘ１を選択して設定する。

【0042】

第２画素群設定部６２１は、第１画素Ｐｘ１を含み、２次元フィルタＦ２を基準方向に対して所定の角度の回転を含む移動をさせて得られた２次元フィルタに対応する画素群を第２画素群Ｐｇ２として設定する。言い換えれば、第２画素群Ｐｇ２は、少なくとも２つの方向に沿って配置された画素群を、当該少なくとも２つの方向を所定の角度回転させた少なくとも２つの方向に沿って配置された画素群である。第２画素群設定部６２１は、複数の上記所定の角度について、それぞれ複数の第２画素群Ｐｇ２を設定する。この所定の角度を、以下では第２角度θ２と呼ぶ。基準方向は、図５では、撮像画像Ｇ１の左右方向としている（矢印Ａ２０参照）が、特に限定されない。基準方向は、いずれの方向でもよく、上述の第１画像処理における基準方向と異なっていてもよい。

【0043】

図５では、２次元フィルタＦ２（第２角度θ２＝０°）と、２次元フィルタＦ２を約２０°回転させて得られた２次元フィルタＦ２１（第２角度θ２＝約２０°）が示されている。図５では、２次元フィルタＦ２は、縦５画素×横５画素の正方形の画素ブロックに対応し、２次元フィルタＦ２に対応する第２画素群Ｐｇ２は第１画素Ｐｘ１を中心とするこの５×５の画素を含む。第２画素群Ｐｇ２に対応する２次元フィルタＦ２の形状は特に限定されない。第２画素群Ｐｇ２は、互いに隣接する複数の画素を含むことが好ましい。

【0044】

図５では、第２角度θ２が０°および約２０°の場合の第２画素群Ｐｇ２に対応する撮像画像Ｇ１の部分領域を、それぞれ２次元フィルタＦ２およびＦ２１で模式的に示した。２次元フィルタＦ２１に対応する第２画素群Ｐｇ２を設定する場合、２次元フィルタＦ２１と重なる画素等を第２画素群Ｐｇ２に含めることができる。しかし、このようにして設定された画素は、第２画素群Ｐｇ２に対応する画素ブロックの形状がばらつくため、精度が少し落ちてしまう。

【0045】

従って、実際の計算では、第２画素群設定部６２１は、撮像画像Ｇ１を基準方向に対して第２角度θ２をなす方向に回転させて得た画像において、第１画素に対応する画素を中心に少なくとも２方向に沿って配置される複数の画素を、第２画素群Ｐｇ２として設定することが好ましい。図５の例では、第２画素群設定部６２１は、２次元フィルタＦ２を固定しながら撮像画像Ｇ１をθ２だけ時計回りに回転させ、得られた画像における２次元フィルタＦ２の範囲にある縦５×横５ピクセルの画素を第２画素群Ｐｇ２として設定する。これにより、回転前の撮像画像Ｇ１において２次元フィルタＦ２１に対応する第２画素群Ｐｇ２を、２次元フィルタＦ２を回転させて第２画素群Ｐｇ２を設定する場合よりも精密に設定することができる。

【0046】

第２画素群設定部６２１は、複数の第２角度θ２について、それぞれ第２画素群Ｐｇ２を設定する。複数の第２角度θ２は、例えば１°～４５°等の範囲から選択される所定の角度ごとに複数設定される。例えば、第２画素群設定部６２１は、複数の第２角度θ２を、１°ごとに０°から１７９°まで設定し、各第２角度θ２について第２画素群Ｐｇ２を設定することができる。

【0047】

第２画像処理部６２の第２算出部６２２は、第２画素群Ｐｇ２に含まれる画素の画素値に基づいて、第２候補画素値を算出する。第２候補画素値は、第２強調画像において、第１画素Ｐｘ１に対応する第３画素に設定される画素値の候補となる値である。言い換えれば、第３画素に設定される画素値は、複数の第２候補画素値から選択される。

【0048】

第２算出部６２２は、第２画素群Ｐｇ２に含まれる画素の画素値の平均値を算出し、第２候補画素値とする。例えば、第２算出部６１２は、２次元フィルタＦ２に対応する５×５の画素の画素値の算術平均を算出し、２次元フィルタＦ２に対応する第２画素群Ｐｇ２の第２候補画素値とする。第２算出部６２２は、第２画素群設定部６２１が設定した各第２画素群Ｐｇ２について、第２候補画素値を算出する。第２算出部６２２は、複数の第２角度θ２のそれぞれに対応する第２画素群Ｐｇ２について、第２候補画素値を算出する。 なお、第２算出部６１２は、幾何平均等の、算術平均以外の平均により、第２画素群Ｐｇ２に含まれる画素の画素値の平均値を第２候補画素値として算出してもよい。あるいは、第２算出部６２２は、第２画素群Ｐｇ２に含まれる画素の画素値の和や、当該和を画素値として設定可能な数値範囲に合わせて適宜規格化等の調整を行った値を第２候補画素値として設定することができる。上記和または平均のように、第２画素群Ｐｇ２に含まれる画素の画素値の全体的な大きさに基づいて第２候補画素値を設定することができれば、第２算出部６２２により設定される第２候補画素値の算出方法は特に限定されない。

【0049】

第２画像処理部６２の第２画素値設定部６２３は、第１画素Ｐｘ１について算出された複数の第２候補画素値から、第１画素Ｐｘ１に対応する、２次元平滑化画像における第３画素の画素値を設定する。

【0050】

第２画素値設定部６２３は、第１画素Ｐｘ１についての複数の第２候補画素値のうち、最も大きい値を対応する第３画素の画素値に設定することができる。このことは、第２画像処理において、複数の第２角度θ２に対応する２次元フィルタＦ２，Ｆ２１のうち、全体的に画素値の最も高い画素を含む２次元フィルタによる画素値を２次元平滑化画像に反映させることになる。その結果、画素値が高い程輝度が高い場合、特定の方向に偏らない平滑化を効果的に行うことができる。第２画素値設定部６２３は、第１画素Ｐｘ１についての複数の第２候補画素値のうち、最も小さい値を対応する第３画素の画素値に設定することができる。これにより、画素値が低い程輝度が高い場合、特定の方向に偏らない平滑化を効果的に行うことができる。
なお、第３画素の画素値は、上記最も大きい値または最も小さい値の０．８倍～１．２倍、好ましくは０．９倍～１．１倍の範囲の値を設定してもよい。このような場合でも、ある程度の精度で特定の方向に偏らない平滑化を行うことができる。

【0051】

第２画像処理部６２は、ある第１画素Ｐｘ１について上述の第２画素群設定部６２１、第２算出部６２２および第２画素値設定部６２３による第２画像処理を終えたら、撮像画像Ｇ１の対象領域における上記第１画素Ｐｘ１とは異なる画素を第１画素Ｐｘ１として、第２画像処理を行う。第２画像処理部６１は、対象領域に含まれる各画素に対し、第２画像処理を行う。
なお、第２画像処理の場合と同様、設定領域の各画素Ｐｘについて対応する第３画素の画素値が算出できれば、計算の順序等は特に限定されない。

【0052】

図２に戻って、第１除去部６４は、２次元平滑化画像データに基づいて、第１強調画像における線状でない部分の少なくとも一部を除去し、第２強調画像に対応する第２強調画像データを生成する。ここで、「除去」とは、第１強調画像において、線状でない部分を示すことに寄与しない画素値の成分を除去することを指す。具体的には、第１除去部６４は、第１強調画像の画素値から、２次元平滑化画像の画素値を引いた差分の絶対値を画素値とした画像を第２強調画像として生成することができる。これにより、第１強調画像から、方向依存性の低い輝度の広がりや、ノイズ等が除去され、線状の部分がさらに強調された強調画像である第２強調画像が得られる。

【0053】

二値化部６５は、第２強調画像に対し、第２強調画像の各部分に含まれる画素の画素値に基づいて、各部分ごとに適宜異ならせた複数の閾値により画素値の二値化を行う。二値化部６５は、第２強調画像を複数の領域に分ける。これらの領域を分割領域と呼ぶ。二値化部６５は、各分割領域について、分割領域に含まれる画素の画素値の算術平均等による平均値と、当該画素値の標準偏差とを算出する。二値化部６５による二値化の閾値を二値化閾値Ｔｈと呼ぶ。二値化部６５は、各分割領域における二値化閾値Ｔｈを、上記平均値をａｖｇ、上記標準偏差をσとして、以下の式（１）により算出する。
Ｔｈ＝ａｖｇ＋α×σ …（１）
ここで、αは定数である。このように各分割領域における画素値の平均値やばらつきに基づいて二値化閾値Ｔｈを定めることにより、画像全体にわたってより正確な線状の部分の強調を行うことができる。

【0054】

上記二値化により得られた画像では、神経突起Ｎｒに対応する部分と、神経突起Ｎｒに対応しない部分とが、異なる値により区別されている。この画像を検出結果画像と呼び、検出結果画像に対応するデータを検出結果画像データと呼ぶ。二値化部６５は、第２強調画像データに対して上記二値化を行って得られた検出結果画像データを記憶部４３等に記憶させる。
なお、二値化部６５は、第１強調画像データに対して上記二値化を行って得られたデータを検出結果画像データとして記憶部４３等に記憶させてもよい。この場合、上述の第２画像処理および第１除去部６４の処理を行う必要はない。第２画像処理および第１除去部６４による処理を行わなくても、第１画像処理により線状の部分が所望の精度で強調され得るからである。また、データ処理部５１は、二値化部６５による二値化処理の前に、画像中の比較的暗い部分を除去するレベル補正等の画像処理を適宜行うことができる。

【0055】

データ処理部５１は、検出結果画像において、神経突起Ｎｒの検出を行うとともに、交叉の検出または線状の部分の断片がどの細胞と接続されているか等の解析を適宜行うことができる。さらに、データ処理部５１は、神経突起Ｎｒの長さ等の解析を行い、この解析で得られたデータに基づいて、培養されたまたは培養されている細胞Ｃｅの状態等を評価することができる。

【0056】

図１に戻って、出力制御部５２は、検出結果画像データに基づいて出力部４４に出力する出力画像を生成し、出力部４４に出力させる。出力制御部５２は、検出結果画像を、出力部４４の表示モニタに表示する。

【0057】

制御部５０の装置制御部５３は、入力部４１からの入力等に基づいて、培養部１００の各部を制御する（矢印Ａ２）。装置制御部５３は、細胞培養に関する制御（例、温度又は湿度の管理をする培養室１０の制御、駆動部１２の制御）を実行したり、撮像部２０に撮像を実行させる。

【0058】

図６は、本実施形態に係る画像処理方法の流れを示すフローチャートである。ステップＳ１０１において、データ処理部５１は、撮像部２０の撮像により得られた撮像画像データを取得する。ステップＳ１０１が終了したら、ステップＳ１０３が開始される。ステップＳ１０３において、第１画像処理部６１は、撮像画像データに対して第１画像処理を行い、第１強調画像データを生成する。ステップＳ１０３が終了したら、ステップＳ１０５が開始される。

【0059】

ステップＳ１０５において、第２画像処理部６２は、撮像画像データに対して第２画像処理を行い、２次元平滑化画像データを生成する。ステップＳ１０５が終了したら、ステップＳ１０７が開始される。ステップＳ１０７において、第１除去部６４は、第１強調画像データおよび２次元平滑化画像データから、第２強調画像データを生成する。ステップＳ１０７が終了したら、ステップＳ１０９が開始される。

【0060】

ステップＳ１０９において、二値化部６５は、第２強調画像データに対し二値化を行い、検出結果画像データを生成する。ステップＳ１０９が終了したら、ステップＳ１１１が開始される。ステップＳ１１１において、出力制御部５２は、検出結果画像を出力部４４に表示する。ステップＳ１１１が終了したら、処理が終了される。

【0061】

図７は、図６のフローチャートにおけるステップＳ１０３（第１画像処理）の流れを示すフローチャートである。ステップＳ１０１が終了したら、ステップＳ２０１が開始される。ステップＳ２０１において、第１画素群設定部６１１は、対象領域から、対応する第２画素の画素値が設定されていない第１画素Ｐｘ１を選択する。ステップＳ２０１が終了したら、ステップＳ２０３が開始される。

【0062】

ステップＳ２０３において、第１画素群設定部６１１は、基準方向に伸びる１次元フィルタＦ１に含まれる第１画素群Ｐｇ１を設定し、第１算出部６１２は、基準方向についての第１候補画素値を算出する。ステップＳ２０３が終了したら、ステップＳ２０５が開始される。ステップＳ２０５において、第１画素群設定部６１１は、１次元フィルタを回転させるか、撮像画像を回転させたデータを生成し、各第１角度θ１についての第１画素群Ｐｇ１を設定し、第１算出部６１２は、各第１角度θ１についての第１候補画素値を算出する。ステップＳ２０５が終了したら、ステップＳ２０７が開始される。

【0063】

ステップＳ２０７において、第１画素値設定部６１３は、第１画素Ｐｘ１についての第１候補画素値から、第１画素Ｐｘ１に対応する第２画素の画素値を設定する。ステップＳ２０７が終了したら、ステップＳ２０９が開始される。
なお、ステップＳ２０３、Ｓ２０５およびＳ２０７の順番は、適宜変更してもよい。

【0064】

ステップＳ２０９において、データ処理部５１は、対象領域における全ての第１画素Ｐｘ１について、当該第１画素Ｐｘ１に対応する第２画素の画素値が設定されたか否かを判定する。データ処理部５１は、全ての第１画素Ｐｘ１について対応する第２画素の画素値が設定された場合、ステップＳ２０９を肯定判定し、ステップＳ１０５が開始される。データ処理部５１は、対応する第２画素に画素値が設定されていない第１画素Ｐｘ１がある場合、ステップＳ２０９を否定判定してステップＳ２０１が開始される。

【0065】

図８は、図６のフローチャートにおけるステップＳ１０５（第２画像処理）の流れを示すフローチャートである。ステップＳ１０１が終了したら、ステップＳ３０１が開始される。ステップＳ３０１において、第２画素群設定部６２１は、対象領域から、対応する第３画素の画素値が設定されていない第１画素Ｐｘ１を選択する。ステップＳ３０１が終了したら、ステップＳ３０３が開始される。

【0066】

ステップＳ３０３において、第２画素群設定部６２１は、基準方向についての２次元フィルタＦ２に含まれる第２画素群Ｐｇ２を設定し、第２算出部６２２は、基準方向についての第２候補画素値を算出する。ステップＳ３０３が終了したら、ステップＳ３０５が開始される。ステップＳ３０５において、第２画素群設定部６２１は、２次元フィルタを回転させるか、撮像画像を回転させたデータを生成し、各第２角度θ２についての第２画素群Ｐｇ２を設定し、第２算出部６２２は、各第２角度θ２についての第２候補画素値を算出する。ステップＳ３０５が終了したら、ステップＳ３０７が開始される。

【0067】

ステップＳ３０７において、第２画素値設定部６２３は、第１画素Ｐｘ１についての第２候補画素値から、第１画素Ｐｘ１に対応する第３画素の画素値を設定する。ステップＳ３０７が終了したら、ステップＳ３０９が開始される。
なお、ステップＳ３０３、Ｓ３０５およびＳ３０７の順番は、適宜変更してもよい。

【0068】

ステップＳ３０９において、データ処理部５１は、対象領域における全ての第１画素Ｐｘ１について、当該第１画素Ｐｘ１に対応する第３画素の画素値が設定されたか否かを判定する。データ処理部５１は、全ての第１画素Ｐｘ１について対応する第３画素の画素値が設定された場合、ステップＳ３０９を肯定判定し、ステップＳ１０７が開始される。データ処理部５１は、対応する第３画素に画素値が設定されていない第１画素Ｐｘ１がある場合、ステップＳ３０９を否定判定してステップＳ３０１が開始される。

【0069】

上述の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の画像処理装置１は、撮像画像（第１画像）Ｇ１を画像処理して得られる強調画像（第２画像）において、撮像画像Ｇ１の第１画素Ｐｘ１に対応する位置にある、強調画像の第２画素の画素値を設定する第１画像処理部６１を備え、第１画像処理部６１は、第１画素Ｐｘ１に対応して設定される複数の第１画素群Ｐｇ１であって、撮像画像Ｇ１における所定の方向（画像の基準方向）に対して互いに異なる複数の角度（第１角度θ１）をなす複数の方向に沿って配置されるか、または、撮像画像Ｇ１を所定の方向（基準方向）に対して互いに異なる複数の角度（第１角度θ１）で回転させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群Ｐｇ１を設定する第１画素群設定部６１１と、複数の第１画素群Ｐｇ１のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出する第１算出部６１２と、複数の第１候補画素値に基づいて、強調画像の第２画素の画素値を設定する第１画素値設定部６１３とを備える。これにより、画像における細胞の線状の部分を効果的に強調することができる。

【0070】

（２）本実施形態の画像処理装置１において、第１算出部６１２は、複数の第１画素群Ｐｇ１のそれぞれに含まれる画素の画素値の和または平均に基づいて、複数の第１候補画素値を算出することができる。これにより、画素値が高い画素が並ぶ方向を検出し、より効果的に画像における線状の部分を強調することができる。

【0071】

（３）本実施形態の画像処理装置１において、第１算出部６１２は、第１画素群Ｐｇ１について、平滑化フィルタＦ１，Ｆ１１，Ｆ１２を用いて第１候補画素値を算出する。これにより、平滑化フィルタの長さに基づいた線状の部分を検出し、より効果的に画像における線状の部分を強調することができる。

【0072】

（４）本実施形態の画像処理装置１において、１次元フィルタＦ１，Ｆ１１，Ｆ１２は、１次元平滑化フィルタである。これにより、１次元フィルタの形状（例、長さ、太さを含む形）により線状の部分を検出し、より効果的に画像における線状の部分を強調することができる。

【0073】

（５）本実施形態の画像処理装置１において、撮像画像Ｇ１を構成する画素から、第１画素Ｐｘ１を設定する第１画素設定部６１１を備え、第１画素値設定部６１１は、複数の第１候補画素値のうち最も大きな値の０．８倍～１．２倍の値、または最も小さな値の０．８倍～１．２倍の値を、第２画素の画素値に設定することができる。これにより、画素値が高いまたは低い画素が並ぶ方向を検出し、より効果的に画像における線状の部分を強調することができる。

【0074】

（６）本実施形態の画像処理装置１において、第２画素群設定部６２３は、撮像画像Ｇ１における所定の方向（基準方向）に対して異なる複数の角度（第２角度θ２）で２次元フィルタにおける画素が並ぶ少なくとも２つの方向を回転させて得られた少なくとも２つの方向に沿って配置されるか、または、異なる複数の角度（第２角度θ２）で回転させた撮像画像Ｇ１のそれぞれにおいて少なくとも２つの方向に沿って配置される複数の第２画素群Ｐｇ２を設定し、第２画像処理部６２は、複数の第２画素群Ｐｇ１のそれぞれに含まれる画素の画素値の和または平均に基づいて、複数の第２候補画素値を算出する第２算出部６２２を備え、第２画素値算出部６２３は、複数の第２候補画素値に基づいて、第３画素の画素値を設定する。これにより、被写体における方向依存性の低い部分に対応する画素値を除去するための画像データを生成することができる。

【0075】

（７）本実施形態の画像処理装置１は、２次元平滑化画像に基づいて、強調画像における線状でない部分の少なくとも一部を除去する第１除去部６４を備える。これにより、被写体における方向依存性の低い部分に対応する画素値を除去し、さらに効果的に画像における線状の部分を強調することができる。

【0076】

（９）本実施形態の画像処理装置１は、強調画像に対し、強調画像の各部分に含まれる画素の画素値に基づいて、異なる複数の二値化閾値Ｔｈにより画素値の二値化を行う二値化部６４を備える。これにより、画像における各画素が線状の部分に対応するか否かを二値化によりわかりやすく示し、また解析しやすくことができる。

【0077】

（１０）本実施形態の画像処理装置１において、撮像画像Ｇ１は、神経突起Ｎｒの画像である。これにより、画像における神経突起Ｎｒに対応する部分を効果的に強調することができる。また、神経突起Ｎｒが強調された画像を用いて神経突起Ｎｒの長さ等の解析をより正確に行うことができる。

【0078】

（１１）本実施形態に係る撮像装置は、上述の画像処理装置１と、線状の部分を含む細胞などを撮像する撮像部２０とを備える。これにより、撮像された画像における線状の部分を効果的に強調することができる。

【0079】

（１２）本実施形態に係る培養装置である上述の画像処理装置１は、細胞を培養する培養部１００を備える。これにより、未分化状態又は分化状態に培養した細胞Ｃｅを撮像した画像における線状の部分を効果的に強調することができる。

【0080】

（１３）本実施形態に係る画像処理方法は、撮像画像（第１画像）Ｇ１を画像処理して得られる強調画像（第２画像）において、撮像画像Ｇ１の第１画素Ｐｘ１に対応する位置にある、撮像画像Ｇ１の第２画素の画素値を設定することを含み、第２画素の画素値の設定は、第１画素Ｐｘ１に対応して設定される複数の第１画素群Ｐｇ１であって、撮像画像Ｇ１における所定の方向（基準方向）に対して異なる複数の角度（第１角度θ１）をなす複数の方向に沿って配置されるか、または、撮像画像Ｇ１を異なる複数の角度（第１角度θ１）で回転させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群Ｐｇ１を設定することと、複数の第１画素群Ｐｇ１のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出することと、複数の第１候補画素値に基づいて、第２画素の画素値を設定することとを備える。これにより、画像における線状の部分を効果的に強調することができる。

【0081】

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。以下の変形例において、上述の実施形態と同様の構造、機能を示す部位等に関しては、同一の符号で参照し、適宜説明を省略する。
（変形例１）
上述の実施形態の第２画像処理において、第２画像処理部６２は、２次元フィルタまたは撮像画像Ｇ１を移動して回転させる処理を行わず、１つの２次元フィルタに含まれる画素から計算された第２候補画素値を、第３画素の画素値としてもよい。このような場合でも、２次元フィルタが元々特定の方向への偏りの小さい形状をしていれば、ある程度の精度で特定の方向に偏らない平滑化を行うことができるからである。

【0082】

本変形例の画像処理装置１は、撮像画像Ｇ１を画像処理して得られる２次元平滑化画像において、第１画素Ｐｘ１に対応する位置にある第３画素の画素値を設定する第２画像処理部６２を備え、第２画像処理部６２は、第１画素Ｐｘ１に対応して設定され、少なくとも２つの方向に沿って配置される画素を含む第２画素群Ｐｇ２を設定する第２画素群設定部６２１と、当該第２画素群Ｐｇ２に含まれる画素の画素値の和または平均に基づいて、第３画素の画素値を設定する第２画素値設定部６２３とを備える。これにより、第２画素群Ｐｇ１を構成する画素ブロックの形状に基づいて撮像画像Ｇ１を平滑化し、画像における線状の部分を効果的に強調することができる。

【0083】

（変形例２）
上述の実施形態において、画像処理装置１は、１次元フィルタを用いて撮像画像Ｇ１における第１画素Ｐｘ１が線状の部分に対応しているか否かについての情報を生成する構成にしてもよい。以下では、この情報を、線状部分（例、神経突起Ｎｒ）に対する画素の対応情報と呼ぶ。

【0084】

図９は、本変形例の画像処理装置におけるデータ処理部５１ａの構成を示す概念図である。データ処理部５１ａは、上述のデータ処理部５１と比較すると、画素情報処理部６３を備える点が異なっている。

【0085】

画素情報処理部６３は、第３画素群設定部６３１と、情報生成部６３２と、処理制御部６３３とを備える。画素情報処理部６３は、１次元フィルタを用いて撮像画像データから情報を取得し、当該情報を処理する。

【0086】

第３画素群設定部６３１は、撮像画像Ｇ１における第１画素Ｐｘ１に対応する複数の第３画素群Ｐｇ３を設定する。第３画素群設定部６３１は、上述の第１画素群設定部６３１による複数の第１画素群Ｐｇ１の設定と同様、複数の角度に対応する１次元フィルタＦ１，Ｆ１１，Ｆ１２を用いて複数の第３画素群Ｐｇ３を設定する。

【0087】

図１０は、第３画素群Ｐｇ３の説明をするための概念図である。第３画素群設定部６３１は、撮像画像Ｇ１に含まれる画素Ｐｘから第１画素Ｐｘ１を選択する。第３画素群設定部６３１は、対象領域に含まれる画素から第１画素Ｐｘ１を選択して設定する。

【0088】

第３画素群設定部６３１は、第１画素Ｐｘ１を含み、基準方向に対して所定の角度をなす複数の方向に沿って配置されている画素群を第３画素群Ｐｇ３として設定する。この所定の角度を、以下では第３角度θ３と呼ぶ。基準方向は、図１０では、撮像画像Ｇ１の左右方向としている（矢印Ａ３０参照）が、特に限定されず、いずれの方向でもよい。図１０では、第３角度θ３が０°の場合の第３画素群Ｐｇ３に含まれる複数の画素Ｐｘ３１、Ｐｘ３２、Ｐｘ１、Ｐｘ３３およびＰｘ３４を示した。第３画素群Ｐｇ３は、このように一方向に並び互いに隣接する複数の画素を含むことが好ましい。

【0089】

実際の計算では、第３画素群設定部６３１は、撮像画像Ｇ１を基準方向に対して第３角度θ３をなす方向への回転を含む移動をさせて得た画像において、第１画素に対応する画素を中心に所定の方向に沿って配置される複数の画素を、第３画素群Ｐｇ３として設定することが好ましい。この所定の方向は特に限定されず、基準方向等、任意の方向とすることができる。これにより、１次元フィルタＦ１に回転を含む移動をさせて第３画素群Ｐｇ３を設定する場合よりも精密に設定することができる。

【0090】

第３画素群設定部６３１は、複数の第３角度θ３について、それぞれ第３画素群Ｐｇ３を設定する。複数の第３角度θ３は、例えば１°～４５°等の範囲から選択される所定の角度ごとに複数設定される。例えば、第３画素群設定部６３１は、複数の第３角度θ３を、１°ごとに０°から１７９°まで設定し、各第３角度θ３について第３画素群Ｐｇ３を設定することができる。第３画素群設定部６３１は、対象領域の各第１画素Ｐｘ１について、第３画素群Ｐｇ３を設定する。

【0091】

情報生成部６３２は、上記対応情報を生成する。情報生成部６３２は、複数の第３画素群Ｐｇ３のそれぞれに含まれる画素の画素値の全体的な大きさを表す値である、画素値の和または平均を算出する。この平均は、適宜算術平均等を用いることができる。以下では、算出されたこの画素値の和または平均を、１次元フィルタ値と呼ぶ。

【0092】

図１１は、複数の第３角度θ３について、第３角度θ３に対応する１次元フィルタと、線状の部分ＬＰとを示す概念図である。図１１には、第３角度θ３が０°の際の１次元フィルタＦ１００、第３角度θ３が３０°の際の１次元フィルタＦ１１０、第３角度θ３が６０°の際の１次元フィルタＦ１２０、第３角度θ３が９０°の際の１次元フィルタＦ１３０、第３角度θ３が１２０°の際の１次元フィルタＦ１４０および第３角度θ３が１５０°の際の１次元フィルタＦ１５０を示す。

【0093】

図１１では、第１画素Ｐｘ１は線状の部分ＬＰ上に位置しているため、線状の部分に対応する画素である。被写体からの光が強い程、撮像画像データにおいて高い画素値と設定されるとすると、線状の部分ＬＰに対応する画素の画素値は、近傍の、線状の部分に対応しない画素の画素値よりも高くなっている。線状の部分ＬＰと１次元フィルタが重なるように配置されると、１次元フィルタに対応する画素の画素値の和または平均値である１次元フィルタ値は最も高くなる。

【0094】

図１１では、第３角度θ３が０°、１２０°および１５０°の場合、１次元フィルタＦ１００，Ｆ１４０，Ｆ１５０と線状の部分ＬＰとの重なりは小さく、１次元フィルタ値は他の第３角度θ３の場合と比較して小さくなる。第３角度θ３が３０°または９０°の場合、１次元フィルタＦ１１０または１次元フィルタＦ１３０と線状の部分ＬＰとは、１次元フィルタを構成する５画素中３画素程度の重なりがある。従って、１次元フィルタ値は、第３角度θ３が０°、１２０°または１５０°の場合よりも大きくなる。第３角度θ３が６０°の場合、１次元フィルタＦ１２０と線状の部分ＬＰは略重なっており、図１１に示した場合では最も１次元フィルタ値が高くなる。

【0095】

情報生成部６３２は、第３角度θ３と１次元フィルタ値とを対応させたデータを生成する。このデータを、以下ではフィルタ値データと呼ぶ。フィルタ値データは、適宜平滑化や、曲線による近似を行って生成してもよい。これにより、ノイズ等の影響を低減し、精度を高めることができる。

【0096】

図１２は、フィルタ値データから生成可能な、第１画素Ｐｘ１における、第３角度θ３に対する１次元フィルタ値を示すグラフである。図１２は、図１１で示したような１次元フィルタ値に角度依存性がある場合を想定している。図１２のグラフでは、１次元フィルタ値はＶｍｉｎからＶｍａｘまでの値をとり、第３角度θ３が約６０°のときに最も１次元フィルタ値が高くなる。情報生成部６３２は、最も１次元フィルタ値が高くなる第３角度θ３および当該第３角度θ３に係るピークＰ１のピーク幅を算出することができる。情報生成部６３２は、ＶｍａｘとＶｍｉｎの差や、Ｓ／Ｎ比等が所定の値以上であるか否か等に基づいてピークを検出することができる。

【0097】

図１３は、顕著なピークが無い場合の第３角度θ３に対する１次元フィルタ値を示すグラフである。図１３では、Ｓ／Ｎ比に比べて１次元フィルタ値の変動が小さいため、ピークが検出されていない。

【0098】

第３角度θ３に対する１次元フィルタ値を示すグラフでは、ピークの数により、第１画素Ｐｘ１における被写体の特性を解析することができる。ピークの数が０の場合には、第１画素Ｐｘ１は、線や交叉に対応しない部分となる。ピークの数が１つの場合には、第１画素Ｐｘ１は線状の部分に対応することになる。ピークの数が２つの場合には、第１画素Ｐｘ１は交叉に対応することになる。情報生成部６３２は、このような１次元フィルタ値の解析により、第１画素Ｐｘ１が線状の部分に対応するか否かについての対応情報を生成する。情報生成部６３２は、撮像画像における各画素が線状の部分に対応するか否かを二値で示して各画素に紐づけた対応情報を生成し、記憶部４３等に記憶させることができる。また、情報生成部６３２は、撮像画像における各画素が交叉に対応するか否かの情報も同様に生成してもよい。

【0099】

情報生成部６３２は、対象領域における各第１画素Ｐｘ１について、フィルタ値データおよび対応情報を生成する。
なお、１次元フィルタ値の算出では、最初、第３画素群設定部６３１は、複数の第３角度θ３の間隔を大きくして第３画素群Ｐｇ３を設定し、ピークが検出されたら、当該ピークおよびその近傍の第３角度θ３を間隔を小さくして第３画素群Ｐｇ３を設定することができる。これにより、情報生成部６３２は、精密にピークおよびその近傍の１次元フィルタ値を算出することができ、効率よく１次元フィルタ値の角度依存性を解析することができる。

【0100】

処理制御部６３３（図９）は、対応情報に基づいて、第１画素群設定部６１１の第１画素群Ｐｇ１を設定する処理を制御する。処理制御部６３３は、対応情報に基づいて、第１画素Ｐｘ１の位置により、第１画像処理において設定する第３角度θ３の個数を変化させる。処理制御部６３３は、線状の部分に対応しない画素では、線状の部分に対応する画素よりも、設定する第３角度θ３の個数を少なくすることができる。あるいは、処理制御部６３３は、線状の部分に対応しない画素では、第１画像処理を行わないように設定することができる。言い換えれば、処理制御部６３３は、第１画素群設定部６１１が、線状の部分に対応する画素から第１画素Ｐｘ１を選択するように、第１画像処理を設定することができる。このように、線状の部分に対応する画素についてより精密に第１画像処理を行うように設定することにより、より効率的に画像における線状の部分を強調することができる。
なお、情報生成部６３２が撮像画像Ｇ１における各画素が交叉に対応するか否かの情報を生成した場合、処理制御部６３３は、交叉に対応する画素では第１画像処理を行わないようにする等、適宜当該情報に基づいて第１画像処理の条件を設定することができる。

【0101】

図１４は、本変形例の画像処理方法の流れを示すフローチャートである。ステップＳ４０１は、図６のフローチャートのステップＳ１０１に対応するため説明を省略する。ステップＳ４０１が終了したら、ステップＳ４０３が開始される。ステップＳ４０３において、情報生成部６３２は、撮像画像Ｇ１に含まれる画素が、線状の部分に対応しているか否かについての情報（対応情報）を生成する。ステップＳ４０３が終了したら、ステップＳ４０５が開始される。

【0102】

ステップＳ４０５において、処理制御部６３３は、ステップＳ４０３で生成された対応情報に基づいて、第１画像処理の条件を設定する。ステップＳ４０５が終了したら、ステップＳ４０７が開始される。ステップＳ４０７において、第１画像処理部６１は、ステップＳ４０３で設定された条件に基づいて、第１画像処理を行い、第１強調画像データを生成する。ステップＳ４０７が終了したら、ステップＳ４０９が開始される。ステップＳ４０９～Ｓ４１５は、図６のフローチャートにおけるステップ１０５～Ｓ１１１に対応するため説明を省略する。

【0103】

（１）本変形例の画像処理装置において、第１画素Ｐｘ１に対応して設定される複数の第３画素群Ｐｇ１であって、撮像画像（第１画像）Ｇ１の所定の方向（基準方向）に対して複数の角度（第３角度θ３）をなす複数の方向に沿って配置されるか、または、撮像画像Ｇ１を複数の角度（第３角度θ３）で回転させて得られた複数の画像のそれぞれにおいて所定の方向に並ぶ複数の第３画素群Ｐｇ３を設定する第３画素群設定部６３１と、複数の第３画素群Ｐｇ３のそれぞれに含まれる画素の画素値の和または平均に基づいて、第１画素Ｐｘ１が撮像画像Ｇ１における線状の部分に対応しているか否かについての情報（対応情報）を生成する情報生成部６３２とを備える。これにより、生成された上記情報を利用して、より効率的に画像処理を行うことができる。

【0104】

（２）本変形例の画像処理装置は、情報生成部６３２が生成した対応情報に基づいて、第１画素群設定部６１１の第１画素群Ｐｇ１を設定する処理を制御する処理制御部を備える。これにより、生成された上記情報を利用して、より効率的に第１画像処理を行うことができる。

【0105】

（３）本変形例の画像処理装置において、第１画素群設定部６１１が複数の第１画素群Ｐｇ１を設定する際の複数の角度（第１角度θ１）の個数は、第１画素Ｐｘ１の位置により異なり、処理制御部６３３は、対応情報に基づいて、撮像画像Ｇ１の各位置における上記個数を設定することができる。これにより、生成された上記情報を利用して、撮像画像における位置により第１画像処理の精密さを制御することができる。

【0106】

（４）本変形例の画像処理装置において、処理制御部６３３は、対応情報に基づいて、撮像画像Ｇ１の各位置において、第１画素群設定部６１１が第１画素群Ｐｇ１を設定する処理を行うか否かを決定することができる。これにより、生成された上記情報を利用して、より一層効率的に、第１画像処理を行うことができる。

【0107】

なお、データ処理部５１ａが、対応情報に基づいて、第１強調画像または第２強調画像における線状でない部分の少なくとも一部を除去する第２除去部を備える構成にしてもよい。第２除去部は、対応情報において線状の部分に対応しないとされた画素については、画素値を０等、被写体が存在しない場合に対応する値とする。これにより、画像における線状の部分をより一層強調することができる。

【0108】

（変形例３）
上述の実施形態において、対象領域を、ユーザが入力部４１を介して設定する構成にしてもよい。

【0109】

図１５は、対象領域Ｒ１を示す概念図である。ユーザは、撮像画像Ｇ１が表示された出力部４４の表示画面を見ながら、例えば、入力部４１としてのマウスをドラッグしたりすることにより、対象領域Ｒ１の範囲を入力することができる。

【0110】

本変形例の画像処理装置は、第１画像処理部６１が画像処理の対象とする第１画素Ｐｘ１の位置または範囲を入力するための入力部４１を備える。これにより、ユーザが画像処理の対象を設定することで、より効率的に画像における線状の部分を強調することができる。

【0111】

（変形例４）
上述の実施形態では、撮像画像Ｇ１の被写体を細胞Ｃｅとし、強調する線状の部分を神経突起Ｎｒとして説明したが、線状の部分を含めば、強調する対象はこの例に限定されず、例えば血管とすることも好ましい。さらに、撮像画像Ｇ１の被写体を眼底とし、強調する対象の線状の部分を眼底における血管とすることがより好ましく、特に網膜の血管または脈絡膜血管とすることがより一層好ましい。

【0112】

本変形例の画像処理装置において、撮像画像Ｇ１は、血管の画像である。これにより、血管の画像における線状の部分を効果的に強調することができる。

【0113】

（変形例５）
上述の実施形態において、出力制御部５２の制御により、ユーザが撮像画像Ｇ１および強調画像の少なくとも一つを選択して表示させるための表示画面を、出力部４４が出力する構成にすることができる。この表示画面を第１表示画面と呼ぶ。強調画像は、第１強調画像でも第２強調画像でもよい。

【0114】

図１６は、本変形例の第１表示画面の一例を示す概念図である。第１表示画面７０は、画像選択部７１と、撮像画像Ｇ１および強調画像の少なくとも一つを表示する第１画像表示部７２とを備える。画像選択部７１は、コンボボックスにより構成されており、コンボボックスは、アイコン７１ａを選択する度に、リスト７１ｂの表示または非表示が切り替えられる構成となっている。リスト７１ｂは、第１入力要素７１ｃと、第２入力要素７１ｄと、第３入力要素７１ｅとを備える。ユーザがマウス等を用いて第１入力要素７１ｃをクリックすると、第１画像表示部７２に入力画像である撮像画像Ｇ１が表示され、強調画像Ｇ２は表示されない。ユーザが第２入力要素７１ｄをクリックすると、第１画像表示部７２に強調画像Ｇ２が表示され、撮像画像Ｇ１は表示されない。ユーザが第３入力要素７１ｅをクリックすると、第１画像表示部７２に撮像画像Ｇ１および強調画像Ｇ２が表示される。
なお、表示する画像を選択できれば、画像選択部７１はコンボボックスに限らず任意の画像要素を含んで構成することができる。

【0115】

本変形例のようにユーザが適宜撮像画像Ｇ１または強調画像Ｇ２を選択して表示させることで、上述の実施形態の画像処理方法による効果をわかりやすくユーザに示すことができる。

【0116】

（変形例６）
上述の実施形態において、複数の第１角度θ１の個数を、ユーザが設定できる構成としてもよい。出力制御部５２の制御により、ユーザに複数の第１角度θ１の個数を設定させるための表示画面を、出力部４４が出力する構成にすることができる。この表示画面を第２表示画面と呼ぶ。

【0117】

図１７は、本変形例の第２表示画面の一例を示す概念図である。第２表示画面８０は、第１角度入力部８１と、撮像画像Ｇ１を表示する第２画像表示部８２と、第１実行部８３とを備える。第１角度入力部８１は、テキストボックス８１０を備える。

【0118】

第１角度入力部８１は、第１角度θ１の個数を入力するための要素である。ユーザは、キーボード等により、テキストボックス８１０に第１角度θ１の個数を示す数値を入力することができる。ユーザは、適宜第２画像表示部８２に表示された撮像画像Ｇ１を見ながら入力を行うことができる。
なお、第１角度θ１の個数を入力できれば、入力のための画像要素はテキストボックスに特に限定されず、表示された数値の候補からユーザが選択してもよい。

【0119】

第１実行部８３は、ユーザが入力した第１角度θ１の個数を設定し、画像処理装置１に第１画像処理を開始させるためのボタンである。第１実行部８３がユーザによりクリックされると、第１画素群設定部６１１は、例えば、１８０°を、テキストボックス８１０に入力された数値で割って得られた角度ごとに複数の第１角度θ１を設定し、第１画像処理を行う。

【0120】

本変形例では、ユーザが適宜撮像画像Ｇ１を見ながら、第１角度θ１についてのパラメータ（設定情報）を設定することにより、より適切にパラメータを設定することができる。
なお、ユーザが、第１角度θ１、第２角度θ２または第３角度θ３についての条件を設定できれば、本変形例のような角度の個数を入力する場合に限られない。

【0121】

（変形例７）
上述の実施形態において、第１画像処理について、ユーザが適宜、出力部４４の表示画面を見て、第１画像処理についてのパラメータを入力または変更できる構成にすることができる。

【0122】

図１８は、本変形例の画像処理方法の流れを示すフローチャートである。ステップＳ５０１は、図６のフローチャートのステップＳ１０１と同様であるため、説明を省略する。ステップＳ５０１が終了したら、ステップＳ５０３が開始される。

【0123】

ステップＳ５０３において、第１画像処理部６１は、ユーザの入力に基づき、第１画像処理におけるパラメータを設定する。このパラメータを、第１パラメータと呼ぶ。第１パラメータは、第１画像処理における１次元フィルタＦ１，Ｆ１１，Ｆ１２の長さおよび太さを示す数値とすることができる。ユーザは、撮像画像Ｇ１を見て、さらに既に上述の第１画像処理から二値化までの処理が行われた場合には検出結果画像を見て、第１パラメータを入力することができる。ステップＳ５０３が終了したら、ステップＳ５０５が開始される。
なお、第２画像処理部６２が、ユーザの入力に基づき、第２画像処理におけるパラメータである第２パラメータを設定する構成としてもよい。第２パラメータは、例えば、２次元フィルタの幅や形状を示す数値を含むことができる。あるいは、二値化部６５が、ユーザの処理に基づき、上述の実施形態における二値化における式（１）のα等のパラメータ（例、数値）を変更できる構成としてもよい。このようにして二値化の条件を適切に設定することにより、精度よく神経突起Ｎｒ等の線状の部分の検出を行うことができる。

【0124】

ステップＳ５０５において、第１画像処理部６１は、ステップＳ５０３で設定された第１パラメータの数値を用いて、第１画像処理を行い、第１強調画像データを生成する。ステップＳ５０５が終了したら、ステップＳ５０７が開始される。ステップＳ５０７～ステップＳ５１３は、図６のフローチャートのステップＳ１０５～Ｓ１１１に対応するため、説明を省略する。ステップＳ５１３が終了したら、ステップＳ５１５が開始される。

【0125】

ステップＳ５１５において、データ処理部５１は、ユーザにより再度、第１画像処理等の上述の画像処理方法に係る処理を行う指示が入力部４１を介して入力されたか否かを判定する。当該指示が入力された場合、データ処理部５１は、ステップＳ５１５を肯定判定し、ステップＳ５０３が開始される。当該指示が入力されなかった場合、データ処理部５１は、ステップＳ５１５を否定判定し、処理が終了される。

【0126】

以下では、本変形例の画像処理方法について、出力部４４に表示される表示画面の例を示すが、各表示画面における画像の態様、ならびに、ボタンまたはテキストボックス等の各表示要素の形状等は以下の各図に示されたものに限定されない。

【0127】

図１９は、第１パラメータを選択する際に、出力制御部５２により出力部４４に表示される画面の例であり、この画面を基本画面７０１とする。基本画面７０１は、画像表示部８００と、第１入力要素表示部７１０と、動画操作部８１０とを備える。動画操作部８１０は、画像表示部８００に動画が表示される場合に巻き戻しを行うための巻戻しボタン８１１と、再生を行うための再生ボタン８１２と、一時停止を行うための一時停止ボタン８１３と、早送りを行うための早送りボタン８１４とを備える。図１９の基本画面７０１の画像表示部８００には撮像画像Ｇ１が示されているが、画像表示部８００に表示する画像は適宜変更可能である。

【0128】

第１入力要素表示部７１０は、ユーザがマウスまたはタッチパッド等によりカーソルを合わせてクリック等することにより画像処理装置１に所定の動作を行わせるための入力要素である実行ボタン７１１およびパラメータ選択ボタン７１２を備える。

【0129】

実行ボタン７１１は、データ処理部５１が第１画像処理から二値化までの処理を実行し、表示画面を、神経突起Ｎｒの検出結果を表示するための画面である結果表示画面へと遷移させるための入力要素である。実行ボタン７１１がクリックされると、出力制御部５２は、図２１の結果表示画面７０２を出力部４４に表示させる。この際、ユーザがパラメータを変更しなかった場合は、予め設定された第１パラメータを用いて第１画像処理が行われることが好ましい。

【0130】

パラメータ選択ボタン７１２は、第１パラメータの入力のための表示要素を表示するための入力要素である。パラメータ選択ボタン７１２がユーザによりクリックされると、第１テキストボックス７１３および第２テキストボックス７１４（図２０）が第１入力要素表示部７１０に表示される。

【0131】

図２０は、第１テキストボックス７１３および第２テキストボックス７１４を示す概念図である。図２０の基本画面７０１では、第１入力要素表示部７１０は、ユーザがキーボード等を用いて数値を入力可能な第１テキストボックス７１３および第２テキストボックス７１４を備える。第１テキストボックス７１３は、１次元フィルタＦ１，Ｆ１１，Ｆ１２の長さを画素数として入力可能に構成されている。第２テキストボックス７１４は、１次元フィルタＦ１，Ｆ１１，Ｆ１２の太さを画素数として入力可能に構成されている。

【0132】

第１テキストボックス７１３および第２テキストボックス７１４が表示されているとき、パラメータ選択ボタン７１２は、色相、彩度または明度等の変化により、第１テキストボックス７１３および第２テキストボックス７１４が表示されていないときと異なる態様で表示される。図２０では、この点をパラメータ選択ボタン７１２にハッチングをかけることにより示した。
なお、第１テキストボックス７１３および第２テキストボックス７１４を、基本画面７０１が表示された当初から表示してもよい。

【0133】

図２１は、結果表示画面の一例を示す概念図である。結果表示画面７０２は、出力制御部５２により出力部４４の表示画面に表示される。結果表示画面７０２は、画像表示部８００と、第２入力要素表示部７２０と、動画操作部８１０とを備える。図２１の画像表示部８００には、検出結果画像Ｇ３が表示されている。

【0134】

第２入力要素表示部７２０は、ユーザがマウスまたはタッチパッド等によりカーソルを合わせてクリック等することにより画像処理装置１に所定の動作を行わせるための入力要素である画像重畳ボタン７２１、再実行ボタン７２２および終了ボタン７２３を備える。

【0135】

さらに、第２入力要素表示部７２０には、上述のパラメータ選択ボタン７１２が表示されており、図２１の例では、ユーザによりパラメータ選択ボタン７１２が選択され、第１テキストボックス７１３および第２テキストボックス７１４が表示されている場合を示している。結果表示画面７０２では、第１テキストボックス７１３および第２テキストボックス７１４の初期設定値として、直前に行った第１画像処理において設定されていた値を表示することが好ましい。これにより、ユーザは、得られた神経突起Ｎｒの検出結果と第１パラメータとの関係を把握しやすくなる。

【0136】

画像重畳ボタン７２１は、画像表示部８００に、撮像画像Ｇ１と検出結果画像Ｇ３との重畳画像を表示するための入力要素である。画像重畳ボタン７２１がクリックされると、出力制御部５２は、結果表示画面７０２の画像表示部８００に重畳画像を表示する。これにより、ユーザは、画像処理前の撮像画像Ｇ１と画像処理後の検出結果画像Ｇ３とを対比でき、より正確に上述の実施形態における画像処理方法の効果を把握できる。画像表示部８００に重畳画像が表示されている状態で画像重畳ボタン７２１がクリックされると、撮像画像Ｇ１または検出結果画像Ｇ３のいずれか一方を表示する構成にすることができる。

【0137】

再実行ボタン７２２は、データ処理部５１が第１画像処理から二値化までの処理を再度実行し、表示画面を、再度の処理により得られた神経突起Ｎｒの検出結果を表示するように結果表示画面７０２を更新するための入力要素である。再実行ボタン７２２がクリックされると、出力制御部５２は、更新した結果表示画面７０２を出力部４４に表示させる。この際、第１画像処理部６１は、第１テキストボックス７１３および第２テキストボックス７１４に入力された第１パラメータを用いて第１画像処理を行う。

【0138】

終了ボタン７２３は、終了ボタン７２３がクリックされることにより、本変形例の画像処理方法による処理を終了するためのボタンである。終了ボタン７２３がクリックされると、データ処理部５１は、適宜処理を終了する。

【0139】

本変形例の画像処理方法では、ユーザが適宜撮像画像Ｇ１、検出結果画像Ｇ３等を確認しつつ、上記画像処理方法におけるパラメータの設定を行うため、画像の態様に合わせて精度よく線状の部分の強調を行うことができる。

【0140】

（変形例８）
上述の変形例７において、第１テキストボックス７１３および第２テキストボックス７１４に入力された数値が、上述の画像処理を行う上で適切でない場合には、表示画面に通知を表示する構成とすることができる。

【0141】

図２２は、当該通知の態様を示す概念図である。基本画面７０１の第１入力要素表示部７１５は、通知表示部７１５を備える。出力制御部５２は、第１テキストボックス７１３および第２テキストボックス７１４に入力された数値が、所定の条件を満たさない場合には、通知表示部７１５に通知を表示する。この所定の条件とは、例えば、１次元フィルタＦ１，Ｆ１１，Ｆ１２の長さＬが、１次元フィルタのＦ１，Ｆ１１，Ｆ１２の太さＷの２倍以下である場合とすることができる。この場合、出力制御部５２は、図２２のように、「Ｌに対してＷが大きすぎます」等の文字による通知を通知表示部７１５に表示することができる。
なお、上記通知の態様は特に限定されず、出力制御部５２は、通知の内容を文字ではなく画像等により示してもよく、音声による警告等を行ってもよい。

【0142】

（変形例９）
上述の実施形態の情報処理部４０の情報処理機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した第１画像処理、第２画像処理および二値化等のデータ処理部５１，５１ａによる処理等に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

【0143】

また、パーソナルコンピュータ（以下、ＰＣと呼ぶ）等に適用する場合、上述した制御に関するプログラムは、ＣＤ－ＲＯＭなどの記録媒体やインターネット等のデータ信号を通じて提供することができる。図２３はその様子を示す図である。ＰＣ９５０は、ＣＤ－ＲＯＭ９５３を介してプログラムの提供を受ける。また、ＰＣ９５０は通信回線９５１との接続機能を有する。コンピュータ９５２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線９５１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ９５２はハードディスクを使用してプログラムを読み出し、通信回線９５１を介してプログラムをＰＣ９５０に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線９５１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

【0144】

上述した情報処理機能を実現するためのプログラムとして、撮像画像（第１画像）Ｇ１を画像処理して得られる強調画像（第２画像）において、撮像画像Ｇ１の第１画素Ｐｘ１に対応する位置にある、強調画像の第２画素の画素値を設定する第１画像処理（図６のフローチャートのステップＳ１０３に対応）を処理装置（制御部５０）に行わせるためのプログラムであって、第１画像処理は、第１画素Ｐｘ１に対応して設定される複数の第１画素群Ｐｇ１であって、撮像画像Ｇ１における所定の方向（基準方向）に対して異なる複数の角度（第１角度θ１）をなす複数の方向に沿って配置されるか、または、撮像画像Ｇ１を異なる複数の角度（第１角度θ１）で移動させて得た複数の画像のそれぞれにおいて所定の方向に沿って配置される複数の第１画素群Ｐｇ１を設定する第１画素群設定処理と、複数の第１画素群Ｐｇ１のそれぞれに含まれる画素の画素値の大きさに基づいて、複数の第１候補画素値を算出する第１算出処理（第１画素群設定処理および第１算出処理は、ステップＳ２０３およびＳ２０５に対応）と、複数の第１候補画素値に基づいて、第２画素の画素値を設定する第１画素値設定処理（ステップＳ２０７に対応）とを備えるプログラムが含まれる。これにより、画像における線状の部分を効果的に強調することができる。

【0145】

また、ウェブサーバ（以下、サーバともいう）とパーソナルコンピュータ（以下、ユーザ端末、又はＰＣと呼ぶ）等とを備える情報処理システムに適用する場合、上述した画像処理装置１の情報処理部４０は、通信部４２と、記憶部４３と、出力部４４と、データ処理部５１とを備えるウェブサーバである。該情報処理システムは、クラウドコンピューティングによりユーザ端末に上記した画像（例、第１画像、第２画像、第３画像など）を含む解析結果をネットワークを介して出力する。例えば、情報処理システムは、サーバを備え、該サーバは、培養部１００で撮像された上記第１画像などを取得する通信部（例、通信部４２）と、上記画像（例、第１画像、第２画像、第３画像など）や上記画像解析に必要な情報を記憶する記憶部（例、記憶部４３）と、上記データ処理部５１と同等の機能を有するデータ処理部と、該データ処理部による画像の解析結果をユーザ端末に出力する出力部（例、出力部４４）とを備える。

【0146】

本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0147】

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特願２０１９－１６８６３１号（２０１９年９月１７日出願）

【符号の説明】

【0148】

１…画像処理装置、１０…培養室、２０…撮像部、４０…情報処理部、４３…記憶部、４４…出力部、５０…制御部、５２…出力制御部、５１，５１ａ…データ処理部、１００…培養部、６１…第１画像処理部、６２…第２画像処理部、６３…画素情報処理部、６４…第１除去部、６５…第２除去部、７０…第１表示画面、８０…第２表示画面、６１１…第１画素群設定部、６１２…第１算出部、６１３…第１画素値設定部、６２１…第２画素群設定部、６２２…第２算出部、６２３…第２画素値設定部、７０１…基本画面、７０２…結果表示画面、８００…画像表示部、Ｃｅ…細胞、Ｆ１，Ｆ１１，Ｆ１２，Ｆ１００，Ｆ１１０，Ｆ１２０，Ｆ１３０，Ｆ１４０，Ｆ１５０…１次元フィルタ、Ｆ２，Ｆ２１…２次元フィルタ、Ｇ１…撮像画像、Ｇ２…強調画像、Ｇ３…検出結果画像、ＬＰ…線状の部分、Ｐ１…ピーク、Ｐｇ１…第１画素群、Ｐｇ３…第３画素群、Ｐｘ…画素、Ｐｘ１…第１画素、Ｒ１…対象領域、Ｓｏ…細胞体、θ１…第１角度、θ２…第２角度、θ３…第３角度。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】