特許 7161875 画像処理方法、コンピュータプログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-19

(45)【発行日】2022-10-27

(54)【発明の名称】画像処理方法、コンピュータプログラムおよび記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221020BHJP

【ＦＩ】

G06T7/00 630

【請求項の数】 9

(21)【出願番号】P 2018130452

(22)【出願日】2018-07-10

(65)【公開番号】P2020009217

(43)【公開日】2020-01-16

【審査請求日】2021-06-18

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】猿渡 健

(72)【発明者】

【氏名】古田 智靖

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１７－０１０３２７（ＪＰ，Ａ）

【文献】辻 久巳、中山 享，大腸菌コロニーを題材としたLabVIEWを用いた 画像計測 ・処理に関する教材，新居浜工業高等専門学校紀要，第54号，国立工業高等専門学校機構新居浜工業高等専門学校，2018年01月，第83-88頁，https://www.off.niihama-nct.ac.jp/tosho-a/gyoseki-kiyo/kiyo/kiyo54/kiyo54-15.pdf

【文献】青木 功介，多量な顕微鏡画像からの有核赤血球の自動検出，画像電子学会誌 ，日本，画像電子学会，2008年，第37巻，第5号，第609-616頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

細胞、または複数の細胞が集まった細胞構造体を被撮像物として含む原画像を取得する第１工程と、
前記原画像の画像データに基づき前記原画像を空間周波数成分に分解する変換処理を行い、変換後のデータに対し、前記被撮像物の輪郭の幅に応じて定められた帯域の空間周波数成分に対して前記帯域外の空間周波数成分を相対的に減衰させるバンドパスフィルタ処理を実行し、前記バンドパスフィルタ処理後のデータに対し前記変換処理の逆変換を実行して画像を再構成する第２工程と、
前記第２工程後の画像について、所定の閾値より高濃度である領域を第１領域、それ以外の領域を第２領域として区分する第３工程と、
前記第３工程後の画像について、前記第２領域のうち前記第１領域に挟まれた部位の一部を前記第１領域に変更して、当該第２領域を挟む前記第１領域の間を連結する第４工程と、
前記第４工程後の画像について、前記第２領域のうち前記第１領域により周囲を囲まれた閉領域を前記第１領域に変更する第５工程と、
前記第５工程後の画像について、くびれを有する前記第１領域を該くびれの位置で複数に分割する第６工程と
を備える画像処理方法。

【請求項2】

前記第２工程では、前記変換処理として前記原画像を高速フーリエ変換し、周波数ドメインで前記バンドパスフィルタ処理を実行する請求項１に記載の画像処理方法。

【請求項3】

細胞、または複数の細胞が集まった細胞構造体を被撮像物として含む原画像を取得する第１工程と、
前記原画像に対し、前記被撮像物の輪郭の幅に応じて定められた帯域の空間周波数成分に対して前記帯域外の空間周波数成分を相対的に減衰させるバンドパスフィルタ処理を実行する第２工程と、
前記第２工程後の画像について、所定の閾値より高濃度である領域を第１領域、それ以外の領域を第２領域として区分する第３工程と、
前記第３工程後の画像について、前記第２領域のうち前記第１領域に挟まれた部位の一部を前記第１領域に変更して、当該第２領域を挟む前記第１領域の間を連結する第４工程と、
前記第４工程後の画像について、前記第２領域のうち前記第１領域により周囲を囲まれた閉領域を前記第１領域に変更する第５工程と、
前記第５工程後の画像について、くびれを有する前記第１領域を該くびれの位置で複数に分割する第６工程とを備え、
前記第４工程では、前記第２領域に対し分水嶺法による領域分割処理を実行する画像処理方法。

【請求項4】

前記第６工程では、前記第１領域に対し分水嶺法による領域分割処理を実行する請求項１ないし３のいずれかに記載の画像処理方法。

【請求項5】

前記原画像に対し前記第６工程後の前記第１領域に対応する領域を示す加工を施した画像を出力する請求項１ないし４のいずれかに記載の画像処理方法。

【請求項6】

前記第３工程よりも後で前記第６工程よりも前に、前記第１領域のうち所定の消去条件に該当するものを前記第２領域に変更する第７工程を備える請求項１ないし５のいずれかに記載の画像処理方法。

【請求項7】

前記原画像は、前記被撮像物を明視野撮像することで得られた画像である請求項１ないし６のいずれかに記載の画像処理方法。

【請求項8】

コンピュータに、請求項１ないし７のいずれかに記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、細胞または複数の細胞が集まってなる細胞構造体を被撮像物として撮像した画像から、被撮像物の領域を抽出するための画像処理技術に関するものである。

【背景技術】

【0002】

例えば容器内で培養された細胞のような試料に対し、細胞の数や大きさなどの定量的な計測を行う目的で撮像が行われる場合がある。このために、細胞に蛍光試薬等を導入して撮像を行うことがあるが、このような操作は細胞にダメージを与えることになる。一方、操作継続的な培養や観察等のために、非侵襲的な方法で撮像および計測を行うことが必要な場合がある。

【0003】

このような要求に応えるものとして、例えば特許文献１に記載されたものがある。この技術においては、画像の濃度に対して２段階の閾値を設定し、その閾値との比較により、画像を生細胞、死細胞およびその他の領域に区分している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１１６４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記従来技術は、濃度一様な背景に細胞が分布しており、また細胞が背景に対して有意な濃度差を有しているとの前提に立っている。しかしながら、実際の試料においては、背景は必ずしも一様ではなく、また細胞の濃度も背景に対し明確な差異を有していない場合が多い。さらに、画像には計測対象の細胞や細胞構造体以外の構造物も含まれ得る。これらに起因して、単に濃度値に対し閾値を設定して画像を区分する方法では、計測対象の細胞や細胞構造体を的確に抽出することが難しいという問題がある。

【0006】

この発明は上記課題に鑑みなされたものであり、画像から細胞や細胞構造体の領域を的確に抽出することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明に係る画像処理方法の一の態様は、上記目的を達成するため、細胞、または複数の細胞が集まった細胞構造体を被撮像物として含む原画像を取得する第１工程と、前記原画像に対し、前記被撮像物の輪郭の幅に応じて定められた帯域の空間周波数成分に対して前記帯域外の空間周波数成分を相対的に減衰させるバンドパスフィルタ処理を実行する第２工程と、前記第２工程後の画像について、所定の閾値より高濃度である領域を第１領域、それ以外の領域を第２領域として区分する第３工程と、前記第３工程後の画像について、前記第２領域のうち前記第１領域に挟まれた部位の一部を前記第１領域に変更して、当該第２領域を挟む前記第１領域の間を連結する第４工程と、前記第４工程後の画像について、前記第２領域のうち前記第１領域により周囲を囲まれた閉領域を前記第１領域に変更する第５工程と、前記第５工程後の画像について、くびれを有する前記第１領域を該くびれの位置で複数に分割する第６工程とを備えている。

【0008】

このように構成された発明は、画像中における細胞または細胞構造体（以下、「細胞等」と総称する）の像が概ね一定幅の輪郭を有しているとの知見を利用している。すなわち、画像中において所定幅、所定濃度の輪郭に囲まれた領域が、細胞等に対応する領域である蓋然性が高いと言える。したがってそのような領域を画像から抽出すればよい。しかしながら、細胞等の周囲の背景濃度にムラがあること、細胞等自身の輪郭に幅の変動や不明瞭な部分があること、被撮像物である細胞等以外の構造物や老廃物（デブリ）などが画像中に含まれ得ることなどの原因により、単純な閾値による二値化や一般的な輪郭抽出が有効に機能しないことがある。

【0009】

そこで、この発明では、次のようにして画像から細胞等の領域を抽出する。すなわち、細胞等を含む原画像に対し、まず細胞等の輪郭の幅に対応する空間周波数成分を選択的に残すためのバンドパスフィルタ処理が行われる（第２工程）。具体的には、原画像を空間周波数成分に分解する変換処理を行い、変換後のデータに対し、輪郭の幅に対応する帯域以外の成分を減衰させるバンドパスフィルタ処理が行われる。そして、フィルタ処理後のデータに対し上記変換処理の逆変換を実行することで画像が再構成される。こうして原画像に対し細胞等の輪郭幅に応じた通過帯域のバンドパスフィルタ処理を施した後の画像が得られる。これにより、原画像中で輪郭幅に近いサイズの構造物が強調される一方、比較的小さい細胞等以外の構造物や、緩やかな濃度変化を有する背景のムラ等に対応する成分が低減される。画像中における細胞等の概略サイズを知ることが可能であれば、このように輪郭のサイズに合わせた抽出処理が可能である。

【0010】

細胞等の輪郭部分は、画像中では周囲に比べて高濃度である。したがって、フィルタ後の画像から比較的高濃度の領域（本発明にいう第１領域）をより低濃度の領域から分離すれば（第３工程）、高濃度領域に細胞等の輪郭が含まれる蓋然性が高い。ただし、前述の理由で、抽出される輪郭が部分的に欠落する場合がある。これを補うために、第２領域を挟んで対向する第１領域を連結する（第４工程）。こうして抽出され欠損部分を補償された輪郭で囲まれた閉領域の内部領域は細胞等の内部と考えられるから、当該領域は全て第１領域とみなされる（第５工程）。

【0011】

さらに、複数の細胞等同士が画像中で部分的に重なり合っている場合がある。これらを一体のものとみなすと定量的な計測における誤差要因となり得る。そこで、くびれを有する第１領域については該くびれ位置で複数の領域に分割する（第６工程）。こうすることで、本来は別体であるが画像中で重なっている複数の細胞等を分離することができる。

【0012】

以上の処理により、本発明では、背景濃度のムラや細胞等自身の輪郭の不明瞭さ、画像に含まれる細胞等以外の物体等の影響を抑えて、画像から細胞等の領域を的確に抽出することが可能である。

【0013】

本発明に係る画像処理方法は、コンピュータをその実行主体とすることが可能なものである。この意味において、本発明は、コンピュータに上記処理を実行させるためのコンピュータプログラムとして実現することが可能である。また、当該コンピュータプログラムを記録した記録媒体として実現することも可能である。

【発明の効果】

【0014】

上記のように、本発明の画像処理方法によれば、細胞等（細胞または細胞構造体）の輪郭幅に対応したバンドパスフィルタ処理、輪郭の欠損を補うための処理、および画像中で重なり合った細胞等を分離する処理等を含む画像処理が行われる。これにより、背景濃度のムラや細胞等自身の輪郭の不明瞭さ、画像に含まれる細胞等以外の物体等の影響を抑えて、画像から細胞等の領域を的確に抽出することが可能である。

【図面の簡単な説明】

【0015】

【図1】本実施形態の画像処理を示すフローチャートである。

【図2】この実施形態の画像処理を実行するコンピュータ装置の構成例である。

【図3】バンドパスフィルタ処理を示すフローチャートである。

【図4】輪郭つなぎ処理を示すフローチャートである。

【図5】処理に伴う画像の変化の例を模式的に示す第１の図である。

【図6】処理に伴う画像の変化の例を模式的に示す第２の図である。

【図7】処理に伴う画像の変化の例を模式的に示す第３の図である。

【図8】処理に伴う画像の変化の例を模式的に示す第４の図である。

【図9】画像処理フローの変形例を示す図である。

【図10】変形例における画像の変化の例を模式的に示す図である。

【発明を実施するための形態】

【0016】

以下、本発明に係る画像処理方法の一実施形態について説明する。この実施形態における画像処理は、培地中で培養された細胞または複数の細胞が集合した細胞構造体を撮像した画像から、細胞または細胞構造体（以下、「細胞等」と総称する）の領域とその他の領域とを分割し、結果画像を出力する処理である。この画像処理は、細胞を含む試料を撮像する撮像機能を備えた撮像装置によって撮像された未加工の原画像に対してなされる。撮像装置が撮像後の画像データに対する後処理の１つとして本画像処理を実行してもよく、また撮像装置あるいは適宜の記憶手段から画像データを受け取ったコンピュータ装置が、本画像処理を実行してもよい。

【0017】

ここでは、既に実行された撮像により生成された原画像データに対し、汎用のコンピュータ装置が本実施形態の画像処理を実行する態様を例示して説明する。撮像装置の構成については特に限定されず、培養された細胞等を含む試料を培地とともに撮像し、デジタル画像データとして出力する機能を有するものであればよい。また画像は明視野撮像画像であることが好ましい。また、コンピュータ装置についても、例えばパーソナルコンピュータとして製品化されている一般的なハードウェア構成を有するものを利用可能である。以下ではこれらのハードウェアについての詳しい説明を省略する。

【0018】

図１は本実施形態の画像処理を示すフローチャートである。まず、図１を参照してこの実施形態における画像処理の概略について説明し、その後で処理の具体的内容について詳しく説明する。コンピュータ装置は、培地中で培養された細胞等を含む試料を適宜の撮像装置および撮像条件で明視野撮像することにより得られる原画像を取得する（ステップＳ１０１）。原画像は少なくとも１つの細胞の全体を含むものとする。言い換えれば、そのように撮像倍率および撮像倍率が設定される。したがって、原画像は、検出の対象となる細胞とそれ以外の微小な細胞、デブリ、背景等とを含み得る。

【0019】

画像内において概略外形が比較的平滑な閉曲線として現れる細胞等、例えば培養液中において単独で略球状または回転楕円体形状を示す細胞や、複数の細胞が略球状に集合した細胞構造体（このような構造体は特に「スフィア」、「スフェロイド」等とも称される）に対して、本発明の画像処理は特に好適である。このような細胞等では、その輪郭が画像内で周囲領域よりも暗く低輝度（画像濃度としては高濃度）で現れる。このような輪郭を精度よく検出することが、細胞等の領域を的確に抽出することにつながる。

【0020】

詳しくは後述するが、この実施形態では、バンドパスフィルタ処理（ステップＳ１０２）、二値化処理（ステップＳ１０３）および輪郭つなぎ処理（ステップＳ１０４）により細胞等の輪郭部分を抽出する。二値化処理では、画像が所定の濃度閾値よりも高濃度である高濃度領域と、これより低濃度である低濃度領域とに区分される。また、高濃度領域および低濃度領域にはそれぞれ単一の濃度（例えば黒色および白色）が与えられる。画像が二値化されることで、輪郭は、低濃度の背景領域に囲まれた高濃度の閉曲線として表される。

【0021】

こうして抽出された輪郭で囲まれた閉領域は細胞等の内部に相当している。二値化画像においてこのような閉領域を塗りつぶすと（ステップＳ１０５）、細胞等の領域が高濃度の中実図形オブジェクトとして抽出される。画像には検出の対象となる細胞等以外の小さな細胞やデブリ等に対応するオブジェクトが含まれ得る。これを消去するため、形態的特徴に関わるパラメータが所定の消去条件に該当するオブジェクトを消去する。

【0022】

具体的には、上記パラメータとしての長さまたは面積が所定値よりも小さなオブジェクトを消去する（ステップＳ１０６）。ここでいうオブジェクトの消去とは、二値化により高濃度領域とされているオブジェクトを低濃度領域に変更することである。また、細胞等の形状が円形に近い場合には、円形度が所定値より低い、または扁平度が所定値よりも高いことをもって消去の対象としてもよい。

【0023】

次に、くびれ分割処理が行われる（ステップＳ１０７）。詳しくは後述するが、この処理は、上記のようにして抽出されたオブジェクトが複数の細胞等が連結されたものであるときに、それらを分離するための処理である。このような連結は、複数の細胞等が試料において実際に接している場合、試料中では離隔しているが撮像方向からは重なって見える場合のいずれにも起こり得るものである。くびれ分割処理により、このように画像上で連結された細胞等を互いに分離することができる。このくびれ分割処理を実行することで、画像内の細胞等の個数やそれぞれの大きさ、面積等を算出する際における誤差を低減することが可能となる。

【0024】

細胞等の個数や大きさ等の定量的な評価を目的とする場合には、ここまでの画像処理で得られた結果画像、すなわち画像中において細胞等が占める領域とそれ以外の領域とが区分された二値化画像に基づいて各種の数値を算出することが可能である。ステップＳ１０８以降の処理は、画像処理で得られた結果をユーザに視認可能な態様で表示出力するために必要な処理である。

【0025】

ステップＳ１０８では、処理後の画像に基づき、原画像に作用させるための画像マスクを生成する。具体的には、くびれ分割処理後の画像のうち高濃度領域を透過させ、低濃度領域を遮蔽するような画像マスクが生成される。この画像マスクを原画像に作用させることで、表示用の出力画像が生成される（ステップＳ１０９）。このようにして作成される出力画像は、原画像中のオブジェクトのうち細胞等と見なされたオブジェクトだけが抽出され、他のオブジェクトが消去された画像である。

【0026】

なお、出力画像としては、上記のようなマスキング処理された画像に限定されない。例えば、原画像中のオブジェクトのうち細胞等と見なされたオブジェクトについて、オブジェクト領域の色付け、輪郭の強調などの各種加工を施すことによって細胞等の領域の視認性を高めた画像を、出力画像とすることができる。

【0027】

こうして生成された出力画像を例えば表示部に表示出力し、印刷出力し、あるいは外部装置へ送信出力することにより（ステップＳ１１０）、画像処理の結果をユーザに提示することができる。

【0028】

図２はこの実施形態の画像処理を実行するコンピュータ装置の構成例である。コンピュータ装置１は、例えばパーソナルコンピュータとして一般的な構成を有するものであり、ＣＰＵ（Central Processing Unit）１０、メモリ１４、ストレージ１５、入力デバイス１６、表示部１７、インターフェース１８およびディスクドライブ１９などを備えている。

【0029】

ＣＰＵ１０は、予め用意された制御プログラムを実行することで、上記した画像処理を実行するための機能ブロックとしての画像処理部１１をソフトウェア的に実現する。なお、画像処理部１１を実現するための専用ハードウェアが設けられてもよい。メモリ１４はＣＰＵ１０の演算過程で生成される各種データを一時的に記憶する。ストレージ１５は、ＣＰＵ１０が実行すべき制御プログラムのほか、原画像の画像データや処理後の画像データ等を長期的に記憶する。

【0030】

入力デバイス１６は、オペレータからの指示入力を受け付けるためのものであり、例えばマウス、キーボードなどを含む。また、表示部１７は画像を表示する機能を有する例えば液晶ディスプレイであり、原画像や処理後の画像、オペレータへのメッセージ等種々の情報を表示する。なお、入力デバイスと表示部とが一体化されたタッチパネルが設けられてもよい。

【0031】

インターフェース１８は、電気通信回線を介して外部装置との間で各種データ交換を行う。ディスクドライブ１９は、画像データや制御プログラム等各種のデータを記録した外部の記録ディスク２を受け入れる。記録ディスク２に記憶された画像データや制御プログラム等は、ディスクドライブ１９により読み出され、ストレージ１６に記憶される。ディスクドライブ１９はコンピュータ装置１内で生成されたデータを記録ディスク２に書き込む機能を備えていてもよい。

【0032】

本実施形態の画像処理をコンピュータ装置１に実行させるための制御プログラムについては、これを記録した記録ディスク２にディスクドライブ１９がアクセスして読み出される態様であってもよく、インターフェース１８を介して外部装置から与えられる態様であってもよい。原画像データについても同様である。

【0033】

以下、図３ないし図８を参照し、上記した画像処理の各工程を、処理の経過に伴う画像の変化例を挙げつつより詳細に説明する。図３はバンドパスフィルタ処理を示すフローチャート、図４は輪郭つなぎ処理を示すフローチャートである。また、図５ないし図８は処理に伴う画像の変化の例を模式的に示す図である。図５ないし図８の説明では、画像から検出される細胞等を、複数の細胞が概ね球状に集合したスフィアと呼ばれる細胞集塊であるとしている。

【0034】

本実施形態におけるバンドパスフィルタ処理（図１のステップＳ１０２）は、図３に示すように、原画像データをＦＦＴ（高速フーリエ変換）演算することによって原画像を空間周波成分に分解し（ステップＳ２０１）、周波数ドメイン上で通過帯域外の空間周波数成分を除去し（ステップＳ２０２）、フーリエ変換の逆変換（逆ＦＦＴ）演算により画像を再構成する（ステップＳ２０３）。バンドパスフィルタ処理を行うことで、背景の濃度ムラのような比較的低い周波数成分の濃度変化およびデブリや画像ノイズのような比較的高い周波数成分の濃度変化をともに減衰させることができる。

【0035】

例えばスムージング処理のような画素間での画素値の演算によっても、フィルタリングを実現することは可能である。ただし、このようにＦＦＴ演算により周波数ドメイン上でフィルタリングを行うことで、限られた帯域の空間周波数成分を選択的に取り出し、他の帯域成分を大きく減衰させることが可能である。

【0036】

このバンドパス処理は、画像から細胞等の輪郭に対応するオブジェクトを抽出するために実行される。したがって、その通過帯域は細胞等が取り得る輪郭の幅の大きさに基づき定められる。具体的には、例えば検出対象である細胞等の輪郭が概ね４ないし１６画素程度に相当する幅を持つことが事前にわかっている場合には、通過帯域としては、８ないし３２画素分のサイズに相当する（すなわち半波長が輪郭幅の範囲と同程度となる）空間周波数成分の範囲が選ばれる。これにより細胞等の輪郭部分に特化した輪郭抽出を行うことができる。

【0037】

図５に示す画像Ｉａは、ステップＳ１０１において取得された原画像の例を模式的に示している。原画像Ｉａでは、略一様である背景Ｂの中に、検出対象であるスフィアＳ１～Ｓ４と、検出対象ではない小細胞や浮遊物等（以下、「デブリ」と総称し符号Ｄを付す）とが分布した状態となっている。スフィアＳ１～Ｓ４は概ね円形または楕円形の外形形状を有しており、その周縁部には幅が概ね一定で高濃度の輪郭を有している。このうちスフィアＳ２，Ｓ３は画像において互いに接した状態となっている。図では各スフィアＳ１～Ｓ４の内部も比較的高濃度としているが、スフィア内部のテクスチャはどのようなものであってもよい。また、原画像Ｉａの左下部分において背景濃度が高くなる濃度ムラが生じている。

【0038】

画像Ｉｂは、原画像Ｉａに対しバンドパスフィルタ（ＢＰＦ）処理を施した後の画像の例を模式的に示している。スフィアＳ１～Ｓ４の輪郭幅に応じて最適化され、輪郭幅に対応しない低周波成分および高周波成分を共に減衰させるバンドパスフィルタ処理により、スフィアＳ１～Ｓ４の輪郭はほぼそのまま残る。一方、周波数の低い背景Ｂの濃度ムラや、輪郭幅の小さい小細胞等の成分は大きく低減されるが、バンドパスフィルタ処理における通過帯域に相当する成分については維持される。例えば、スフィアの輪郭と同程度の幅を有する小細胞の輪郭は画像に残存する。

【0039】

また、スフィアの輪郭幅にはばらつきがあり、その幅が通過帯域に対応しない場合には、フィルタ処理によって輪郭が原画像よりも細くなることがある。このため、例えば符号ａ，ｂを付して示すように、原画像Ｉａにおいてスフィア輪郭の幅が部分的に小さくなっている箇所では、フィルタ処理により当該空間周波数成分が減衰することで輪郭の一部が欠落する場合があり得る。このような欠損については、後述する輪郭つなぎ処理によって補償される。

【0040】

フィルタ後の画像Ｉｂは適宜の閾値に基づき二値化される（ステップＳ１０３）。図５の画像Ｉｃは二値化の画像の例を模式的に示したものである。二値化処理により、画像は比較的高濃度の領域と低濃度の領域とに区分される。図５に画像Ｉｃとして示すように、スフィアＳ１～Ｓ４の輪郭および中央部、比較的明瞭に残っている小細胞の輪郭等は図において黒色で示される高濃度領域に区分される。一方、それ以外の領域は図において白色で示される低濃度領域に区分されることで、事実上画像から消去される。二値化のための閾値については、公知の方法を適用して定めることができる。例えば、事前実験に基づき予め定められた閾値が用いられてもよく、また例えば大津の方法など公知の閾値決定方法を用いて動的に定められてもよい。

【0041】

なお、上記した輪郭の欠損は、二値化の過程にもおいても生じ得る。このような輪郭の欠損を補償するために、輪郭つなぎ処理（ステップＳ１０４）が実行される。図５に示す画像Ｉｄは、輪郭つなぎ処理として図４に示す処理を実行した場合の結果画像の例を模式的に示すものである。

【0042】

図４に示すように、輪郭つなぎ処理では、二値化後の画像Ｉｃの低濃度領域に対し、分水嶺法（Watershed法）として知られる領域分割処理を実行することにより、連続する低濃度領域を複数に分割する境界線を生成する（ステップＳ３０１）。その上で、こうして生成された境界線のうち予め定められた長さ以上のものを消去することにより（ステップＳ３０２）、輪郭の欠損部分を回復させる。

【0043】

図６は輪郭つなぎ処理の過程における画像の変化の例を模式的に示している。二値化処理後の画像Ｉｃの低濃度領域に対し分水嶺法による領域分割処理（ステップＳ３０１）を実行すると、画像Ｉｄａとして示すように、低濃度領域のうち、高濃度領域あるいは画像端に挟まれた比較的狭隘な部分に境界線が生成される。符号ａ，ｂを付して示すように、輪郭の部分的な欠損によって高濃度領域が近接対向する部位にも境界線が生成され、欠損により開いた状態となっていた輪郭が再び閉じられる。つまり、輪郭の欠落部分が、生成された境界線によって補償される。

【0044】

画像Ｉｄａとして示すように、ここまでの処理では欠落した輪郭部分のみならず各所に境界線が生成されてしまう。この問題を解消するために、生成された境界線のうち所定の長さ以上のものを消去する（ステップＳ３０２）。こうすることで、図６に示す画像Ｉｄのように、細胞等の背景である低濃度領域に生成された長い境界線は消去される一方、輪郭の欠損を補う短い境界線は保存される。こうして欠落した輪郭が補償される。

【0045】

ステップＳ３０１では、スフィアや小細胞等のオブジェクト内部や、近接したオブジェクト間にも境界線が生成される。このような短い境界線はステップＳ３０２の実行によっても消去されず残存する場合がある。後述するように、細胞等の領域を抽出するという目的においては、このことは大きな問題とならない。

【0046】

なお、輪郭の欠損を補償する方法は、上記以外の方法も適用し得る。例えば、高濃度領域を所定の画素数だけ一律に膨張させる膨張処理と、膨張された高濃度領域を同じ画素数だけ収縮させる収縮処理との組み合わせによっても、部分的に欠落した輪郭を補償することは可能である。ただし、このような膨張収縮処理では、比較的大きな欠落まで補償するためには膨張させる画素数を大きくする必要があり、これにより近接位置にあるが離間しているオブジェクト同士を連結させてしまうおそれが高くなる。上記した分水嶺法を利用した輪郭つなぎ処理では、高濃度領域には変化を加えないためこのような問題が生じにくい。

【0047】

図７は輪郭つなぎ処理以降の処理における画像の変化の例を模式的に示している。輪郭つなぎ処理後の画像Ｉｄに対し、高濃度領域による閉曲線で囲まれた閉領域の塗りつぶしが行われる（ステップＳ１０５）。画像Ｉｅは塗りつぶし後の画像の例を模式的に示している。このように、閉じた輪郭で囲まれた領域内の低濃度領域は高濃度領域に転換され、当該領域の全体が高濃度領域となる。

【0048】

輪郭の一部が欠落している場合、開いた領域は塗りつぶしの対象から漏れることになる。しかしながら、予め輪郭つなぎ処理が行われていること、またこれによりオブジェクトの内部にも境界線が生成されていることから、このような塗りつぶしの漏れは最小限に抑えられる。また、オブジェクト内部に生成された境界線も、この段階で塗りつぶされることになるため結果に悪影響を与えない。

【0049】

続いて、塗りつぶし後の画像Ｉｅに対し小領域の消去が行われる（ステップＳ１０６）。画像Ｉｆは画像Ｉｅから小領域を消去した後の画像の例である。画像Ｉｅから所定の消去条件、例えば、長さや面積が所定値に満たない、円形度が所定値に満たない等の条件に該当するものを消去することで、検出対象のスフィアＳ１～Ｓ４以外のオブジェクトが消去される。

【0050】

次に、小領域消去後の画像Ｉｆに対し、くびれ分割処理が実行される（ステップＳ１０７）。くびれ分割処理は、高濃度領域に対する領域分割処理であり、例えば分水嶺法を適用することができる。これにより、画像Ｉｆに含まれるオブジェクトのうち、例えば矢印で示すようにくびれた部分に対し、境界線が設定される。その結果、画像Ｉｇとして示すように、原画像Ｉａにおいて接触していたスフィアＳ２、Ｓ３の間に境界線が形成され、画像Ｉｇにおいて両スフィアは分離される。

【0051】

また、仮に輪郭つなぎ処理においてオブジェクト間に本来不要な境界線が生成されていたとしても、くびれ分割処理によってこの境界線を分離させることができるので、誤検出の原因とはならない。

【0052】

このようにして作成された画像Ｉｇを用いれば、画像内におけるスフィアの数およびそれぞれの直径、面積等を定量的に求めることが可能である。検出対象以外のオブジェクトは消去されており、また接した状態のスフィアが分離されているので、個数および面積の計測における誤差を低減することができる。

【0053】

図８は、画像Ｉｇに基づき表示出力用の出力画像を作成する過程を例示している。図８（ａ）に示すように、画像Ｉｇを画像マスクとして用い、原画像ＩａからスフィアＳ１～Ｓ４の領域のみを抽出することで、出力画像Ｉｏ１を作成することができる。具体的には、原画像Ｉａのうち、画像Ｉｇにおける高濃度領域に対応する領域を透過させる一方、低濃度領域に対応する領域を遮蔽することにより、出力画像Ｉｏ１は、原画像ＩａのうちスフィアＳ１～Ｓ４の領域において原画像Ｉａの内容が保持され、他の領域のオブジェクトが消去されたものとなる。

【0054】

このような画像Ｉｏ１が例えば表示部１７に表示出力されることで、ユーザは原画像Ｉａに含まれているスフィアＳ１～Ｓ４の形状や内部構造等を詳細にかつ容易に観察することが可能となる。

【0055】

また、図８（ｂ）に示す画像Ｉｏ２のように、画像Ｉｇにおける高濃度領域の輪郭部分を原画像Ｉａに重畳してスフィアＳ１～Ｓ４の輪郭を強調したり、原画像Ｉａのうち画像Ｉｇにおける高濃度領域に対応する領域にカラーリングを行ったりすることにより、原画像Ｉａ中で検出されたスフィアＳ１～Ｓ４の視認性を高めることが可能となる。このように、本実施形態の画像処理の結果は、検出対象物の定量的評価に利用することができるほか、ユーザによる画像の観察・評価を効果的に支援する目的にも使用することが可能である。

【0056】

なお、上記実施形態の画像処理では、図１に示すように、二値化処理後の画像に対し、輪郭つなぎ処理、閉領域塗りつぶし処理、小領域消去処理およびくびれ分割処理をこの順番で実行している。これらの処理の実行順については、以下に示すように部分的に変更することが可能である。

【0057】

図９は画像処理フローの変形例を示す図である。また、図１０はこの変形例における画像の変化の例を模式的に示す図である。なお、図９の各処理ステップにおける画像処理の内容は上記したものと同じであるため、詳しい説明は省略する。

【0058】

この変形例では、二値化処理（ステップＳ４０１）後の画像Ｉｃに対し、まず小領域消去処理が実行される（ステップＳ４０２）。図１０の画像Ｉｈはこの段階の画像の例である。画像Ｉｈでは、画像Ｉｃに含まれていた小細胞やデブリ等に相当する小さいオブジェクトが消去され、スフィアＳ１～Ｓ４に対応するオブジェクトのみが残っている。画像Ｉｈにおいては、二値化によって生じたスフィアの輪郭欠損が残存している。

【0059】

これを補償するために、画像Ｉｈに対し輪郭つなぎ処理が実行される（ステップＳ４０３）。図４に示したように、輪郭つなぎ処理は、低濃度領域に対する分水嶺法による領域分割処理と、所定長さ以上の長い境界線を消去する処理とを含む。画像Ｉｉは、分水嶺法による領域分割処理後の画像の例である。領域分割により生成される境界線は、欠落したオブジェクトの輪郭を補うとともに、オブジェクト内部、オブジェクト間、オブジェクトと画像端との間等を接続する。

【0060】

画像Ｉｉにおいて所定長さ以上の境界線を消去すると、画像Ｉｊとして示すように、オブジェクトの輪郭欠損を補う境界線やオブジェクト内部に形成された境界線のような短い境界線のみが残る。この画像Ｉｊを、先の実施形態における輪郭つなぎ処理後の画像Ｉｄと比較すると、画像Ｉｄに含まれる小細胞等のオブジェクトが画像Ｉｊでは既に消去されている点で差異がある。しかしながら、画像Ｉｊにおいて閉領域を塗りつぶす処理を実行すれば、その結果画像は、上記実施形態の画像Ｉｆと同じものとなる。このように、一部の処理の順番を変更しても同様の結果を得ることが可能である。

【0061】

以上説明したように、上記実施形態の画像処理（図１）においては、ステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０７がそれぞれ本発明の「第１工程」、「第２工程」、「第３工程」、「第４工程」、「第５工程」、「第６工程」に相当している。また、ステップＳ１０６が本発明の「第７工程」に相当している。また、上記実施形態における高濃度領域が本発明の「第１領域」に相当し、低濃度領域が本発明の「第２領域」に相当している。

【0062】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、比較的小さなオブジェクトを処理対象外として画像から小領域を消去する処理を行っているが、この処理を省くことで、画像中の全てのオブジェクトを処理対象とすることが可能である。またこの目的のために、バンドパスフィルタ処理における通過帯域が複数設定されてもよい。

【0063】

また、上記実施形態では輪郭つなぎ処理およびくびれ分割処理にいずれも分水嶺法を適用しているが、他の領域分割方法を適用することも可能である。また、輪郭つなぎ処理とくびれ分割処理とが異なる原理のものであってもよい。

【0064】

また、バンドパスフィルタ処理としては、上記した周波数ドメインでのフィルタリング以外に、より一般的な画素間の演算によるものであってもよい。ただしこの場合のカットオフ特性としては急峻なものが求められる。

【0065】

また、上記実施形態では、二値化処理後の画像について、原画像における高濃度領域を黒色、低濃度領域を白色で表現しているが、これらが逆であってもよい。

【0066】

また、上記実施形態では、画像処理の結果を表示出力することでユーザに提示しているが、細胞等の領域を抽出した結果をどのように利用するかは上記に限定されず、任意である。

【0067】

また、上記実施形態における抽出対象は、複数の細胞が略球状に集合したスフィアと呼ばれる細胞構造体であるが、これに限定されない。例えば互いに独立した細胞や、培地中で二次元的に広がる細胞コロニー等の抽出にも、上記処理を適用することが可能である。

【0068】

また、上記実施形態では、汎用のコンピュータ装置１によって領域分割処理が実行されているが、前述したように例えば撮像装置にこの処理機能が組み込まれていてもよい。また、既存の撮像装置に本実施形態の領域分割処理を実行するためのプログラムを追加的に実装して機能拡張を行うことも可能である。

【0069】

以上、具体的な実施形態を例示して説明してきたように、本発明の第２工程では、原画像を高速フーリエ変換し周波数ドメインでバンドパスフィルタ処理を実行してもよい。このようなフィルタ処理は、画素間の演算によるフィルタ処理に比べ、狭帯域の空間周波数成分を選択的に抽出するのにより適している。このため、細胞等の輪郭の幅に対応するサイズを有する領域を他の領域と明確に区別して抽出することが可能である。

【0070】

また、第４工程では、第２領域に対する分水嶺法による領域分割処理を適用することができる。このような構成によれば、本来は連続する輪郭によって隔てられるべきであるが輪郭の欠落によって連続することとなっている第２領域を適正に分離することができる。これにより、欠落していた輪郭を補うことができる。

【0071】

一方、第６工程では、第１領域に対する分水嶺法による領域分割処理を適用することができる。このような構成によれば、細胞等の重なりに起因する第１領域の連結をくびれ位置で適切に分割し、細胞等を分離することができる。

【0072】

また、本発明の画像処理方法は、原画像に対し第６工程後の第１領域に対応する領域を示す加工を施した画像を出力するように構成されてもよい。このような構成によれば、原画像から抽出された細胞等の領域をユーザに対し明示的に提示することができる。これによりユーザによる観察作業を効果的に支援することができる。

【0073】

また、第３工程よりも後で第６工程よりも前に、第１領域のうち所定の消去条件に該当するものを第２領域に変更する第７工程が設けられてもよい。このような構成によれば、画像に含まれる処理対象外の物体を除外することで、後工程における処理の簡素化および誤抽出の低減を図ることができる。

【0074】

また、原画像は細胞等を明視野撮像することで得られた画像であってもよい。一般に細胞は透明に近く、また細胞が培養される培地との屈折率の差も小さいため、明視野撮像画像では目視による細胞等とそれ以外の領域との区別が難しい。このような画像に本発明を適用することで、画像中の細胞等の領域を良好にかつ安定的に抽出することが可能となる。また染色等のラベリングを行わない明視野撮像により得られる画像を用いることができるので、非侵襲での細胞等の観察・評価が可能となる。

【産業上の利用可能性】

【0075】

本発明は、細胞を撮像し画像を評価する生化学や医療の分野に適用可能であり、特に培養されている細胞にダメージを与えるような加工を行うことのない撮像が必要とされる技術分野に好適なものである。

【符号の説明】

【0076】

１ コンピュータ装置
２ 記録ディスク（記録媒体）
Ｉａ 原画像
Ｉｏ１，Ｉｏ２ 出力画像
Ｓ１～Ｓ４ スフィア
Ｓ１０１ 第１工程
Ｓ１０２ 第２工程
Ｓ１０３ 第３工程
Ｓ１０４ 第４工程
Ｓ１０５ 第５工程
Ｓ１０６ 第７工程
Ｓ１０７ 第６工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】