特許 6355476 閾値決定方法、画像処理方法および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6355476

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】閾値決定方法、画像処理方法および画像処理装置

(51)【国際特許分類】

   C12M 1/34 20060101AFI20180702BHJP

   C12Q 1/04 20060101ALI20180702BHJP

   G06T 1/00 20060101ALI20180702BHJP

   G06T 7/00 20170101ALI20180702BHJP

   G01N 33/48 20060101ALI20180702BHJP

   G01N 21/27 20060101ALI20180702BHJP

【ＦＩ】

   C12M1/34 B

   C12Q1/04

   G06T1/00 295

   G06T7/00 630

   G01N33/48 M

   G01N33/48 P

   G01N21/27 A

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2014-165692(P2014-165692)

(22)【出願日】2014年8月18日

(65)【公開番号】特開2016-41032(P2016-41032A)

(43)【公開日】2016年3月31日

【審査請求日】2017年6月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】藤本 博己

【審査官】 白井 美香保

(56)【参考文献】

【文献】 特開２００９−２１０４０９（ＪＰ，Ａ）

【文献】 特開平０９−００６９５７（ＪＰ，Ａ）

【文献】 特開２００３−００４６０８（ＪＰ，Ａ）

【文献】 特開平０８−２０１２９８（ＪＰ，Ａ）

【文献】 特開昭６３−２２５１５１（ＪＰ，Ａ）

【文献】 特開平０４−０９２９８２（ＪＰ，Ａ）

【文献】 特開２００３−０５８８７９（ＪＰ，Ａ）

【文献】 特開平０６−０２８４５３（ＪＰ，Ａ）

【文献】 特開２００２−３１２７６１（ＪＰ，Ａ）

【文献】 特開２０１３−２２３４６３（ＪＰ，Ａ）

【文献】 中国特許第１０１４０３７４３（ＣＮ，Ｂ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｃ１２Ｍ １／００−３／１０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＰｕｂＭｅｄ

ＣｉＮｉｉ

ＤＷＰＩ（Ｔｈｏｍｓｏｎ Ｉｎｎｏｖａｔｉｏｎ）

(57)【特許請求の範囲】

【請求項1】

染色された細胞を撮像した原画像から、染色された染色領域と染色されていない非染色領域とを区別するための画素値の閾値を決定する閾値決定方法であって、
前記原画像となるモノクロ画像を取得する工程と、
前記原画像を構成する各画素の画素値の度数分布を求める工程と、
前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定する工程と、
特定された前記バレーが複数あるとき、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む２つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に相当する画素値を前記閾値として設定する工程と
を備える閾値決定方法。

【請求項2】

前記ヒストグラムにおいて一の前記バレーを挟む２つの前記ピークを結んだ仮想線分と当該バレーを通り度数軸に平行な仮想線分との交点に相当する度数の値と、当該バレーに相当する度数の値との差を、当該バレーの深さの指標値とする請求項１に記載の閾値決定方法。

【請求項3】

前記画素が取り得る全ての画素値のうち、数値が等差数列をなす一部の画素値に対応する度数分布に基づき、前記ピークおよび前記バレーを特定する請求項１または２に記載の閾値決定方法。

【請求項4】

前記ヒストグラムにおいて前記バレーが１つのとき、当該バレーに相当する画素値を前記閾値とする請求項１ないし３のいずれかに記載の閾値決定方法。

【請求項5】

前記ヒストグラムにおいて前記バレーが存在しないとき、前記画像中で最も高輝度である画素の画素値を前記閾値とする請求項１ないし４のいずれかに記載の閾値決定方法。

【請求項6】

請求項１ないし５のいずれかに記載の閾値決定方法により前記閾値を決定する工程と、
前記閾値に基づき、前記原画像を前記染色領域と前記非染色領域とに区分する工程と
を備える画像処理方法。

【請求項7】

前記染色領域に区分された前記画素の画素値を第１の値に設定する一方、前記非染色領域に区分された前記画素の画素値を前記第１の値と異なる第２の値に設定することで、前記原画像を２値表現した２値化画像を作成する工程を備える請求項６に記載の画像処理方法。

【請求項8】

染色された細胞を撮像したモノクロ画像である原画像を取得する画像取得手段と、
前記原画像中の前記染色領域と前記非染色領域とに互いに異なる画像処理を施す画像処理手段と、
前記画像処理手段による処理結果を出力する出力手段と
を備え、
前記画像処理手段は、前記原画像を構成する各画素の画素値の度数分布を求め、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定し、特定された前記バレーが複数あるとき、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む２つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に相当する画素値を前記閾値として、前記原画像を前記染色領域と前記非染色領域とに区分する画像処理装置。

【請求項9】

前記画像処理手段は、前記閾値に基づき前記原画像を２値表現した２値化画像を作成し、
前記出力手段は、前記２値化画像を表示する表示部を有する請求項８に記載の画像処理装置。

【請求項10】

前記画像取得手段は、前記細胞を撮像して前記原画像を生成する撮像部を有する請求項８または９に記載の画像処理装置。

【請求項11】

前記画像取得手段は、前記原画像の画像データを外部装置から受信する受信部を有する請求項８ないし１０のいずれかに記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、染色された細胞を撮像した原画像に対して画素値の閾値を設定し、染色された領域と染色されていない領域とを区別する技術に関するものである。

【背景技術】

【0002】

培養プレートやディッシュ（シャーレ）で細胞を２次元培養（単層培養などともいう）した試料を用いた実験・研究においては、細胞の生育状態を知るために試料を染色することが行われる。細胞が存在する領域が選択的に染色されることにより、細胞の分布状況を知ることができる。

【0003】

このように染色された試料の画像から、画像を構成する各画素の画素値に基づく画像処理により、染色された領域と染色されていない領域とを自動的に区別する技術の確立が求められている。例えば特許文献１に記載の技術では、染色された間質領域と染色されていない背景領域とを区別するための画素値の閾値を定める方法として、Kittlerの判別分析法および大津の判別分析法が用いられている。この他、画像を２値化するための技術としては、Ｐタイル法やモード法などが従来から知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−２１０４０９号公報（例えば、段落００３０）

【発明の概要】

【発明が解決しようとする課題】

【0005】

細胞の生育状態が培養条件により様々であるため、画像中において染色された領域が占める比率は０％から１００％の間で試料ごとに大きく変化する。また、細胞自体の色彩や染色の状態などにより、染色された領域の画像濃度も一様ではない。このことに起因して、上記した各種の従来技術では染色領域と非染色領域とを的確に区別できないケースがあった。特に、画像の多くを染色領域または非染色領域の一方が占めている場合、設定された閾値に基づく区分が専門家の目視による判断と合わないことがある。

【0006】

この発明は上記課題に鑑みなされたものであり、画素値の閾値を適切に設定して、染色された領域と染色されていない領域とをユーザーに違和感を与えることなく区別することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明の一の態様は、染色された細胞を撮像した原画像から、染色された染色領域と染色されていない非染色領域とを区別するための画素値の閾値を決定する閾値決定方法であって、上記目的を達成するため、前記原画像となるモノクロ画像を取得する工程と、前記原画像を構成する各画素の画素値の度数分布を求める工程と、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定する工程と、特定された前記バレーが複数あるとき、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む２つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に相当する画素値を前記閾値として設定する工程とを備えている。

【0008】

染色領域と非染色領域とを含む画像では、画像を構成する各画素の画素値についてヒストグラムを作成すると、染色領域および非染色領域のそれぞれに対応する２つの主たるピークが現れる、すなわち双峰性を有すると期待される。しかしながら、前記したように、染色領域、非染色領域ともに画像濃度が必ずしも一様でなく、これに起因してヒストグラムには３以上のピークが現れることも多い。特に画像の多くを染色領域が占める場合、画素値のばらつきがより顕著となり、多くのピーク（山）、バレー（谷）が生じる。このような状況に、前記した従来技術は対応することができない。

【0009】

ヒストグラムにおいて複数のバレーが存在するとき、いずれかのバレーが染色領域と非染色領域とを区分する閾値に対応している蓋然性が高い。したがって各バレーの有意性を評価することが適切な閾値を見出すための方法として考えられる。本発明では、各バレーを挟む２つのピークから見た当該バレーの深さを評価し、最も深いバレーに対応する画素値を、染色領域と非染色領域とを区分するための閾値とする。本願発明者の知見によれば、このようにして決定された閾値に基づき原画像を染色領域と非染色領域とに区分したとき、専門家が見ても違和感のない結果を得ることができた。

【0010】

また、この発明の他の態様は、上記した閾値決定方法により前記閾値を決定する工程と、前記閾値に基づき、前記原画像を前記染色領域と前記非染色領域とに区分する工程とを備える画像処理方法である。

【0011】

また、この発明のさらに他の態様は、染色された細胞を撮像したモノクロ画像である原画像を取得する画像取得手段と、前記原画像中の前記染色領域と前記非染色領域とに互いに異なる画像処理を施す画像処理手段と、前記画像処理手段による処理結果を出力する出力手段とを備え、前記画像処理手段は、前記原画像を構成する各画素の画素値の度数分布を求め、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定し、特定された前記バレーが複数あるとき、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む２つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に相当する画素値を前記閾値として、前記原画像を前記染色領域と前記非染色領域とに区分する画像処理装置である。

【0012】

これらの発明では、上記のように各バレーの深さを評価した結果に基づき適切に設定された閾値に基づいて原画像中の染色領域と非染色領域とが区分される。したがって、熟練した専門家の判断に近い区分結果を自動的に得ることができる。

【発明の効果】

【0013】

本発明によれば、ヒストグラムに現れる各バレーの評価に基づき画素値の閾値が決定される。これにより、原画像中の染色領域と非染色領域とに関し、ユーザーに違和感を与えない区分が可能となる。

【図面の簡単な説明】

【0014】

【図1】この発明にかかる画像処理装置の一実施形態の概略構成を示すブロック図である。

【図2】画像処理の一例を示すフローチャートである。

【図3】原画像とそれから得られる二次データとを例示する図である。

【図4】ピークおよびバレー検出処理を示すフローチャートである。

【図5】ヒストグラムの例を示す図である。

【図6】ピークおよびバレー検出処理における変数の状態遷移を示す図である。

【図7】原画像およびこれを２値化した２値化画像の例を示す図である。

【図8】原画像およびこれに対応するヒストグラムの他の例を示す図である。

【発明を実施するための形態】

【0015】

図１はこの発明にかかる画像処理装置の一実施形態の概略構成を示すブロック図である。この画像処理装置１００は、本発明にかかる画像処理方法を実行するための機能を有するものであり、そのための具体的構成として、撮像部１と、画像処理部２と、ＵＩ（ユーザーインターフェース）部３とを備えている。

【0016】

撮像部１は、ウェルプレート、シャーレ、ディッシュ等の試料容器に担持された培地内で培養された細胞を撮像する機能を有するものであり、イメージセンサ１１と、イメージセンサ１１から出力される電気信号をデジタル信号に変換するＡ／Ｄコンバータ１２とを備えている。上記した試料容器を保持するための機構が撮像部１に設けられてもよい。

【0017】

イメージセンサ１１としては、例えばＣＣＤセンサまたはＣＭＯＳセンサなどの受光デバイスが用いられる。イメージセンサ１１は、微小な受光素子が受光平面上で二次元配置されたエリアイメージセンサ、受光素子が一列に配列されたリニアイメージセンサのいずれであってもよい。リニアイメージセンサが用いられる場合、二次元画像を得るために該イメージセンサを撮像対象物に対し相対的に走査移動させる走査移動機構が別途設けられる。また、イメージセンサ１１は、例えば顕微鏡光学系のような適宜の撮像光学系との組み合わせで使用されてもよい。イメージセンサ１１が受光量に応じて出力する電気信号はＡ／Ｄコンバータ１２によりデジタル信号に変換され、撮像部１はこうして生成されたデジタル画像データを、画像処理部２に対し出力する。

【0018】

画像処理部２は、予め用意された制御プログラムを実行して所定の画像処理を実現するＣＰＵ（中央処理装置）２１と、ＣＰＵ２１が実行すべき制御プログラムや撮像部１から送信される画像データ、画像処理の過程で生成される中間データなどを記憶保存するストレージ２２と、画像処理部２と外部装置との間のデータ交換を司るインターフェース（Ｉ／Ｆ）２３とを備えている。

【0019】

また、ＵＩ部３は、処理開始指示や条件設定などのユーザーからの操作入力を受け付ける例えばマウス、キーボード、タッチパネル、操作ボタンなどの入力デバイス３１と、処理の進行状況や結果などを表示するディスプレイ３２とを備えている。なお、画像処理部２およびＵＩ部３の各構成は一般的なパーソナルコンピュータが備えるものと同等であってよく、汎用のパーソナルコンピュータの構成および機能を画像処理部２およびＵＩ部３として用いることが可能である。

【0020】

上記のように構成された画像処理装置１００は、試料容器内で培養される細胞の生育状態を観察する目的に好適なものである。このような観察目的の実験においては、試料容器内で細胞が二次元培養されてなる試料が適宜の染料によって染色される。試料容器内を撮像した画像では、細胞が占める領域が染色されて染色領域をなす一方、細胞が存在しない領域は染料の色が現れない非染色領域となる。以下では、画像処理装置１００が実行可能な画像処理のうち、撮像した画像から染色領域と非染色領域とを自動的に識別し、その結果から画像を２値化する一連の処理について説明する。

【0021】

図２は画像処理の一例を示すフローチャートである。この画像処理は、画像処理部２のＣＰＵ２１がストレージ２２に予め保存されている制御プログラムを実行して装置各部を制御することにより実現される。最初に、予め用意された試料、すなわち試料容器内で細胞が培養されたものが撮像部１により撮像され、これにより試料の原画像が取得される（ステップＳ１０１）。

【0022】

図３は原画像とそれから得られる二次データとを例示する図である。図３（ａ）は原画像の一例を示す図である。この原画像では、略円形の試料容器内底面に、細胞が存在せず培地が露出して比較的高輝度、すなわち白に近い淡い画像濃度の領域（非染色領域）と、染色された細胞が分布し非染色領域よりも高い画像濃度（低輝度）の染色領域とが混在している。続いて、これら２種類の領域を以下のようにして区分する。

【0023】

まず、得られた原画像を構成する画素のうち、試料容器内部に対応する各画素の画素値の度数分布を求め、それに対応するヒストグラムを作成する（ステップＳ１０２）。図３（ｂ）はヒストグラムの一例を示す図である。ここでは原画像をモノクロ画像とし、各画素の画素値は当該画素の輝度を多階調で表したものとする。各画素が８ビットデータで表される場合、画素値は０から２５５までの２５６段階で表され、数値が小さいほど当該画素が低輝度、つまり暗く黒色に近いことを表し、数値が大きいほど当該画素が高輝度、つまり明るく白色に近いことを表す。

【0024】

染色領域と非染色領域とを含む原画像のヒストグラムでは、図３（ｂ）に示すように、染色領域に対応する低輝度側のピーク（山）と、非染色領域に対応する高輝度側のピークとが現れ、これらのピーク間のバレー（谷）に相当する位置に、染色領域と非染色領域とを分ける画素値の閾値が存在すると期待される。すなわち、当該閾値よりも低輝度側の画素値を有する画素は染色領域に属し、閾値よりも高輝度側の画素値を有する画素は非染色領域に属する蓋然性が高いと言える。そこで、この画像処理では、原画像から得られた度数分布に基づき、染色領域と非染色領域とを区分するための画素値の閾値を決定する。

【0025】

しかしながら、染色された細胞の色合いには個体差やばらつきがあるため、ヒストグラムに２つのピークが明瞭に現れるとは限らず、図３（ｂ）に示すように、主要なピークの他にも細かい凹凸が多数現れることがある。そこで、このような細かい変動を除去するためにヒストグラムのスムージングを行う（ステップＳ１０３）。

【0026】

スムージングの方法としては、例えば移動平均処理、メディアンフィルタ処理などが考えられる。ここでは度数軸での数値の操作を回避するために、画素値を一定周期でサンプリング抽出することで画素値の間引きを行い、これにより細かい凹凸のないヒストグラムを得る。この間引きは、画素値のスケールにおいてその解像度を粗くすることと等価である。本願発明者の知見では、画素値が８ビット２５６段階で表される場合、画素値を（１／８）程度に間引くことで、有意な情報を失うことなく無意味な凹凸を消滅させることができることがわかっている。しかしながら、目的に応じて間引きの度合いを変更してもよい。またスムージング方法についてもこれに限定されない。

【0027】

図３（ｂ）に黒丸印で示すように、画素値を８ずつスキップしながら当該画素値に対応する度数の数値を抽出することで、（１／８）に間引かれた度数分布が得られる。より一般化して言うと、間引きの比率（この例では８）を公差とする等差数列上の数値に該当する画素値をそれぞれ一の新たな階級とし、当該画素値に対応する度数を新たな度数とする新たな度数分布を求めることにより、スムージング後の度数分布およびそれに対応するヒストグラムを得ることができる。

【0028】

図３（ｂ）に示す例では、等差数列の初項を０、公差を８とする等差数列｛０，８，１６，３２，…｝の各項に該当する画素値により度数をサンプリング抽出することでスムージング（間引き）を実現しているが、初項を１ないし７のいずれかの値としてもよい。また、公差についても上記したように８に限定されず適宜変更可能である。このようにしてスムージングを行うことで、有意でない凹凸が除去された新たな度数分布が求められる。続いて、当該度数分布に対応するヒストグラムに現れるピークおよびバレーの位置と、それらの高さとが検出される（ステップＳ１０４）。

【0029】

図４はピークおよびバレー検出処理を示すフローチャートである。最初に、処理に用いられる変数等の初期化が行われる（ステップＳ２０１）。この処理では、スムージング後のヒストグラムにおける各階級の度数を格納する配列変数Ｈ［ｉ］、当該ヒストグラムの変化状態を表す配列変数Ａ［ｉ］、ピーク位置を記録するための配列変数Ｐ［ｉ］、バレー位置を記録するための配列変数Ｖ［ｉ］、ピークの出現個数をカウントするスカラー変数Ｃｐ、バレーの出現個数をカウントするスカラー変数Ｃｖ、および、ヒストグラムの変化傾向を表すスカラー変数Ｔが用いられる。

【0030】

なお、各配列変数のパラメータｉは、スムージング後の度数分布およびヒストグラムにおける各階級を表すものであり、元のヒストグラムからサンプリング抽出された画素値と１対１に対応する。すなわち、サンプリング抽出する際の等差数列の初項，第２項，第３項，…に相当する画素値が、階級数０，１，２，…にそれぞれ対応する。前述した初項０、公差８の等差数列に基づく間引きの場合、画素値０，８，１６，…がそれぞれ階級数０，１，２，…に対応する。間引きを行わない場合には、画素値がそのまま階級数となる。以下では、スムージング後の階級数を符号Ｎにより表す。２５６段階の元データを（１／８）に間引くケースでは、Ｎ＝３２である。

【0031】

初期状態では、配列変数Ｈ［ｉ］にはスムージング後の度数分布における階級数ｉ（ｉ＝０，１，…，Ｎ）のそれぞれに対応する度数の値が格納される。他の配列変数Ａ［ｉ］、Ｐ［ｉ］、Ｖ［ｉ］にはヌルデータが設定される。またスカラー変数Ｃｐ、Ｃｖにはそれぞれ初期値「０」が設定される。またヒストグラムが階級とともに上昇する局面であるか下降する局面であるかの傾向を示すスカラー変数Ｔには、初期値「ｕｐ」が設定される。

【0032】

続いて、スムージング後の度数分布を表す配列変数Ｈ［ｉ］に基づき、ヒストグラムの変化状態を示す配列変数Ａ［ｉ］を記録する（ステップＳ２０２）。具体的には、互いに隣接する値Ｈ［ｉ］と値Ｈ［ｉ−１］との比較に基づく場合分けにより、次の条件式、
Ｈ［ｉ］＞Ｈ［ｉ−１］のとき、「上昇」
Ｈ［ｉ］＝Ｈ［ｉ−１］のとき、「不変」
Ｈ［ｉ］＜Ｈ［ｉ−１］のとき、「下降」
により値Ａ［ｉ］を設定する。上記定義から明らかなように、値Ａ［ｉ］が「上昇」であるとき、当該階級では１つ下の階級よりも度数が増加している。また、値Ａ［ｉ］が「不変」であるとき、当該階級では１つ下の階級と度数が同じである。また、値Ａ［ｉ］が「下降」であるとき、当該階級では１つ下の階級よりも度数が減少している。このように、配列変数Ａ［ｉ］は、ヒストグラムの各所における度数の増減の状態を表している。

【0033】

そして、ステップＳ２０４ないしＳ２０８の処理を各階級ｉについてループ実行することにより各階級の度数が評価され、ヒストグラムにおけるピークおよびバレーの位置とその高さとが特定される。具体的には、評価する階級数ｉを初期値１に設定し（ステップＳ２０３）、階級数が最後の値Ｎとなるまで（ステップＳ２０９）階級数ｉを１つずつインクリメントしながら（ステップＳ２１０）、ステップＳ２０４ないしＳ２０９のループ処理を実行する。

【0034】

個々のループ処理の内容について説明する。ステップＳ２０４では、現在着目する階級数ｉに対応する値Ａ［ｉ］が「不変」であるか否かを判定する。値Ａ［ｉ］が「不変」であれば（ステップＳ１０４においてＹＥＳ）、ステップＳ２０５ないしＳ２０８の処理はスキップする。値Ａ［ｉ］が「上昇」または「下降」であれば（ステップＳ１０４においてＮＯ）、続いてステップＳ２０５が実行される。

【0035】

ステップＳ２０５では、現在着目する階級数ｉに対応する値Ａ［ｉ］とスカラー変数Ｔとを評価する。具体的には、スカラー変数Ｔの値が「ｕｐ」であり、かつ、値Ａ［ｉ］が「下降」である場合には、続いてステップＳ２０６を実行するが、それ以外の場合にはステップＳ２０６をスキップする。

【0036】

ステップＳ２０６では、以下のように変数の書き換えを行う。すなわち、現在着目している階級ｉよりも１つ小さい階級（ｉ−１）に対応する変数Ｐ［ｉ−１］に、当該位置にピークがあることを示す情報を記録する。ピーク位置をどのような態様で記録するかは任意であり、例えばこのような配列変数を用いず、単にメモリやレジスタにピーク位置を記憶させておくだけでもよい。また、ピークの個数を示す変数Ｃｐの値に１が加算され、さらに変数Ｔが「ｄｏｗｎ」に変更される。

【0037】

続くステップＳ２０７では、現在着目する階級数ｉに対応する値Ａ［ｉ］とスカラー変数Ｔとを評価する。ここでは、スカラー変数Ｔの値が「ｄｏｗｎ」であり、かつ、値Ａ［ｉ］が「上昇」である場合には、続いてステップＳ２０８を実行する。それ以外の場合にはステップＳ２０８をスキップする。

【0038】

ステップＳ２０８では、以下のように変数の書き換えを行う。すなわち、現在着目している階級ｉよりも１つ小さい階級（ｉ−１）に対応する変数Ｖ［ｉ−１］に、当該位置にバレーがあることを示す情報を記録する。ピーク位置の記録と同様、情報の態様は任意である。また、バレーの個数を示す変数Ｃｖの値に１が加算され、さらに変数Ｔが「ｕｐ」に変更される。

【0039】

上記のようなループ処理によりピークおよびバレーが検出されるプロセスを、実例を挙げて説明する。以下の説明の便宜のために、上記したループ中の条件分岐により取り得る処理経路に番号を付しておく。図４の右上の表に示したように、ステップＳ２０４における判断結果が「ＹＥＳ」であるときの処理経路、すなわちステップＳ２０５ないしＳ２０８がスキップされてステップＳ２０４から直接ステップＳ２０９にジャンプする経路を「経路１」と称する。同様に、ステップＳ２０４、Ｓ２０５、Ｓ２０７における判断結果がそれぞれ「ＮＯ」、「ＮＯ」、「ＹＥＳ」であるときの処理経路を「経路２」と称する。また、ステップＳ２０４、Ｓ２０５、Ｓ２０７における判断結果がそれぞれ「ＮＯ」、「ＹＥＳ」、「ＮＯ」であるときの処理経路を「経路３」と称する。また、ステップＳ２０４、Ｓ２０５、Ｓ２０７における判断結果がいずれも「ＮＯ」であるときの処理経路を「経路４」と称する。

【0040】

なお、表中に番号（５）を付して示すように、ステップＳ２０５、Ｓ２０７において判断結果が共に「ＹＥＳ」となるケースは、変数Ａ［ｉ］の定義からみてあり得ない。すなわち、ステップＳ２０４ないしＳ２０８の全てが順番に実行されるような処理経路に沿って処理が進行することはないので、この処理経路を考える必要はない。

【0041】

図５はヒストグラムの例を示す図である。また、図６はピークおよびバレー検出処理における変数の状態遷移を示す図である。以下では、図５（ａ）に示すヒストグラムを例としてピークおよびバレー検出処理の進行について説明するが、このヒストグラムは説明のための仮想的なものであり、図３（ｂ）に示すヒストグラムとは直接関係しない。また、図５（ａ）のヒストグラムは階級の一部、具体的には０ないしＮ階級のうちの０ないし１０階級のみを示している。

【0042】

スムージング後のヒストグラムが図５（ａ）に示すものであったとする。各階級ｉ（ｉ＝０，１，２，…，Ｎ）に対応する度数の値Ｈ［ｉ］を、符号Ｈｉ（ｉ＝０，１，２，…，Ｎ）により表す。すなわち、例えばＨ［０］＝Ｈ0、Ｈ［１］＝Ｈ1、…である。図６の表中で左端に「Ｈ［ｉ］」と記した行には、ステップＳ２０１において初期化された、階級数ｉに対応する度数の値Ｈ［ｉ］が記入されている。各値の間に挿入された記号（＝）、（＜）、（＞）は、隣接する階級間での度数の大小関係を示しており、図５（ａ）のヒストグラムと対応している。すなわち、Ｈ0＝Ｈ1、Ｈ1＜Ｈ2、Ｈ2＞Ｈ3、…である。

【0043】

ステップＳ２０２では、配列変数Ｈ［ｉ］に基づき、ヒストグラムの変化状態を示す配列変数Ａ［ｉ］が求められる。すなわち、値Ｈ［ｉ−１］に対する値Ｈ［ｉ］の変化に基づき、値Ａ［ｉ］が「上昇」、「不変」、「下降」のいずれかに設定される。図５（ａ）に示す例では、Ｈ［０］＝Ｈ［１］であるので、図６に示すようにＡ［１］の値は「不変」となる。また、Ｈ［１］＜Ｈ［２］であるので、Ａ［２］の値は「上昇」となる。さらに、Ｈ［２］＞Ｈ［３］であるので、Ａ［３］の値は「下降」となる。以降の各値も同様にして求められ、ループ処理に供される。変数Ｔの初期値は前述の通り「ｕｐ」である。

【0044】

第１回のループ処理（ｉ＝１）では、Ａ［ｉ］＝Ａ［１］の値が「不変」であるため処理経路１に沿った処理が実行され、各変数の値に変化はない。第２回のループ処理（ｉ＝２）では、Ａ［２］の値が「上昇」、Ｔの値が「ｕｐ」であるため処理経路４に沿った処理が実行される。この場合も各変数の値に変化はない。

【0045】

第３回のループ処理（ｉ＝３）では、Ａ［３］の値が「下降」、Ｔの値が「ｕｐ」であるため、ステップＳ２０５における判断が「ＹＥＳ」となり、処理経路３に沿った処理が実行される。したがって、Ｐ［ｉ−１］、すなわちＰ［２］にピーク有の情報が記録される。図６では、黒丸印によりピーク位置を表している。また、ピーク個数をカウントする変数Ｃｐが０から１に変更され、変数Ｔは「ｕｐ」から「ｄｏｗｎ」に変更される。

【0046】

第４回のループ処理（ｉ＝４）では、Ａ［４］の値が「上昇」、Ｔの値が「ｄｏｗｎ」であるため、ステップＳ２０７における判断が「ＹＥＳ」となり、処理経路２に沿った処理が実行される。したがって、Ｖ［３］にバレー有の情報が記録される。図６では、白丸印によりバレー位置を表している。また、バレー個数をカウントする変数Ｃｖが０から１に変更され、変数Ｔは「ｄｏｗｎ」から「ｕｐ」に変更される。

【0047】

第５回のループ処理（ｉ＝５）では、Ａ［５］の値が「不変」であるため処理経路１に沿った処理が実行され、各変数の値は変化しない。第６回のループ処理（ｉ＝６）では、Ａ［６］の値が「上昇」、Ｔの値が「ｕｐ」であるため処理経路４に沿った処理が実行される。この場合も各変数の値に変化はない。

【0048】

第７回のループ処理（ｉ＝７）では、Ａ［７］の値が「下降」、Ｔの値が「ｕｐ」であるため、第３回と同様、処理経路３に沿った処理が実行される。これにより、Ｐ［６］にピークが記録され、ピーク個数をカウントする変数Ｃｐの値が１増加し、Ｔの値が「ｄｏｗｎ」に変更される。第８回のループ処理（ｉ＝８）では、Ａ［８］の値が「下降」、Ｔの値が「ｄｏｗｎ」であるため、第６回と同様、処理経路４に沿った処理が実行され、各変数の値は変化しない。

【0049】

第９回のループ処理（ｉ＝９）では、Ａ［９］の値が「上昇」、Ｔの値が「ｄｏｗｎ」であるため、処理経路２に沿った処理が実行される。したがって、Ｖ［８］にバレー有の情報が記録される。また、バレー個数をカウントする変数Ｃｖが１から２に増加し、変数Ｔが「ｄｏｗｎ」から「ｕｐ」に変更される。第１０回のループ処理（ｉ＝１０）では、Ａ［１０］の値が「下降」、Ｔの値が「ｕｐ」であるため、処理経路３に沿った処理が実行される。これにより、Ｐ（９）にピークが記録され、ピーク個数をカウントする変数Ｃｐの値が１増加し、Ｔの値が「ｄｏｗｎ」に変更される。

【0050】

このように、図４のフローチャートに示される処理が実行されることで、ヒストグラム中のピーク位置およびバレー位置が特定され記録される。図６を参照すると、ｉ＝２、６および９にピークが記録される一方、ｉ＝３、８にバレーが記録されている。この結果は、図５（ａ）に示されるヒストグラムのピーク位置およびバレー位置と一致していることがわかる。

【0051】

図２に戻って、本実施形態の画像処理の説明を続ける。上記のようにしてヒストグラムにおけるピークおよびバレーが特定されると、バレーの評価およびそれに基づく閾値の決定が行われる。検出されたバレーの個数、すなわち変数Ｃｖの値によって処理内容が異なる。

【0052】

検出されたバレーの個数が２以上であるとき（ステップＳ１０５においてＹＥＳ）、各バレーのうちその深さが最大であるものの位置に対応する画素値を閾値とする（ステップＳ１０６、Ｓ１０７）。バレーの評価は次のようにして行われる。

【0053】

図５（ｂ）はバレーの評価方法を説明する図である。図５（ａ）に示すヒストグラムについてピークおよびバレーの検出を行うと、図５（ｂ）に示すように、ｉ＝２の位置に値Ｈ2を有するピークＰ2が、ｉ＝６の位置に値Ｈ6を有するピークＰ6が、ｉ＝９の位置に値Ｈ9を有するピークＰ9が、それぞれ検出される。また、ｉ＝３の位置に値Ｈ3を有するバレーＶ3が、ｉ＝８の位置に値Ｈ8を有するバレーＶ8が、それぞれ検出される。

【0054】

染色領域と非染色領域とを区分する画素値の閾値は、ヒストグラムにおいて染色領域に対応するピークと非染色領域に対応するピークとの間にあると考えられる。したがって、２つのピークの間に存在する深いバレーの位置に対応する画素値を閾値とすることが有効である。この観点から、各バレーはヒストグラムにおいて当該バレーを挟む位置にある２つのピークから見た深さにより評価される。

【0055】

具体的には、図５（ｂ）に示すように、バレーＶ3の深さは、当該バレーＶ3を挟む２つのピークＰ2、Ｐ6を結ぶ線分（破線）とバレーＶ3を通り縦軸（度数軸）に平行な（方程式ｉ＝３で表される直線に相当する）線分との交点Ｑ3から、バレーＶ3までの距離Ｄ3により定義される。一方、バレーＶ8の深さは、当該バレーＶ8を挟む２つのピークＰ6、Ｐ9を結ぶ線分とバレーＶ8を通り縦軸に平行な線分との交点Ｑ8からバレーＶ8までの距離Ｄ8により定義される。

【0056】

数式を用いてバレーの深さを表すと次のようになる。例えばバレーＶ3の深さについては次のように表すことができる。点Ｑ3に相当する度数の値をｈ3とすると、図５（ｂ）におけるピークＰ2とピークＰ6との関係から明らかなように、
ｈ3＝Ｈ2＋（Ｈ6−Ｈ2）・（３−２）／（６−２）
と表すことができる。ここで、数値３、２、６はそれぞれ、ピークＰ3、Ｐ2、Ｐ6の位置に対応する階級ｉの値である。したがって、バレーＶ3の深さＤ3については次式、
Ｄ3＝ｈ3−Ｈ3＝Ｈ2＋（Ｈ6−Ｈ2）・（３−２）／（６−２）−Ｈ3
により表すことができる。このように、各バレーの深さについては、当該バレーの位置および度数の値、当該バレーを挟む２つのピークそれぞれの位置および度数の値から算出することが可能である。

【0057】

各バレーのうち、上記のようにして求められた深さが最大であるものが、２つのピークを分ける最も主要なバレーであると考えられる。当該バレー位置に相当する階級に対応する画素値が、染色領域と非染色領域とを分ける閾値として設定される（ステップＳ１０７）。バレーが複数検出された場合には、このようにして閾値が決定される。

【0058】

一方、検出されたバレーが１つであった場合（ステップＳ１０５においてＮＯかつステップＳ１２１においてＹＥＳ）、つまり１つのバレーを挟む２つのピークのみが検出された場合には、当然にこれら２つのピークが染色領域および非染色領域に対応し、その間のバレーが染色領域と非染色領域とを分けるものであると言える。したがって、当該バレー位置に相当する階級に対応する画素値が、この場合の閾値として設定される（ステップＳ１２２）。

【0059】

また、バレーの個数が０、つまりバレーが検出されなかった場合には（ステップＳ１２１においてＮＯ）、１つのピークのみが存在することが示唆されており、このことは試料容器内全体が染色領域または非染色領域で占められている蓋然性が高いことを意味する。全体が非染色領域であるということは細胞が生育していない状態であり、このような試料が観察対象とされることはあまりない。より現実的には、試料容器内全体に細胞が広がり、画像全体が染色領域となっていると考えられる。そこで、この場合には、ヒストグラムに現れる単一ピークの高輝度側の裾位置に対応する画素値を閾値に設定する（ステップＳ１２３）。

【0060】

このようにして閾値が決定されると、閾値に基づいて染色領域と非染色領域とが区分される（ステップＳ１０８）。具体的には、閾値よりも低輝度の画素値を有する暗い画素は染色領域に属すると見なされ、閾値よりも高輝度の画素値を有する明るい画素は非染色領域に属すると見なされる。閾値と等しい画素値を有する画素を染色領域、非染色領域のいずれに区分するかは任意である。こうして、原画像内の各画素が染色領域、非染色領域のいずれかに区分される。

【0061】

続いて、原画像のコンフルエンシーが算出される（ステップＳ１０９）。コンフルエンシーは、原画像（厳密にはそのうち試料容器内に対応する領域）のうち染色領域が占める比率（面積比）を表す指標値である。細胞が存在せず原画像の全体が非染色領域である場合、コンフルエンシーは０、逆に原画像の全体が染色領域である場合のコンフルエンシーは１である。コンフルエンシーの値により、試料容器内における細胞の生育状態を定量的に表すことができる。閾値が適宜に設定されることで、撮像された原画像から自動的に算出されるコンフルエンシーの値により細胞の生育状態を定量的に表すことが可能になる。

【0062】

また、閾値に基づき区分された染色領域と非染色領域とに互いに異なる画素値を付与することにより、２値化された画像が作成される（ステップＳ１１０）。作成された２値化画像は、ディスプレイ３２に表示されユーザーに提示される（ステップＳ１１１）。または、インターフェース２３を介して外部装置に出力される。

【0063】

図７は原画像およびこれを２値化した２値化画像の例を示す図である。具体的には、図７（ａ）は原画像の一例であり、図７（ｂ）はそのヒストグラムを示す。また、図７（ｃ）は２値化された画像を示す図である。図７（ａ）に示すように、この試料では、細胞が分布し染色された染色領域と、細胞が存在しない非染色領域とが複雑に入り混じっており、染色領域においても濃淡のばらつきが大きい。このため、図７（ｂ）に示すように、ヒストグラムにも複数の大きな凹凸が現れる。

【0064】

このようなヒストグラムを持つ原画像に対し、上記した画像処理を実行して得られた２値化画像が、図７（ｃ）に示す画像である。図７（ｃ）では、染色領域に区分された画素が黒く、非染色領域に区分された画素が白く塗り分けられている。すなわち、染色領域に区分された画素に比較的低輝度の第１の画素値が割り当てられる一方、非染色領域に区分された画素には第１の画素値に対し比較的高輝度の第２の画素値が割り当てられる。図７（ａ）に示す原画像と比較すると、原画像の濃淡から視認により把握される染色領域と非染色領域との境界と、画像処理により自動作成された２値化画像におけるこれらの領域の境界とがよく一致していると言える。図７（ｂ）において符号Ｔｈは、本実施形態の画像処理によって設定された閾値を示している。２つのピークから見た深さが最大であるバレーの位置に閾値が設定されていることがわかる。

【0065】

図８は原画像およびこれに対応するヒストグラムの他の例を示す図である。具体的には、図８（ａ）はヒストグラムが単一ピークを持つ画像の例であり、図８（ｂ）はヒストグラムが単一バレーを持つ画像の例である。図８（ａ）に示す原画像では、試料容器内全体に染色領域が広がっており、その濃度のばらつきも小さい。このような試料は、容器内全体に細胞が分布したものと考えられる。ヒストグラム上に破線で示すように、ピークの高輝度側裾位置に閾値を設定することで、原画像全体が染色領域に区分されることになる。

【0066】

また、図８（ｂ）に示す原画像では、例えば図７（ａ）に示す画像と比較すると、明るい非染色領域と暗い染色領域との違いが比較的明瞭に現れている。このような原画像に対応するヒストグラムでは、染色領域に相当する低輝度側のピークと非染色領域に相当する高輝度側のピークとがはっきりと表れる。したがって、ヒストグラム上に破線で示すように、２つのピークに挟まれたバレーの位置に閾値を設定することで、染色領域と非染色領域とを的確に区別することができる。

【0067】

以上のように、この実施形態においては、原画像を構成する各画素の画素値のヒストグラムにおけるピークおよびバレーを検出し、検出されたバレーのうち、当該バレーを挟む２つのピークから評価したバレーの深さが最大であるものの位置に、染色領域と非染色領域とを区分するための画素値の閾値を設定する。このようにすることで、ユーザーの視認による区分結果と違和感のない区分結果を、画像処理により自動的に得ることができる。

【0068】

バレーの評価に際しては、当該バレーを挟む２つのピークを結ぶ線分と、当該バレーを通り縦軸（度数軸）に平行な線分との交点に相当する度数の値と、当該バレーにおける度数の値との差をもって当該バレーの深さとする。こうすることで、複数のバレーの中から２つのピークの間の最も顕著なバレーを特定することができる。

【0069】

多階調表現される画素値のヒストグラムにおいては、試料の濃度ばらつきに起因する細かな凹凸が生じ、それらの全てをピークおよびバレーとして取り扱うことは却って判定精度を低下させる。スムージングを行うことで、そのような小さな凹凸を予め除去しておくことが望ましい。上記実施形態では、スムージングの一態様として、画素値全体のうちサンプリング抽出された一部の画素値とそれに対応する度数の値とを用いて再構成されたヒストグラムにおいてピークおよびバレーを検出し閾値を決定する。具体的には、抽出される画素値の数列が全体として等差数列となるように、画素値の周期的な間引きを行う。画素値の間引きを適切に行うことで、小さな凹凸に影響されずに閾値を決定することができる。

【0070】

なお、検出されたバレーが１つである場合には、当該バレーを挟む２つのピークがそれぞれ染色領域と非染色領域とに対応していると考えられる。そこで、この場合には単一のバレー位置に閾値を設定することで、染色領域と非染色領域とを的確に区分することが可能である。

【0071】

また、バレーが検出されない、つまりヒストグラムにおいて単一のピークのみが存在する場合には、原画像全体が染色領域となっている蓋然性が高いとの観点から、当該ピークの高輝度側の裾位置に閾値を設定する。こうすることで、ピークに含まれる画素が全て染色領域に区分されることとなり、実態と一致する結果が得られる。

【0072】

また、上記のようにして決定された閾値に基づいて原画像を染色領域と非染色領域とに区分することにより、ユーザーの目視に頼らず、画像処理によって自動的に染色領域と非染色領域とを識別することが可能である。

【0073】

また、染色領域に相当する画素と非染色領域に相当する画素とで互いに異なる画素値を付与した２値化画像を作成することにより、染色領域および非染色領域の分布状態を容易に視認可能な画像をユーザーに提供することができる。

【0074】

以上説明したように、この実施形態の画像処理装置１００では、撮像部１、画像処理部２およびＵＩ部３が、それぞれ本発明の「画像取得手段」、「画像処理手段」および「出力手段」として機能している。また、撮像部１は本発明の「撮像部」としても機能しており、ディスプレイ３２が本発明の「表示部」として機能している。

【0075】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置１００は、本発明の「画像取得手段」としての撮像部１を備えるものであるが、本発明は、自身は試料を撮像する機能を有しない画像処理装置にも適用可能である。すなわち、本発明にかかる画像処理装置は、外部の撮像装置で撮像された原画像の画像データを受け取って当該原画像に対し上記した処理を実行する態様であってもよい。

【0076】

この場合、外部装置から画像データを受け取るインターフェースが本発明の「画像取得手段」の「受信部」として機能することになる。上記実施形態においては、画像処理部２のインターフェース２３が当該機能を担うことにより、撮像部１による撮像された原画像と同様、外部で撮像された原画像についても処理を行うことが可能となる。

【0077】

なお、撮像機能を含まない本発明の実施態様は、前述したように、汎用のパーソナルコンピュータやワークステーション等のハードウェアと、本発明にかかる処理アルゴリズムを当該ハードウェアに実現させるためのソフトウェアとの組み合わせによって実現することも可能である。すなわち、汎用ハードウェアに本発明の技術思想に基づく制御プログラムを実装することにより、本発明を実施することが可能である。

【0078】

また、上記実施形態の画像処理装置１００は、画像処理の結果として得られる２値化画像を表示するディスプレイ３２を有している。しかしながら、画像処理の結果については２値化して出力するのみでなく、例えば、原画像に対し、染色領域に区分された領域と非染色領域に区分された領域とで異なる視覚情報を付与する画像処理を施すことによって出力するようにしてもよい。また、画像処理後の画像を表示する機能については外部の表示装置に担わせ、当該表示装置に対して画像処理結果を出力するようにしてもよい。また、外部の演算装置に対して結果を出力するようにしてもよい。上記実施形態においては、画像処理部２のインターフェース２３が外部へのデータ出力を担う本発明の「出力手段」として機能することで、そのような目的を達成することが可能である。

【0079】

また、上記実施形態では、明るい画素ほど値が大きくなるような画素の輝度に相当する画素値に基づいて処理を行っている。これに代えて、例えば、画像濃度の高い、つまり暗い画素ほど値が大きくなるように定義された画素値を用いても、同様に処理を行うことが可能である。

【0080】

また、本明細書では発明の原理の理解を容易にするためにヒストグラムを例示して説明したが、実際の処理においては、度数分布が求まればその結果から直接的にヒストグラム上のピークおよびバレーを検出することが可能である。したがって、本発明においてヒストグラムを作成すること自体は必須の要件ではない。

【産業上の利用可能性】

【0081】

本発明は、染色された細胞を含む原画像から染色された領域と染色されていない領域とを区別する目的に好適に適用することができ、例えば医療や生化学分野の実験・観察に特に好適である。

【符号の説明】

【0082】

１ 撮像部（画像取得手段、撮像部）
２ 画像処理部（画像処理手段）
３ ＵＩ（ユーザーインターフェース）部（出力手段）
１１ イメージセンサ
２１ ＣＰＵ
２３ インターフェース（出力手段、受信部）
３２ ディスプレイ（出力手段、表示部）
１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】