特許 7254283 閾値決定方法、画像処理方法、標本画像の評価方法、コンピュータプログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-31

(45)【発行日】2023-04-10

(54)【発明の名称】閾値決定方法、画像処理方法、標本画像の評価方法、コンピュータプログラムおよび記録媒体

(51)【国際特許分類】

   G01N 33/48 20060101AFI20230403BHJP

   G06T 7/00 20170101ALI20230403BHJP

   G06T 7/90 20170101ALI20230403BHJP

【ＦＩ】

G01N33/48 M

G01N33/48 P

G06T7/00 630

G06T7/90 C

【請求項の数】 10

(21)【出願番号】P 2019054451

(22)【出願日】2019-03-22

(65)【公開番号】P2020154952

(43)【公開日】2020-09-24

【審査請求日】2021-12-28

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(73)【特許権者】

【識別番号】509349141

【氏名又は名称】京都府公立大学法人

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】荻 寛志

(72)【発明者】

【氏名】伊東 恭子

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２００１－２１１８９６（ＪＰ，Ａ）

【文献】特開２０１３－１１３６８０（ＪＰ，Ａ）

【文献】特開２０００－３４１７０４（ＪＰ，Ａ）

【文献】特表２０１３－５３７９６９（ＪＰ，Ａ）

【文献】谷本 泰章、外２名，“早期肝細胞癌向け病理診断支援システム”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2009年09月09日，Vol.109, No.197，pp.41-46

【文献】H. Ogi et al.，"Longitudinal Diffusion Tensor Imaging Revealed Nerve Fiber Alterations in Aspm Mutated Microcephaly Model Mice"，Neuroscience，NL，Elsevier Ltd.，2018年02月10日，Vol.371，pp.325-336

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

染色された標本の画像から特定色に染色された領域を被抽出領域として抽出するための閾値決定方法において、
前記画像内の各部の色度を互いに独立な第１座標軸および第２座標軸上の数値として数値化する数値化工程と、
前記第１座標軸について定めた第１閾値に基づき前記画像から前記被抽出領域の候補である第１領域を抽出するとともに、前記第２座標軸について定めた第２閾値に基づき前記画像から前記被抽出領域の候補である第２領域を抽出し、前記第１領域と前記第２領域との論理積領域の面積を求める処理を、前記第１閾値と前記第２閾値とを連動させて種々に変更しながら実行する面積演算工程と、
前記面積演算工程の結果に基づき前記第１閾値と前記第２閾値との最適組み合わせを決定する閾値決定工程と
を備え、
前記面積演算工程では、前記第１閾値の変更に対して前記第１領域が示す面積変化と、前記第２閾値の変更に対して前記第２領域が示す面積変化とが、一方において増加し他方において減少するように、前記第１閾値および前記第２閾値をそれぞれの初期設定値から多段階に変更設定し、
前記閾値決定工程では、前記面積を前記第１閾値または前記第２閾値のいずれかを変数とする関数としたときの有意な極大値に相当する前記第１閾値と前記第２閾値との組み合わせを、前記最適組み合わせとし、
前記数値化工程、前記面積演算工程および前記閾値決定工程それぞれは、コンピュータが前記画像に基づくデータ処理を行うことにより実現される、
閾値決定方法。

【請求項2】

前記第１座標軸および前記第２座標軸は、それぞれＬ^*ａ^*ｂ^*色空間におけるａ^*軸およびｂ^*軸である請求項１に記載の閾値決定方法。

【請求項3】

前記特定色が青色または赤色であり、前記面積演算工程では、前記第１閾値の変分と前記第２閾値の変分との符号が逆となるように、前記第１閾値と前記第２閾値とを変更する請求項２に記載の閾値決定方法。

【請求項4】

前記閾値決定工程において前記有意な極大値がないとき、前記初期設定値を変更して前記面積演算工程を再実行する請求項１ないし３のいずれかに記載の閾値決定方法。

【請求項5】

前記閾値決定工程において前記有意な極大値が複数あるとき、それらのうち前記面積が最大となる前記第１閾値と前記第２閾値との組み合わせを前記最適組み合わせとする請求項１ないし４のいずれかに記載の閾値決定方法。

【請求項6】

染色された標本の画像を取得する工程と、
前記画像について、請求項１ないし５のいずれかに記載の閾値決定方法により前記第１閾値および前記第２閾値の前記最適組み合わせを決定する工程と、
前記第１閾値および前記第２閾値を決定された前記最適組み合わせの値としたときの前記第１領域と前記第２領域との論理積領域を前記被抽出領域として抽出する工程と
を備える画像処理方法。

【請求項7】

前記標本はマッソン・トリクローム染色されたものである請求項６に記載の画像処理方法。

【請求項8】

前記特定色を青色として、請求項６または７の画像処理方法により前記被抽出領域を抽出する工程と、
前記被抽出領域を膠原線維の領域と判定する工程と
を備える標本画像の評価方法。

【請求項9】

コンピュータに、請求項６に記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。

【請求項10】

請求項９に記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、染色された標本の画像から特定の色を有する領域を抽出するための技術に関するものである。

【背景技術】

【0002】

病理診断においては、目的に応じて様々に染色された組織標本を専門家である病理医が顕微鏡等で観察し、定性的または半定量的に組織を解析し診断することが行われる。近年では、疾患メカニズムの解明や診断技術の向上により、患者の状態に応じて治療法を選択する医療の個別化が進んでいる。これに伴って、観察・診断すべき標本数の増加や判断基準の細分化に起因する病理医の負担増加が問題となっており、その負担軽減のための方策が求められている。

【0003】

この問題に対応するために、標本をデジタル画像としてデータ化し、コンピュータ装置を用いた画像解析によって診断に有用な情報を提供するための技術が多く提案されるようになってきている。例えば組織の画像から特定の特徴を有する領域のみを抽出する、と言う目的にこのような解析技術が用いられる。このような技術分野においては、例えば同一臓器であっても標本の個体ばらつきや染色・撮像時の条件ばらつきに起因する画像の色調のばらつきが不可避的に生じる。さらに臓器の種類が異なればばらつきがより顕著となる。このため、固定的な単一指標に基づいて解析を行うことが困難となっている。例えば画像を画素値に基づき二値化して所定の条件を満たす領域を抽出する技術は広く行われているが、ばらつきを考慮せずに設定された閾値に基づく二値化では誤った結果が導かれるおそれがある。

【0004】

染色された標本画像から特定の色に染まった領域を抽出するのに際して染色性のばらつきを考慮した解析技術としては、例えば非特許文献１、特許文献１～３に記載のものがある。非特許文献１に記載の技術では、染色の濃淡といった明度の影響を排除するために画像をＣＩＥ１９７６色空間で表現し、自動閾値決定方法により色度の座標軸における閾値を決定することで、単一臓器レベルでのばらつきの吸収が図られている。

【0005】

また、特許文献１に記載の技術では、明度の影響を排除するため色相値のみを用い、クラスタリングアルゴリズムを用いることで、複数種類の組織の解析への対応が図られている。また、特許文献２に記載の技術では、閾値で二値化した画像のオブジェクト形状に基づいて閾値が評価される。また、特許文献３に記載の技術では、画像を赤色と青色との２つの軸に展開し、その輝度値散布図とそれらのヒストグラムとに基づいて、二値化のための閾値が決定される。

【先行技術文献】

【特許文献】

【0006】

【文献】特表２０１８－５１７４２７号公報

【文献】特開平０５－１８０８３２号公報

【文献】ＷＯ２０１３／１０２９４９号明細書

【非特許文献】

【0007】

【文献】Ogi et al., Longitudinal diffusion tensor imaging revealed nervefiber alteration in Aspm mutated microcephaly model mice, Neuroscience,2018;371:325-326, doi:10.1016/j.neuroscience, 2017.12.012

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１、特許文献２および特許文献３に記載の技術は、単一臓器、単一疾患など限定された対象に関しては一定の成果を示すものと期待される。その反面、形態的特徴の特異な標本については個々に調整を要するなど、種々の形態的特徴を取り得る複数臓器、複数疾患にまたがって適用することは難しい。また特許文献１に記載の技術は、対象構造物ごとに多数のサンプルを事前に準備してクラスタリングアルゴリズムを構築する必要があり、その準備に多大な労力を要すること、また新規な特徴を持つ標本に対しては必ずしも良好な結果を示さないという問題がある。

【0009】

このように、上記各従来技術はいずれも限られた条件の範囲内で有効なものであり、広範な臓器、疾患に対して一律に適用可能なものとはなっていない。そのため、標本の個体ばらつきや臓器、疾患の種類によらず適用可能な自動解析技術の確立が望まれるが、これまで達成されるに至っていない。

【0010】

この発明は上記課題に鑑みなされたものであり、標本の個体ばらつきや臓器、疾患の種類によらず、染色された標本の画像から特定の色に染まった領域を精度よく抽出することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

この発明の一の態様は、染色された標本の画像から特定色に染色された領域を被抽出領域として抽出するための閾値決定方法であって、上記目的を達成するため、前記画像内の各部の色度を互いに独立な第１座標軸および第２座標軸上の数値として数値化する数値化工程と、前記第１座標軸について定めた第１閾値に基づき前記画像から前記被抽出領域の候補である第１領域を抽出するとともに、前記第２座標軸について定めた第２閾値に基づき前記画像から前記被抽出領域の候補である第２領域を抽出し、前記第１領域と前記第２領域との論理積領域の面積を求める処理を、前記第１閾値と前記第２閾値とを連動させて種々に変更しながら実行する面積演算工程と、前記面積演算工程の結果に基づき前記第１閾値と前記第２閾値との最適組み合わせを決定する閾値決定工程とを備え、前記数値化工程、前記面積演算工程および前記閾値決定工程それぞれは、コンピュータが前記画像に基づくデータ処理を行うことにより実現されている。

【0012】

ここで、前記面積演算工程では、前記第１閾値の変更に対して前記第１領域が示す面積変化と、前記第２閾値の変更に対して前記第２領域が示す面積変化とが、一方において増加し他方において減少するように、前記第１閾値および前記第２閾値をそれぞれの初期設定値から多段階に変更設定する。また前記閾値決定工程では、前記面積を前記第１閾値または前記第２閾値のいずれかを変数とする関数としたときの有意な極大値に相当する前記第１閾値と前記第２閾値との組み合わせを、前記最適組み合わせとする。

【0013】

このように構成された発明では、画像の色度を表す２つの座標軸のそれぞれに設けられる閾値の最適な組み合わせが探索される。明度は細胞の染色性や撮像条件に大きく左右されるため、本発明の目的には適さない。染色された標本の各部は単色ではなく種々の色成分を含み得る。そのため、色度を表す互いに独立した２つの座標軸で色を指定することで、任意の色を「特定色」として設定可能となる。また１つの座標軸に閾値を設定するよりも、２つの座標軸に設定された閾値に対し共に条件を満たす領域を抽出する方が、色の抽出において優れた結果を得られる。ただし、その閾値の設定方法が結果に大きく影響する。

【0014】

この発明では、２つの座標軸（第１座標軸および第２座標軸）の閾値（第１閾値および第２閾値）を連動させながら変更設定し、これらの閾値で抽出される領域（第１領域および第２領域）の論理積に相当する領域の面積を評価する。その原理および具体的処理内容については後に詳しく説明するが、この発明は、２つの座標軸において閾値がそれぞれ最適に設定されている場合、これらの閾値で抽出される領域の境界もよく一致するとの推定に基づいている。このとき、それぞれの閾値で抽出された領域の論理積領域の面積も大きなものとなる。

【0015】

しかしながら、単に論理積領域の面積が大きくなる閾値の組み合わせを探索しても、適切な組み合わせは求まらない。というのは、それぞれの座標軸は独立したものであり、各閾値を、単に抽出される領域が本来の被抽出領域よりも大きな面積を有するように設定することに関して歯止めがないからである。すなわち、２つの座標軸それぞれで、本来は抽出されるべきでない領域まで抽出されるように緩い閾値を設定すれば必然的にそれらの論理積領域も見かけ上大きくなるが、そのことに本質的な意味はない。

【0016】

そこで、本発明では、一方の閾値がそれにより抽出される領域を拡大する（つまり条件を緩める）方向に変更される場合には、他方の閾値はそれにより抽出される領域を縮小する（つまり条件を厳しくする）方向に変更されるという制約を設ける。上記のように２つの座標軸で決定される領域の境界がよく一致している場合、このように一方を拡大し他方を縮小するように閾値を僅かに変更すると、論理積領域においては一方の拡大により増加する面積と他方の縮小により減少する面積とが同等となり、総面積としてはほとんど変化しないと考えられる。

【0017】

この状態から各閾値をさらに変更してゆくと、一方の拡大により増加する部分と他方の縮小により減少する部分との相関性は薄れてゆき、結果として論理積領域の面積は減少する。つまり、各閾値の変化に対する論理積領域の面積の変化は、最適な閾値の組み合わせにおいて極大になると考えられる。このような閾値の組み合わせを見出すことで、本発明の目的である、特定色に染まった領域を精度よく抽出するための閾値の組み合わせを求めることができる。

【0018】

上記の考え方に基づけば、第１閾値および第２閾値は処理の対象となる標本の画像ごとに動的に決定され、それらの組み合わせは当該画像における最適なものとなっている。したがって、標本画像に含まれる組織の種類等の違いや色調等のばらつきに関係なく、種々の標本画像に対して同じ方法を適用することが可能である。

【0019】

また、本発明の他の一の態様は、染色された標本の画像を取得する工程と、前記画像について、上記した閾値決定方法により前記第１閾値および前記第２閾値の前記最適組み合わせを決定する工程と、前記第１閾値および前記第２閾値を決定された前記最適組み合わせの値としたときの前記第１領域と前記第２領域との論理積領域を前記被抽出領域として抽出する工程とを備える画像処理方法である。

【0020】

このように構成された発明では、上記のようにして決定された第１閾値および第２閾値の組み合わせに基づいてそれぞれの座標軸で抽出された領域の論理積領域が被抽出領域とされる。前記したように、適切に設定された第１閾値と第２閾値との組み合わせでは、各座標軸で抽出される領域の境界がよく一致していると期待される。したがって、それらの領域の論理積に相当する領域は、目的とする被抽出領域の輪郭を精度よく表したものということができる。

【0021】

本発明に係る画像処理方法は、コンピュータをその実行主体とすることが可能なものである。この意味において、本発明は、コンピュータに上記処理を実行させるためのコンピュータプログラムとして実現することが可能である。また、当該コンピュータプログラムを記録した記録媒体として実現することも可能である。

【発明の効果】

【0022】

上記のように、本発明によれば、標本の個体ばらつきや臓器、疾患の種類によらず、染色された標本の画像から特定色に染まった被検出領域を精度よく抽出するための第１閾値、第２閾値の組み合わせを決定することができる。またこうして決定された閾値を用いて領域の抽出を行うことで、特定色に染まった被検出領域を精度よく抽出することができる。

【図面の簡単な説明】

【0023】

【図1】この実施形態における画像処理の処理内容を示すフローチャートである。

【図2】Ｌ^＊ａ^＊ｂ^＊表色系における色度図を示す図である。

【図3】標本画像の例およびそれをａ^＊座標軸およびｂ^＊座標軸により表現した模式図である。

【図4】閾値決定処理を示すフローチャートである。

【図5】閾値の変更ルールを模式的に示す図である。

【図6】閾値の変更ルールの意義を説明する図である。

【図7】閾値の初期値の考え方を説明する図である。

【発明を実施するための形態】

【0024】

以下、本発明に係る画像処理方法の一実施形態を含む画像処理について説明する。この画像処理は、染色された細胞標本の画像から、特定の色に染色された領域を抽出するものである。ここでは、種々の疾患において正常組織が変性し、結合組織である膠原線維が増加する「線維化」の程度を評価する目的で、本実施形態の画像処理が使用される場合を例示して説明する。

【0025】

病理診断において線維化の評価を行う場合、標本への染色方法としてはマッソン・トリクローム染色が用いられることが一般的である。この染色方法では膠原線維が青色に、細胞質が赤色に染められる。したがって画像処理としては、青色に染まった膠原線維に対応する領域を画像から抽出し、その量や画像に占める割合を求めることが主たる目的となる。

【0026】

なお、臓器や疾病の種類、染色および撮像条件等により、組織の染まり方や画像の明るさにはばらつきがある。しかしながら、以下に説明する本実施形態の画像処理は、このようなばらつきにも対応して自動的に、かつ精度よく、画像から線維化した領域を抽出することができるものである。

【0027】

図１はこの実施形態における画像処理の処理内容を示すフローチャートである。上記したように、この処理は、マッソン・トリクローム染色された標本を撮像し、その画像を解析して線維化した青色の領域を抽出する処理を含んでいる。最初に標本が準備される（ステップＳ１０１）。標本は、生体から採取された、あるいは適宜の培養条件下で培養された組織をマッソン・トリクローム染色したものである。この染色方法については公知であるので説明を省略する。

【0028】

この標本を撮像することで標本画像が取得される（ステップＳ１０２）。標本画像は、標本を明視野カラー撮像したものであることが望ましい。例えばＣＣＤカメラで撮像された標本画像の画像データは一般にＲＧＢデータであるが、後の処理のために、画像の色度を独立な２以上の座標軸で数値化して表す適宜の表色系にデータを変換する。ここではその一例として、色を表す一般的指標として広く用いられているＬ^＊ａ^＊ｂ^＊表色系を用いる。すなわち、ＲＧＢ画像データがＬ^＊ａ^＊ｂ^＊色空間を表すデータに変換される（ステップＳ１０３）。Ｌ^＊座標軸は画像の明度を表す。明度は標本の染色性や撮像条件等により左右されるがそれ自体有意な情報を持たないため、本実施形態では明度の情報を使用せず、色度を表すａ^＊座標軸およびｂ^＊座標軸の数値が用いられる。

【0029】

次に、画像から所定の色調を有する領域を抽出するためのａ^＊座標軸およびｂ^＊座標軸上の閾値を設定するが（ステップＳ１０４）、この処理については後に詳しく説明する。決定される閾値は、原画像から青色に染色された膠原線維の領域を抽出するために、ａ^＊座標軸およびｂ^＊座標軸のそれぞれについて「青色」と見なせる数値を規定したものである。

【0030】

図２はＬ^＊ａ^＊ｂ^＊表色系における色度図を示す図である。この表色系において、画像の色度はａ^＊座標軸とｂ^＊座標軸とにより表される。より具体的には、ａ^＊座標軸とｂ^＊座標軸とは直交しており互いに独立であり、（＋ａ^＊）方向は赤方向、（－ａ^＊）方向は緑方向、（＋ｂ^＊）方向は黄方向、（－ｂ^＊）方向は青方向をそれぞれ表す。数値は色の鮮やかさを表している。

【0031】

マッソン・トリクローム染色された標本においては、青色に染色される膠原線維は青方向の成分を多く有し、緑方向の成分を若干有する。一方、赤色に染色される細胞質は赤方向の成分を多く有し、黄方向の成分を若干有する。したがって、本実施形態における画像中の抽出対象である膠原線維の領域は、ａ^＊座標軸において緑方向寄り、つまり所定の閾値より小さい値を有し、かつｂ^＊座標軸においては青方向寄り、つまり所定の閾値より小さい値を有する領域である。

【0032】

そこで、画像をａ^＊座標軸の閾値で二値化した、つまりａ^＊座標軸の値が閾値以下である領域を抽出した画像と、ｂ^＊座標軸の閾値で二値化した、つまりｂ^＊座標軸の値が閾値以下である領域を抽出した画像とをそれぞれ求め（ステップＳ１０５）、それらの二値化画像の論理積に当たる領域を抽出すれば（ステップＳ１０６）、画像内で一定以上の「青さ」を有する膠原線維の領域を抽出することができる。

【0033】

こうして抽出された領域は標本内で線維化した領域と見なすことができる。このような領域の面積を求めれば（ステップＳ１０７）、標本における線維化の程度を定量的に表す情報として利用することができる。また、画像に占める線維化領域の面積比は線維化の割合を示す情報となる。このような情報がユーザ（具体的には病理医）に提供されることで、その診断作業を効果的に支援することが可能となる。なお、処理結果がどのような形態でユーザに提示されるかは任意である。例えば、上記した各種情報が数値として出力されてもよく、また抽出された線維化領域が標本画像中に明示された態様でディスプレイ等に表示出力される態様であってもよい。

【0034】

次に、青色に染色された領域を抽出するための閾値の決定方法について説明する。設定されるべき閾値は、ａ^＊座標軸およびｂ^＊座標軸のそれぞれに対して、一定の青さを有すると見なせる領域とそれ以外の領域とを区分するための閾値である。まず、標本の画像がａ^＊座標軸およびｂ^＊座標軸においてどのように表されるかについて簡単に説明する。

【0035】

図３は標本画像の例およびそれをａ^＊座標軸およびｂ^＊座標軸により表現した模式図である。図３上段に示すように、標本画像Ｉｓが、赤色に染色された背景領域Ｒ１に囲まれた青色領域Ｒ２を有するものであるとする。

【0036】

この画像Ｉｓにおいて、破線で表される１つの直線上の各位置の色度をａ^＊座標軸およびｂ^＊座標軸上の数値として模式的に表したのが図の中段および下段である。これらの図に示すように、赤色の領域Ｒ１に対応する位置ではａ^＊座標軸およびｂ^＊座標軸とも比較的大きな正の数値となる。一方、青色の領域Ｒ２に対応する位置では、ａ^＊座標軸およびｂ^＊座標軸とも負の数値を取る。そして、２つの領域の境界付近では数値が漸増または漸減する。

【0037】

ａ^＊座標軸およびｂ^＊座標軸のそれぞれに設定される閾値Ｔａ，Ｔｂは、それぞれの座標軸において赤色領域Ｒ１と青色領域Ｒ２とを区分するものである。すなわち、ａ^＊座標軸においては数値が閾値Ｔａより大きい領域が赤色領域Ｒ１、小さい領域が青色領域Ｒ２に対応するものとして扱われる。

【0038】

なお、ここでは原理説明のために条件を簡略化しているが、実際の標本画像では、数値の変化はこのようにスムーズなものとはならず細かく不規則な変動が含まれる。これらは赤色領域Ｒ１と青色領域Ｒ２との境界策定結果に影響を及ぼし得る。ただし、２つの座標軸で抽出された領域の論理積を取ることで、この影響は軽減することができる。

【0039】

赤色領域Ｒ１と青色領域Ｒ２とを精度よく区分することができるように、それぞれの座標軸において閾値Ｔａ，Ｔｂが適切に定められる必要がある。以下に説明するように、この実施形態では、閾値を少しずつ変化させながら抽出結果を評価し、その結果から閾値を微調整することによって最適解を求めるようにしている。

【0040】

図４は閾値決定処理を示すフローチャートである。最初に、ａ^＊座標軸およびｂ^＊座標軸それぞれの閾値Ｔａ，Ｔｂに対し適宜の初期値が設定される（ステップＳ２０１）。この初期値は、赤色領域Ｒ１と青色領域Ｒ２とをある程度の精度で区分することのできるものであればよい。例えば、標本の種類に応じて予め定められた初期値が用いられてもよく、また例えば大津の方法のような公知の自動閾値決定方法が用いられてもよい。

【0041】

こうして設定された閾値Ｔａ，Ｔｂを用いて、ａ^＊座標軸およびｂ^＊座標軸のそれぞれで標本画像が二値化される（ステップＳ２０２）。これにより、色度の数値が閾値より小さい領域と大きい領域とが区分される。続いてこれらの二値化画像の論理積に相当する画像が求められる。その結果、いずれの座標軸においても閾値より小さい数値を持つ領域のみが抽出される。この領域の面積が求められる（ステップＳ２０３）。

【0042】

ステップＳ２０２～Ｓ２０３の処理は、閾値Ｔａ，Ｔｂの組み合わせを順次変更設定しながら繰り返し実行される。すなわち、閾値Ｔａ，Ｔｂの一の組み合わせについて論理積領域の面積が求められると（ステップＳ２０３）、閾値Ｔａ，Ｔｂの組み合わせが以下のルールに従って変更設定され（ステップＳ２０５）、ステップＳ２０２に戻って上記処理が実行される。所定の終了条件が成立するまで（ステップＳ２０４）、これが繰り返される。

【0043】

図５は閾値の変更ルールを模式的に示す図である。図５（ａ）に示すように、閾値Ｔａに対する新たな閾値Ｔａ’は、数値が所定値Δａだけ増加するように設定される。一方、図５（ｂ）に示すように、閾値Ｔｂに対する新たな閾値Ｔｂ’は、数値が所定値Δｂだけ減少するように設定される。すなわち、閾値Ｔａと閾値Ｔｂとは一定のルールで連動するように変更される。そのルールは以下の通りである。

【0044】

図５（ａ）に示すように、閾値Ｔａを増加させることで、閾値Ｔａ以下の青色領域Ｒ２と見なされる領域は広くなる。一方、図５（ｂ）に示すように、閾値Ｔｂを減少させることで、閾値Ｔｂ以下の青色領域Ｒ２と見なされる領域は狭くなる。このように、一方の閾値については、当該閾値により抽出される青色領域Ｒ２が拡大するように変更される。これと連動して、他方の閾値については、当該閾値により抽出される青色領域Ｒ２が縮小するように変更される。このルールが守られていればよく、したがって上記とは逆に、閾値Ｔａを低下させ、閾値Ｔｂを増加させる態様であってもよい。なお、閾値の変分Δａ，Δｂの大きさについては必ずしも同一値である必要はないが、簡易的に同一値としてよい。

【0045】

このように閾値Ｔａ，Ｔｂを変更しながら二値化した画像の論理積領域の面積を評価することで、２つの閾値で抽出された領域同士の重なり具合を知ることができる。論理積領域の面積が大きいということは、それぞれの閾値で抽出される領域の一致度が高いことを示しており、そのときの閾値の組み合わせが最適なものに近いと言える。したがって、論理積領域の面積がより大きくなる閾値の組み合わせを探索することが、最適な閾値の組み合わせを探索することになるとも言える。

【0046】

ただし、閾値の任意の組み合わせを許したのではこの方法は成立しない。すなわち、上記した閾値Ｔａ，Ｔｂの変更ルールを逸脱した設定を許容し、例えばいずれの閾値とも青色領域Ｒ２を拡大するような設定を行うと、その分だけ論理積領域の面積も大きくなる。しかしながら、このような設定には領域分割のための閾値としての本質的な意味はなく、その組み合わせは最適なものとは言えない。このような不適切な設定を回避するために、上記した変更ルールが定められる。この点につき図６を参照してより詳しく説明する。

【0047】

図６は閾値の変更ルールの意義を説明する図である。図６（ａ）に示すように、閾値Ｔａ，Ｔｂがそれぞれ理想的な値Ｔａｉ，Ｔｂｉに設定されている状況を想定する。理想的な状態では、赤色領域Ｒ１と青色領域Ｒ２とが接する部分の境界については、閾値Ｔａｉで定まる位置、閾値Ｔｂｉで定まる位置のいずれもが実際の境界位置と一致していると考えられる。言い換えれば、閾値Ｔａｉ，Ｔｂｉのいずれもが正しい境界位置を指し示す状態が、理想的な状態である。

【0048】

この状態から、上記変更ルールに従い、ａ^＊座標軸の閾値をＴａｉからＴａ１に増加させる一方、ｂ^＊座標軸の閾値をＴｂｉからＴｂ１に減少させる。そうすると、閾値Ｔａ１により抽出される領域は本来の青色領域Ｒ２より広がる一方、閾値Ｔｂ１により抽出される領域は本来の青色領域Ｒ２より狭くなる。その結果、これらの論理積領域の範囲は、より狭い方の抽出結果に影響されるため、図に（１）として示すように、本来の青色領域Ｒ２よりも狭くなる。

【0049】

また、これとは逆に、ａ^＊座標軸の閾値をＴａｉからＴａ２に減少させる一方、ｂ^＊座標軸の閾値をＴｂｉからＴｂ２に増加させる場合を考えても、閾値Ｔａ２により抽出される領域が縮小し、閾値Ｔｂ２により抽出される領域が拡大する結果、これらの論理積領域の範囲は、図に（２）として示すように、やはり本来の青色領域Ｒ２よりも狭くなる。

【0050】

以上のことから、図６（ｂ）に示すように、論理積領域の面積を閾値Ｔａの関数としてプロットすると、理想値Ｔａｉのときを極大値としてその両側で低下するという形を示す。したがって、上記変更ルールに基づき閾値を変更しながら面積が極大となる条件を探索することで、理想的な閾値Ｔａｉを求めることができる。図６（ｂ）は閾値Ｔｂに対してプロットしても同様となり、結果的には閾値Ｔａ，Ｔｂの最適な組み合わせを求めることができる。

【0051】

実際の標本画像においては、細胞やその他の構造物の形状が不定であり色調にもばらつきがある。このことから、如何に閾値を最適化したとしても、上記のように２つの座標軸で抽出される領域の輪郭が完全に一致することは考えにくい。したがって、閾値の変更によって２つの抽出領域の重なり具合が変化し論理積領域の面積が大きく変動することが懸念される。これに関しても、上記した閾値の変更ルールは、一方の座標軸において抽出領域を拡大させると他方の座標軸の抽出領域は縮小するように規定されているため、全体としての面積への影響は小さい。

【0052】

図４に戻って閾値決定処理の説明を続ける。上記のようにして閾値を順次変更して抽出された論理積領域の面積が求められると、閾値に対する面積のプロットにおいて有意なピークがあるか否かが判定される（ステップＳ２０６）。有意なピークは上記した極大値に対応すると考えられるから、このピーク位置に対応する閾値を最適値として設定することができる（ステップＳ２０７）。

【0053】

一方、例えば閾値の初期設定が適切でなく、結果として有意なピークが見つからない場合もあり得る。この場合にはステップＳ２０１に戻って初期値を変更し、上記処理を再度実行する。初期値の変更方法としては、例えば初期値を他のデフォルト値に変更する、先の初期値に所定のオフセット値を加える、先の初期値を導出した閾値決定方法とは異なる閾値決定方法を用いて初期値を算出する、等の方法を適用可能である。

【0054】

図７は閾値の初期値の考え方を説明する図である。上記したように、本実施形態の閾値決定処理では、２つの座標軸に対して設定される閾値を、一方は抽出領域が拡大するように、他方は抽出領域が縮小するように、互いに連動させて初期値から順次変化させる。このため、初期値の設定が不適切であると最適値が決まらなかったり、その決定に長時間がかかってしまったりするという問題が起こり得る。この問題を未然に回避するために、初期値の決定に際して次のような考え方が導入されてもよい。

【0055】

図７の符号Ｒ２を付した点線は、画像中の青色領域Ｒ２の輪郭を模式的に示している。この輪郭を正確に抽出するために、２つの座標軸に対して設定される閾値は次のように設定されることが好ましい。すなわち、２つの初期値によりそれぞれ抽出される２つの領域Ｒ２１，Ｒ２２の輪郭が、図７に示すように本来の青色領域Ｒ２の輪郭を挟む状態であるのが好ましい。

【0056】

さらに、図に矢印で示すように、領域を拡大する方向に閾値が変更される座標軸については、抽出される領域Ｒ２１の輪郭が本来の青色領域Ｒ２の輪郭の内側に含まれる一方、領域を縮小する方向に閾値が変更される座標軸については、抽出される領域Ｒ２２の輪郭が本来の青色領域Ｒ２の輪郭を内部に含むことが好ましい。このようにすると、２つの座標軸それぞれで抽出される領域の輪郭が本来の輪郭の方向へ収束してゆくこととなり、最適な閾値の組み合わせを効率よく、かつ精度よく定めることが可能となる。

【0057】

上記実施形態に即して言えば、抽出される領域が拡大するように閾値Ｔａが変更されるａ^＊座標軸については、その初期値により抽出される領域が本来の青色領域Ｒ２の内側に含まれることが好ましい。一方、抽出される領域が縮小するように閾値Ｔｂが変更されるｂ^＊座標軸については、その初期値により抽出される領域が本来の青色領域Ｒ２を内側に含んでいることが好ましい。

【0058】

初期値が予め定められる場合においては、上記を見込んだ初期値が用意されていればよい。また、初期値が自動閾値決定方法により決定される場合においては、それにより決定された閾値をさらにオフセットさせることにより、上記要求に対応することが可能である。

【0059】

なおステップＳ２０４における終了条件としては、例えば閾値の設定値が予め定められた最終値に到達したことを以って終了とする、という方法を用いることができる。最終値については、例えばａ^＊座標軸、ｂ^＊座標軸の上限値である（＋６０）、（－６０）等の数値を使用可能であり、またこれとは別に事前に定められた値であってもよい。また、初期値を変更する以外に、例えば閾値を変更する際の変分Δａ，Δｂを変更するようにしてもよい。

【0060】

また、閾値Ｔａ，Ｔｂの種々の組み合わせについて論理積領域の面積を求めると、極大値が複数検出されることがあり得る。この場合には、それらのうち論理積領域の面積が最大となるときの閾値の値を最適値とすることができる。

【0061】

以上説明したように、上記実施形態においては、マッソン・トリクローム染色による青色が本発明の「特定色」に相当し、該染色により青色に染まる線維化した領域Ｒ２が、本発明の「被抽出領域」に相当する。また、上記実施形態ではＬ^＊ａ^＊ｂ^＊色空間におけるａ^＊座標軸およびｂ^＊座標軸が、本発明の「第１座標軸」および「第２座標軸」に相当している。また、閾値Ｔａ，Ｔｂが本発明の「第１閾値」、「第２閾値」に相当している。そして、これらの閾値に基づく二値化により抽出される領域が、本発明の「第１領域」、「第２領域」に相当する。

【0062】

また、上記実施形態においては、ステップＳ１０３が本発明の「数値化工程」に相当している。また、ステップＳ２０２～Ｓ２０５が本発明の「面積演算工程」に相当している。また、ステップＳ２０６～Ｓ２０７が本発明の「閾値決定工程」に相当している。

【0063】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、「被抽出領域」の対象物として標本中の膠原線維を、「染色」の方法としてマッソン・トリクローム染色を、「特定色」として青色を、「第１および第２座標軸」としてＬ^＊ａ^＊ｂ^＊色空間において色度を表すａ^＊座標軸およびｂ^＊座標軸を使用している。しかしながらこれらは一例であり、例えば以下のような例にも本発明を適用することができる。

【0064】

例えば、組織状態の一般的な判断に使用されるヘマトキシリン・エオジン染色を用いれば、腫瘍の種類や悪性度の判断に有用な情報、例えば細胞数のカウント結果や細胞核の形状に関する情報を取得することが可能になる。また、モバットペンタクローム染色では、組織切片中のコラーゲン、エラスチン、筋肉、ムチンおよびフィブリン等を染色するので、心臓、血管および種々の血管疾患の研究に有用な情報を取得することができる。

【0065】

また、ピクロシリウスレッド染色は薄い中隔とコラーゲン線維とを組織学的に染色するので、心筋の研究に利用可能である。また、塗抹標本に対して行われるパパニコロウ染色では、膣、子宮および子宮頸癌の検出などに利用可能である。また、鉄染色では標本中の三価の第二鉄を検出することができるので、骨髄、脾臓の組織観察やヘモクロトーシス、ヘモジデローシス疾患等の検出に利用可能である。

【0066】

また、抗酸菌染色（チールネルゼン法）では、抗酸菌および結核菌の検出に利用可能である。また、真菌染色（ＰＡＳ染色）は組織切片の真菌の他、リンパ球およびムコ多糖類の検出、リンパ球性白血病の診断等に利用可能である。また、グラム染色では、グラム陽性菌およびグラム陰性菌の検出に利用可能である。

【0067】

また、標本の色を表す表色系としては、上記したＬ^＊ａ^＊ｂ^＊表色系以外にも、例えばｘｙＹ表色系、Ｌ^＊ｕ^＊ｖ^＊表色系、ＹＩＱ表色系、ＹＵＶ表色系、ＹＣｂＣｒ表色系、ＹＰｂＰｒ表色系等を適用可能である。

【0068】

また、上記実施形態では、抽出対象である膠原繊維が青色に、細胞質が赤色の染まるマッソン・トリクローム染色を標本に適用し、さらに着目する色である青色および赤色が色空間の端に位置するＬ^＊ａ^＊ｂ^＊表色系を用いて標本の色を表している。このため、ａ^＊座標軸およびｂ^＊座標軸に対してそれぞれ１つずつ設定された閾値よりも数値の小さい色の領域を全て「特定色」の領域の候補とすることができる。また、例えば赤を特定色として赤色の領域を抽出する場合には、上記とは逆に「閾値より数値が大きい」領域を抽出するように置き換えればよい。その他の部分については上記と同様の考え方を適用することが可能である。

【0069】

ただし、特定色として用いる色とそれを表現する表色系との組み合わせによっては、１つの座標軸に対し２つの閾値を設定し、それらの閾値で挟まれる範囲によって特定色を規定する方がよい結果を得られる場合もある。上記した種々の染色方法、表色系の組み合わせを考えるに当たってはこの点に留意する必要がある。

【0070】

また、上記した画像処理は、例えばパーソナルコンピュータ（ＰＣ）のような一般的なハードウェア構成を有するコンピュータ装置で実現可能なものである。したがって、本発明を実施するために専用ハードウェアを用意する必要は必ずしもなく、上記処理を実現するためのコードを記述した、コンピュータ装置で実行可能な制御プログラムとして本発明が実施されてもよい。また、その制御プログラムを非一時的に記録した、コンピュータ読み取り可能な記録媒体として本発明の実施形態が頒布される形態であってもよい。

【0071】

以上、具体的な実施形態を例示して説明してきたように、本発明に係る閾値決定方法においては、第１座標軸および第２座標軸は、それぞれＬ^*ａ^*ｂ^*色空間におけるａ^*軸およびｂ^*軸であってよい。Ｌ^＊ａ^＊ｂ^＊色空間では、組織の染め分けにおいて広く用いられる青色および赤色が色空間の端に位置しているため、これらの色の分離に好適である。

【0072】

この表色系において、特定色が青色または赤色であれば、面積演算工程では、第１閾値の変分と第２閾値の変分との符号が逆となるように、第１閾値と第２閾値とを変更するようにしてよい。青色はｂ^＊座標軸において負方向の端に位置し、赤色はａ^＊座標軸において正方向の端に位置している。したがって、本発明における「２つの座標軸の間で面積変化が一方において増加し、他方で減少する」という思想は、Ｌ^＊ａ^＊ｂ^＊色空間における青色または赤色の抽出においては「閾値の変分の符号が逆」と具体的に表すことができる。

【0073】

また例えば、閾値決定工程において有意な極大値がないとき、初期設定値を変更して面積演算工程が再実行されてよい。このような構成によれば、適切でない初期設定に起因して最適な閾値が定まらないという問題を回避することができる。

【0074】

また例えば、閾値決定工程において有意な極大値が複数あるとき、それらのうち面積が最大となる第１閾値と第２閾値との組み合わせを最適組み合わせとしてよい。このような構成によれば、２つの座標軸で抽出される領域の重なりが最大である、つまり抽出結果の一致度が最も高くなる閾値の組み合わせを選択することができる。

【0075】

また例えば、標本はマッソン・トリクローム染色された生体組織を含むものであってよい。この染色方法では標本中の膠原線維とそれ以外の領域（例えば筋線維）とを染め分けることができるので、例えば標本の線維化の程度を評価する目的に好適に利用可能となる。

【0076】

このことを利用して、本発明は、青色を特定色とし、上記の画像処理方法により被抽出領域を抽出する工程と、被抽出領域を膠原線維の領域と判定する工程とを備える線維化評価方法として実現することもできる。このような構成によれば、標本画像から線維化した領域を精度よく抽出し、その量や割合等を定量的に求めることができる。

【産業上の利用可能性】

【0077】

本発明は、染色された標本の画像をその色に応じて領域分割する目的に好適に適用可能である。例えば組織切片の病理診断を支援するための各種情報を取得する目的で、本発明を利用することが可能である。

【符号の説明】

【0078】

Ｉｓ 標本画像
Ｒ１ 赤色領域
Ｒ２ 青色領域（被抽出領域）
Ｓ１０３ 数値化工程
Ｓ２０２～Ｓ２０５ 面積演算工程
Ｓ２０６～Ｓ２０７ 閾値決定工程
Ｔａ，Ｔｂ 閾値（第１閾値、第２閾値）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】