特許 6791245 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6791245

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201116BHJP

   G01N 33/48 20060101ALI20201116BHJP

   G01N 33/483 20060101ALI20201116BHJP

   G01N 1/30 20060101ALI20201116BHJP

【ＦＩ】

   G06T7/00 630

   G01N33/48 P

   G01N33/483 C

   G01N1/30

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2018-523599(P2018-523599)

(86)(22)【出願日】2017年5月17日

(86)【国際出願番号】JP2017018453

(87)【国際公開番号】WO2017221592

(87)【国際公開日】20171228

【審査請求日】2020年3月18日

(31)【優先権主張番号】特願2016-124037(P2016-124037)

(32)【優先日】2016年6月23日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】三村 勇介

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開平７−１９８７１４（ＪＰ，Ａ）

【文献】 特開２００６−３４９５３３（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１４５６４３（ＷＯ，Ａ１）

【文献】 特開２０１１−４３３５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０１Ｎ １／３０

Ｇ０１Ｎ ３３／４８

Ｇ０１Ｎ ３３／４８３

(57)【特許請求の範囲】

【請求項1】

染色された標本を撮影して得られた画像を入力する入力手段と、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段と、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段と、
前記候補領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段と、
前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記補正手段は、前記候補領域を細胞領域として二値化処理することを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つに基づいて、前記特徴量の閾値を設定する閾値設定手段を有し、
前記判定手段は、前記特徴量及び前記閾値に基づいて、前記候補領域が細胞領域であるか否かを判定する
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記特徴量は機械学習手法による判別結果を含む
ことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。

【請求項5】

前記特徴量は前記候補領域の面積、円形度、面積凸包比、凹凸数及び曲率の少なくとも何れか一つを含む
ことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。

【請求項6】

前記特徴量は前記候補領域の内部又は周辺部の画素値の平均値、ばらつき及び差分値の少なくとも何れか一つを含む
ことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。

【請求項7】

前記特徴量は前記候補領域のエッジ強度、エッジ方向及びエッジ方向のばらつきの少なくとも何れか一つを含む
ことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。

【請求項8】

染色された標本を撮影して得られた画像を入力する画像入力工程と、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出工程と、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出工程と、
前記候補領域の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定工程と、
前記判定工程において細胞領域であると判定された前記候補領域を細胞領域と補正する補正工程
を備えることを特徴とする画像処理方法。

【請求項9】

コンピュータを、
染色された標本を撮影して得られた画像を入力する画像入力手段、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段、
前記候補領域の特徴量を抽出する特徴量抽出手段、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段、
前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段、
として機能させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に病理診断に用いられる画像処理に関する。

【背景技術】

【0002】

従来、病理診断や生命科学分野の研究において、組織標本を撮影した画像から細胞の形状や数を抽出する画像処理が広く行われている。具体的には、例えば、染色された細胞核を画像から抽出した後、抽出された細胞核構造の特徴量（大きさ、形、等）の算出、当該構造における特定の生体物質（癌タンパク、遺伝子等）の発現量や分布の解析、等が行われる。

【0003】

このような画像処理を観察者が目視で行う場合、膨大な手間が必要であり、また、観察者毎に画像処理の結果が大きくばらつく可能性がある。そのため、近年では、組織標本を撮影した画像の画像処理を自動的に行う技術が数多く提案されている。
ところが、実際の組織標本を撮影した画像において、全ての細胞が均一に染色されていることは殆どなく、細胞間での染色濃度のばらつき、１つの細胞における染色ムラ（斑状の染色、染色濃度の勾配、等）、中抜け核（輪郭付近のみが染色された細胞核）、等が多く観察される（図１参照）。また、細胞密度が高い場合には、画像上で複数の細胞が重なっているため、個々の細胞を同定することがさらに難しい。従来の自動的な画像処理においては、このような染色ムラや重なりに基づく誤差が多く発生し得る（図１参照）ため、誤差を補正するための様々な技術が提案されている。

【0004】

例えば、特許文献１には、画像上で複数の細胞が重畳している場合にも、個々の細胞を抽出可能な技術が記載されている（段落００１８参照）。具体的には、細胞の染色濃度の勾配に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている（特許文献１の段落００２７〜００２８、図１０、段落００８４〜００８８、図１３〜図１６等参照）。
特許文献１に記載の画像処理によれば、細胞密度が高い場合であっても個々の細胞を同定することが可能である。しかし、染色ムラや中抜けの補正については記載されていない。

【0005】

特許文献２には、画像上で細胞間に染色濃度のばらつきがある場合にも、個々の細胞を抽出可能な技術が記載されている。具体的には、閾値を段階的に変化させて二値画像を作成し、二値画像中の連結画素領域ごとに特徴量を算出し、特徴量が所定の条件を満たす領域のみをマージして結果画像を生成する。これにより、用いるべき閾値が細胞ごとに異なる場合であっても、目的のオブジェクト（細胞等）を高精度で検出可能である（特許文献２の請求項１、段落０００９等参照）。
特許文献２に記載の技術によれば、細胞間での染色濃度のばらつきを補正することが可能である（図１参照）。しかし、１つの細胞内での染色ムラや中抜けの補正については記載されていない。

【0006】

特許文献３には、細胞内部の微細構造やノイズに基づく色ムラがある場合にも、細胞の輪郭を抽出可能な技術が記載されている。具体的には、細胞を撮影した画像から、低周波数成分を抽出した画像と高周波数成分を抽出した画像を作成し、が互いに異なる複数の周波数画像を用いてフィルタ処理を行った画像を作成し、作成された画像に閾値処理を行うことにより、細胞の輪郭線を形成することができる（特許文献３の請求項１、段落０００６等参照）。特許文献３には、閾値処理後の画像に対して、穴埋め等の処理を行って細胞領域の形を整えることも記載されている（段落００５９等参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０００−３２１０３１号公報

【特許文献2】特開２０１３−１０５２４５号公報

【特許文献3】特開２０１３−１３７６２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１〜３によれば、組織標本を撮影した画像における細胞の重なり、染色ムラ及び中抜けに由来する誤差をある程度減らすことが可能である。しかし、例えば図２に示されるように、中抜け核１及び複数の細胞核に囲まれた背景２（画像において、細胞が存在しない領域）が１つの細胞画像に混在している場合に、これらを区別することはできない。その結果、複数の細胞核に囲まれた背景２が細胞核の中抜けと見做されて穴埋め処理を施されたり、逆に、中抜け核１が複数の細胞核に囲まれた背景と見做されて、１つの中抜け核１が分割処理を施されたりする場合があり、その結果、解析結果に誤差が生じるという問題点があった。

【0009】

本発明の主な目的は、組織標本を撮影した画像から染色処理が施された細胞を抽出する画像処理において、複数の細胞核に囲まれた背景と中抜け核を判定可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明に係る上記課題は、以下の手段により解決される。
１． 染色された標本を撮影して得られた画像を入力する入力手段と、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段と、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段と、
前記候補領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段と、
前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段と、
を備えることを特徴とする画像処理装置。

【0011】

２． 前記補正手段は、前記候補領域を細胞領域として二値化処理することを特徴とする、第１項に記載の画像処理装置。

【0012】

３． 前記標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つに基づいて、前記特徴量の閾値を設定する閾値設定手段を有し、
前記判定手段は、前記特徴量及び前記閾値に基づいて、前記候補領域が細胞領域であるか否かを判定する
ことを特徴とする第１項又は第２項に記載の画像処理装置。

【0013】

４． 前記特徴量は機械学習手法による判別結果を含む
ことを特徴とする第１項〜第３項の何れか一項に記載の画像処理装置。

【0014】

５． 前記特徴量は前記候補領域の面積、円形度、面積凸包比、凹凸数及び曲率の少なくとも何れか一つを含む
ことを特徴とする第１項〜第４項の何れか一項に記載の画像処理装置。

【0015】

６． 前記特徴量は前記候補領域の内部又は周辺部の画素値の平均値、ばらつき及び差分値の少なくとも何れか一つを含む
ことを特徴とする第１項〜第５項の何れか一項に記載の画像処理装置。

【0016】

７． 前記特徴量は前記候補領域のエッジ強度、エッジ方向及びエッジ方向のばらつきの少なくとも何れか一つを含む
ことを特徴とする第１項〜第６項の何れか一項に記載の画像処理装置。

【0017】

８． 染色された標本を撮影して得られた画像を入力する画像入力工程と、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出工程と、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出工程と、
前記候補領域の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定工程と、
前記判定工程において細胞領域であると判定された前記候補領域を細胞領域と補正する補正工程
を備えることを特徴とする画像処理方法。

【0018】

９． コンピュータを、
染色された標本を撮影して得られた画像を入力する画像入力手段、
前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段、
前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段、
前記候補領域の特徴量を抽出する特徴量抽出手段、
前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段、
前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段、
として機能させるための画像処理プログラム。

【発明の効果】

【0019】

本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、組織標本を撮影した画像から染色処理を施された細胞を抽出する画像処理において、複数の細胞核に囲まれた小さい背景と中抜け核を精度よく判定することができる。

【図面の簡単な説明】

【0020】

【図1】染色状態が異なる細胞を撮影した病理画像及び従来の画像処理による細胞核の抽出結果を示す図である。

【図2】細胞画像の一例を示す図である。

【図3】本発明の診断支援情報生成システムのシステム構成を示す図である。

【図4】本発明の画像処理装置の機能的構成を示すブロック図である。

【図5】第１実施形態の画像解析処理を示すフローチャートである。

【図6A】細胞画像の一例である。

【図6B】染色画像の一例である。

【図6C】補正画像の一例である。

【図7A】細胞画像の一例である。

【図7B】染色画像の一例である。

【図8】第２実施形態の画像解析処理を示すフローチャートである。

【図9】第３実施形態の画像解析処理を示すフローチャートである。

【図10A】中抜け核を示す染色画像の模式図である。

【図10B】複数の細胞核に囲まれた背景を示す染色画像の模式図である。

【図11】第４実施形態の画像解析処理を示すフローチャートである。

【図12A】細胞画像の一例である。

【図12B】核スコア画像の一例である。

【図12C】背景スコア画像の一例である。

【図12D】エッジスコア画像の一例である。

【図13A】細胞画像の一例である。

【図13B】核スコア画像の一例である。

【図13C】背景スコア画像の一例である。

【発明を実施するための形態】

【0021】

以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。

【0022】

＜病理診断支援システム１００の構成＞
図３に、病理診断支援システム１００の全体構成例を示す。
病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。

【0023】

図３に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

【0024】

顕微鏡画像取得装置１Ａは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルタ等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。また、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられていてもよい。

【0025】

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２−５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。

【0026】

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図４に、画像処理装置２Ａの機能構成例を示す。
図４に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。

【0027】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、細胞領域抽出手段、候補領域抽出手段、特徴量抽出手段、判定手段、閾値設定手段及び補正手段としての機能を実現する。

【0028】

操作部２２は、文字入力キー、数字入力キー、各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

【0029】

表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。

【0030】

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、細胞画像の入力手段としての機能を実現する。

【0031】

記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。

【0032】

＜画像について＞
本実施形態では、画像処理装置２Ａは、染色された細胞の形態を表す細胞画像を用いて解析を行うことが好ましい。
「細胞画像」とは、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）等、細胞の特定構造（例えば、細胞核、細胞膜、等）を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分等（好塩基性の組織等）を染色する。エオジン（Ｅ）は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒等（好酸性の組織等）を染色する。
細胞画像としては、明視野画像の他に、細胞の特定の構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。細胞画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なＤＡＰＩ染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。

【0033】

＜病理診断支援システム１００の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１００において、細胞の形態を表す細胞画像を取得して、細胞の染色された構造を抽出する動作について、具体的な実施形態を挙げて説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像から、Ｈ染色を施された細胞核の領域を抽出する場合を例として説明するが、本発明は、これに限定されるものではない。

【0034】

まず、操作者はＨ染色試薬を用いて、公知の方法により組織切片を染色する。
その後、顕微鏡画像取得装置１Ａを用いて、下記（ａ１）〜（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、Ｈ染色試薬により細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
画像処理装置２Ａに送信された細胞画像の画像処理について、以下、詳細に説明する。

【0035】

［第１実施形態］
図５に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図５に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって以下の処理を実行する。
まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像（図６Ａ）が入力されると（ステップＳ１１：入力工程）、制御部２１は、細胞画像に対して任意の前処理を施す（ステップＳ２１）。前処理は、例えば、画像内のノイズ成分を除去するガウシアンフィルタやクロージングでの処理、等を含む。

【0036】

次いで、制御部２１は、前処理後の細胞画像から、Ｈ染色により青色に染色された領域（染色領域）を抽出した二値画像（染色画像）を生成する（ステップＳ３１：染色領域抽出工程）。図６Ｂ及び図７Ｂは、それぞれ図６Ａ及び図７Ａの細胞画像から生成された染色画像の一例であり、染色領域は白、非染色領域は黒で表されている。
染色領域抽出工程（ステップＳ３１）では、例えば、細胞画像を色分解して青色の成分を抽出し、モノクロ画像に変換した後、予め定められた閾値を用いて閾値処理を施して、各画素の値を二値化した染色画像を生成する。

【0037】

染色領域抽出工程（ステップＳ３１）において、得られた二値画像に任意のノイズ処理を施してもよい。例えば、二値画像にクロージング処理を施すことにより、ノイズ等の小さい領域を除去することができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。

【0038】

次いで、制御部２１は、染色領域抽出工程（ステップＳ３１）で生成された染色画像における穴領域を探索する（ステップＳ４１：穴領域探索工程）。
本実施形態において、「穴領域」は、染色領域に囲まれた非染色領域であり、かつ背景ではなく細胞核の候補である候補領域を指すこととする。なお、染色領域に囲まれた非染色領域の中で、大きさ（面積、長径等）が所定値の以上であるものは、細胞核の中抜けでないことが明らかな非染色領域として穴領域から除くこととしてもよい。抽出された各穴領域には、ラベリング処理が施される。図６Ｂ及び図７Ｂの染色画像には、それぞれ、白で表される染色領域に囲まれた穴領域３１及び３２の例が示されている。

【0039】

次いで、制御部２１は、穴領域の特徴量を抽出し（ステップＳ５１：特徴量抽出工程）、特徴量に基づいて、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを判定する（ステップＳ６１：判定工程）。表１に、本発明で用いられる主な特徴量（分類及び種類）及び特徴量と判定結果の関係の概要を示す。

【0040】

【表1】

【0041】

第１実施形態の特徴量抽出工程（ステップＳ５１）では、穴領域の形状に係る特徴量を算出する。特徴量は、穴領域の円形度、面積、凸包比及び凸数の少なくとも一つを含むことが好ましい。特徴量の算出方法は任意であるが、具体的には、例えば以下のように算出することができる。
円形度は、穴領域の面積をＳ、周囲長をＬとした場合に、式：「４πＳ／Ｌ^２」により算出できる。凸包比は、穴領域の面積と、穴領域を包含する凸包多角形の面積の比である。円形度及び凸包比は、それぞれ０〜１の間の値をとり、１に近いほど円形に近いことを示す。
凸数の算出においては、まず、穴領域の重心を原点とした場合の穴領域の輪郭上の各画素の座標を極座標変換して、穴領域の輪郭上の各点から原点までの距離を取得する。次いで、穴領域の輪郭に沿って、当該距離の増減する回数を算出して凸数とする。なお、極座標変換の前に、染色画像に公知の任意の方法でスムージング処理を施してもよい。

【0042】

次いで、制御部２１は、ステップＳ５１で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを、例えば以下の基準に基づいて判定する（ステップＳ６１：判定工程）。

【0043】

穴領域が核の中抜けを示す場合、その面積は細胞核よりも小さい。一方、穴領域が複数の細胞核に囲まれた背景である場合、その面積は、細胞核よりも大きい可能性がある。従って、穴領域の面積が所定の閾値（例えば、標準的な細胞核の面積）より大きい場合、その穴領域は背景であると判定される。穴領域の面積が所定の閾値より小さい場合には、核の中抜けと判定してもよいし、面積以外の特徴量をさらに用いて判定を行うこととしてもよい。

【0044】

また、穴領域が核の中抜けを示す場合、図６Ｂの穴領域３１に示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂの穴領域３２に示されるように、形状がいびつである可能性が高い。従って、円形度が所定の閾値よりも大きい場合、凸包比が所定の閾値よりも大きい場合及び／又は凸数が所定の数よりも少ない場合には、穴領域は核の中抜けを示すと判定される。

【0045】

なお、効率よく判定を行うため、本発明の画像処理方法は、判定工程(ステップＳ６１)で用いる閾値を標本に応じて設定する閾値設定工程をさらに備えることが好ましい。閾値設定工程は、判定工程(ステップＳ６１)以前の任意のタイミングで行うことができる。
閾値設定工程では、観察対象標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つの情報に基づいて閾値を設定することが好ましい。

【0046】

これらの情報は、例えば、操作部２２又は通信Ｉ／Ｆ２４を介して予め入力される。
上記の情報に応じて、穴領域が核の中抜けである確率（又は複数の細胞核に囲まれた背景である確率）は以下のように異なることが知られる。
例えば、細胞の大きさや、中抜けのしやすさは、がん種によって異なる。また、同じがん種であっても、がんの進行度によって中抜けの発生しやすさが異なる。一般的には、がんが進行しているほど、中抜けが発生しやすいことが知られる。
また、同じ乳がん組織から作成した標本であっても、針生検により採取された標本では細胞の密度が高く、組織を薄切した切片では細胞の密度が低いことが知られる。そして、細胞の密度が低いほど、細胞画像において細胞が重なっている可能性が低い。従って、複数の細胞核に囲まれた背景が存在する可能性が低く、穴領域は中抜け核の中抜け部分を示す可能性が高い。

【0047】

中抜けが発生しやすい標本の場合、閾値設定工程では、判定工程（ステップＳ６１）で用いる特徴量の閾値を、穴領域が中抜け核の中抜け部分と判定されやすいような値に設定する。具体的には、例えば、面積を特徴量として用いる場合、閾値を大きな値に設定する。

【0048】

次いで、制御部２１は、判定結果に基づいて染色画像の補正を行って補正画像を生成する（ステップＳ７１：補正工程）。具体的には、補正工程では、中抜け核の中抜け部分（非染色領域）を穴埋めする二値化処理を行うことにより、穴埋めされた穴領域及び染色領域からなる細胞核領域を示す画像が得られる。さらに具体的には、補正工程（ステップＳ７１）では、図６Ｂに示される染色画像において中抜けと判定された穴領域３１が白に変更されて、図６Ｃに示される補正画像が得られる。

【0049】

次いで、制御部２１は、補正画像から個々の細胞核を抽出する形成処理を行う（ステップＳ８１）。形成処理においては、公知の任意の方法を用いて、補正画像における細胞核領域の分割処理、統合処理等を行い、個々の細胞核の形状を抽出する。
次いで、制御部２１は、細胞核の特徴量等を解析して診断情報を生成する後処理を行い（ステップＳ９１）、解析結果を出力する（ステップＳ１０１）。

【0050】

［第２実施形態］
次に、第２実施形態の画像処理について説明する。
図５に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図５に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって以下の処理を実行する。
第２実施形態のステップＳ１２〜Ｓ４２及びＳ７２〜Ｓ１０２の処理は、第１実施形態のステップＳ１１〜Ｓ４１及びＳ７１〜Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。

【0051】

第２実施形態の特徴量抽出工程（ステップＳ５２）では、細胞画像上で穴領域の内部及び／又は周辺の画素の画素値に基づく特徴量を算出する。ここで、穴領域の「周辺」の画素とは、穴領域の外側であって、かつ、穴領域の輪郭から所定の距離以内の画素を示す。所定の距離は、細胞の種類、穴領域の大きさ、等に応じて適宜設定される。

【0052】

本実施形態では、Ｈ染色の濃さを表す特徴量として、細胞画像における各画素のＲＧＢ値から算出される彩度(Ｓ)の値を画素値として用いることが好ましい。Ｈ染色により濃く染色された細胞核ほど、高いＳの画素値が算出される。
画素値の他の例としては、染色の種類に応じて適宜選択される色成分の値、又は細胞画像をグレースケール変換したモノクロ画像における各画素の明るさ、等が挙げられる。

【0053】

画素値に基づいて算出される特徴量は、例えば、穴領域の内部の画素値（例えば、平均値）、穴領域の周辺の画素値のばらつき（例えば、変動係数）、穴領域の内部と周辺の画素値の平均値の差分、等が挙げられる。

【0054】

第２実施形態の判定工程（ステップＳ６２）では、ステップＳ５２で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを、例えば以下の基準に基づいて判定する。

【0055】

Ｈ染色を施された標本を撮影した細胞画像において、核の中抜けを示す穴領域（図６Ａ参照）内の色と、複数の細胞核に囲まれた背景を示す穴領域（図７Ｂ参照）内の色を比較すると、背景を示す穴領域の方が色が薄いことが、従来知られている。従って、穴領域内の画素値の平均値が所定の閾値よりも小さい（白に近い）場合には、穴領域が複数の細胞に囲まれた背景であると判定される。
また、穴領域が核の中抜けを示す場合、各穴領域を囲む染色領域は一つの細胞核であるため、穴領域の周辺は、比較的均一に染色されている可能性が高い。一方、穴領域が複数の細胞に囲まれた背景である場合、穴領域を囲む複数の細胞ごとに、染色の濃さが異なっている可能性が高い。従って、穴領域の周辺の画素値のばらつきが所定の閾値よりも大きい場合には、穴領域が複数の細胞核に囲まれた背景であると判定される。

【0056】

［第３実施形態］
次に、第３実施形態の画像処理について説明する。
第３実施形態のステップＳ１３〜Ｓ４３及びＳ７３〜Ｓ１０３の処理は、第１実施形態のステップＳ１１〜Ｓ４１及びＳ７１〜Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
第３実施形態の特徴量抽出工程（ステップＳ５３）では、穴領域のエッジに基づく特徴量を算出する。次いで、判定工程（ステップＳ６３）では、ステップＳ５３で抽出された特徴量と予め設定された閾値を比較して、穴領域が中抜け核の中抜け部分か複数の細胞に囲まれた背景であるかを、例えば以下の基準に基づいて判定する。以下、第３実施形態のステップＳ５３〜Ｓ６３の処理について、具体的に説明する。

【0057】

（１）エッジ強度に関する特徴量
本実施形態における「エッジ強度」とは、細胞画像上で穴領域に該当する領域のエッジ部における色の変化量であって、公知の方法により算出される値である。エッジ強度の特徴量としては、例えば、各穴領域のエッジ強度の平均値を算出する。輪郭がはっきりしているほど、エッジ強度は高い。
穴領域が核の中抜けを示す場合、穴領域の内外は核膜等で区切られていないことから、エッジ強度は弱い場合が多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、周囲の細胞核の核膜が穴領域のエッジを形成していることから、エッジ強度は中抜け核の中抜け部分よりも強い可能性が高い。従って、エッジ強度が所定の閾値よりも大きい場合、判定工程（ステップＳ６３）において、穴領域は核の中抜けを示すと判定される。

【0058】

（２）エッジ法線方向に関する特徴量
本実施形態における「エッジ法線方向」とは、穴領域のエッジ部に対する接線の法線方向で、かつ、穴領域の内側から外側に向かう方向を示す。図１０Ａ及び図１０Ｂは、中抜け核及び複数の細胞核に囲まれた背景を示す染色画像の模式図である。エッジ法線方向に関する特徴量としては、例えば、エッジ上に任意の開始点Ｐ(図１０Ａ及び図１０Ｂ参照)を設定し、エッジ上の複数の点(例えば、図１０Ａ及び図１０ＢのＰ_１〜Ｐ_４)について、“開始点からの距離（エッジに沿った長さ）”及び“開始点のエッジ方向を基準とした場合の、エッジ方向の変化量”の相関係数を算出する。例えば、図１０Ａのように穴領域がほぼ円形の場合、エッジ法線方向（矢印が指す方向）はエッジに沿って滑らかに変化するため、開始点Ｐからの距離とエッジ法線方向の相関が高い。一方、図１０Ｂのように穴領域がいびつな形である場合、エッジ法線方向（矢印が指す方向）は、エッジの角の部分では急激に変化するため、開始点Ｐからの距離とエッジ法線方向の相関が低い（例えば、図１０ＢのＰ_２及びＰ_３の間）。
穴領域が核の中抜けを示す場合、図６Ｂに示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂに示されるように、形状がいびつである可能性が高い。従って、エッジ法線方向の相関係数が所定の閾値よりも高い場合、穴領域は核の中抜けを示すと判定される。

【0059】

（３）曲率に関する特徴量
本実施形態における「曲率」とは、エッジの局所的な曲がり具合を示すものである。曲率に関する特徴量としては、例えば、所定の数に分割した穴領域のエッジのそれぞれについて、エッジの一部を近似した曲率円を作成し、曲率円の中心座標の位置のばらつきを算出する。穴領域が円形に近いほど、曲率円の中心座標の位置のばらつきは小さい。
穴領域が核の中抜けを示す場合、図６Ｂに示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂに示されるように、形状がいびつである可能性が高い。従って、曲率のばらつきが所定の閾値よりも小さい場合、穴領域は核の中抜けを示すと判定される。

【0060】

［第４実施形態］
次に、第４実施形態の画像処理について説明する。
第４実施形態のステップＳ１４〜Ｓ２４、Ｓ４４及びＳ７４〜Ｓ１０４の処理は、第１実施形態のステップＳ１１〜Ｓ２１、Ｓ４１及びＳ７１〜Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。

【0061】

第４実施形態の染色領域抽出工程（ステップＳ３４）では、機械学習の結果に基づいて、前処理後の細胞画像から、Ｈ染色を施された領域（染色領域）を抽出した二値画像（染色画像）が生成される。機械学習は、Deep Learning、SVM（Support Vector Machine）等、公知の任意の方法を用いることができる。

【0062】

第４実施形態の特徴量抽出工程（ステップＳ５４）では、機械学習に基づく特徴量を算出する。機械学習は、Deep Learning、SVM（Support Vector Machine）等、公知の任意の方法を用いることができる。特徴量は、例えば、細胞核らしさを表す核スコア、背景らしさを表す背景スコア、エッジらしさを表すエッジスコア、等を用いることができる。
図１２Ｂ〜図１２Ｄは、図１２Ａの細胞画像から算出された核スコア、背景スコア及びエッジスコアを示す画像の例であり、それぞれ、高スコアの画素が白で表されている。
第４の判定方法の判定工程（ステップＳ６４）では、特徴量抽出工程（ステップＳ５４）で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを判定する。

【0063】

以下、ステップＳ３４〜Ｓ６４の画像処理について、図を用いて具体的に説明する。
図１３Ａは中抜け核を撮影した細胞画像の一例であり、図１３Ｂ及び図１３Ｃは図１３Ａの細胞画像から作成された核スコア画像、染色画像及び背景スコア画像の一例である。第４実施形態のステップＳ３４では、図１３Ｂの核スコア画像において閾値処理が施されて、核スコアが所定の閾値より高く、染色領域である可能性が高い部分(図１３Ｂでは、色が白に近い領域)が細胞核領域として抽出されて、染色画像が作成される。
続く穴領域探索工程（ステップＳ４４）は、第１実施形態のステップＳ４１と同様に行う。
次いで、特徴量抽出工程（ステップＳ５４）において背景スコアが抽出され、背景スコア画像が作成される。図１３Ｂ及び図１３Ｃには、ステップＳ４４において抽出される穴領域３３が示されている。図１３Ｃによれば、穴領域３３に該当する部分の背景スコアが低いことから、穴領域３３は核の中抜けであると判定される（ステップＳ６４：判定工程）。判定工程（ステップＳ６４）では、具体的には、背景スコア画像の穴領域に該当する部分の背景スコアと所定の閾値が比較されて、背景スコアが閾値よりも小さい場合には、核の中抜けであると判定される。

【0064】

なお、例えば、穴領域内の核スコアが上記と同様に小さい一方で、背景スコアは閾値よりも大きい場合には、穴領域３３は複数の細胞核に囲まれた背景と考えられる。

【0065】

なお、判定対象である細胞核らしさ及び背景らしさに関するスコア以外のスコア（例えば、エッジスコア）を用いることによっても、判定精度をさらに高めることができる。
また、特徴量抽出工程（ステップＳ５４）において、複数種類のスコア（例えば、背景スコアとエッジスコア）を特徴量として用いる場合には、背景スコアと閾値の大小関係及びエッジスコアと閾値の大小関係の結果に対して、所定の任意の方法により重みづけを行い、最終的な判定を行うこととしてもよい。

【0066】

以上説明した本発明の実施形態によれば、核の中抜けに相当する穴領域のみを埋めることが可能であり、誤って背景の穴埋めを行うことがないため、細胞核の抽出精度を高めることができる。本発明の画像処理を用いて病理診断を行うことにより、診断精度を高め、より詳細な治療計画を立てることができる。

【0067】

なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、判定工程では、穴領域を、核の中抜け又は複数の細胞核に囲まれた背景の何れかであると判定するだけでなく、核の中抜け、複数の細胞核に囲まれた背景、又は自動判定不可、の３つのいずれかであると判定しても良い。自動判定不可と判定された穴領域については、例えば、表示部２３に表示された細胞画像等に基づいて、操作者が核の中抜け又は複数の細胞核に囲まれた背景のいずれかに分類し、操作部２２を介して判定結果を入力する。

【0068】

また、上記の第１〜第４実施形態で説明した特徴量抽出工程において抽出される特徴量及び判定方法は、組み合わせて用いてもよい。
具体的には、例えば、第１実施形態に係る穴領域の面積による判定及び第４実施形態に係る機械学習に基づくスコアによる判定をそれぞれ独立に行い、それぞれの判定結果に対して重みづけを行い、最終的な判定を行うこととしてもよい。また、一つの実施形態により自動判定不可であった穴領域に関しては、別の実施形態の方法を用いて判定を行うこととしてもよい。

【0069】

また、上記実施形態では、Ｈ染色を施された組織切片を撮影した画像から、染色に基づいて細胞核を抽出することとしたが、染色方法はこれに限定されず、また、細胞核の他に、細胞膜等の任意の構造を染色して抽出することができる。また、培養細胞、針生検により採取した標本、等、任意の組織標本を撮影した画像を細胞画像として用いてよい。

【0070】

また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、病理診断支援システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【産業上の利用可能性】

【0071】

以上のように、本発明は、組織標本を撮影した画像から染色処理が施された細胞を抽出する画像処理において、複数の細胞核に囲まれた背景と中抜け核を高い精度で判定可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することに適している。

【符号の説明】

【0072】

１ 中抜け核
２ 複数の細胞核に囲まれた背景
３１、３２、３３ 穴領域
１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 診断支援情報生成システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図13A】

【図13B】

【図13C】