(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6598838
(24)【登録日】2019年10月11日
(45)【発行日】2019年10月30日
(54)【発明の名称】細胞画像処理装置および細胞画像の特性を定量化する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20191021BHJP
G01N 33/48 20060101ALI20191021BHJP
G01N 33/483 20060101ALI20191021BHJP
【FI】
G06T7/00 630
G01N33/48 M
G01N33/483 C
【請求項の数】16
【外国語出願】
【全頁数】30
(21)【出願番号】特願2017-215239(P2017-215239)
(22)【出願日】2017年11月8日
(65)【公開番号】特開2018-116685(P2018-116685A)
(43)【公開日】2018年7月26日
【審査請求日】2017年11月8日
(31)【優先権主張番号】62/419928
(32)【優先日】2016年11月9日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517390270
【氏名又は名称】エイエムキャド バイオメッド コーポレーション
【氏名又は名称原語表記】AMCAD BIOMED CORPORATION
(74)【代理人】
【識別番号】100109634
【弁理士】
【氏名又は名称】舛谷 威志
(74)【代理人】
【識別番号】100129263
【弁理士】
【氏名又は名称】中尾 洋之
(72)【発明者】
【氏名】アルゴン チェン
(72)【発明者】
【氏名】イーシェン シャオ
(72)【発明者】
【氏名】ティエンチュン チャン
(72)【発明者】
【氏名】イーシォウ ラン
(72)【発明者】
【氏名】シャンロン シー
(72)【発明者】
【氏名】シュエンマオ ワン
【審査官】
新井 則和
(56)【参考文献】
【文献】
特開2014−110797(JP,A)
【文献】
特開平06−150000(JP,A)
【文献】
特表2008−503241(JP,A)
【文献】
特開2006−333710(JP,A)
【文献】
米国特許出願公開第2014/0050385(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 7/00−7/90
G01N 33/48
(57)【特許請求の範囲】
【請求項1】
細胞画像処理装置で用いられる細胞画像の特性を定量化する方法であって、該方法は下記の、
(a)複数の画素を有する細胞画像を読み込む工程と、
(b)色空間内の前記画素それぞれの複数の色属性の少なくとも1つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
(c)前記バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
(d)前記核部分および前記細胞質部分に基づいて核/細胞質色比を生成する工程とを含み、
前記工程(b)はさらに下記の、
(b1)前記細胞画像の画素の色属性の少なくとも1つに従って複数の第1初期基準点を決定する工程と、
(b2)前記第1初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
(b3)前記バックグラウンド除去画像の画素の色属性の少なくとも1つに従って複数の第2初期基準点を決定する工程と、
(b4)前記第2初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程(c)はさらに下記の、
(c1)前記バックグラウンド除去画像の画素の色属性の少なくとも1つおよび該画素間の重み比率に従って複数の前記第3初期基準点を決定し、該第3初期基準点および前記重み比率に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることにより前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする方法。
【請求項2】
前記核/細胞質色比を、前記核部分の前記色属性の関数値を前記細胞質部分の前記色属性の関数値で除算することによって生成することを特徴とする請求項1に記載の方法。
【請求項3】
細胞画像処理装置で用いられる細胞画像の特性を定量化する方法であって、該方法は下記の、
(a)複数の画素を有する細胞画像を読み込む工程と、
(b)色空間内の前記画素それぞれの複数の色属性の少なくとも1つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
(c)前記バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
(d)前記バックグラウンド除去画像内の複数のエッジ画素を検出して、前記バックグラウンド除去画像内の複数の核ブロックをセグメント化する工程と、
(e)核極性、核内細胞質偽封入体の指数ならびに核重複および鋳型核の指数のうち少なくとも1つを含み、前記核極性は前記核ブロックに基づいて生成され、前記核内細胞質偽封入体の指数は前記核部分に基づいて生成され、前記核重複および鋳型核の指数は前記核ブロックおよび前記核部分に基づいて生成されるパラメータセットを生成する工程と、
(f)前記バックグラウンド除去画像を可視化することによって出力画像を生成する工程とを含むことを特徴とする方法。
【請求項4】
前記工程(b)はさらに下記の、
(b1)前記細胞画像の画素の色属性の少なくとも1つに従って複数の第1初期基準点を決定する工程と、
(b2)前記第1初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
(b3)前記バックグラウンド除去画像の画素の色属性の少なくとも1つに従って複数の第2初期基準点を決定する工程と、
(b4)前記第2初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程(c)はさらに下記の、
(c1)前記バックグラウンド除去画像の画素の色属性の少なくとも1つおよび該画素間の重み比率に従って複数の第3初期基準点を決定し、該第3初期基準点および前記重み比率に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする請求項3に記載の方法。
【請求項5】
前記工程(d)はさらに下記の、
(d1−1)前記バックグラウンド除去画像の画素の色属性の少なくとも1つに従って、二次元(2D)グレースケール行列を生成する工程と、
(d1−2)前記2Dグレースケール行列をi番目のパラメータを有するデリチェフィルタ行列で乗算してi番目の2D勾配行列を得る、該i番目の2D勾配行列は前記画素に隣接する画素に対する前記画素それぞれの水平方向勾配および垂直方向勾配を記録し、iの初期値は1である工程と、
(d1−3)前記i番目の2D勾配行列にマスクを施して、該マスク内の中央画素の総勾配の大きさが前記マスク内の相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスク内の前記相対的最大値ではない場合には、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して、前記i番目の2D勾配行列を更新する工程と、
(d1−4)前記更新されたi番目の2D勾配行列に前記マスクを施して、前記マスク内の前記中央画素に隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも0ではないか否かを判断し、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも0ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して前記i番目の2D勾配行列を更新する、該更新されたi番目の2D勾配行列で前記総勾配の大きさが0ではない前記画素は前記エッジ画素である工程と、
(d1−5)iを2に設定して前記工程(d1−2)ないし(d1−4)を実行し、第2番目の2D勾配行列を得る工程と、
(d1−6)iを3に設定して前記工程(d1−2)ないし(d1−4)を実行し、第3番目の2D勾配行列を得る工程とを含み、
前記i番目の2D勾配行列に関し、iは1ないし3であり、前記工程(d)はさらに下記の、
(d2−1)前記エッジ画素を8接続式接続性ルールに従って接続して複数の線セグメントを形成する工程であって、対象のエッジ画素に接続された隣のエッジ画素の総勾配の大きさは第1の閾値よりも大きく、前記対象のエッジ画素の総勾配方向と前記対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度は第2の閾値未満である工程と、
(d2−2)長さが第3の閾値の3/4未満または平均勾配が第4の閾値未満である線セグメント、および該線セグメントに対応するエッジ画素を除去する工程と、
(d2−3)前記線セグメントそれぞれの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満であるか否かを判断する工程と、
(d2−4)前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が前記第5の閾値未満である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が第6の閾値未満であるか否かを判断し、該距離が前記第6の閾値未満である場合、前記線セグメントに対してエッジ補間処置を実行する工程と、
(d2−5)前記エッジ補間処置によって処理された前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第5の閾値未満であるか否かを判断し、該距離が前記第5の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−6)前記線セグメントのそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が前記線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
(d2−7)前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−8)前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第3の閾値未満であるか否かを判断し、該周囲長さが前記第3の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−9)前記周囲長さが前記第3の閾値以上である前記線セグメントについて、該線セグメントの円形度が第7の閾値未満であるか否かを判断する工程と、
(d2−10)前記円形度が前記第7の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第8の閾値未満であるか否かを判断し、該楕円度が該第8の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−11)i番目のエッジ行列および該i番目のエッジ行列のエッジ画素のi番目の接続情報を、前記線セグメントのうち除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程とを含み、
前記工程(d)はさらに下記の、
(d2−12)前記第1番目のエッジ行列、前記第2番目のエッジ行列および前記第3番目のエッジ行列、ならびに前記第1番目の接続情報、前記第2番目の接続情報および前記第3番目の接続情報を積分して、積分エッジ行列および該積分エッジ行列のエッジ画素の積分接続情報を得る工程と、
(d2−13)前記積分エッジ行列および前記積分エッジ行列の前記エッジ画素の前記積分接続情報に基づいて、前記バックグラウンド除去画像内の前記核ブロックをセグメント化する工程とを含むことを特徴とする請求項3に記載の方法。
【請求項6】
前記工程(d)はさらに下記の、
(d3−1)前記i番目のエッジ行列および該i番目のエッジ行列の前記エッジ画素のi番目の接続情報に基づいて、前記バックグラウンド除去画像内の前記線セグメントのそれぞれによって囲まれた領域内の前記画素をバックグラウンド画素として設定して、一時的バックグラウンド除去画像を生成する工程と、
(d3−2)前記一時的バックグラウンド除去画像の画素の色属性のうち少なくとも1つに従って2Dグレースケール行列を生成し、前記工程(d1−2)ないし(d1−4)および前記工程(d2−1)ないし(d2−11)を実行して、前記一時的バックグラウンド除去画像の前記i番目のエッジ行列および該i番目のエッジ行列のエッジ画素のi番目の接続情報を得る工程と、
(d3−3)前記一時的バックグラウンド除去画像の前記i番目のエッジ行列内に前記エッジ画素が存在するか否かを判断する工程と、
(d3−4)前記エッジ画素が存在する場合、前記一時的バックグラウンド除去画像の前記i番目のエッジ行列および該i番目のエッジ行列の前記エッジ画素の前記i番目の接続情報を、それぞれ前記バックグラウンド除去画像の前記i番目のエッジ行列および該i番目のエッジ行列のエッジ画素の前記i番目の接続情報に組み込む工程と、
(d3−5)前記工程(d3−3)において前記エッジ画素が存在しないと判断するまで前記工程(d3−1)ないし(d3−4)を繰り返す工程とを含むことを特徴とする請求項5に記載の方法。
【請求項7】
前記工程(d)はさらに下記の、
(d4−1)前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記接続情報に基づいて、前記バックグラウンド除去画像の前記線セグメントそれぞれによって囲まれた前記領域内の前記画素を前記バックグラウンド画素として設定して、一時的バックグラウンド除去画像を生成する工程と、
(d4−2)前記一時的バックグラウンド除去画像の画素の色属性のうち少なくとも1つに従って2D二値行列を生成する工程と、
(d4−3)パラメータを有するデリチェフィルタ行列で前記2D二値行列を乗算して2D勾配行列を得る、該2D勾配行列は前記画素それぞれの隣接する画素に対する前記水平方向勾配および前記垂直方向勾配を記録する工程と、
(d4−4)前記マスクを前記2D勾配行列に施して、前記マスク内の前記中央画素の前記総勾配の大きさがマスクの相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスクにおける前記相対的最大値ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して、前記2D勾配行列を更新する工程と、
(d4−5)前記マスクを前記更新された2D勾配行列に施して、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも0ではないか否かを判断し、前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも0ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して、前記2D勾配行列を更新する、該更新された2D勾配行列の前記総勾配の大きさが0ではない前記画素は前記エッジ画素である工程とを含み、
前記2D勾配行列に関し、前記工程(d)はさらに下記の、
(d5−1)前記エッジ画素を前記8接続式接続性ルールに従って接続して複数の線セグメントを形成する、前記対象のエッジ画素の前記総勾配方向と前記対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度が前記第2の閾値未満である工程と、
(d5−2)長さが前記第3の閾値の3/4未満である前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d5−3)前記線セグメントそれぞれの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第5の閾値未満であるか否かを判断する工程と、
(d5−4)前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が前記第5の閾値以上である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第6の閾値未満であるか否かを判断し、該距離が該第6の閾値未満である場合、前記線セグメントに対して前記エッジ補間処置を行う工程と、
(d5−5)前記エッジ補間処置によって処理された前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第5の閾値未満であるか否かを判断し、該距離が該第5の閾値よりも大きい線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d5−6)前記線セグメントそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が該線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
(d5−7)前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d5−8)前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第3の閾値未満であるか否かを判断し、該周囲長さが第3の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d5−9)前記周囲長さが前記第3の閾値以上である前記線セグメントについて、該線セグメントの円形度が第7の閾値未満であるか否かを判断する工程と、
(d5−10)前記円形度が前記第7の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第8の閾値未満であるか否かを判断し、該楕円度が該第8の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d5−11)エッジ行列および該エッジ行列のエッジ画素の接続情報を前記線セグメントのうち除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程と、
(d5−12)前記エッジ行列および該エッジ行列のエッジ画素の前記接続情報を、それぞれ前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記積分接続情報に組み込む工程とを含むことを特徴とする請求項5に記載の方法。
【請求項8】
前記工程(c)はさらに下記の、
前記細胞質部分に関し、該細胞質部分は前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない複数の画素を有するか否かを判断し、前記細胞質部分は前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない前記画素を有する場合、前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない前記画素を前記核部分に再度分類する工程を含むことを特徴とする請求項5に記載の方法。
【請求項9】
前記工程(d2−12)はさらに下記の、
少なくとも1つの第1の新たな線セグメントが前記第2番目のエッジ行列の前記線セグメント間に存在するか否か、さらに前記第1の新たな線セグメントの重心と、前記第1番目のエッジ行列の前記線セグメントによって囲まれた前記領域の複数の重心の間の複数の重心距離はすべて核の平均短軸長さを超えるか否かを判断する工程と、
前記少なくとも1つの第1の新たな線セグメントが存在する場合、該少なくとも1つの第1の新たな線セグメントのエッジ画素を前記第1番目のエッジ行列に付加して前記積分エッジ行列を生成し、さらに前記少なくとも1つの第1の新たな線セグメントと関連付けられた接続情報を前記第1番目の接続情報に付加して前記積分接続情報を生成する工程と、
少なくとも1つの第2の新たな線セグメントは前記第3番目のエッジ行列の前記線セグメント間に存在するか否か、さらに前記第2の新たな線セグメントの重心と、前記積分エッジ行列の前記線セグメントによって囲まれた前記領域の複数の重心の間の複数の重心距離はすべて前記核の平均短軸長さを超えるか否かを判断する工程と、
前記少なくとも1つの第2の新たな線セグメントが存在する場合、該少なくとも1つの第2の新たな線セグメントのエッジ画素を前記積分エッジ行列に付加して前記積分エッジ行列を更新し、さらに前記少なくとも1つの第2の新たな線セグメントと関連付けられた接続情報を前記積分接続情報に付加して、前記積分接続情報を更新する工程とを含むことを特徴とする請求項5に記載の方法。
【請求項10】
前記エッジ補間処置はさらに下記の、
前記線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の傾き、水平距離および垂直距離に基づいて、複数のエッジ画素を段階的に1つずつ前記先頭エッジ画素から前記終端エッジ画素に付加する工程を含むことを特徴とする請求項5に記載の方法。
【請求項11】
前記出力画像を用いて、核/細胞質比(NCR)、前記核ブロック、前記核ブロック間にある少なくとも1つの細長い核ブロック、前記核部分中の重複した核部分、少なくとも1つの前記核内細胞質偽封入体ブロックおよび核主軸分布のうちの少なくとも1つを可視化することを特徴とする請求項3に記載の方法。
【請求項12】
前記セグメント化された核ブロックの核主軸と水平軸の間の角度の標準偏差を計算することによって前記核極性を生成し、
前記核部分中の複数の核内細胞質偽封入体ブロックの総面積を前記核部分の総面積で除算することによって前記核内細胞質偽封入体の指数を生成し、
前記核部分中の前記核ブロックに属さない残りの面積を前記核部分の前記総面積で除算することによって前記核重複および鋳型核の指数を生成することを特徴とする請求項3に記載の方法。
【請求項13】
複数の画素を含む細胞画像を保存するように構成されている記憶部と、
該記憶部に電気的に接続され、細胞画像の特性を定量化する方法を実行するように構成されている処理部とを有し、前記方法は下記の、
(a)前記記憶部から前記細胞画像を読み込む工程と、
(b)色空間内の前記画素それぞれの複数の色属性のうち少なくとも1つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
(c)該バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
(d)前記バックグラウンド除去画像内の複数のエッジ画素を検出して、前記バックグラウンド除去画像内の複数の核ブロックをセグメント化する工程と、
(e)パラメータセットを生成する、該パラメータセットは核極性、核内細胞質偽封入体の指数、核/細胞質色比ならびに核重複および鋳型核の指数のうちの少なくとも1つを含み、前記核/細胞質色比は前記核部分および前記細胞質部分に基づいて生成され、前記核極性は前記核ブロックに基づいて生成され、前記核内細胞質偽封入体の指数は前記核部分に基づいて生成され、前記核重複および鋳型核の指数は前記核ブロックおよび前記核部分に基づいて生成される工程と、
(f)前記バックグラウンド除去画像を可視化することによって出力画像を生成する工程とを含むことを特徴とする細胞画像処理装置。
【請求項14】
前記細胞画像処理装置はさらに入力インタフェースおよび出力インタフェースを有し、前記処理部はさらに前記入力インタフェースを介して前記細胞画像を読み込み、該細胞画像を前記記憶部に保存し、前記処理部は前記出力インタフェースを介して前記出力画像を送信することを特徴とする請求項13に記載の細胞画像処理装置。
【請求項15】
前記工程(b)はさらに下記の、
(b1)前記細胞画像の画素の色属性のうち少なくとも1つに従って複数の第1初期基準点を決定する工程と、
(b2)前記第1初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
(b3)前記バックグラウンド除去画像の画素の色属性のうち少なくとも1つに従って複数の第2初期基準点を決定する工程と、
(b4)前記第2初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程(c)はさらに下記の、
(c1)前記バックグラウンド除去画像の画素の色属性のうち少なくとも1つおよび該画素間の重み比率に従って複数の第3初期基準点を決定し、該第3初期基準点および前記重み比率に従って前記バックグラウンド除去画像の前記画素をクラスタリングすることによって、前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする請求項13に記載の細胞画像処理装置。
【請求項16】
前記工程(d)はさらに下記の、
(d1−1)前記バックグラウンド除去画像の画素の色属性のうち少なくとも1つに従って2Dグレースケール行列を生成する工程と、
(d1−2)該2Dグレースケール行列をi番目のパラメータを有するデリチェフィルタ行列で乗算してi番目の2D勾配行列を得る、該i番目の2D勾配行列は前記画素それぞれの該画素の隣接する画素に対する水平方向勾配および垂直方向勾配を記録し、iの初期値は1である工程と、
(d1−3)前記i番目の2D勾配行列にマスクを施し、該マスク内の中央画素の総勾配の大きさが前記マスクにおける相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスクにおける前記相対的最大値ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して、前記i番目の2D勾配行列を更新する工程と、
(d1−4)前記更新されたi番目の2D勾配行列に前記マスクを施し、該マスク内の前記中央画素に隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも0ではないか否かを判断し、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも0ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を0に設定して、前記i番目の2D勾配行列を更新する、前記更新されたi番目の2D勾配行列において前記総勾配の大きさが0ではない画素は前記エッジ画素である工程と、
(d1−5)iを2に設定し、前記工程(d1−2)ないし(d1−4)を実行して、第2番目の2D勾配行列を得る工程と、
(d1−6)iを3に設定し、前記工程(d1−2)ないし(d1−4)を実行して、第3番目の2D勾配行列を得る工程とを含み、
前記i番目の2D勾配行列に関して、iは1ないし3であり、前記工程(d)はさらに下記の、
(d2−1)前記エッジ画素を8接続式接続性ルールに従って接続して複数の線セグメントを形成する、対象のエッジ画素に接続された隣のエッジ画素の総勾配の大きさは第1の閾値を上回り、前記対象のエッジ画素の総勾配方向と、該対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度は第2の閾値を下回る工程と、
(d2−2)前記線セグメントのうち長さが第3の閾値の3/4未満または平均勾配が第4の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−3)前記線セグメントそれぞれの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満であるか否かを判断する工程と、
(d2−4)前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が第5の閾値以上である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が第6の閾値未満であるか否かを判断し、該距離が該第6の閾値未満である場合、前記線セグメントに対してエッジ補間処置を行う工程と、
(d2−5)前記エッジ補間処置によって処理された前記線セグメントについて、前記線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第5の閾値未満であるか否かを判断し、前記セグメントのうち前記距離が前記第5の閾値以上である線セグメントおよび該線セグメントに前記対応するエッジ画素を除去する工程と、
(d2−6)前記線セグメントそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が前記線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
(d2−7)前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−8)前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第3の閾値未満であるか否かを判断し、前記周囲長さが前記第3の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−9)前記周囲長さが前記第3の閾値以上である前記線セグメントについて、該線セグメントの円形度が第7の閾値未満であるか否かを判断する工程と、
(d2−10)前記円形度が前記第7の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第8の閾値未満であるか否かを判断し、前記楕円度が前記第8の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
(d2−11)i番目のエッジ行列および該i番目のエッジ行列のエッジ画素のi番目の接続情報を、前記除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程とを含み、
前記工程(d)はさらに下記の、
(d2−12)前記第1番目のエッジ行列、前記第2番目のエッジ行列および前記第3番目のエッジ行列ならびに前記第1の接続情報、前記第2の接続情報および前記第3の接続情報を積分して、積分エッジ行列および該積分エッジ行列のエッジ画素の積分接続情報を得る工程と、
(d2−13)前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記積分接続情報に基づいて、前記バックグラウンド除去画像内の前記核ブロックをセグメント化する工程とを含むことを特徴とする請求項13に記載の細胞画像処理装置。
【発明の詳細な説明】
【0001】
本出願は、2016年11月9日に出願された米国仮特許出願第62/419、928号に基づいて優先権の利益を主張するものであり、本明細書中、上記出願全体を参照することにより本願に取り込む。
【0003】
本発明は、細胞画像処理装置および細胞画像の特性を定量化する方法に関するものである。より詳細には、本発明の細胞画像処理装置は、細胞画像の特性を定量化して細胞画像中の核ブロックを取得する方法を実行し、核ブロックに従ってパラメータセットおよび可視画像を出力する。
【0004】
科学技術の急速な発展により、データおよび画像のデジタル化技術が徐々に発展してきている。そのため、電子製品(例えば、コンピュータ、タブレットコンピュータおよびスマートフォン)は、どの職業においても、データ保存および画像表示を行うための最も重要な必需品となっている。
【0005】
従来の臨床細胞学的検査では、光学顕微鏡を用いて患者の細胞を載せた染色スライドを観察して、細胞画像を生成する。その後、医師は、患者の細胞画像上の細胞核および細胞質の分布に基づいて診断を行い、可能性がある疾病を判断することができる。しかしながら、細胞画像に高度な処理を施さずに細胞画像のみに基づいて診断を行なって関連する定量化パラメータまたは分析画像を取得する場合、別の医師は同じ細胞画像に対して全く異なる診断を下す可能性がある。また、診断が過度に主観的に行われれば、患者の病状を判断する際に診断の精度に影響が及び得る。
【0006】
そのため、当該分野において、細胞画像に対して高度な処理を行って関連する定量化パラメータまたは分析画像を取得することにより、医師による診断を支援する細胞画像についての高度な情報を医師に提供して、同一の細胞画像に対する別々の医師による診断結果が一致しないことを減少させ、患者の病状を判断する際に診断の精度を向上させる必要に迫られている。
【発明の概要】
【0007】
本発明は、細胞画像に関連する定量化パラメータおよび分析画像を提供することを目的とする。本発明は、細胞画像を核部分、細胞質部分および核を示すセグメント核ブロックに分割して、細胞画像に関連する定量化パラメータを生成して出力画像を提供することにより、核ブロックを可視化する。このようにして、本発明は従来技術と比較して、医師による診断を支援する細胞画像についての高度な情報を医師に提供し、同一の細胞画像に対する別々の医師による診断結果が一致しないことを減少させ、患者の病状を判断する際の診断精度を向上させる。
【0008】
上述の目的を達成するために、本発明は、細胞画像処理装置に用いられる細胞画像の特性を定量化する方法を開示する。細胞画像の特性を定量化する方法は、以下の工程を含む。すなわち、(a)複数の画素を有する細胞画像を読み込み、(b)色空間における各画素の複数の色属性のうちの少なくとも1つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、(c)バックグラウンド除去画像を核部分および細胞質部分に分割し、(d)核部分および細胞質部分に基づいて核/細胞質色比を生成する。
【0009】
さらに、本発明は、細胞画像処理装置に用いられる細胞画像の特性を定量化するさらなる方法を開示する。細胞画像の特性を定量化する方法は、以下の工程を含む。すなわち、(a)複数の画素を有する細胞画像を読み込み、(b)色空間における各画素の複数の色属性のうちの少なくとも1つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、(c)バックグラウンド除去画像を核部分および細胞質部分に分割し、(d)バックグラウンド除去画像中の複数のエッジ画素を検出してバックグラウンド除去画像中の複数の核ブロックをセグメント化し、(e)核極性、核内細胞質偽封入体の指数、ならびに核重複および核鋳型の指数のうち少なくとも1つを含むパラメータセットを生成し、ここでは核極性を核ブロックに基づいて生成し、核内細胞質偽封入体の指数を核部分に基づいて生成し、核重複および核鋳型の指数を核ブロックおよび核部分に基づいて生成し、(f)バックグラウンド除去画像を可視化することにより出力画像を生成する。
【0010】
さらに、本発明は、記憶部および処理部を有するさらなる細胞画像処理装置を開示する。処理部は、記憶部と電気的に接続される。処理部は、細胞画像の特性を定量化する方法を実行する。そして、本方法は以下の工程を含む。すなわち、(a)記憶部から複数の画素を有する細胞画像を読み込み、(b)色空間におけるそれぞれの画素の複数の色属性のうちの少なくとも1つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、(c)バックグラウンド除去画像を核部分および細胞質部分に分割し、(d)バックグラウンド除去画像内にある複数のエッジ画素を検出してバックグラウンド除去画像内にある複数の核ブロックをセグメント化し、(e)核極性、核内細胞質偽封入体の指数、核/細胞質色比ならびに核重複および鋳型核の指数のうち少なくとも1つを含むパラメータセットを生成し、ここでは核/細胞質色比を核部分および細胞質部分に基づいて生成し、核極性を核ブロックに基づいて生成し、核内細胞質偽封入体の指数を核部分に基づいて生成し、核重複および鋳型核の指数を核ブロックおよび核部分に基づいて生成し、(f)バックグラウンド除去画像を可視化することにより出力画像を生成する。
【0011】
当業者が本願特許請求の範囲に記載された発明の特徴を理解できるように、本発明に対して実施される技術および好適な実施例の詳細については以下の段落および添付図面にて述べる。
【図面の簡単な説明】
【0012】
【
図1】本発明の第1の実施例による細胞画像の特性を定量化する装置1を示す模式図である。
【
図2A】本発明の第1の実施例による細胞画像の特性を定量化する方法を示すフローチャート図である。
【
図2C】本発明の他の実施例による細胞画像の特性を定量化する方法を示すフローチャート図である。
【
図4C】本発明の第2の実施例によるエッジ検出段階における方法のフローチャートを示す。
【
図6C】本発明の第4の実施例によるエッジ検出段階における方法のフローチャートを示す。
【
図8B】バックグラウンド除去画像のエッジ画素を示す。
【
図11】セグメント化された核ブロックの可視化を示す。
【
図13】核間にある少なくとも1つの細長い核ブロックの可視化を示す。
【
図14】核部分中における重複核および鋳型核の可視化を示す。
【
図15】核内細胞質偽封入体ブロックの可視化を示す。
【0013】
以下の記載において、本発明について実施例を参照しながら説明する。しかしながら、これらの本発明の実施例は、本発明を実施例に記載されるいかなる環境、用途または実施に限定することも意図していない。そのため、これらの実施例の記載は、本発明の範囲を制限するものではなく、ひとえに例示することを目的とする。以下の実施例および添付図面において、本発明と無関係の要素を本記載から省略していると理解すべきである。
【0014】
本発明の第1の実施例は、
図1および
図2Aに示すとおりである。
図1は、本発明による細胞画像処理装置1の模式図である。細胞画像処理装置1は、入力インタフェース11、出力インタフェース13、処理部15および記憶部17を含む。処理部15は、入力インタフェース11、出力インタフェース13および記憶部17と電気的に接続される。
【0015】
入力インタフェース11を用いて、光学顕微鏡(または高拡大率の任意の画像センサ)によって生成された染色細胞画像101(例えば、
図7Aに示すような、バックグラウンド部分701、核703および細胞質705を含む、拡大率400倍の細胞画像)を受信する。入力インタフェース11は、有線インタフェース(例えばUSB送信インタフェースであるが、これに制限するものでない)または無線送信インタフェース(例えば、WIFI送信インタフェース)でよい。入力インタフェース11を光学顕微鏡に接続してもよく、または細胞画像を保存する記憶装置に接続してもよい。処理部15は、入力インタフェース11を介して細胞画像101を受信し、細胞画像101を記憶部17に記憶する。出力インタフェース13は、データ送信インタフェースまたは画像送信インタフェースでよい。出力インタフェース13を用いて、細胞画像に関連する定量化されたパラメータおよび処理部15によって生成された核の可視画像を出力する。
【0016】
処理部15は、本発明による細胞画像の特性を定量化する方法を実行することにより、細胞画像および可視画像に関連する定量化パラメータを生成するように構成される。本発明による細胞画像の特性を定量化する方法を、非一時的なコンピュータ可読媒体によって実施してもよい。非一時的なコンピュータ可読媒体は、複数のコードを含むコンピュータプログラムを記憶する。コンピュータプログラムが電子機器(例えば、細胞画像処理装置1)内に読込みおよびインストールされると、コンピュータプログラムに含まれるコードが電子機器の処理部によって実行され、本発明による細胞画像の特性を定量化する方法を実行する。非一時的なコンピュータ可読媒体は、例えば、読出し専用メモリ(ROM)、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク(CD)、モバイルディスク、磁気テープ、ネットワークにアクセス可能なデータベース、または同様の機能を有し当業者に公知の他の任意の記憶媒体でよい。
【0017】
本発明による細胞画像の特性を定量化する方法のフローチャートは、
図2Aに示すようなものである。まず、工程S201において、処理部15は、記憶部17から細胞画像101を読み込む。細胞画像101は複数の画素を含み、複数の細胞を所定の拡大率で示す。細胞画像101における各画素の位置が水平方向におけるx値および垂直方向におけるy値によって表されることにより、細胞画像101中の画素は二次元(2D)行列を形成する。
【0018】
細胞画像101を、RGB(赤、緑および青)色空間、HSV(色相、彩度および明度)色空間または任意の色空間によって表現してもよく、任意の色空間から別の色空間に自在に変換可能であると理解すべきである。例えば、読み込まれた細胞画像101がRGB色空間によって表される場合、処理部15は、細胞画像101をRGB色空間によって表されるものからHSV色空間によって表されるものへ変換することができる。色空間の変換機構は当該分野において周知であるため、本明細書においてはこれ以上の説明を省略する。
【0019】
次に、工程S203において、処理部15は、
図7Bに示すように、細胞画像101の画素を細胞部分およびバックグラウンド部分に分割し、バックグラウンド部分を細胞画像101から除去して、色空間中の細胞画像101の画素の複数の色属性のうちの少なくとも1つに応じたバックグラウンド除去画像103を取得する(すなわち、
図7Aのバックグラウンド部分701を除去する)。本明細書中、バックグラウンド部分701とは、細胞画像101の染色後の画像中の非染色部分(通常は、細胞を除いた領域)を指すと理解すべきである。
【0020】
その後、工程S205において、処理部15は、バックグラウンド除去画像103中の画素を、
図12に示すように、核部分1201および細胞質部分1203に分割する。細胞画像101の画素の分割およびバックグラウンド除去画像103の画素の分割を行うために、クラスタリングアルゴリズムを用いてもよいと理解すべきである。一次元、二次元もしくは三次元のクラスタリング、または複数回クラスタリングでさえも、各画素の1つ、2つまたは3つの特定の属性(すなわち、色属性)について、所定の比率でそれぞれに行ってもよい。さらに、本発明において用いられるクラスタリングアルゴリズムは、K平均クラスタリングでよいが、これに限定するものではない。そのため、同一の目的を達成する任意のクラスタリングアルゴリズムは、本発明の範囲内に含まれることになる。
【0021】
例えば、色空間がHSV色空間である(すなわち、3つの属性、より具体的には色相、彩度および明度で構成される)場合、処理部15は、これら3つの属性(すなわち、色相、彩度および明度)のうち少なくとも1つについてK平均クラスタリングを3回行ってもよい。最初の2回のクラスタリングを行う目的は、バックグラウンド部分の除去であり、3回目のクラスタリングを行う目的は、細胞質部分を核部分と区別することである。
【0022】
詳細には、初回のK平均クラスタリングでは色相を基準として用い、画素の色相の最大値と最小値の差を6つの均等な部分に分割して、6つの初期基準点を決定する。画素の色相の最大値が80で、その最小値が30であるならば、6つの初期基準点の色相はそれぞれ、30、40、50、60、70および80である。そのため、6つの初期基準点に基づいて画素に対し一次元K平均クラスタリングを実行し、細胞画像101の画素を6つの群に分割することができる。そして、画素を6つの群に応じて細胞部分およびバックグラウンド部分に分割する。このようにして、処理部15は、バックグラウンド部分に分類された画素を除去して、バックグラウンド除去画像103を生成することができる。
【0023】
次に、2回目のK平均クラスタリングをバックグラウンド除去画像103に対して行う。2回目のK平均クラスタリングでは、彩度を基準にして基準点を選択し、6つの基準点をバックグラウンド除去画像103の画素の彩度の最大値と最小値の差に応じて決定する。よって、6つの基準点に基づいてバックグラウンド除去画像103の画素に対して一次元K平均クラスタリングを行うことにより、1回目のK平均クラスタリングにおいてバックグラウンド部分として分類されていない画素をさらに決定し、バックグラウンド除去画像103から除去して、バックグラウンド除去画像103を更新することができる。クラスタリング結果に応じて画素を細胞部分およびバックグラウンド部分に分割する基準は、利用者が決定してもよく、または事前設定された閾値によって決定してもよい。これにより、細胞部分に属する群の画素およびバックグラウンド部分に属する残りの群の画素を決定すると理解すべきである。
【0024】
上述した2回の一次元K平均クラスタリングの後、処理部15は、3回目のK平均クラスタリングをバックグラウンド除去画像103の画素に対して実行し、画素を核部分1201および細胞質部分1203に分割する。最初の2回のK平均クラスタリングと異なり、3回目のK平均クラスタリングでは、処理部15は、彩度と明度の重み比率に従って二次元K平均クラスタリングを実行する。例えば、彩度と明度の重み比率5:3に従って二次元K平均クラスタリングを実行する。
【0025】
画素の彩度の最大値が80であり、その最小値が30であるならば、二次元初期基準点の第一次元の値はそれぞれ、彩度に関しては30、40、50、60、70および80である。一方、画素の明度の最大値が100であり、その最小値が25であれば、二次元初期基準点の第二次元の値はそれぞれ、明度に関しては25、40、55、70、85および100である。そのため、6つの二次元初期基準点はそれぞれ、(30,25)、(40,40)、(50,55)、(60,70)、(70,85)および(80,100)である。よって、処理部15が二次元K平均クラスタリングを行う場合、各画素と基準点の間の距離は、
【数1】
に等しい。ここで、Δd1は彩度差であり、Δd2は明度差である。
【0026】
別の例として、色空間がRGB色空間である(すなわち、赤色、緑色および青色の3つの属性によって構成される)場合、処理部15は、これら3つの属性(すなわち、赤色、緑色および青色)のうちの少なくとも1つに対してK平均クラスタリングを3回行ってもよい。最初の2回のクラスタリングの目的はバックグラウンド部分を除去することであり、3回目のクラスタリングの目的は細胞質部分を核部分と区別することである。詳細には、1回目のK平均クラスタリングにおいて、緑色を基準として用いて、画素の緑色の最大値と最小値の差を6つの均等な部分に分割して、6つの初期基準点を決定する。
【0027】
画素の緑色の最大値が95であり、その最小値が10であるならば、6つの初期基準点の緑色はそれぞれ、10、27、44、61、78および95である。したがって、6つの初期基準点に基づいて画素に対し一次元K平均クラスタリングを実行することにより、細胞画像101の画素を6つの群に分割することができる。そして、画素を6つの群に従って細胞部分およびバックグラウンド部分に分割する。このようにして、処理部15は、バックグラウンド部分として分類された画素を除去して、バックグラウンド除去画像103を生成することができる。次に、2回目のK平均クラスタリングを実行する。1回目のK平均クラスタリングと異なり、2回目のK平均クラスタリングは、同様の動作を実行する基準として青色を採用する。そのため、1回目のK平均クラスタリングにおいてバックグラウンド部分として分類されなかった画素をさらに決定して、バックグラウンド除去画像103から除去し、バックグラウンド除去画像103を更新することができる。上述の2回分の一次元平均クラスタリングを行った後、処理部15は、3回目のK平均クラスタリングをバックグラウンド除去画像103の画素に対して行って、画素を核部分1201および細胞質部分1203に分割する。同様に、3回目においては、上述したものと同様の動作を行う基準として赤色を採用する。
【0028】
バックグラウンド除去画像103の画素を核部分1201および細胞質部分1203に分割した後、処理部15は工程S207を実行して、バックグラウンド除去画像103にある複数のエッジ画素を検出する。このようにして、バックグラウンド除去画像103中のエッジ画素を検出した後、処理部15はそれらのエッジ画素を接続して、
図11に示すように、バックグラウンド除去画像103内の複数の核ブロック1101(核を表す)をセグメント化することができる。
【0029】
その後、工程S209において、処理部15は、核ブロック1101、核部分1201および細胞質部分1203に応じてパラメータセットを生成する。パラメータセットは、核極性、核内細胞質偽封入体の指数、核/細胞質色比ならびに核重複および鋳型核の指数のうちの少なくとも1つを含んでいてもよい。核/細胞質色比は核部分および細胞質部分に基づいて生成され、核極性は核ブロックに基づいて生成される。核内細胞質偽封入体の指数は核部分に基づいて生成され、核重複および鋳型核の指数は核ブロックおよび核部分に基づいて生成される。
【0030】
例えば、セグメント化された核の核主軸と水平軸の間の角度の標準偏差を算出して、核極性を生成してもよい(
図9に示すような手法で角度を計算する)。別の例として、(
図15に示すように)複数の核内細胞質偽封入体1501の総面積を核部分1201の総面積で除算することにより、核内細胞質偽封入体の指数を生成してもよい。
【0031】
別の例として、核/細胞質色比は、核部分の色属性の関数値を細胞質部分の色属性の関数値で除算することにより生成できる過染色症指数でもよい。例えば、HSV色空間において、過染色症指数は、細胞核/細胞質の彩度/明度比または細胞核/細胞質の色相/明度比でよい。細胞核/細胞質の彩度/明度比は、核部分における平均彩度の平均明度に対する比(すなわち、関数値)を細胞質部分における平均彩度の平均明度に対する比(すなわち、関数値)で除算することにより生成できる。細胞核/細胞質の色相/明度比は、核部分における平均色相の平均明度に対する比を細胞質部分における平均色相の平均明度に対する比で除算することにより生成できる。さらに、過染色症指数は、細胞核/細胞質色相比または細胞核/細胞質彩度比であってもよい。細胞核/細胞質色相比は、核部分の平均色相値(すなわち、関数値)を細胞質部分の平均色相値(すなわち、関数値)で除算することにより生成できる。細胞核/細胞質彩度比は、核部分の平均彩度値(すなわち、関数値)を細胞質部分の平均彩度値(すなわち、関数値)で除算することにより生成できる。
【0032】
別の例として、核重複および鋳型核の指数を、核部分中の核ブロック1101に属していない残りの面積を核部分1201の総面積で除算することにより生成してもよい。
図10に示すように、これらの関連する定量化されたパラメータを利用者が決定してもよく、または事前設定された基準によって決定してもよいと理解すべきである。細胞学的特性情報に従って定量化を行う関連動作は、当業者が容易に理解できるであろうから、本明細書ではさらなる詳述を控える。
【0033】
上述のように、核/細胞質色比を核部分1201および細胞質部分1203に基づいて生成してもよく、核極性を核ブロック1101に基づいて生成してもよい。核内細胞質偽封入体の指数を核部分1201に基づいて生成してもよく、核重複および鋳型核の指数を核ブロック1101および核部分1201に基づいて生成してもよい。換言すれば、工程S205を実行してバックグラウンド除去画像103中の画素を核部分1201および細胞質部分1203に分割した後、処理部15は、工程S207を実行してバックグラウンド除去画像103中の核ブロック1101がセグメント化されるのを待たずに、核/細胞質色比を核部分1201および細胞質部分1203に基づいて計算してもよい。
【0034】
本発明の実施例中の図面は、Riu染料による処理が行われた後の細胞画像であると理解すべきである。過染色症指数を一例としてとると、細胞核および細胞質を染める色は、青色および紫色(紫色は、赤色および青色によって生成される)からなり、細胞の病理学的変化は、Riu染料の着色結果に影響を及ぼし、色が濃くなるまたは薄くなり、細胞核および細胞質の色相および彩度に差が生じる。加えて、細胞核および細胞質双方の明度が増加すると、細胞核および細胞質の赤色部分および青色部分にも差が生じる。染色方法が異なると染色効果も異なってくるが、当業者であればさまざまな染色方法に応じて重み/属性比率を調節する関連動作について理解の及ぶところであるので、さらなる詳述を控える。
【0035】
別の例として、核内細胞質偽封入体の指数は等式1を用いて計算可能であり、核内細胞質偽封入体ブロック1501として決定された面積を核部分1201の総面積で除算して、核内細胞質偽封入体ブロック1501の比率を得る。
【数2】
ここで、area
inclusionsは、核内細胞質偽封入体ブロック1501の総面積であり、area
nucleiは、核部分1201の総面積である。
【0036】
さらに、核部分中の核ブロック1101に属しない残りの面積を核部分の面積で除算することにより、等式2を用いて核重複および鋳型核の指数を計算する。換言すれば、核重複および鋳型核の指数は、核部分中の重複核および鋳型核面積(エッジが壊れて不規則になっている核および重複した核の面積を含む)が占める比率を示す。
【数3】
ここで、area
discrete nucleiは核ブロック1101の総面積であり、area
nucleiは核部分1201の総面積である。
【0037】
いくつかの実施例において、パラメータセットは、例えば面積、円形度、楕円率および伸長性または同種のもののようなパラメータをさらに含む。例えば、等式3を用いて細胞核の伸長性を計算してもよい。
【数4】
ここで、d
1は核ブロックの主軸長さであり、d
2は核ブロックの短軸長さである。
【0038】
最後に、処理部15は、工程S211を実行してバックグラウンド除去画像103を可視化し、出力画像105を生成して、核ブロック1101、核部分1201および細胞質部分1203を示す。例えば、
図12では、出力画像105を用いて核部分1201および細胞質部分1203の核/細胞質比(NCR)を可視化する。
図11では、出力画像105を用いてセグメント化された核1101を可視化する。
図13では、出力画像105を用いて核間の細長い核ブロック1301を可視化する。
図14では、出力画像105を用いて核部分中の重複核部分1401を可視化する。
図15では、出力画像105を用いて核内細胞質偽封入体ブロック1501を可視化する。
図16では、出力画像105を用いて核主軸の分布(例えば、核主軸1601)を可視化する。
【0039】
上述の記載から分かるように、本発明による細胞画像の特性を定量化する方法は、3つの動作段階に分割できる。第1段階はクラスタリング段階であり、第2段階はエッジ検出段階であり、第3段階は核形態および可視化特性の関連パラメータを計算する段階である。クラスタリング段階における動作については、本実施例の典型的な例と共に述べてきた。エッジ検出段階ならびに核形態および可視化特性の関連パラメータを計算する段階については、以下の実施例において後述する。
【0040】
核/細胞質色比を生成した後、処理部15は、生成された核/細胞質色比の情報を表示部または出力装置などを介して利用者に提供することができると理解すべきである。したがって、他の実施例において、利用者は核/細胞質色比の生成のみをするように画像処理装置1を設定し、核ブロックのセグメント化、核ブロックに基づく他のパラメータの生成、バックグラウンド除去画像の可視化などのその後の工程を実行不要にすることもできる。
図2Bに示すように、工程S205を実行してバックグラウンド除去画像103中の画素を核部分1201および細胞質部分1203に分割した後、処理部15は工程S206の実行のみをして、核/細胞質色比を核部分1201および細胞質部分1203に基づいて生成してもよい。換言すれば、利用者は、出力する必要のあるパラメータを自身の必要性に基づいて選択して、全工程を実行せずに選択されたパラメータに対応する工程のみを処理部15に実行させることも可能である。
【0041】
加えて、他の実施例において、利用者が選択したパラメータに基づいて、
図2Aの工程S209を、
図2Cに示すように工程S208に置き換えてもよい。この場合、生成されたパラメータセットは、核極性、核内細胞質偽封入体の指数ならびに核重複および鋳型核の指数を含んでよい一方で、核/細胞質色比を含まない。
【0042】
本発明の第2の実施例については、併せて
図3〜
図4Cを参照されたい。第2の実施例は第1の実施例を拡張したものであり、エッジ検出段階に関連する動作について述べる。すなわち、第1の実施例の工程S207は、
図3、
図4A、
図4Bおよび
図4Cに示す工程をさらに含む。まず、工程S301において処理部15は、バックグラウンド除去画像103の画素の色属性の少なくとも1つに従って、二次元(2D)グレースケール行列を生成する。
【0043】
例えば、HSV色空間において処理部15は、
図8Aに示すように、彩度と明度の重み比率5:−3に従って、バックグラウンド除去画像103をグレースケール画像105へ変換する。グレースケール画像105の各画素はグレースケール値をもつため、処理部は、2Dグレースケール行列中の画素のグレースケール値を示し得る。上述の重み比率は、本発明を限定するものではなく、例示を目的とするものであると理解すべきである。さらに、RGB色空間において、バックグラウンド除去画像103をグレースケール画像105に変換する方法も、当業者であれば理解の及ぶところであるため、本明細書ではさらなる詳述を控える。
【0044】
次に、工程S303において、処理部15は、2Dグレースケール行列を、i番目のパラメータを有するデリチェフィルタ行列で乗算して、i番目の2D勾配行列を得る。ここで、iは1ないし3である。i番目の2D勾配行列は、各画素の水平方向勾配(D
x)および垂直方向勾配(D
y)を当該画素に隣接する画素に対して記録する。i番目のパラメータはガウス分布パラメータであるため、異なるパラメータを有するデリチェフィルタ行列を用いてグレースケール画像105を異なるレベルでぼかして、グレースケール画像105のノイズを低減させる。
【0045】
その後、工程S305において、処理部15はi番目の2D勾配行列にマスクを施す。例えば、マスクは3×3行列であり、処理部15は、マスクを用いて、i番目の2D勾配行列の各3×3部分行列内の画素の水平方向勾配および垂直方向勾配を検査して、エッジ画素と思われる画素を探し出す。詳細には、処理部15は、使用中のマスク内の中央画素の総勾配の大きさがマスク内の相対的最大値であるかを判断し、マスク内の中央画素の総勾配の大きさがマスク内の相対的最大値ではない場合、処理部15は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を0(すなわち、非最大抑制)に設定する。
【0046】
例えば、処理部15は、マスク内の中央画素および中央画素の勾配方向における中央画素の前後にそれぞれ配置された2つの画素の強度を測定する。中央画素の総勾配の大きさが上述の2つの画素よりも大きい場合、中央画素の総勾配の大きさが維持される。そうではない場合は、総勾配の大きさは0に設定されることにより、i番目の2D勾配行列を更新する。勾配方向がマスク内の画素に配置されていない(例えば、0度、45度、90度、135度、180度、…、360度ではない)場合、経路周囲の画素に対して補間を行うことにより、仮想画素を勾配方向として得られると理解すべきである。
【0047】
別の例として、別の非最大抑制方法において、処理部15は、使用中のマスク内の中央画素の総勾配の大きさが隣接する画素すべての総勾配の大きさよりも小さいか否かを判断してもよい。判断結果が肯定である場合、中央画素はエッジ画素ではないことを意味する。そのため、処理部15は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を0に設定して、i番目の2D勾配行列を更新する。各画素の総勾配の大きさは、等式4に基づいて計算される。
【数5】
【0048】
工程S305の実行後、更新されたi番目の2D勾配行列内の0ではない水平方向勾配および垂直方向勾配を有する画素は、あらかじめエッジ画素であると判断される。次に、処理部15は、あらかじめエッジ画素であると判断された画素に対して間引き方法を行う。すなわち、これらのエッジ画素をさらに鮮明にする工程S307を実行する。工程S307において、処理部15は、更新されたi番目の2D勾配行列にマスクを再度施して、隣接する垂直画素の総勾配の大きさおよび使用中のマスク内の中央画素の隣接する水平画素の総勾配の大きさが0でないかどうかを逐次判断する。隣接する垂直画素の総勾配の大きさおよび使用中のマスク内の中央画素の隣接する水平画素の総勾配の大きさがいずれも0ではない場合、処理部15は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を0に設定して、i番目の2D勾配行列を再度更新する。このようにして、更新されたi番目の2D勾配行列内の画素のうち総勾配の大きさが0ではない画素は、
図8Bに示すようにエッジ画素であると判断される。
【0049】
処理部15は、
図4A〜
図4Cに示す工程を実行して、上述のi番目の2D勾配行列内のエッジ画素であると判断された画素を接続し、これにより、複数の核ブロック1101をセグメント化する。まず、工程S401において、処理部15は、8接続式接続性ルールに従ってエッジ画素を接続して、複数の線セグメントを形成する。接続されていないエッジ画素それぞれについて、処理部15は、対象のエッジ画素に接続すべき隣のエッジ画素の総勾配の大きさが第1の閾値を上回るか否かを判断し、さらに、対象のエッジ画素の総勾配方向と対象のエッジ画素に接続すべき隣のエッジ画素の総勾配方向の間の角度が第2の閾値を下回るか否かを判断する。例えば、総勾配方向は、等式5に基づいて計算してもよい。
【数6】
【0050】
接続すべき隣のエッジ画素の総勾配の大きさが第1の閾値を上回り、なおかつ角度が第2の閾値を下回る場合、処理部15は、対象のエッジ画素を隣のエッジ画素に接続し、接続されている隣のエッジ画素を対象のエッジ画素とみなす。その後、処理部15は、隣のエッジ画素が接続に利用可能であるか否かを続けて判断し、判断結果が肯定である場合、隣のエッジ画素を接続する。したがって、接続に利用できる隣のエッジ画素が無いと判断されるまで、線セグメントが形成される。次に、処理部15は、以下の工程に示すように、上述の線セグメントそれぞれについて判断を行い、どの線セグメントが正常な細胞核のエッジ画素であるかに関してエッジ画素を判断する。
【0051】
工程S403において、処理部15は、線セグメントの長さが第3の閾値の3/4未満であるか、または線セグメントの画素の平均勾配が第4の閾値未満であるかを判断する。これによって、長さが過度に短いまたは平均勾配が過度に小さい線セグメントを除去する。線セグメントの長さが第3の閾値の3/4未満であるか、または線セグメントの画素の平均勾配が第4の閾値未満である場合、処理部15は工程S413を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。上述の第3の閾値は、正常な細胞核のエッジ周囲長さでもよいこと理解すべきである。
【0052】
その後、線セグメントが全体として閉曲線であるか否かを判断するために、処理部15は工程S405をさらに実行して、線セグメントそれぞれの先頭エッジ画素(すなわち、始点)と終端エッジ画素(すなわち、終点)の間の距離が第5の閾値未満であるか否かを判断する。線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満である場合、線セグメントは全体として閉曲線であり、線セグメントによって囲まれる領域は核ブロックであり得ることを意味する。次に、処理部15は工程S415を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満であるか否かを判断する。
【0053】
さらに、線セグメントの先頭エッジ画素と終端エッジ画素との間の距離が第5の閾値以上である場合、処理部15は工程S407を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第6の閾値未満であるか否かを判断する。線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第6の閾値未満である場合、エッジ補間処置を行うことにより、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離を第5の閾値未満にし得ることを意味する。そのため、処理部15は工程S409を実行して、線セグメントにエッジ補間処置を行う。第6の閾値は、線セグメントの長さを所定の比、例えば0.25で乗算することによって得られる値でよいと理解すべきである。すなわち、線セグメントは、その先頭エッジ画素と終端エッジ画素の間の距離(すなわち、未接続の線セグメント)を、最大でも線セグメントの長さの1/4までにできる。
【0054】
例えば、エッジ補間処置において、処理部15は、先頭エッジ画素と終端エッジ画素の間の垂直距離および水平距離を計算して、水平距離が垂直距離よりも長いか否かを判断してもよい。水平距離が垂直距離よりも長い場合、エッジ補間処置は水平方向から開始される。水平方向が1画素分だけ前方に移動するたびに、垂直方向は先頭エッジ画素と終端エッジ画素を接続する線の傾きに沿って前方に移動する。逆に、水平距離が垂直距離よりも長くない場合、エッジ補間処置は垂直方向から開始される。垂直方向が1画素分だけ前方に移動するたびに、水平方向は先頭エッジ画素と終端エッジ画素を接続する線の傾きに沿って前方に移動する。
【0055】
エッジ補間処置を行った後、処理部15は工程S411を実行して、エッジ補間手順が行われた線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満になったか否かを判断する。線セグメントの先頭エッジ画素および終端エッジ画素の間の距離がなおも第5の閾値以上である場合、未接続の線セグメントをエッジ補間処置によって補うことができないことを意味する。そのため、処理部15は工程S413を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。逆に、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満になった場合、処理部15は工程S415を実行する。
【0056】
次に、工程S415において、処理部15は、線セグメントに対応するエッジ画素の総勾配方向が線セグメントの円心(すなわち、線セグメントで囲まれる領域の円心)を向いているか否かを判断して、線セグメントで囲まれる領域内の画素が核内細胞質偽封入体ブロックに属するか否かを判断する。一般的に言えば、細胞質の明度は細胞核の明度よりも高いため、細胞質のエッジ画素の総勾配方向は円心から細胞核のエッジ画素に向けられ、細胞核のエッジ画素の総勾配方向が円心に向いている細胞核の場合と逆になる。そのため、線セグメントに対応するエッジ画素の総勾配方向が線セグメントの円心に向いていない場合、処理部15は工程S425を実行して、線セグメントで囲まれた領域内の画素を核内細胞質偽封入体ブロックに分類し、さらに工程S413を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。核内細胞質偽封入体とは、膜で覆われ細胞質オルガネラを含む1つ以上の球状細胞質が細胞核に含まれることを指し、これは大抵の場合悪性の特性と判断されるものと理解すべきである。このような方法により、この種の核を分類して、その後のさらなる判断を促進することができる。そのため、
図15に示すように、核内細胞質偽封入体ブロックに分類された画素を後から可視化してもよい。
【0057】
線セグメントのエッジ画素の総勾配方向が線セグメントの円心を向いている場合、処理部15は工程S417を実行して、線セグメントの周囲長さが第3の閾値未満であるか否かを判断する。周囲長さが第3の閾値未満である場合、処理部15は工程S413を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。周囲長さが第3の閾値未満ではない場合、処理部15は工程S419を実行して、線セグメントの円形度が第7の閾値以上であるか否かをさらに判断する。詳細には、処理部15は、下記の等式6を用いて線セグメントの円形度を計算する。
【数7】
ここで、Aは線セグメントで囲まれた領域であり、Pは線セグメントの周囲長さである。
【0058】
線セグメントの円形度が第7の閾値以上である場合、処理部15は工程S423を実行して、線セグメントのエッジ画素を細胞核エッジとして分類し、線セグメントを完全かつほぼ円形の核エッジであると判断する。他方、線セグメントの円形度が第7の閾値未満である場合、処理部15は工程S421を実行して、線セグメントの楕円度が第8の閾値以上であるか否かを判断する。詳細には、処理部15は、線セグメントの楕円度を下記の等式7を用いて計算する。
【数8】
ここで、Aは線セグメントで囲まれた領域であり、Pは線セグメントの周囲長さであり、d
1は線セグメントで囲まれた領域の主軸長さであり、d
2は線セグメントで囲まれた領域の短軸長さである。
【0059】
線セグメントの楕円度が第8の閾値以上である場合、工程S423を実行して線セグメントのエッジ画素を細胞核エッジとして分類し、線セグメントを完全かつ細長い(楕円形の)核エッジであると判断する。その後、細長い核エッジを可視化して、核ブロック間に少なくとも1つの細長い核ブロックを示す。逆に、線セグメントの楕円度が第8の閾値未満である場合、線セグメントのエッジ画素を不規則形状の核エッジであると判断し、工程S413を実行して線セグメントおよびこれに対応するエッジ画素を除去する。
【0060】
したがって、
図4Bおよび
図4Cに示す動作後に除去されなかった線セグメントのエッジ画素は、正常な細胞核のエッジ画素である。そのため、処理部15は、i番目のエッジ行列および当該i番目のエッジ行列のエッジ画素のi番目の接続情報を各i番目の2D勾配行列に対して生成してもよい。その後、処理部15は、第1のエッジ行列、第2のエッジ行列および第3のエッジ行列ならびに第1の接続情報、第2の接続情報および第3の接続情報を積分して、積分エッジ行列および積分エッジ行列のエッジ画素の積分接続情報を取得する。このようにして、エッジ検出段階において、処理部15は、バックグラウンド除去画像中の核ブロックを最大範囲でセグメント化して、積分エッジ行列および積分エッジ行列のエッジ画素の積分接続情報に基づいてどんな核ブロックも見逃さないようにして、核内細胞質偽封入体ブロックを取得することができる。
【0061】
さらに、第1のエッジ行列、第2のエッジ行列および第3のエッジ行列ならびに第1の接続情報、第2の接続情報および第3の接続情報を上述のように積分する方法は、第1のエッジ行列、第2のエッジ行列および第3のエッジ行列内の線セグメントの重心(すなわち、核エッジ)を比較することにより実現され得る。例えば、第2のエッジ行列を入手した後、処理部15は、少なくとも1つの新たな線セグメント(すなわち、核エッジ)が存在し、その線セグメントの重心と、第1のエッジ行列の線セグメント(すなわち、核領域)によって囲まれた領域の複数の重心の間にある複数の重心距離がすべて第2のエッジ行列の線セグメント間において核の平均短軸長さよりも長いか否かを判断する。すべての重心距離が核の平均短軸長さよりも長い場合、少なくとも1つの新たな線セグメントは第1のエッジ行列内に存在しないことを意味する。そのため、少なくとも1つの新たな線セグメント(すなわち、核エッジ)のエッジ画素は第1のエッジ行列に加えられて積分エッジ行列が生成される。さらに、少なくとも1つの新たな線セグメントと関連付けられた接続情報が第1の接続情報に加えられて、積分接続情報が生成される。
【0062】
同様に、積分エッジ行列および積分接続情報を取得した後、処理部15は、少なくとも1つの新たな線セグメントがあり、その線セグメントの重心と、積分エッジ行列の線セグメント(すなわち、核領域)で囲まれた領域の複数の重心の間にある複数の重心距離がすべて第3のエッジ行列の線セグメント間において核の平均短軸長さよりも長いか否かを判断する。すべての重心距離が核の平均短軸長さよりも長い場合、少なくとも1つの新たな線セグメントは積分エッジ行列内に存在しないことを意味する。したがって、少なくとも1つの新たな線セグメント(すなわち、核エッジ)のエッジ画素が積分エッジ行列に加えられて、積分エッジ行列が更新される。そして、少なくとも1つの新たな線セグメントと関連付けられた接続情報が積分接続情報に加えられて、積分接続情報が更新される。このようにして、処理部15は、線セグメント(すなわち、核領域)で囲まれた領域の重心を比較することにより、第1のエッジ行列、第2のエッジ行列および第3のエッジ行列ならびに第1の接続情報、第2の接続情報および第3の接続情報を積分することができる。
【0063】
3つのエッジ行列およびこれらの行列に対応する接続情報が上述の実施例において生成されるが、これは模範的な例であると理解すべきである。しかしながら、本発明は2つのエッジ行列およびこれらの行列に対応する接続情報のみを積分してもよく、または、本発明は4つ以上のエッジ行列およびこれらの行列に対応する接続情報を生成および積分してもよいことは、当業者であれば上述の記載を鑑みて理解の及ぶことだろう。したがって、任意の数のエッジ行列およびこれらの行列に対応する接続情報の生成および積分はすべて、本発明の範囲に入るであろう。
【0064】
本発明の第3の実施例は、第2の実施例をさらに拡張したものである。本実施例において、いくつかのエッジ行列およびこれらの行列に対応する接続情報を取得した後でありこれらのエッジ行列およびこれらの行列に対応する接続情報を積分する前に、処理部15は、線セグメントのエッジ画素およびバックグラウンド除去画像103に基づいて、他の線セグメントが各エッジ行列の核エッジであり得るかどうかを再確認してもよい。
【0065】
詳細には、処理部15は、バックグラウンド除去画像103の各線セグメントで囲まれた領域(すなわち、完全な核エッジ)内の画素をi番目のエッジ行列およびその行列のi番目の接続情報に基づいてバックグラウンド画素として設定して、一時的バックグラウンド除去画像103_tempを生成する。本発明は、一時的バックグラウンド除去画像に対して最初に適切な正規化処理を行って、一時的バックグラウンド除去画像の画素をさらに強調することも可能であると理解すべきである。
【0066】
その後、工程S301と同様に、処理部105は、一時的バックグラウンド除去画像103_tempをグレースケール画像に変換して2Dグレースケール行列を生成し、工程S303〜S307および工程S401〜S425を2Dグレースケール行列に対して実行して、一時的バックグラウンド除去画像103_tempのi番目のエッジ行列およびi番目の接続情報を取得する。
【0067】
その後、処理部15は、一時的バックグラウンド除去画像103_tempのi番目のエッジ行列およびi番目の接続情報中にエッジ画素が存在するか否かを判断する。エッジ画素が存在する場合、エッジ画素を接続させる線セグメントによって囲まれた領域は核ブロックであることを意味する。したがって、一時的バックグラウンド除去画像103_tempのi番目のエッジ行列およびi番目の接続情報は、それぞれバックグラウンド除去画像103のi番目のエッジ行列およびi番目の接続情報に組み込まれる。
【0068】
その後、処理部15は、更新されたバックグラウンド除去画像103のi番目のエッジ行列およびi番目の接続情報に基づいて、新たな一時的バックグラウンド除去画像103_tempを生成する。同様に、処理部105は、新たな一時的バックグラウンド除去画像103_tempをグレースケール画像に変換して2Dグレースケール行列を生成し、工程S303〜S307および工程S401〜S425を2Dグレースケール行列に対して実行して、新たな一時的バックグラウンド除去画像103_tempのi番目のエッジ行列およびi番目の接続情報をそれぞれバックグラウンド除去画像103のi番目のエッジ行列およびi番目の接続情報に組み込む。このようにして、上述の動作を通じて処理部15は、新たな一時的バックグラウンド除去画像103_temp中にエッジ画素(すなわち、核エッジ)が無くなるまで、すなわち一時的バックグラウンド除去画像103_tempにセグメント化可能な核ブロックが無くなるまで、新たな一時的バックグラウンド除去画像103_tempを連続的に生成して、新たな一時的バックグラウンド除去画像103_tempのi番目のエッジ行列およびi番目の接続情報をそれぞれバックグラウンド除去画像103のi番目のエッジ行列およびi番目の接続情報に組み込むことができる。
【0069】
本発明の第4の実施例も、第2の実施例をさらに拡張したものである。本実施例において、エッジ行列およびこれらの行列に対応する接続情報を積分した後、処理部15は、線セグメントのエッジ画素およびバックグラウンド除去画像103に基づいて、他の線セグメントが核エッジであり得るか否かを再確認してもよい。
【0070】
詳細には、処理部15は工程S501を実行して、各線セグメントのエッジ画素およびバックグラウンド除去画像103の各線セグメントによって囲まれた領域(すなわち、完全な核エッジ)内にある画素を、積分エッジ行列および積分エッジ行列のエッジ画素の接続情報に従ってバックグラウンド画素として設定して、一時的バックグラウンド除去画像103_tempを生成する。次に、処理部15は、一時的バックグラウンド除去画像103_tempの画素の色属性のうち少なくとも1つに従って一時的バックグラウンド除去画像103_tempを白黒画像に変換して、2D二値行列を生成する。例えば、HSV色空間において、処理部15は、一時的バックグラウンド除去画像103_tempの画素の明度に従って一時的バックグラウンド除去画像103_tempを白黒画像に変換して、2D二値行列を生成する。例えば、処理部15は、一時的バックグラウンド除去画像103_tempの核部分に属する画素を最も明るくなるように調節し、一時的バックグラウンド除去画像103_tempの細胞質部分に属する画素を最も暗くなるように調節して、白黒画像を生成してもよい。また、一時的バックグラウンド除去画像103_tempをRGB色空間中の白黒画像に変換する方法は当業者であれば理解の及ぶはずであろうから、本明細書においてはさらなる説明を控える。
【0071】
その後、処理部15は工程S505を実行して、パラメータを有するデリチェフィルタ行列で2D二値行列を乗算して2D勾配行列を得る。上述のように、2D勾配行列は、各画素のその隣接画素に対する水平方向勾配および垂直方向勾配を記録する。次に、工程S305と同様に、処理部15は工程S507を実行して、2D勾配行列にマスクを施す。マスク内の中央画素の総勾配の大きさがマスクにおける相対的最大値ではない場合、中央画素の水平方向勾配および垂直方向勾配を0に設定して、2D勾配行列を更新する。
【0072】
その後、工程S307と同様に、処理部15は、工程S509を実行して、更新された2D勾配行列にマスクを施す。マスク内の中央画素の隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも0ではない場合、中央画素の水平方向勾配および垂直方向勾配を0に設定して、2D勾配行列を更新する。更新された2D勾配行列において水平方向勾配および垂直方向勾配が0ではない画素は、エッジ画素である。
【0073】
次に、工程S401と同様に、処理部15は工程S601を実行して、8接続式接続性ルールに従ってエッジ画素を接続して、複数の線セグメントを形成する。前述したものと異なり、対象のエッジ画素の総勾配方向と、対象のエッジ画素に接続された隣のエッジ画素の総勾配方向の間の角度は、第2の閾値未満にする必要がある。
【0074】
次に、処理部15は、
図6Bおよび
図6Cに示すような工程を線セグメントのそれぞれに対して実行する。工程S603において、処理部15は、線セグメントの長さが第3の閾値の3/4未満であるか否かを判断する。線セグメントの長さが第3の閾値の3/4未満である場合、処理部15は工程S613を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。逆に、線セグメントの長さが第3の閾値の3/4未満ではない場合、処理部15は工程S605を実行して、各線セグメントにおける先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満であるか否かを判断する。距離が第5の閾値未満である場合、処理部15は工程S615を実行する。
【0075】
他方、距離が第5の閾値以上である場合、処理部15は工程S607を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第6の閾値未満であるか否かを判断する。距離が第6の閾値未満である場合、処理部15は工程S609を実行して、線セグメントに対してエッジ補間処置を実行する。その後、工程S611において処理部15は、エッジ補間処置によって処理された線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満であるか否かを判断する。距離が第5の閾値未満ではない場合、処理部15は工程S613を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【0076】
エッジ補間処置後に線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第5の閾値未満になった場合、処理部15は工程S615を実行する。工程S615において、処理部15は、線セグメントに対応するエッジ画素の総勾配方向が線セグメントで囲まれた領域の円心を向いているか否かを判断する。勾配方向が円心を向いていない場合、線セグメントで囲まれた領域内の画素を核内細胞質偽封入体ブロックに分類し、工程S613を実行して線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【0077】
線セグメントに対応するエッジ画素の勾配方向が線セグメントの円心を向いている場合、処理部15は工程S617を実行して、線セグメントの周囲長さが第3の閾値未満であるか否かを判断する。周囲長さが第3の閾値未満である場合、工程S613を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。周囲長さが第3の閾値を超える場合、処理部15は工程S619を実行する。工程S619において、処理部15は、線セグメントの円形度が第7の閾値以上であるか否かを判断する。円形度が第7の閾値以上である場合、処理部15は工程S623を実行して、線セグメントのエッジ画素を核エッジとして分類して、エッジ画素を完全でほぼ円形の核エッジであるものと判断する。
【0078】
他方、線セグメントの円形度が第7の閾値未満である場合、処理部15は工程S621を実行して、線セグメントの楕円度が第8の閾値以上であるか否かを判断する。線セグメントの楕円度が第8の閾値以上である場合、工程S623を実行して、線セグメントのエッジ画素を核エッジとして分類して、エッジ画素を完全な細長い(楕円形)核エッジであるものと判断する。その後、細長い核エッジを可視化して、核ブロック間にある少なくとも1つの細長い核ブロックを示す。逆に、線セグメントの楕円度が第8の閾値未満の場合には、線セグメントのエッジ画素は不規則形状の核エッジであるものと判断し、工程S613を実行して線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【0079】
上述の動作を行った後でも除去されない線セグメントのエッジ画素は正常な細胞核のエッジ画素であるため、処理部15はエッジ行列およびエッジ行列のエッジ画素の接続情報を取得することができる。このように、処理部15は、一時的バックグラウンド除去画像103_tempに基づいて得られたエッジ行列およびエッジ行列の接続情報をそれぞれ、第2の実施例において生成された積分エッジ行列および積分エッジ行列のエッジ画素の統合接続情報に上述の動作を通じて組み込むことができる。これによって、バックグラウンド除去画像103内の核ブロック1101を極力高精度にセグメント化できる。
【0080】
加えて、上述の実施例において、核ブロックのセグメント化後に、細胞質部分に関し、処理部15は、セグメント化された核ブロック内に配置されかつ核内細胞質偽封入体ブロック内に配置されていない複数の画素を細胞質部分が有するか否かをさらに判断することも可能である。そして、このような画素が存在する場合、処理部15はこれらの画素を核部分として再度分類する。
【0081】
上述の記載によれば、本発明は、細胞画像を核部分および細胞質部分に分割し、核ブロックをセグメント化することにより、従来技術と比較して細胞画像および分析画像が定量化された関連パラメータを提供することができる。このようにして、本発明によって提供される細胞画像に関する高度な情報は、医師による細胞画像の診断を支援し、同一の細胞画像に対して別々の医師により診断結果が相違することを減らすことができる。これによって、患者の病状を判断する際の診断精度を向上させることができる。
【0082】
上述の開示は、詳細な技術的内容およびその発明的特徴に関するものである。当業者であれば、記載された本発明の開示および示唆に基づいて、本発明の特徴から逸脱することなく、様々な変更および置換を行うことができる。このような変更および置換について、上述の記載では完全には開示されてはいないものの、以下に添付した特許請求の範囲に実質的に網羅されている。