(58)【調査した分野】(Int.Cl.,DB名)
前記推定手段により推定された標的細胞数と、前記対象の検体から生成される複数の標本の数に基づき算出した1標本当たりの標的細胞数に基づいて、予め定められた閾値以上の標的細胞が含まれる標本の数を決定する決定手段と、
前記決定手段により決定した数の標本を前記複数の標本の中から選択する選択手段と、を含み、
前記設定手段は、前記選択手段により選択された標本の情報に基づいて前記検出パラメータを設定する
請求項1に記載の画像処理装置。
前記設定手段は、前記決定手段により決定した標本の数と、前記算出した1標本当たりの標的細胞数との積に対する前記閾値の差が小さくなるにつれて、前記判定対象領域が多く設定されるように前記設定条件を設定する
請求項2に記載の画像処理装置。
前記難易度算出手段は、前記標本の厚さの均一性が高い程、前記検出難易度を低く算出し、前記標本に含まれる核の輝度が低い程、前記検出難易度を低く算出し、前記標本に含まれる予め定めた濃度よりも薄い画素の割合が高い程、前記検出難易度を高く算出する
請求項4又は5に記載の画像処理装置。
前記標的細胞が含まれると判定された互いに少なくとも一部が重なる複数の判定対象領域がある場合に、前記判定手段により前記標的細胞が含まれる可能性が最も高いと判定された判定対象領域に該複数の判定対象領域を統合する統合手段を含む
請求項1乃至6のいずれかに記載の画像処理装置。
【発明を実施するための形態】
【0025】
以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に従って説明する。
【0026】
[1.システム構成の説明]
図1には、本実施形態に係る画像処理システム1のシステム構成例を示した。
図1に示されるように画像処理システム1は、光学顕微鏡10、画像処理装置20、入力装置50、表示装置60を含み、画像処理装置20と光学顕微鏡10、入力装置50及び表示装置60とはデータ通信可能に接続されている。
【0027】
光学顕微鏡10は、試料台に配置されたスライドグラス11上の試料を、対物レンズ12等の光学系を介してCCDカメラ14で撮像する。光学顕微鏡10には、スライドグラス11と対物レンズ12との距離を変化させる焦準機構13を備えており、スライドグラス11上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス11に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球(NRBCs)が青紫色に染色される。以下、NRBCsを標的細胞と称する。
【0028】
画像処理装置20は、光学顕微鏡10により撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。例えば、画像処理装置20は、光学顕微鏡10により撮像された撮像画像の中に設定した判定対象領域に、標的細胞が含まれている可能性を示すスコア(例えば確率)を、標的細胞の識別条件を学習した識別器に基づき判定することとしてよい。なお、画像処理装置20において行われる標的細胞の検出処理の詳細については後述する。
【0029】
入力装置50は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置20に入力する。例えば、画像処理装置20は、表示装置60に表示された画像に対し、ユーザが入力装置50によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得し、学習情報に基づいて標的細胞の識別条件(識別パラメータ)を識別器に学習させることとしてよい。
【0030】
表示装置60は、例えば液晶表示装置60等であり、画像処理装置20による処理の結果に基づいて画面を表示する。例えば、表示装置60には、光学顕微鏡10で撮像された撮像画像や、画像処理装置20による標的細胞の検出結果等が表示される。
【0031】
[2.画像処理装置20が備える機能の説明]
次に、本実施形態に係る画像処理装置20に備えられる機能について説明する。
【0032】
図2には、画像処理装置20が備える機能の一例を示す機能ブロック図を示した。
図2に示されるように、画像処理装置20は、検体情報取得部21、検体特徴情報記憶部22、標的細胞数推定部23、撮像画像取得部24、標本特徴抽出部25、検出難易度判定部26、検出対象標本設定部27、検出パラメータ設定部28、核候補領域抽出部29、判定対象領域設定部30、画像特徴生成部31、標的細胞判定部32、標的細胞領域設定部33、標的細胞領域統合部34、判定結果出力部35を備える。
【0033】
画像処理装置20に備えられる上記の各部の機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータである画像処理装置20が、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によって画像処理装置20に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置20に供給されることとしてもよい。以下、画像処理装置20が備える各部の機能の詳細について説明する。
【0034】
検体情報取得部21は、検査対象とする検体(母体)の情報(検体情報)を取得する。例えば、検体情報取得部21は、入力装置50を介して入力されたデータに基づいて、検体情報を取得することとしてよい。例えば、検体情報には、母体血を採取した被検査対象である人の年齢、病歴、妊娠週数等を含むこととしてよい。
【0035】
検体特徴情報記憶部22は、検体の特徴に基づいて、検体に含まれる標的細胞を推定する際に用いる情報を記憶する。例えば、検体特徴情報記憶部22は、検体の特徴に応じた分類に対して、例えば分類ごとの単位血液量当たりの標的細胞数を記憶することとしてよい。例えば、画像処理装置20は、年齢、病歴、妊娠週数の各情報に基づいて検体ごとの特徴ベクトルを生成してクラスタリングし、各クラスタに属する検体について予め測定された単位血液量当たりの標的細胞(有核赤血球)数の代表値(例えば平均値)を代表有核赤血球数として検体特徴情報記憶部22に関連付けて記憶することとしてよい。また、検体特徴情報記憶部22には、年齢、病歴、妊娠週数と、対応する有核赤血球数との関係を定めたテーブルや数式が記憶されることとしてもよい。
【0036】
標的細胞数推定部23は、検体情報取得部21により取得された検体に関する検体情報(検体の特徴を表す情報)と、検体特徴情報記憶部22に記憶される情報とに基づいて、当該検体に含まれる標的細胞数を推定する。例えば、標的細胞数推定部23は、検体情報取得部21により取得された検体情報に対応する分類について、検体特徴情報記憶部22に記憶される代表標的細胞数に基づいて、検体から得られた試料(母体血)に含まれる標的細胞数を推定する。例えば、標的細胞数推定部23は、検体情報取得部21により取得された検体情報に対応する分類について、検体特徴情報記憶部22に記憶される単位血液量当たりの有核赤血球数と試料の血液量とを乗じることで推定標的細胞数を得ることとしてよい。
【0037】
また、標的細胞数の推定方法は上記に限られない。例えば、検体特徴情報記憶部22は、予め1以上の検体について、検体の特徴ベクトルと標的細胞数を関連付けて記憶しておき、標的細胞数推定部23は、検体特徴情報記憶部22に記憶される検体の特徴ベクトルの中から、対象の検体の特徴ベクトルと類似する(例えば最も特徴ベクトル間の距離が近い)特徴ベクトルを特定し、特定した特徴ベクトルに関連付けられている標的細胞数を対象の検体の標的細胞数としてもよい。
【0038】
撮像画像取得部24は、検体から得られたスライドグラス上の試料(母体血)を撮像した撮像画像を取得する。例えば、撮像画像取得部24は、光学顕微鏡102に備えられたCCDカメラ5より試料(母体血)を撮像した撮像画像を光学顕微鏡102から取得する。また、撮像画像取得部24は、後述する検出パラメータに基づいて、対象の検体に定められた検出対象フラグが真(T)である場合には、撮像画像を取得し、対象の検体に定められた検出対象フラグが偽(F)である場合には、撮像画像を取得しないこととしてよい。
【0039】
標本特徴抽出部25は、対象の標本の特徴を抽出する。標本の特徴は、標本の作成状態を示す情報を含み、例えば、標本特徴抽出部25は、検体から生成した標本の厚さの均一性、細胞核の染色度合い、白血球の含有率等を標本特徴として抽出することとしてよい。標本特徴抽出部25は、対象の検体から生成した標本の全て又は一部(例えば検出対象とする標本に限定する等)の標本のそれぞれについて標本特徴を抽出することとしてよい。
【0040】
標本特徴抽出部25は、例えば、標本の厚さの均一性(A)を、標本の複数の点に関して、標本の表面からスライドグラスまでの深度を光学顕微鏡10で測定し、測定された複数の深度の分散値の逆数として算出することとしてよい。
【0041】
標本特徴抽出部25は、例えば、標本の細胞核の染色度合い(B)を、標本の撮像画像(光学顕微鏡10で撮像することとしてよい)の平均輝度値で、予め定めた閾値を除した値(すなわち、閾値/平均輝度値)として算出してもよいし、標本の撮像画像において、予め定めた閾値よりも輝度値が低い画素の割合として算出してもよい。
【0042】
標本特徴抽出部25は、例えば、標本の白血球の含有率(C)を、標本の撮像画像(光学顕微鏡10で撮像することとしてよい)における、予め定めた濃度よりも薄い色の画素の割合として算出してもよい。
【0043】
検出難易度判定部26は、標本特徴抽出部25により抽出された標本特徴に基づいて、標本から標的細胞を検出する難易度(Df)を判定する。例えば、検出難易度判定部26は、標本についての検出難易度Dfを、標本特徴抽出部25で抽出された標本の厚さの均一性A、標本の細胞核の染色度合いB、標本の白血球の含有率Cに基づいて、以下の式(1)により算出することとしてよい。なお、w
1,w
2,w
3は、w
1+w
2+w
3=1を満たす、それぞれ0以上の予め定められた係数としてよく、A
0は、標本の厚さの均一性の基準値、B
0は、標本の細胞核の染色度合いの基準値、C
0は、標本の白血球の含有率の基準値としてよい。
Df=w
1・A
0/A+w
2・B
0/B+w
3・C/C
0 (1)
【0044】
上式(1)によれば、検出難易度Dfは、標本の厚さの均一性Aの値が大きくなるにつれ低く算出され、標本の細胞核の染色度合いBの値が大きくなるにつれ低く算出され、標本の白血球の含有率Cの値が大きくなるにつれ高く算出される。なお、検出難易度判定部26は、上式(1)により算出された検出難易度Dfが0から1までの値を取るように補正してもよい。例えば、検出難易度判定部26は、Dfが下限閾値より低い場合には0に、Dfが上限閾値(例えば1より大きい値)よりも大きい場合には1とすることとしてもよい。
【0045】
検出対象標本設定部27は、標的細胞数推定部23により推定された推定標的細胞数(Cb)、又は検出難易度判定部26により判定された検出難易度(Df)の少なくともいずれかに基づいて、対象の検体から生成する複数の標本のうち検出対象とする標本を設定する。
【0046】
検出対象標本設定部27は、例えば、対象の検体について推定された推定標的細胞数(Cb)を試料から生成する標本数(N)で除して、1標本当たりの標的細胞数(a=Cb/N)を算出する。ここで、検出対象標本設定部27は、必要標的細胞数(Z)に対して、Cb>Zである場合には、a・X≧Zとなる整数Xを検出対象標本数に決定し、Cb≦Zである場合には、検出対象標本数をN(全標本)に決定することとしてよい。そして、検出対象標本設定部27は、試料から生成したN個の標本の中から、検出対象標本数の標本を選択して(例えば、識別番号順、生成日時順等)、選択した標本の検出対象フラグを真(T)に、選択しなかった標本の検出対象フラグを偽(F)に設定することとしてよい。
【0047】
また、検出対象標本設定部27は、検出難易度判定部26により算出された検出難易度に基づいて検出対象とする標本を設定する場合には、例えば、対象の検体から生成された複数の標本のうち検出難易度が閾値以下の標本を検出対象に設定することとしてもよい。
【0048】
検出パラメータ設定部28は、試料から生成した標本について検出処理時に利用する検出パラメータを設定する。例えば、検出パラメータ設定部28は、検出対象標本設定部27により設定された検出対象標本と、検出難易度判定部26により判定された検出難易度との少なくとも一方に基づいて、検出パラメータを設定する。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本の撮像画像から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の撮像画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。
【0049】
図3には、検出パラメータ設定部28により設定される検出パラメータを格納する検出パラメータ管理テーブルの一例を示した。
図3に示されるように、検出パラメータ管理テーブルには、検体を識別する検体ID、検体から得た複数の標本のそれぞれを識別する標本ID、各標本を検出対象とするか否かを示す検出対象フラグ、核候補領域パラメータ、判定対象領域パラメータが関連付けて記憶される。なお、核候補領域パラメータには、核候補領域として抽出する対象画素の色範囲と、連結画素数の閾値が含む。また、判定対象領域パラメータには、核候補領域において判定対象領域の基点とする画素間のシフト量を示すステップ幅、判定対象領域の基点とする画素について設定する複数サイズの判定対象領域に関し、最小の判定対象領域と最大の判定対象領域とのサイズ比を示す最大倍率、最小の判定対象領域と最大の判定対象領域間までに何段階の拡大を実行するかを示す倍率段階を含む。
【0050】
検出パラメータ設定部28は、例えば、検出対象標本設定部27で設定した検出対象標本数Xと1標本当たりの標的細胞数aの積と、必要標的細胞数Zとの差である余裕度Y(Y=a・X−Z)と、検出難易度判定部26により判定された検出難易度Dfとの少なくとも一方に基づいて、検出パラメータを設定することとしてよい。より具体的には、検出パラメータ設定部28は、M(Mは2以上の整数)段階のレベル(L
1〜L
M)ごとに検出パラメータを定めておき(ただし同一画像についてL
i+1における検出パラメータにより抽出・設定される核候補領域と判定対象領域の数が、L
iにおける検出パラメータにより抽出・設定される核候補領域と判定対象領域の数よりも多い)、余裕度Yと検出難易度Dfの少なくとも一方の値に基づいてレベルを決定し、決定したレベルに基づいて検出パラメータを設定することとしてよい。例えば、検出パラメータ設定部28は、M段階のレベルごとに余裕度の範囲を定めておき、上記計算されたYがどのレベルの範囲に属するかに基づいてレベルを決定してもよい。また、例えば、検出パラメータ設定部28は、M段階のレベルごとに検出難易度の範囲を定めておき、上記計算されたDfがどのレベルの範囲に属するかに基づいてレベルを決定してもよい。また、例えば、検出パラメータ設定部28は、M段階のレベルごとに余裕度と検出難易度の和の範囲を定めておき、上記計算されたYとDfの和がどのレベルの範囲に属するかに基づいてレベルを決定してもよい。
【0051】
なお、検出パラメータ設定部28は、検出対象標本設定部27で設定した標本のそれぞれについて、それぞれの標本について算出された検出難易度に基づいて標本ごとに異なる検出パラメータを設定することとしてよい。
【0052】
核候補領域抽出部29は、処理対象の標本について撮像画像取得部24により取得された撮像画像の中から、当該標本について検出パラメータ設定部28により設定された核候補領域パラメータに基づいて、核候補領域を抽出する。例えば、核候補領域抽出部29は、核候補領域パラメータに含まれる色範囲に含まれる画素を黒画素、色範囲に含まれない画素を白画素として二値化し、隣り合う黒画素を連結した連結画素群のうち、核候補領域パラメータに含まれる連結画素群の数以上の連結画素群を、核候補領域として抽出することとしてよい。
【0053】
判定対象領域設定部30は、処理対象の標本について撮像画像取得部24により取得された撮像画像に対して、当該標本について検出パラメータ設定部28により設定された判定対象領域パラメータと、核候補領域抽出部29により抽出された核候補領域とに基づいて、標的細胞の有無の判定対象とする判定対象領域を設定する。例えば、判定対象領域設定部30は、核候補領域抽出部29により抽出された核候補領域に含まれる1以上の画素のそれぞれに対して、当該画素を中心(又は基点)とする矩形領域を判定対象領域として設定する。ここで、判定対象領域設定部30は、処理対象の標本について設定された判定対象領域パラメータに含まれるステップ幅(シフト量)に基づき、判定対象領域の基点となる核候補領域内の画素をステップ幅だけ順次移動させて、判定対象領域を順次設定することとしてよい。また、判定対象領域設定部30は、判定対象領域の基点となる1つの画素に関し、処理対象の標本について設定された判定対象領域パラメータに含まれる最大倍率と倍率段階に基づき、判定対象領域のサイズを1〜最大倍率まで、倍率段階で定められた段階数に渡って変化させて複数の異なるサイズの判定対象領域を設定することとしてよい。
【0054】
画像特徴生成部31は、判定対象領域設定部30により設定された判定対象領域の画像特徴量を生成する。例えば、画像特徴生成部31は、判定対象領域のHOG特徴量を算出し、HOG特徴量を画像特徴量として得ることとしてよい。以下、二種のHOG特徴量の算出処理について具体的に説明する。
【0055】
画像特徴生成部31は、判定対象領域内の画素ごとに輝度勾配方向と輝度勾配強度を求め、対象画像をX個のセルから成るY個のブロックに分割し、各ブロックを構成するセルごとに輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム([第1勾配方向の値,第2勾配方向の値,・・・,第9勾配方向の値])を求め、これらの2乗平均が1になるようにブロック単位で正規化を行う。そして、画像特徴生成部31は、上記正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したX×9個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したY×X×9個の値を判定対象領域のHOG特徴量とする。
【0056】
また、画像特徴生成部31は、判定対象領域内の画素ごとに輝度勾配方向と輝度勾配強度を求め、対象画像をX個のセルから成るY個のブロックに分割し、各ブロックを構成するセルごとに輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム([第1勾配方向の値,第2勾配方向の値,・・・,第18勾配方向の値])を求める。そして、画像特徴生成部31は、上記の輝度勾配方向ヒストグラムをブロック内で結合して作成したX×18個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したY×X×18個の値を判定対象領域のCell−HOG特徴量とする。
【0057】
標的細胞判定部32は、判定対象領域の画像特徴量に基づいて、判定対象領域に標的細胞が含まれる可能性(信頼度)を判定する。例えば、予め標的細胞が写し出された画像領域の画像特徴量に基づいて標的細胞の識別条件(識別パラメータ)を識別器に学習させ、識別器による判定対象領域の画像特徴量の識別結果を得ることとしてよい。なお、識別器には、AdaBoostやSVM(サポートベクタマシン)等を利用することとしてよい。識別器は、判定対象領域の画像特徴量に基づいて、判定対象領域に標的細胞が含まれる可能性を示すスコア(信頼度)を出力する。例えば、識別器は、判定対象領域に含まれる細胞が標的細胞であれば正の値のスコアを、標的細胞でなければ負の値のスコアを出力することとしてよい。
【0058】
標的細胞領域設定部33は、判定対象領域についての標的細胞判定部32による判定結果に基づいて、標的細胞が含まれる候補領域(標的細胞領域)を設定する。例えば、標的細胞領域設定部33は、判定対象領域のうち識別器により出力された信頼度が0以上であれば標的細胞の候補領域に設定することとしてよい。
【0059】
標的細胞領域統合部34は、標的細胞領域設定部33により設定された候補領域のうち、互いに少なくとも一部が重なる候補領域を1つに統合する。例えば、標的細胞領域統合部34は、複数の候補領域が互いに重なっている場合は、複数の候補領域をそのうちの1つ(例えば信頼度が最大の領域)に統合することとしてよい。ここで、標的細胞領域統合部34は、複数の候補領域が同じ核候補領域から設定した判定対象領域であれば重なっていると判断してもよいし、複数の候補領域のうち予め定めた閾値以上の面積が互いに重なっていれば複数の候補領域が重なっていると判断してもよい。また、標的細胞領域統合部34は、統合後の候補領域は信頼度が一番高い候補領域のみを残してもよいし、重なっている複数の候補領域のすべてを含む領域を統合後の候補領域としてもよい。また、標的細胞領域統合部34は、統合後の候補領域の信頼度には、統合された候補領域の信頼度を加算してもよいし、統合後の候補領域の信頼度に重なっている候補領域の数をかけたものを、統合後の候補領域の信頼度としてもよい。
【0060】
図4には、標的細胞候補領域の統合例を説明する図を示した。
図4に示されるように、撮像画像Iの中に核候補領域70が含まれており、核候補領域70に対して互いに一部が重なる2つの標的細胞領域71,72が設定され、標的細胞領域71についてスコアが30、標的細胞領域72についてスコアが10であったとすると、標的細胞領域統合部34は、標的細胞領域71,72のうちスコアが最大の標的細胞領域71に標的細胞領域72を統合し、標的細胞領域71のスコアに標的細胞領域72のスコアを加算して更新することとしてよい。
【0061】
判定結果出力部35は、標的細胞領域統合部34により統合した候補領域の情報を、試料についての標的細胞の検出結果として出力する。例えば、判定結果出力部35は、標的細胞領域統合部34により統合された候補領域を、その信頼度に基づいて並び替えてリスト表示する表示画面を表示装置60に表示させることとしてよい。なお、判定結果出力部35は、信頼度が指定された又は予め定められた閾値未満の候補領域については、リスト表示に含めないようにすることとしてよい。
【0062】
[3.処理の例示]
次に、
図5乃至
図10に基づいて、本実施形態に係る画像処理システム1において行われる処理の一例について詳細に説明する。
【0063】
[3−1.第1の実施例]
まず、
図5〜
図8に示したフロー図に基づき、画像処理システム1により実行される第1の実施例に係る処理の詳細について説明する。
【0064】
[3−1−1(1).メイン処理(1)]
図5に示されるように、画像処理装置20は、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定するとともに(S101)、対象の検体の情報(検体情報)を取得する(S102)。ここで、検体情報には、年齢、病歴、妊娠週数の情報の少なくともいずれかを含むこととしてよい。
【0065】
次に、画像処理装置20は、S102で取得した検体情報に基づいて、対象の検体に含まれる標的細胞数(a)を推定する(S103)。例えば、画像処理装置20は、S102で取得した検体情報が属する分類を特定し、特定した分類について予め定められた単位血液当たりの代表標的細胞数(基準標的細胞数)と、検体となる試料の血液量とに基づいて、検体に含有される推定標的細胞数を算出することとしてよい。
【0066】
画像処理装置20は、S103で算出した標的細胞数(a)と、S101で設定した標本数(N)とに基づいて、1標本当たりの標的細胞数(b)を算出する(S104)。そして、画像処理装置20は、S104で算出した1標本当たりの標的細胞数(b)に基づいて、検出に必要とされる必要細胞数(c)以上となる、検出対象標本数(d)を決定する(S105)。
【0067】
ここで、画像処理装置20は、S105で決定した検出対象標本数(d)の処理対象とする標本を、対象の検体から生成された複数の標本の中から選択して決定する(S106)。
【0068】
次に、画像処理装置20は、S106で決定した処理対象とする標本から標的細胞を検出する難易度を示す検出難易度を算出する処理を実行する(S107)。検出難易度の算出処理の詳細については、
図6に示したフロー図に基づき説明する。
【0069】
[3−1−2.検出難易度の算出処理]
図6に示されるように、画像処理装置20は、変数iを1に初期化して(S201)、標本S
iの深度(A)を測定する(S202)。例えば、標本S
iの複数の点に関して、標本S
iの表面からスライドグラスまでの深度を光学顕微鏡10で測定することとしてよい。
【0070】
次に、画像処理装置20は、標本Siを光学顕微鏡10により撮像した撮像画像を取得し(S203)、取得した撮像画像に基づいて、標本S
iの染色度(B)を取得する(S204)。例えば、画像処理装置20は、標本S
iの細胞核の染色度合い(B)を、標本S
iの撮像画像の平均輝度値で、予め定めた閾値を除した値(すなわち、閾値/平均輝度値)として算出してもよいし、標本S
iの撮像画像において、予め定めた閾値よりも輝度値が低い画素の割合として算出してもよい。
【0071】
さらに、画像処理装置20は、S203で取得した撮像画像に基づいて、標本S
i中の白血球の割合(C)を取得する(S205)。例えば、画像処理装置20は、標本S
iの白血球の割合(C)を、標本S
iの撮像画像における、予め定めた濃度よりも薄い色の画素の割合として算出してよい。
【0072】
画像処理装置20は、例えば、上述した式(1)に基づいて、深度(A)の分散値、試料の染色度(B)、白血球割合(C)に基づいて、標本S
iから標的細胞の検出難易度Df(Df
i)を算出する(S206)。
【0073】
ここで、画像処理装置20は、変数iがdに達していない場合には(S207:N)、変数iをインクリメント(1加算)して(S208)、S202に戻り、変数iがdに達している場合には(S207:Y)、リターンする。次に、
図5のフロー図に戻り説明を続ける。
【0074】
[3−1−1(2).メイン処理(2)]
図5に示されるように、画像処理装置20は、処理対象の標本について標的細胞の検出難易度Dfの算出を終えると、S107で算出された検出難易度Dfと、S106で決定した処理対象の標本の情報との少なくとも1つに基づいて、検出パラメータを設定する(S108)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S106で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては標本S
iについて算出した検出難易度Df
iに基づいて設定することとしてよい。
【0075】
画像処理装置20は、S108で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S109)。標的細胞の検出処理の詳細については、
図7に示したフロー図に基づき説明する。
【0076】
[3−1−3.標的細胞の検出処理]
図7に示されるように、画像処理装置20は、変数i,j,kの値をそれぞれ1に初期化して(S301)、対象の検体についての標本S
iが検出対象であるか否かを判断する(S302)。例えば、画像処理装置20は、標本S
iの検出対象フラグが真(T)であれば検出対象と判断し、偽(F)であれば検出対象でないと判断することとしてよい。
【0077】
画像処理装置20は、標本S
iが検出対象である場合には(S302:Y)、例えば光学顕微鏡10に標本S
iを撮像させて、標本S
iの撮像画像T
iを取得する(S303)。
【0078】
次に、画像処理装置20は、標本S
iについて設定された検出パラメータに含まれる核候補領域パラメータに基づいて、撮像画像T
iから核候補領域(A
i1〜A
iM)を抽出する(S304)。なお、Mは撮像画像T
iに含まれる核候補領域の数である。なお、核候補領域の抽出は、上述した核候補領域抽出部29により実行することとしてよい。
【0079】
画像処理装置20は、標本S
iについて設定された検出パラメータに含まれる判定対象領域パラメータに基づいて、撮像画像T
iから抽出した核候補領域A
ijに対して、判定対象領域(B
ij1〜B
ijL)を設定する(S305)。なお、Lは核候補領域A
ijについて設定される判定対象領域の数であり、判定対象領域の設定は、上述した判定対象領域設定部30により実行することとしてよい。
【0080】
画像処理装置20は、判定対象領域B
ijkの画像特徴量V
ijkを算出する(S306)。なお、画像特徴量の算出は、上述した画像特徴生成部31により実行することとしてよい。
【0081】
画像処理装置20は、S306で算出した画像特徴量V
ijkに基づいて、判定対象領域B
ijkに標的細胞が含まれる可能性を示すスコアP
ijkを算出する(S307)。
【0082】
ここで、画像処理装置20は、S307で算出したスコアP
ijkが閾値Th以上であれば(S308:Y)、判定対象領域B
ijkを標的細胞領域に設定する(S309)。
【0083】
画像処理装置20は、S309の後、又はS307で算出したスコアP
ijkが閾値Th未満である場合には(S308:N)、変数kがLに達しているか否かを判断し(S310)、変数kがLに達していない場合には(S310:N)、kをインクリメント(kに1加算)して(S311)、S306に戻る。また、画像処理装置20は、S310において、変数kがLに達している場合には(S310:Y)、変数jがMに達しているか否かを判断する(S312)。
【0084】
画像処理装置20は、S312において変数jがMに達してない場合には(S312:N)、jをインクリメント(jに1加算)するとともに、kを1に初期化して(S313)、S305に戻る。また、画像処理装置20は、S312において変数jがMに達している場合には(S312:Y)、標本Siについて設定された標的細胞領域の統合処理を実行する(S314)。ここで、標的細胞領域の統合処理の詳細については
図8に示したフロー図に基づき説明する。
【0085】
[3−1−4.標的細胞領域の統合処理]
図8に示されるように、画像処理装置20は、標本S
iの撮像画像T
iについて設定したそれぞれの標的細胞領域に対して、処理済みフラグを付与する(S401)。なお、処理済みフラグは、真偽値であり、処理済みが真(T)、未処理が偽(F)とし、S401で付与される処理済みフラグの初期値は偽(F)であるとする。
【0086】
次に、画像処理装置20は、処理済みフラグの値が未処理の標的細胞領域を1つ選択する(S402)。以下、S402で選択された標的細胞領域をAsとする。
【0087】
画像処理装置20は、撮像画像T
iについて設定した標的細胞領域の中から、S402で選択された標的細胞領域Asと重なる他の標的細胞領域を抽出する(S403)。そして、画像処理装置20は、S403で抽出した標的細胞領域のうち、最大のスコアを有する標的細胞領域を選択する(S404)。以下、S404で選択された標的細胞領域をAtとする。
【0088】
画像処理装置20は、標的細胞領域Asのスコアが標的細胞領域Atのスコア以上である場合には(S405:Y)、標的細胞領域AsにS403で抽出された標的細胞領域を統合して(S406)、標的細胞領域Asのスコアに、統合する他の標的細胞領域のスコアを加算する(S407)。例えば、標的細胞領域Asに対して統合される標的細胞領域は削除することとしてもよいし、統合済みの状態に更新することとしてもよい。そして、画像処理装置20は、標的細胞領域Asと、標的細胞領域Asに統合された他の標的細胞領域のそれぞれの処理済みフラグを真(T)に更新する(S408)。
【0089】
また、画像処理装置20は、標的細胞領域Asのスコアが標的細胞領域Atのスコア未満である場合には(S405:N)、標的細胞領域Asを、標的細胞領域Atに統合して(S409)、標的細胞領域Atのスコアに、標的細胞領域Asのスコアを加算する(S410)。そして、画像処理装置20は、標的細胞領域Asの処理済みフラグを真(T)に更新する(S411)。
【0090】
画像処理装置20は、S408又はS411の後に、未処理の標的細胞領域が残っている場合には(S412:Y)、S402に戻り、未処理の標的細胞領域が残っていない場合には(S412:N)、標的細胞の統合処理を終えてリターンする。
【0091】
ここで、
図7に戻り説明を続ける。画像処理装置20は、標本S
iについて設定された標的細胞領域の統合処理を終えると、変数iがd(検出対象標本数又は全標本数)に達していない場合には(S315:N)、iをインクリメント(1加算)するとともに、j及びkを1に初期化して(S316)、S302に戻る。また、画像処理装置20は、S315において、変数iがdに達している場合には(S315:Y)、リターンする。
【0092】
また、画像処理装置20は、S302において、標本Siが検出対象でない場合であって(S302:N)、変数iがdに達していないときには(S317:N)、iをインクリメント(1加算)するとともに、j及びkを1に初期化して(S316)、S302に戻り、変数iがdに達しているときには(S317:Y)、リターンする。
【0093】
[3−1−1(3).メイン処理(3)]
ここで、
図5のフロー図に戻り説明を続ける。画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S110)、処理を終了する。例えば、画像処理装置20は、検体ごとに、統合後の標的細胞領域のスコアが大きい順に標的細胞領域をソートして標的細胞領域を表示装置60に表示させることとしてよい。
【0094】
以上説明した第1の実施例に係る処理によれば、処理対象とする検体に含まれる推定の標的細胞数と、処理対象とする検体から標的細胞を検出する難易度に基づいて、検出処理に利用するパラメータを設定できる。
【0095】
[3−2.第2の実施例]
次に、
図9に示したフロー図に基づき、画像処理システム1により実行される第2の実施例に係る処理の詳細について説明する。第2の実施例においては、検出難易度を用いずに検出パラメータを設定する点で第1の実施例と異なっている。
【0096】
図9に示されるように、画像処理装置20は、例えば、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定するとともに(S501)、対象の検体の情報(検体情報)を取得する(S502)。ここで、検体情報には、年齢、病歴、妊娠週数の情報の少なくともいずれかを含むこととしてよい。
【0097】
次に、画像処理装置20は、S502で取得した検体情報に基づいて、対象の検体に含まれる標的細胞数(a)を推定する(S503)。例えば、画像処理装置20は、S502で取得した検体情報が属する分類を特定し、特定した分類について予め定められた単位血液当たりの代表標的細胞数と、検体となる試料の血液量とに基づいて、検体に含有される推定標的細胞数を算出することとしてよい。
【0098】
画像処理装置20は、S503で算出した標的細胞数(a)と、S501で設定した標本数(N)とに基づいて、1標本当たりの標的細胞数(b)を算出する(S504)。そして、画像処理装置20は、S504で算出した1標本当たりの標的細胞数(b)に基づいて、検出に必要とされる必要細胞数(c)以上となる、検出対象標本数(d)を決定する(S505)。
【0099】
ここで、画像処理装置20は、S505で決定した検出対象標本数(d)の処理対象とする標本を、対象の検体から生成された複数の標本の中から選択して決定する(S506)。
【0100】
次に、画像処理装置20は、S506で決定した処理対象とする標本の情報と、S504で算出した1標本当たりの標的細胞数(b)に基づいて、検出パラメータを設定する(S507)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S506で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては、検出対象標本数(d)と1標本当たりの標的細胞数を乗じたb・dから、必要細胞数(c)を減じた余裕度(b・d−c)に基づいて設定することとしてよい。
【0101】
画像処理装置20は、S507で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S508)。標的細胞の検出処理の詳細については、
図7に示したフロー図に示した通りであり、第1の実施例と共通するためここでの説明は省略する。
【0102】
そして、画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S509)、処理を終了する。
【0103】
以上説明した第2の実施例に係る処理によれば、処理対象とする検体に含まれる推定の標的細胞数に基づいて、検出処理に利用するパラメータを設定できる。
【0104】
[3−3.第3の実施例]
次に、
図10に示したフロー図に基づき、画像処理システム1により実行される第3の実施例に係る処理の詳細について説明する。第3の実施例においては、対象の検体について推定される標的細胞数を用いずに検出パラメータを設定する点で第1の実施例と異なっている。
【0105】
図10に示されるように、画像処理装置20は、例えば、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定する(S601)。
【0106】
ここで、画像処理装置20は、対象の検体から生成された複数の標本の中から処理対象とする標本を決定する(S602)。例えば、画像処理装置20は、対象の検体から生成された複数の標本の全てを処理対象としてもよいし、対象の検体について算出された検出難易度Dfに基づいて処理対象とする標本を決定することとしてもよい。例えば、画像処理装置20は、検出難易度の範囲に応じて割合を定めておき(具体的には、検出難易度が上がるにつれて割合を高くする)、検出難易度Dfに対応する割合と全標本数との積に基づいて(具体的には得られた積を切り上げにより整数にすることとしてよい)、処理対象とする標本数を決定し、決定した標本数に基づいて処理対象の標本を決定することとしてよい。ここでは、処理対象とする標本数をdで表す。
【0107】
次に、画像処理装置20は、処理対象とする標本から標的細胞を検出する難易度を示す検出難易度を算出する処理を実行する(S603)。検出難易度の算出処理の詳細については、
図6に示したフロー図の通りであり、第1の実施例と共通するためここでの説明は省略する。
【0108】
次に、画像処理装置20は、処理対象とする標本S
i(i=1〜d)について、S603で算出された検出難易度Df
iに基づいて、標本Siの検出パラメータを設定する(S604)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S603で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては標本S
iについて算出した検出難易度Df
iに基づいて設定することとしてよい。
【0109】
画像処理装置20は、S604で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S605)。標的細胞の検出処理の詳細については、
図7に示したフロー図の通りであり、第1の実施例と共通するためここでの説明は省略する。
【0110】
そして、画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S606)、処理を終了する。
【0111】
以上説明した第3の実施例に係る処理によれば、処理対象とする検体から標的細胞を検出する難易度に基づいて、検出処理に利用するパラメータを設定できる。
【0112】
本発明は上記の実施形態に限定されるものではない。例えば、標的細胞領域を統合せずに、標的細胞領域をスコアの順に表示させることとしても構わない。また、画像処理装置20は、光学顕微鏡10から検体の撮像画像を取得する場合に限らず、他のコンピュータから検体の撮像画像を取得することとしてもよい。