特表-17150194IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧
再表2017-150194画像処理装置、画像処理方法及びプログラム
<>
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000003
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000004
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000005
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000006
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000007
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000008
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000009
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000010
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000011
  • 再表WO2017150194-画像処理装置、画像処理方法及びプログラム 図000012
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20181130BHJP
   G06T 7/00 20170101ALI20181130BHJP
   G06T 5/00 20060101ALI20181130BHJP
   G01N 33/483 20060101ALI20181130BHJP
   G01N 21/27 20060101ALI20181130BHJP
【FI】
   G06T1/00 295
   G06T7/00 250
   G06T7/00 630
   G06T7/00 350C
   G06T5/00 705
   G01N33/483 C
   G01N21/27 A
【審査請求】未請求
【予備審査請求】未請求
【全頁数】22
【出願番号】特願2018-503018(P2018-503018)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月16日
(31)【優先権主張番号】特願2016-41750(P2016-41750)
(32)【優先日】2016年3月4日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】一谷 修司
【テーマコード(参考)】
2G045
2G059
5B057
5L096
【Fターム(参考)】
2G045AA25
2G045CB01
2G045DA13
2G045FA19
2G059AA01
2G059AA02
2G059BB09
2G059BB14
2G059DD03
2G059EE01
2G059EE02
2G059EE07
2G059EE11
2G059FF01
2G059FF03
2G059HH02
2G059JJ02
2G059JJ11
2G059KK04
5B057AA10
5B057CA08
5B057CE03
5B057CE05
5B057CE12
5B057CE17
5B057DA08
5B057DA12
5B057DC04
5B057DC22
5B057DC25
5L096BA06
5L096FA14
5L096FA15
5L096FA53
5L096FA59
5L096GA19
5L096GA51
5L096HA08
5L096HA11
5L096JA11
5L096KA04
5L096KA09
5L096MA03
(57)【要約】
本発明の課題は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することである。
本発明の画像処理装置2Aは、生体物質が撮影された画像の画像処理を行う画像処理装置であって、前記画像を入力する入力手段と、前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、を備えることを特徴とする。
【特許請求の範囲】
【請求項1】
生体物質が撮影された画像の画像処理を行う画像処理装置において、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記生体物質は、細胞核又は細胞膜である
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ、及び前記画像における生体物質の密度、の少なくとも一つである
ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
前記判定手段は、前記画像の特徴量が属する画像パターンを判定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項6】
前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に2以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項7】
前記特徴量距離は、ユークリッド距離又はマハラノビス距離である
ことを特徴とする請求項5又は6に記載の画像処理装置。
【請求項8】
前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定する
ことを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
【請求項9】
前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、
前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行う
ことを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
【請求項10】
前記判定手段は、機械学習を用いて前記画像パターンを判定する
ことを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。
【請求項11】
前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた2値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ、及び分割して抽出された1つの前記生体物質を統合する統合サイズ、の少なくとも1つを変化させるパラメータである
ことを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。
【請求項12】
生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする画像処理方法。
【請求項13】
生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に病理診断に用いられる画像処理に関する。
【背景技術】
【0002】
人や動物等の生物から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類について診断する、いわゆる病理診断が盛んに行われている。病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、2〜8μmの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察して画像データ(細胞画像)を生成し、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報を解析して診断を行う。かかる細胞画像から例えば細胞の領域などを抽出する画像処理を手作業で行うと、膨大な手間がかかり、また、作業者ごとの誤差も大きい。
【0003】
近年では、例えば組織切片を撮影した画像から癌細胞の領域を効率よく把握できるようにするための画像処理を自動的に行う技術が数多く提案されている。
【0004】
例えば、特許文献1には、画像内の対象物を識別するための画像処理において、閾値を順次変化させて、識別された対象物の特徴を閾値ごとに評価した結果に基づいて、画像から対象物が撮影された領域を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2008−527546号公報
【0006】
病理画像は、撮影された標本における、細胞や癌の種類、標本の染色方法、作成方法及び保存方法、画像の取得方法、等の多くの要因によって、画像ごとに特徴が大きく異なる。
例えば、図6に示されるように、細胞核を染色した組織標本を撮影した病理画像は、標本の取得方法及び組織の種類に応じて、特徴が大きく異なる。図6は、細胞核の染色状態及び密集度に基づいて10のパターンに分類された画像の代表例を示す。
このような画像の特徴の差異に伴い、病理診断のための画像処理に用いられる適切なパラメータは、画像ごとに大きくばらつくことが知られている。例えば、染色された細胞核を示す画像を抽出する際に、細胞核が密集している標本を撮影した画像に対しては、強い分割処理を行う必要がある。また、細胞核の染色ムラが大きい標本を撮影した画像に対しては、例えば色ムラを低減するための平均化フィルタ処理を行う必要がある。
【0007】
特許文献1に記載されるような従来の自動的な画像処理では、このようなばらつきを補正して、病理画像ごとに適切な画像処理を施すことは困難であった。また、画像処理に用いられるパラメータの種類は多岐にわたるため、全てのパラメータを変化させて組み合わせて用いた画像処理を行うことは非効率的であり、そのような画像処理によって作成される膨大な数の画像から適切な画像を選択することも困難であった。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の主な目的は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の上記課題を解決するため、本発明の一側面を反映した画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。
【0010】
本発明の一側面を反映した画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。
【0011】
本発明の一側面を反映したプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0013】
図1】病理診断支援システムの構成を概略的に示す図である。
図2】画像処理装置の機能的構成を概略的に示すブロック図である。
図3】実施例における画像解析処理の流れを概略的に示すフローチャートである。
図4】ステップS6の画像処理の具体例を概略的に示すフローチャートである。
図5A】明視野画像の一例である。
図5B】ステップS2で初期抽出された画像の一例である。
図6】画像パターンの例を示す模式図である。
図7】変形例1の設定工程を説明する模式図である。
図8A】分割された画像の例を示す模式図である。
図8B】分割された画像毎に判定された画像パターンを示す模式図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の好ましい形態について説明する。
<病理診断支援システム10の構成>
図1に、本発明の画像処理装置を備えた病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
【0015】
図1に示すように、病理診断支援システム10は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。病理診断支援システム10は、顕微鏡画像取得装置1Aと画像処理装置2Aが一体に形成された装置でもよい。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
【0016】
顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
【0017】
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(たとえば、特表2002−514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
【0018】
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析する。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
【0019】
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理(図3参照)を実行し、特徴量抽出手段、判定手段、設定手段、処理手段、分割手段、としての機能を実現する。
【0020】
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスやタッチペンなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスやタッチペンによる操作信号とを、入力信号として制御部21に出力する。
【0021】
表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する表示手段としての機能を実現する。
【0022】
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、入力手段として機能する。
【0023】
記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
【0024】
本実施形態では、画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された画像を用いて解析を行うようになっている。
本実施形態で解析される画像は、人体から採取した組織切片等、公知の方法により作製された任意の組織標本における生体物質を撮影した画像である。生体物質の具体例としては、細胞核、細胞膜、等の生体物質が挙げられる。生体物質は染色されていても染色されていなくてもよく、染色を行う場合、染色に用いる試薬や染色方法は、公知の任意のものを用いてよい。
【0025】
例えば、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)を用いて染色された組織標本を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)の生体物質を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)の生体物質を染色する。
また、本実施形態で解析される画像は、生体物質が蛍光物質により染色された組織標本を、蛍光顕微鏡を用いて撮影して取得した得た蛍光画像でもよい。
【0026】
<病理診断支援システム10の動作(画像処理方法を含む。)>
以下、病理診断支援システム10において、上記説明した画像を取得して本発明の画像処理方法を用いて画像処理を行う動作について説明する。
ここでは、生体物質として細胞核が撮影された明視野画像から、細胞核を示す画像を抽出する画像処理を行う場合を例にとって説明する。本実施形態の明視野画像は、例えば、以下のようにHE染色を施された乳癌組織の組織切片を撮影して取得される。
【実施例】
【0027】
まず、操作者は、組織切片をスライドに載置して、HE染色試薬を用いて染色する。
その後、顕微鏡画像取得装置1Aを用いて、以下の手順により明視野画像を取得する。
(a1)操作者は、スライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率及びピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
【0028】
その後、画像処理装置2Aにおいて、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により、図3に示される画像解析処理が実行される。
通信I/F24により顕微鏡画像取得装置1Aから画像が入力されると(ステップS1:入力工程)、入力された画像(以下、入力画像)における生体物質(ここでは、細胞核)を公知の任意の方法によって初期抽出した画像が作成される(ステップS2:初期抽出工程)。
初期抽出工程では、例えば、グレースケール変換された入力画像(図5A)に対して所定の閾値を用いた二値化処理が施されることにより、HE染色によって濃い青色に染色された部分を抽出した画像が作成される。図5Aの入力画像から細胞核を抽出すると、実際は、図5Bのような画像が得られる。しかし、例えば、染色ムラにより1つの細胞核が複数に分かれて抽出されたり、近接した(又は重なって撮影された)複数の細胞核が1つの領域として抽出されたりするため、ステップS2の初期抽出工程で作成される画像は、実際の細胞核の領域を示す画像に対して誤差が大きい。
【0029】
次いで、初期抽出工程により作成された画像に基づいて、入力画像の特徴量が抽出される(ステップS3:特徴量抽出工程)。特徴量は、細胞核に関するものであれば任意であり、例えば、細胞核の円形度、凸包面積比、色の濃さ、色のムラ、大きさ及び細胞核の密集度、を定量的に示す値である。さらに具体的には、例えば以下のものが挙げられるがこれらに限定されない。
円形度は、初期抽出された細胞核の面積をS、周囲長をLとした場合に、式:「4πS/L」で算出される。凸包面積比は、初期抽出された細胞核の面積と、初期抽出された細胞核を包含する凸包多角形の面積の比である。細胞核が正確に抽出されている場合、円形度及び/又は凸包面積比は1に近いと考えられる。
色の濃さは、初期抽出された細胞核中の各画素のRGB値、HSV値、輝度値、等の平均値である。色のムラは、初期抽出された細胞核中の各画素のRGB値、HSV値、又は輝度値、等の標準偏差により表される。
大きさは、初期抽出された細胞核中の面積、長径、短径、周囲長、等である。密度は、入力画像全体の面積に対する、初期抽出された細胞核の面積の割合、又は初期抽出された細胞核の数である。
【0030】
ステップS3で抽出される特徴量は上記の例に限定されるものではなく、複数種類の特徴量を抽出してもよい。また、例えばノイズによる誤差を減らすことなどを目的として、初期抽出された細胞核のうち、面積が所定値よりも大きいもののみに関する特徴量を抽出してもよい。
【0031】
次いで、予め準備された複数の画像パターンに基づいて、ステップS3で抽出された特徴量に対応する画像パターンが判定される(ステップS4:判定工程)。複数の画像パターンは、特徴量に基づいて分類されている。
図6は、染色状態及び密集度に基づいて分類された10の画像パターンA〜Jの例を示す。図6では、各パターンは、色の濃さ及び色のムラに基づいて、染色状態が「色が濃く、ムラが少ない」「色のムラが大きい」「中抜け」「色が薄く、ムラが少ない」の4つに分類され、密度及び面積に基づいて、細胞核の密集度が「高:細胞核の数が多い、及び/又は密集している」、「中:細胞核の数及び/又は密集が中程度である」、「低:細胞核の数が少なく、疎らである」の何れかに分類されている。
各画像パターンに対応付けられている特徴量の数、各項目における分類の基準、分類の段階数、等は任意である。
【0032】
図6に示されるような各画像パターンには、対応する特徴量が予め任意の方法で設定されている。具体的には、例えば、各画像パターンに該当する入力画像の特徴量が数値化されて、その平均値や分散に基づいて、特徴量の範囲及び基準値が設定される。記憶部25には、各画像パターンと特徴量の範囲又は基準値を対応づけるテーブルが予め記憶されており、制御部21は、テーブルを参照して、ステップS3で抽出された特徴量に対応する画像パターンを判定する。
【0033】
ステップS4では、例えば、各画像パターンに対応する特徴量の範囲が予め設定されている場合、ステップS3で抽出された特徴量を範囲内に含む画像パターンが判定される。
【0034】
また、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップS3で抽出された特徴量と各基準値との間の差を示す特徴量距離が算出され、当該距離が最短となる画像パターンが判定される。
【0035】
特徴量距離は、例えば、ユークリッド距離又はマハラノビス距離を用いることができる。
【0036】
次いで、画像パターンに基づいて、画像処理に用いられるパラメータが設定される(ステップS5:設定工程)。
各画像パターンには、対応するパラメータが予め設定されている。具体的には、例えば、画像パターンごとに定められた定数、又は画像パターンごとに定められた特徴量の関数がパラメータとして設定される。記憶部25には、各画像パターンとパラメータを対応づけるテーブルが予め記憶されており、制御部21は、テーブルを参照してステップS4で判定された画像パターンに対応するパラメータを探し、画像処理に用いるパラメータとして設定する。
ステップS4において、入力画像の特徴量に対応する何れか1つの画像パターンが判定された場合には、判定された1つの画像パターンに対応づけられたパラメータが設定される。
【0037】
生体物質を表す画像を抽出する画像処理に用いられるパラメータの具体例には、2値化処理に用いられる閾値、色の平均化フィルタ、エッジ強調フィルタ、分割サイズ、統合サイズ、等がある。
例えば、2値化処理に用いられる閾値の設定により、入力画像の色の濃さに応じた二値化処理が可能となる。また、色の平均化フィルタの設定により、染色ムラが大きい場合であっても入力画像の色ムラが低減可能である。エッジ強調フィルタの設定により、生体物質が薄く染色された場合に生体物質の輪郭が強調して表示される。分割サイズの設定により、生体物質が密集している場合に、個々の生体物質を分割して表示することが可能となる。統合サイズの設定により、染色の中抜けや色ムラにより1つの生体物質が分割して抽出された場合に、生体物質を好ましい統合サイズに統合して表示することが可能となる。
【0038】
このように、パラメータの設定により、入力画像に応じた画像処理が可能となり、その結果、例えば生体物質を示す画像の抽出精度が高まるという効果がある。なお、各パラメータを用いた画像処理については、続くステップS6の工程の説明において、さらに詳細に説明する。
なお、ステップS5において設定されるパラメータは上述のものに限定されるものではなく、また、設定されるパラメータの数は任意である。
【0039】
次いで、ステップS5において設定されたパラメータを用いた画像処理が施される(ステップS6:処理工程)。以下の(1)〜(4)は画像処理の具体例であるが、画像処理はこれらに限定されない。
(1)フィルタ処理
(1−1)生体物質の染色ムラが多い画像パターン(例えば、図6のD、E、F等)に対しては、平均化フィルタをかけてぼかすことにより、色のムラが均一化される。これにより、続く二値化処理において、1つの生体物質が複数に分割されて抽出されることを防ぐことができる。
(1−2)生体物質の染色が薄い画像パターン(例えば、図6のJ)に対しては、強いエッジ強調処理を行うことにより、生体物質の輪郭が明確化される。
(2)二値化処理
(2−1)生体物質の密度が高く、濃く染色されている画像パターン(例えば、図6のC)に対しては、特に入力画像のコントラストが低い場合には、比較的薄い(染色された生体物質よりも背景色に近い)色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
(2−2)生体物質が薄く染色されている画像パターン(例えば、図6のJ)に対しては、比較的濃い(背景色よりも染色された生体物質に近い)色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
(3)分割処理
(3−1)生体物質の密度が高く、濃く染色されている画像パターン(例えば、図6のC)は、複数の生体物質が個々に分割されずにまとめて抽出されやすいが、エッジ強調等を行って積極的に分割処理を行うことにより、個々の生体物質が分離して抽出される。
(3−2)生体物質の面積が小さい画像パターン(例えば、図6のB)に対しては、小さく設定された分割サイズに基づいて分割処理を行うことにより、複数の生体物質が個々に分離して抽出される。
(4)統合処理
(4−1)生体物質の染色ムラが多い画像パターン(例えば、図6のD、E、F)に対しては、設定された統合サイズに達するまで統合処理を繰り返すことにより、1つの生体物質が分割して抽出されることを防ぐことができる。
(4−2)生体物質が薄く染色されている画像パターン(例えば、図6のJ)又は生体物質の輪郭のみが染色されている画像パターン(例えば、図6のG、H、I)に対しては、生体物質が過剰に分割されて抽出されやすいが、大きく設定された統合サイズの閾値に基づいて統合処理を行うことにより、1つの生体物質が分割して抽出されることを防ぐことができる。
【0040】
例えば、図4のフローチャートに従って図6のJのような入力画像から細胞核を示す画像を抽出する画像処理が施される場合、まず、フィルタ処理が実行されてエッジが強調された画像が作成され(上記(1−2)、ステップS61)、比較的濃い色を閾値とした二値化処理によって、濃く染色された領域を抽出した画像が作成され(上記(2−2)、ステップS62)、大きく設定された統合サイズに基づいて、ステップS61で作成された画像の統合処理が行われて(上記(4−2)、ステップS64)、細胞核を示す画像が抽出される。
【0041】
なお、(1)〜(4)等の画像処理は適宜組み合わせて施される。実行する画像処理の種類(例えば、図4のフローチャートにおいて、分割処理又は統合処理の何れを実行するか)は、ステップS4で判定された画像パターンに基づいて決定されることが好ましい。
【0042】
以上の実施形態によれば、入力画像の特徴量から判定された画像パターンに基づいてパラメータが設定された後、そのパラメータを用いた画像処理が行われるため、入力画像ごとに適切なパラメータを用いた画像処理が効率よく実行される。すなわち、病理画像の自動的な画像処理が安定して高精度に実行されるため、高効率かつ迅速な病理診断が可能となる。
【0043】
(変形例1:複数の画像パターンに基づくパラメータ設定)
上記実施例の変形例1として、判定工程において何れか1つの画像パターンを判定せずに、複数の画像パターンの組み合わせを判定する例を説明する。
変形例1のステップS4(判定工程)では、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップS3で抽出された特徴量と各基準値との間の特徴量距離を算出し、当該距離が短い画像パターンが複数個選択される。好ましくは、特徴量距離が最も短いものから順に複数の画像パターンが選択される。選択された複数の画像パターンは、例えば特徴量距離によって重みづけされて、複数の画像パターンの組み合わせが判定される。
【0044】
次いで、変形例1のステップS5(設定工程)では、ステップS4の判定結果(複数の画像パターン及び特徴量距離の情報を含む)及び各画像パターンに設定されているパラメータを用いて、画像処理に用いるパラメータが設定される。
【0045】
図7は、2種類のパラメータX及びYをそれぞれ軸とする2次元座標における、画像パターンA〜Jにそれぞれ対応づけられたパラメータA〜Jの例を示す。
例えば、入力画像の特徴量が画像パターンD、E及びHの特徴量の基準値の間であり、入力画像と画像パターンD、E及びHの特徴量距離が短い場合、ステップS5(設定工程)では、画像パターンD、E及びHとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータD、E、及びHが内挿(補間)されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータD及びEの点を通るベクトルと、パラメータD及びHの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Pによって示される(図7参照)。
【0046】
また、例えば、入力画像と画像パターンG、H及びJの特徴量距離が短い場合、ステップS5(設定工程)では、画像パターンG、H及びJとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータG、H及びJが内挿(補間)されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータG及びHの点を通るベクトルと、パラメータG及びJの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Qによって示される(図7参照)。
また、入力画像の特徴量が画像パターンの範囲外である場合であっても、例えば、特徴量距離が短いF、H及びIに対応するパラメータF、H及びIの外挿により、入力画像のパラメータRが設定される(図7参照)。
【0047】
なお、図7では2次元座標上のパラメータを例示したが、次元数(すなわち、パラメータの数)は任意である。また、内挿、外挿以外のアルゴリズムを用いてもよい。
また、入力画像と画像パターンの特徴量距離の最短値が所定の値を超える場合にのみ、変形例1の判定工程及び設定工程を実施することとしてもよい。
【0048】
以上の変形例1により、ステップS3で抽出された特徴量と予め準備された画像パターンの特徴量のずれが大きい場合であっても、適切なパラメータを設定して画像処理を行うことができる。
【0049】
(変形例2:分割工程を備えた画像処理)
上記実施例において、入力画像を図8Aのように複数の矩形に分割した分割画像を作成する工程(分割工程)を備えてもよい。分割の方法は任意であり、例えば、図8Aのように分割された画像のうち、所定の特徴量を備えたもののみを分割画像としてもよい。
【0050】
変形例2の1態様によれば、例えば、実施例のステップS1〜S2の工程の後、ステップS3(特徴量抽出工程)において分割画像ごとに特徴量が抽出される。次いで、ステップS4(判定工程)では、各分割画像の特徴量を用いて、分割画像ごとに画像パターン(分割画像パターン)が判定され、これらの分割画像パターンに基づいて入力画像全体の画像パターンが判定される。ステップS5以降の工程は、上記実施例と同様に行われる。
本態様のステップS4では、例えば、図8Bのように、各分割画像パターンが図6の画像パターンA〜Jの何れかに判定された後、最も多くの分割画像パターンとして判定された画像パターンAが入力画像全体の画像パターンとして判定される。
【0051】
変形例2の上記態様によれば、例えば入力画像の一部にノイズがあった場合、ノイズを含む少数の分割画像のパターンは、全分割画像のパターンに対して数が少ないため、入力画像全体のパターンを判定する際に外れパターンとして無視されると考えられる。つまり、画像パターンの判定においてノイズの影響が低減されるため、適切な画像処理が可能となる。
【0052】
変形例2の別の態様によれば、例えば、実施例のステップS1〜S2の工程の後、ステップS3(特徴量抽出工程)において分割画像ごとに特徴量が抽出される。次いで、ステップS4(判定工程)では、各分割画像の特徴量を用いて、図8Bのように分割画像ごとに画像パターンが判定され、ステップS5(設定工程)では、各分割画像のパターンに基づいて、画像処理に用いられるパラメータが分割画像ごとに設定される。ステップS6の工程においては、分割画像ごとに、上記実施例と同様の画像処理が行われる。
【0053】
変形例2の上記態様によれば、分割画像ごとに、適した画像処理を行うことができる。そのため、例えば、血管、結合組織、等の複数種類の組織が1つの入力画像に撮影されている場合でも、組織ごとに適した画像処理が可能となる。
【0054】
(変形例3:機械学習を用いた判定工程)
上記実施例のステップS4(判定工程)では、例えば、機械学習を用いて画像パターンが判定されることとしてもよい。機械学習は、例えば、SVM、ランダムフォレスト、ディープラーニング等、公知の任意のものを用いることができる。
【0055】
ランダムフォレストは、機械学習アルゴリズムの一例であり、サンプルデータを用いたアンサンブル学習により作成された複数の決定木(識別性能の低い弱識別器)を用いて、高精度なパターン識別、クラスタリング、等が行われる。
本発明においてランダムフォレストを用いる場合、例えば、入力画像の特徴量と画像パターン(例えば、図6のA〜J)を対応付ける複数の決定木が予め準備される。各決定木は、特徴量が入力されると、該当する画像パターンを出力する。ステップS4(判定工程)では、まず、ステップS3で抽出された特徴量が各決定木に入力される。次いで、全ての決定木の出力結果の統計に基づいて、各画像パターンに該当する確率(スコア)が算出され、最大スコアとなる画像パターンが判定される。
【0056】
以上の変形例3のような機械学習を用いた画像パターン判定により、効率よく高精度な画像パターン判定が可能となる。
【0057】
なお、以上の本実施例及び変形例は本発明の好適な一例であり、これに限定されるものではない。
各変形例は、適宜組み合わせて実行してもよい。例えば、変形例2の分割工程を備えた画像処理における各分割画像の画像パターン判定を、変形例3のように機械学習を用いて行ってもよい。
【0058】
また、本実施形態では、人体から採取した組織切片を撮影した画像の画像処理を行うことしたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞、血液(例えば、赤血球、白血球、血小板等の細胞)、尿沈渣等を使用することも可能である。
【0059】
また、本発明で行われる画像処理は、入力された画像から生体物質を示す画像を抽出する画像処理に限られるものではなく、例えば、生体物質の数の計測、生体物質の大きさ(面積、長径、等)の計測、生体物質の位置(例えば、各生体物質の重心等)の抽出、等、任意の画像処理が含まれる。
【0060】
上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROMなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム10を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【0061】
以上説明したように本発明の画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。
【0062】
本発明の画像処理装置において、前記生体物質は、細胞核又は細胞膜であることが好ましい。
【0063】
本発明の画像処理装置において、前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ及び前記画像における生体物質の密度、の少なくとも一つであることが好ましい。
【0064】
本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
前記判定手段は、前記画像の特徴量が属する画像パターンを判定することが好ましい。
【0065】
本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定することが好ましい。
【0066】
本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に2以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定することが好ましい。
【0067】
本発明の画像処理装置において、前記特徴量距離は、ユークリッド距離又はマハラノビス距離であることが好ましい。
【0068】
本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定することが好ましい。
【0069】
本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、
前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行うことが好ましい。
【0070】
本発明の画像処理装置において、前記判定手段は、機械学習を用いて前記画像パターンを判定することが好ましい。
【0071】
本発明の画像処理装置において、前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた2値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ及び分割して抽出された1つの前記生体物質を統合する統合サイズ、の少なくとも1つを変化させるパラメータであることが好ましい。
【0072】
本発明の画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。
【0073】
本発明のプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。
【産業上の利用可能性】
【0074】
本発明は、生体物質を撮影した画像の画像処理に利用することができる。
【符号の説明】
【0075】
1A 顕微鏡画像取得装置
2A 画像処理装置
3A ケーブル
10 病理診断支援システム
21 制御部(特徴量抽出手段、判定手段、設定手段、処理手段、分割手段)
22 操作部
23 表示部
24 通信I/F(入力手段)
25 記憶部
26 バス
図1
図2
図3
図4
図5A
図5B
図6
図7
図8A
図8B
【国際調査報告】