IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社SCREENホールディングスの特許一覧 ▶ 京都府公立大学法人の特許一覧

特開2024-135131領域選定支援方法、領域選定支援装置およびプログラム
<>
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図1
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図2
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図3
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図4
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図5
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図6
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図7
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図8
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図9
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図10
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図11
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図12
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図13
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図14
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図15
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図16
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図17
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図18
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図19
  • 特開-領域選定支援方法、領域選定支援装置およびプログラム 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135131
(43)【公開日】2024-10-04
(54)【発明の名称】領域選定支援方法、領域選定支援装置およびプログラム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20240927BHJP
   G01N 33/48 20060101ALI20240927BHJP
   G01N 33/53 20060101ALI20240927BHJP
【FI】
G06T1/00 295
G06T1/00 510
G01N33/48 P
G01N33/53 Y
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023045668
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000207551
【氏名又は名称】株式会社SCREENホールディングス
(71)【出願人】
【識別番号】509349141
【氏名又は名称】京都府公立大学法人
(74)【代理人】
【識別番号】100110847
【弁理士】
【氏名又は名称】松阪 正弘
(74)【代理人】
【識別番号】100136526
【弁理士】
【氏名又は名称】田中 勉
(74)【代理人】
【識別番号】100136755
【弁理士】
【氏名又は名称】井田 正道
(72)【発明者】
【氏名】荻 寛志
(72)【発明者】
【氏名】柴田 沙耶
(72)【発明者】
【氏名】古田 智靖
(72)【発明者】
【氏名】辻川 敬裕
【テーマコード(参考)】
2G045
5B057
【Fターム(参考)】
2G045AA25
2G045CB01
2G045DA36
2G045FB03
2G045FB07
5B057AA10
5B057CA01
5B057CB01
5B057CE17
5B057DA08
5B057DA16
5B057DC30
(57)【要約】
【課題】染色画像中の解析に適した領域を容易に選定する。
【解決手段】領域選定支援方法は、免疫染色法による標本の染色画像を複数の分割領域に分割する工程(ステップS11)と、当該複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程(ステップS12)と、当該複数の分割領域のそれぞれをステップS12にて割り当てられた表示色にて塗り潰した選定支援画像を生成する工程(ステップS13)と、選定支援画像を画面上に表示する工程(ステップS14)と、を備える。これにより、オペレータは、染色画像中の解析に適した領域を解析領域として容易に選定することができる。
【選択図】図5
【特許請求の範囲】
【請求項1】
免疫染色法による染色画像における解析領域の選定を支援する領域選定支援方法であって、
a)免疫染色法による標本の染色画像を複数の分割領域に分割する工程と、
b)前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程と、
c)前記複数の分割領域のそれぞれを前記b)工程にて割り当てられた表示色にて塗り潰した選定支援画像を生成する工程と、
d)前記選定支援画像を画面上に表示する工程と、
を備える領域選定支援方法。
【請求項2】
請求項1に記載の領域選定支援方法であって、
前記b)工程では、前記分割領域における染色細胞の集簇性は、前記分割領域における染色強度に基づいて求められる領域選定支援方法。
【請求項3】
請求項2に記載の領域選定支援方法であって、
前記分割領域における染色細胞の集簇性の算出は、
e)前記分割領域を構成するマトリクス状に配置された複数の小領域のそれぞれの染色強度を得る工程と、
f)前記複数の小領域の染色強度のうち最大値を前記分割領域の代表値として画像縮小を行う工程と、
を備える領域選定支援方法。
【請求項4】
請求項1に記載の領域選定支援方法であって、
前記b)工程では、前記分割領域における染色細胞の集簇性は、前記分割領域における陽性細胞の数に基づいて求められる領域選定支援方法。
【請求項5】
請求項1ないし4のいずれか1つに記載の領域選定支援方法であって、
前記d)工程において、前記染色画像、または、免疫染色法による前記標本の他の染色画像から前記選定支援画像と同様の方法にて生成された他の選定支援画像が、前記選定支援画像と位置合わせされた状態で前記画面上に並べて表示される領域選定支援方法。
【請求項6】
請求項5に記載の領域選定支援方法であって、
前記選定支援画像の表示倍率と、前記染色画像または前記他の選定支援画像の表示倍率とが、連動して変更可能である領域選定支援方法。
【請求項7】
請求項5に記載の領域選定支援方法であって、
前記選定支援画像の前記標本上における表示範囲と、前記染色画像または前記他の選定支援画像の前記標本上における表示範囲とが、連動して変更可能である領域選定支援方法。
【請求項8】
請求項5に記載の領域選定支援方法であって、
前記選定支援画像上に表示されて画像上の位置を示す位置指示部と、前記染色画像または前記他の選定支援画像上に表示されて画像上の位置を示す位置指示部とが、連動して移動可能である領域選定支援方法。
【請求項9】
請求項5に記載の領域選定支援方法であって、
前記d)工程において、前記選定支援画像の前記標本に対する縮尺と、前記染色画像または前記他の選定支援画像の前記標本に対する縮尺とは同じである領域選定支援方法。
【請求項10】
請求項1ないし4のいずれか1つに記載の領域選定支援方法であって、
g)前記b)工程よりも前に、免疫染色法による前記標本の他の染色画像を、前記a)工程における分割態様と同様の態様にて複数の分割領域に分割する工程をさらに備え、
前記b)工程における表示色の割り当ては、前記分割領域における前記染色画像および前記他の染色画像のそれぞれの染色細胞の集簇性に基づいて行われる領域選定支援方法。
【請求項11】
請求項1ないし4のいずれか1つに記載の領域選定支援方法であって、
免疫染色法による前記標本の他の染色画像を閾値処理することにより陽性領域と陰性領域とを示す二値画像が生成され、前記d)工程において、前記選定支援画像が前記陽性領域または前記陰性領域によってマスクされる領域選定支援方法。
【請求項12】
請求項1ないし4のいずれか1つに記載の領域選定支援方法であって、
免疫染色法による前記標本の他の染色画像を閾値処理することにより陽性領域または陰性領域の境界線が取得され、前記d)工程において、前記選定支援画像に前記境界線が重ねて表示される領域選定支援方法。
【請求項13】
免疫染色法による染色画像における解析領域の選定を支援する領域選定支援装置であって、
免疫染色法による標本の染色画像を複数の分割領域に分割する画像分割部と、
前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる表示色割当部と、
前記複数の分割領域のそれぞれを前記表示色割当部により割り当てられた表示色にて塗り潰した選定支援画像を生成する選定支援画像生成部と、
前記選定支援画像を表示する画面と、
を備える領域選定支援装置。
【請求項14】
免疫染色法による染色画像における解析領域の選定を支援するプログラムであって、
コンピュータによって前記プログラムが実行されることにより、
a)免疫染色法による標本の染色画像を複数の分割領域に分割する工程と、
b)前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程と、
c)前記複数の分割領域のそれぞれを前記b)工程にて割り当てられた表示色にて塗り潰した選定支援画像を生成する工程と、
d)前記選定支援画像を画面上に表示する工程と、
が行われるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、免疫染色法による染色画像における解析領域の選定を支援する技術に関する。
【背景技術】
【0002】
近年、医学研究や生物学研究において、疾患メカニズムの解明や生体メカニズムの解明、薬剤作用機序解明等を目的として、組織標本や細胞標本等の生体由来標本のシングルセル単位の解析が実施されている。例えば、免疫染色解析においては、タンパク質等の生体由来物質を染色し、染色状態を計測することで定量的・定性的な解析が行われている。
【0003】
特許文献1では、1つの細胞の標本画像を複数の区画に分割し、各区画におけるバイオマーカーの発現量および分布に基づいて、癌等の疾病の悪性度をスコア化する技術が提案されている。また、特許文献2では、CTやMRI等で実施される動的検査において、病変内部の造影剤の継時的変化を計測して得られた血流特性から、当該血流特性を示す画素を診断画像上で特定する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2015/190225号
【特許文献2】特開2017-153852号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、組織標本の解析において、標本全体をシングルセル単位で解析しようとすると解析に要する時間が多大となる。このため、標本の一部である部分領域を抽出して、当該部分領域に対する解析を行うことが考えられる。当該部分領域の抽出にあたっては、標本が有する特徴を好適に表現している解析に適した領域(すなわち、解析対象である各種細胞が適切に含まれている領域)を適切に選定する必要がある。
【0006】
しかしながら、組織標本の画像をオペレータがそのまま目視しても、染色された細胞(以下、「染色細胞」とも呼ぶ。)の数が少ない場合、組織全体が表示される程度の表示倍率では染色細胞を視認することができないおそれがある。また、染色細胞以外のノイズ(例えば、組織や細胞の構造に起因する濃い黒または白の画素)によって、染色細胞の視認性が低くなるおそれもある。したがって、組織標本の画像をそのまま目視したオペレータが、解析に適した領域を当該画像から選定することは容易ではない。
【0007】
本発明は、上記課題に鑑みなされたものであり、染色画像中の解析に適した領域を容易に選定することを目的としている。
【課題を解決するための手段】
【0008】
本発明の態様1は、免疫染色法による染色画像における解析領域の選定を支援する領域選定支援方法であって、a)免疫染色法による標本の染色画像を複数の分割領域に分割する工程と、b)前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程と、c)前記複数の分割領域のそれぞれを前記b)工程にて割り当てられた表示色にて塗り潰した選定支援画像を生成する工程と、d)前記選定支援画像を画面上に表示する工程と、を備える。
【0009】
本発明の態様2は、態様1の領域選定支援方法であって、前記b)工程では、前記分割領域における染色細胞の集簇性は、前記分割領域における染色強度に基づいて求められる。
【0010】
本発明の態様3は、態様2の領域選定支援方法であって、前記分割領域における染色細胞の集簇性の算出は、e)前記分割領域を構成するマトリクス状に配置された複数の小領域のそれぞれの染色強度を得る工程と、f)前記複数の小領域の染色強度のうち最大値を前記分割領域の代表値として画像縮小を行う工程と、を備える。
【0011】
本発明の態様4は、態様1の領域選定支援方法であって、前記b)工程では、前記分割領域における染色細胞の集簇性は、前記分割領域における陽性細胞の数に基づいて求められる。
【0012】
本発明の態様5は、態様1ないし4のいずれか1つの領域選定支援方法であって、前記d)工程において、前記染色画像、または、免疫染色法による前記標本の他の染色画像から前記選定支援画像と同様の方法にて生成された他の選定支援画像が、前記選定支援画像と位置合わせされた状態で前記画面上に並べて表示される。
【0013】
本発明の態様6は、態様5の領域選定支援方法であって、前記選定支援画像の表示倍率と、前記染色画像または前記他の選定支援画像の表示倍率とが、連動して変更可能である。
【0014】
本発明の態様7は、態様5(態様5または6、であってもよい。)の領域選定支援方法であって、前記選定支援画像の前記標本上における表示範囲と、前記染色画像または前記他の選定支援画像の前記標本上における表示範囲とが、連動して変更可能である。
【0015】
本発明の態様8は、態様5(態様5ないし7のいずれか1つ、であってもよい。)の領域選定支援方法であって、前記選定支援画像上に表示されて画像上の位置を示す位置指示部と、前記染色画像または前記他の選定支援画像上に表示されて画像上の位置を示す位置指示部とが、連動して移動可能である。
【0016】
本発明の態様9は、態様5(態様5ないし8のいずれか1つ、であってもよい。)の領域選定支援方法であって、前記d)工程において、前記選定支援画像の前記標本に対する縮尺と、前記染色画像または前記他の選定支援画像の前記標本に対する縮尺とは同じである。
【0017】
本発明の態様10は、態様1ないし4のいずれか1つ(態様1ないし9のいずれか1つ、であってもよい。)の領域選定支援方法であって、g)前記b)工程よりも前に、免疫染色法による前記標本の他の染色画像を、前記a)工程における分割態様と同様の態様にて複数の分割領域に分割する工程をさらに備え、前記b)工程における表示色の割り当ては、前記分割領域における前記染色画像および前記他の染色画像のそれぞれの染色細胞の集簇性に基づいて行われる。
【0018】
本発明の態様11は、態様1ないし4のいずれか1つ(態様1ないし10のいずれか1つ、であってもよい。)の領域選定支援方法であって、免疫染色法による前記標本の他の染色画像を閾値処理することにより陽性領域と陰性領域とを示す二値画像が生成され、前記d)工程において、前記選定支援画像が前記陽性領域または前記陰性領域によってマスクされる。
【0019】
本発明の態様12は、態様1ないし4のいずれか1つ(態様1ないし11のいずれか1つ、であってもよい。)の領域選定支援方法であって、免疫染色法による前記標本の他の染色画像を閾値処理することにより陽性領域または陰性領域の境界線が取得され、前記d)工程において、前記選定支援画像に前記境界線が重ねて表示される。
【0020】
本発明の態様13は、免疫染色法による染色画像における解析領域の選定を支援する領域選定支援装置であって、免疫染色法による標本の染色画像を複数の分割領域に分割する画像分割部と、前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる表示色割当部と、前記複数の分割領域のそれぞれを前記表示色割当部により割り当てられた表示色にて塗り潰した選定支援画像を生成する選定支援画像生成部と、前記選定支援画像を表示する画面と、を備える。
【0021】
本発明の態様14は、免疫染色法による染色画像における解析領域の選定を支援するプログラムであって、コンピュータによって前記プログラムが実行されることにより、a)免疫染色法による標本の染色画像を複数の分割領域に分割する工程と、b)前記複数の分割領域のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域における染色細胞の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程と、c)前記複数の分割領域のそれぞれを前記b)工程にて割り当てられた表示色にて塗り潰した選定支援画像を生成する工程と、d)前記選定支援画像を画面上に表示する工程と、が行われる。
【発明の効果】
【0022】
本発明によれば、染色画像中の解析に適した領域を容易に選定することができる。
【図面の簡単な説明】
【0023】
図1】一の実施の形態に係る画像表示装置の構成を示す図である。
図2】画像表示装置の機能構成を示すブロック図である。
図3】染色画像を示す図である。
図4】選定支援画像を示す図である。
図5】選定支援画像の表示の流れを示す図である。
図6】選定支援画像の表示の流れの一部を示す図である。
図7】選定支援画像の表示の流れの一部を示す図である。
図8】画面表示の一例を示す図である。
図9】画面表示の一例を示す図である。
図10】画面表示の一例を示す図である。
図11】画面表示の一例を示す図である。
図12】画面表示の一例を示す図である。
図13】画面表示の一例を示す図である。
図14】画面表示の一例を示す図である。
図15】画面表示の一例を示す図である。
図16】画面表示の一例を示す図である。
図17】画面表示の一例を示す図である。
図18】画面表示の一例を示す図である。
図19】画面表示の一例を示す図である。
図20】選定支援画像の表示の流れの一部を示す図である。
【発明を実施するための形態】
【0024】
図1は、本発明の一の実施の形態に係る領域選定支援装置1として機能するコンピュータの構成を示す図である。領域選定支援装置1は、免疫染色法より得られた生体由来標本の染色画像において、解析に適した領域の選定支援に利用される。
【0025】
図1は、領域選定支援装置1として機能するコンピュータの構成を示す図である。当該コンピュータは、CPU51と、ROM52と、RAM53と、固定ディスク54と、ディスプレイ55と、入力部56と、読取装置57と、通信部58と、GPU59と、バス50とを含む一般的なコンピュータシステムの構成を有する。CPU51は、各種演算処理を行う。GPU59は、画像処理に関する各種演算処理を行う。ROM52は、基本プログラムを記憶する。RAM53は、各種情報を記憶する。固定ディスク54は、情報記憶を行う。ディスプレイ55は、画像等の各種情報の表示を行う表示部である。
【0026】
入力部56は、操作者からの入力を受け付けるキーボード56aおよびマウス56bを備える。読取装置57は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体571から情報の読み取りを行う。ディスプレイ55、キーボード56a、マウス56bおよび読取装置57は、インターフェイスI/Fを介してバス50に接続される。通信部58は、領域選定支援装置1の外部の装置等との間で信号を送受信する。バス50は、CPU51、GPU59、ROM52、RAM53、固定ディスク54、ディスプレイ55、入力部56、読取装置57および通信部58を接続する信号回路である。
【0027】
領域選定支援装置1では、事前に読取装置57を介して記録媒体571からプログラム572が読み出されて固定ディスク54に記憶されている。プログラム572はネットワークを介して固定ディスク54に記憶されてもよい。CPU51およびGPU59は、プログラム572に従ってRAM53や固定ディスク54を利用しつつ演算処理を実行する。CPU51およびGPU59は、領域選定支援装置1において演算部として機能する。CPU51およびGPU59以外に演算部として機能する他の構成が採用されてもよい。
【0028】
図2は、上述のコンピュータがプログラム572に従って演算処理等を実行することにより実現される領域選定支援装置1の機能構成を示すブロック図である。これらの機能構成には、記憶部501と、画像分割部502と、表示色割当部503と、選定支援画像生成部504と、表示制御部505と、解析用画像取得部506と、マスク生成部507と、境界線取得部508とが含まれる。これらの機能の全部または一部は、専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。
【0029】
図2に示す機能構成のうち、記憶部501は、主としてRAM53および固定ディスク54により実現される。また、画像分割部502、表示色割当部503、選定支援画像生成部504、表示制御部505、解析用画像取得部506、マスク生成部507および境界線取得部508は、CPU51、GPU59、ROM52、RAM53、固定ディスク54およびこれらの周辺構成により実現される。
【0030】
記憶部501は、生体由来標本(以下、単に「標本」とも呼ぶ。)の染色画像を予め記憶する。図3は、記憶部501に記憶されている標本90の染色画像91の一例を示す図である。染色画像91は、免疫染色法により染色された状態の標本90を撮像して得られた撮像画像である。染色画像91は、例えば、標本90を一の染色方法にて染色して撮像した単染色画像である。当該染色方法は、例えば、CD分類の一つであるCD45タンパク質を検出するCD45抗体を用いた染色方法である。この場合、染色画像91では、標本90に含まれる多数の細胞のうち、CD45抗体によって検出された細胞96が単色にて染色されて示される。なお、標本90の染色は、抗体を用いた様々な染色方法による染色であってもよく、抗体を用いない様々な染色方法による染色であってもよい。
【0031】
図2に示す記憶部501は、また、後述する選定支援画像にて使用する表示色群を予め記憶する。当該表示色群は、誘目性が異なる複数の色(すなわち、表示色)を含む。「誘目性」とは、画像を目視するオペレータ等の注意を引きつける度合いを意味する。例えば、暖色は寒色よりも誘目性が高く、明度が高くなると誘目性も高くなる。また、上述の「複数の色」とは、濃淡が異なる同じ色(すなわち、単色)のみで構成されるものではなく、色相が異なる複数種類の色を含むものを意味する。表示色群は、例えば、誘目性が高い順に「黄色」、「緑色」、「水色」および「紺色」を表示色として含む。本実施の形態では、上述のように、染色画像91は単染色画像(すなわち、単色にて表示される画像)であるため、複数の色を含む表示色群は、染色画像91を構成する色群(すなわち、単色)よりも識別性が高い。
【0032】
画像分割部502は、染色画像91を複数の分割領域95に分割する。図3に示す例では、染色画像91は、図中の縦方向および横方向にマトリクス状に配列される複数の分割領域95に分割される。各分割領域95の形状は、例えば正方形である。各分割領域95は、例えば、染色画像91を構成する各画素よりも大きい。換言すれば、各分割領域95は複数の画素を含む。また、各分割領域95は、例えば、染色画像91に含まれる各細胞96よりも大きい。なお、各分割領域95は、正方形以外の様々な形状(例えば、長方形)を有していてもよい。また、染色画像91では、標本90以外の領域には分割領域95は生成されなくてもよい。実際の染色画像91では、複数の分割領域95の境界を示す線は含まれていないため、染色画像91がディスプレイ55(図1参照)上に表示される場合、当該境界は表示されない。
【0033】
表示色割当部503は、複数の分割領域95のそれぞれにおける染色された細胞96(以下、「染色細胞96」とも呼ぶ。)の集簇性を求める。また、表示色割当部503は、各分割領域95における染色細胞96の集簇性に基づいて、各分割領域95に対して上述の表示色群から一の表示色を割り当てる。分割領域95に割り当てられる表示色の誘目性は、分割領域95における染色細胞96の集簇性が高くなるに従って高くなる。なお、表示色割当部503では、標本90以外の領域には、背景色である「黒色」が割り当てられる。
【0034】
選定支援画像生成部504は、染色画像91に対応する選定支援画像を生成する。図4は、選定支援画像81の一例を示す図である。選定支援画像81は、染色画像91の各分割領域95が、表示色割当部503によって割り当てられた一の表示色にて塗り潰された画像である。
【0035】
例えば、染色細胞96(図3参照)の集簇性が最も高い範囲に含まれる分割領域95は「黄色」に塗り潰され、選定支援画像81における第1領域811を構成する。図4では、図示の都合上、2つの第1領域811には平行斜線を付さず、白色の領域として示す。染色細胞96の集簇性が2番目に高い範囲に含まれる分割領域95は「緑色」に塗り潰され、選定支援画像81における第2領域812を構成する。図4では、第2領域812に比較的間隔が大きい平行斜線を付す。染色細胞96の集簇性が3番目に高い範囲に含まれる分割領域95は「水色」に塗り潰され、選定支援画像81における第3領域813を構成する。図4では、第3領域813に第2領域812よりも間隔が小さい平行斜線を付す。染色細胞96の集簇性が最も低い範囲に含まれる分割領域95は「紺色」に塗り潰され、選定支援画像81における第4領域814を構成する。図4では、第4領域814に最も間隔が小さい平行斜線を付す。図4に示す例では、表示色の誘目性が低くなるに従って平行斜線の間隔を小さくしている。
【0036】
図2に示す表示制御部505は、上述の選定支援画像81をディスプレイ55(図1参照)の画面上に表示させる。表示制御部505は、当該画面上に表示された選定支援画像81の表示倍率を変更することもできる。また、選定支援画像81の標本90上における表示範囲を変更することもできる。
【0037】
解析用画像取得部506は、ディスプレイ55に表示された選定支援画像81を利用して設定された染色画像91上の領域を、詳細解析用の画像として染色画像91から切り出して記憶部501に記憶させる。
【0038】
次に、領域選定支援装置1による選定支援画像81の表示の流れについて、図5ないし図7を参照しつつ説明する。まず、画像分割部502(図2参照)により、染色画像91が、図3に示すように複数の分割領域95に分割される(ステップS11)。続いて、表示色割当部503(図2参照)により、複数の分割領域95のそれぞれについて、染色細胞96の集簇性が求められる。そして、各分割領域95に対して、染色細胞96の集簇性が高くなるに従って誘目性が高くなるように、一の表示色が割り当てられる(ステップS12)。
【0039】
ステップS12では、分割領域95における染色細胞96の集簇性は様々な方法により求められてよい。例えば、分割領域95における染色細胞96の集簇性は、当該分割領域95における陽性細胞の数に基づいて求められる。具体的には、まず、染色画像91における染色細胞96の位置を特定する(図6:ステップS21)。染色細胞96の位置の特定には、ディープラーニングによる画像セグメンテーション等の公知技術を用いることができる。続いて、特定された各染色細胞96について、所定の解析手法に関する特徴量(例えば、細胞領域内の平均輝度等)を算出する(ステップS22)。
【0040】
次に、各染色細胞96が陽性であるか否かを、各染色細胞96の上記特徴量と所定の閾値とを比較することにより判定する(ステップS23)。そして、各分割領域95において、陽性と判定された染色細胞96(すなわち、陽性細胞)の数を求める(ステップS24)。これにより、上記解析手法に合致した陽性細胞数を得ることができる。その後、各分割領域95について、陽性細胞の数が多くなる(すなわち、集簇性が高くなる)に従って誘目性が高くなるように、上述の表示色群から一の表示色を割り当てる(ステップS25)。
【0041】
また、分割領域95における染色細胞96の集簇性は、当該分割領域95における染色強度に基づいて求められてもよい。分割領域95の平均的な染色強度の値は、分割領域95に複数の染色細胞96が含まれる場合、分割領域95における染色細胞96の密度に依存する。したがって、分割領域95における染色強度が高くなると染色細胞96の集簇性も高くなり、分割領域95における染色強度が低くなると染色細胞96の集簇性も低くなる。
【0042】
図7は、染色強度に基づく染色細胞96の集簇性の算出例を示す図である。図7に示す例では、まず、染色画像91に対してノイズ除去処理(例えば、ぼかし処理)を行った後、色分解処理を行って染色細胞96の染色に対応する1つの色を抽出する。続いて、分割領域95を、マトリクス状に配置された複数の小領域(例えば、2×2の4つの小領域)に分割し、抽出された当該1つの色について各小領域(いわゆる、カーネル)の染色強度を求める(ステップS31)。次に、最大値プーリングを行い、上記複数の小領域の染色強度のうち、最大値(すなわち、最も大きい染色強度)を分割領域95の染色強度の代表値として画像縮小を行う(ステップS32)。その後、各分割領域95について、染色強度が大きくなる(すなわち、集簇性が高くなる)に従って誘目性が高くなるように、上述の表示色群から一の表示色を割り当てる(ステップS33)。
【0043】
ステップS31~S33に示す方法では、染色画像91中の個々の染色細胞96を特定する必要がないため、ステップS21~S25に示す方法に比べて、各分割領域95への表示色の割り当てに要する処理量を低減することができるとともに、低倍率で取得された染色画像91を用いた処理が可能となる。例えば、ステップS31~S33に示す方法によれば、1画素の大きさが細胞の大きさと同じ程度となる解像度(例えば、画素ピッチが10μm等)の染色画像91を用いた場合であっても、表示色の割り当てを好適に行って染色細胞の集簇性が高い領域(すなわち、解析に適した領域)の誘目性を向上させることができる。また、ステップS31~S33に示す方法では、染色画像91中に含まれる染色細胞96の数が少ない場合であっても、表示色の割り当てを好適に行うことができる。
【0044】
ステップS12が終了すると、選定支援画像生成部504(図2参照)により、複数の分割領域95のそれぞれが、ステップS12にて割り当てられた表示色にて塗り潰された状態の画像である選定支援画像81(図4参照)が生成される(ステップS13)。そして、表示制御部505(図2参照)により、選定支援画像81がディスプレイ55の画面上に表示される(ステップS14)。
【0045】
領域選定支援装置1では、ディスプレイ55上の選定支援画像81の表示倍率、および、選定支援画像81の標本90上における表示範囲(すなわち、標本90のうち選定支援画像81として画面上に表示される範囲)が変更可能である。オペレータは、選定支援画像81の表示態様を必要に応じて様々に変更しつつ、選定支援画像81上にて解析用の領域(以下、「解析領域」とも呼ぶ。)を指定する(ステップS15)。解析用画像取得部506は、当該解析領域に対応する染色画像91上の領域を切り出し、詳細解析用の画像として記憶部501へと送る(ステップS16)。
【0046】
表示制御部505は、選定支援画像81のみをディスプレイ55の画面上に表示させることもでき、選定支援画像81と共に他の様々な画像をディスプレイ55の画面上に表示させることもできる。例えば、ステップS14では、図8に示すように、選定支援画像81と染色画像91とが、ディスプレイ55の画面551上に互いに重ならないように並べて表示されてもよい。図8に示す例では、選定支援画像81と染色画像91とは、互いに位置合わせされた状態で同縮尺にて表示される。すなわち、選定支援画像81および染色画像91は、選定支援画像81中における標本90の大きさおよび位置と、染色画像91中における標本90の大きさおよび位置とが略同じになるように、必要に応じて補正されて表示される。これにより、オペレータは、選定支援画像81を染色画像91とを容易に見比べることができる。
【0047】
領域選定支援装置1では、画面551上における選定支援画像81の表示倍率と、染色画像91の表示倍率とが、連動して変更可能であることが好ましい。また、選定支援画像81の標本90上における表示範囲と、染色画像91の標本90上における表示範囲(すなわち、標本90のうち染色画像91として画面551上に表示される範囲)とが、連動して変更可能であることが好ましい。
【0048】
例えば、オペレータが、選定支援画像81上に図示省略のマウスポインタを位置させ、マウスホイール等を操作して選定支援画像81の表示倍率を変更すると、図9に示すように、画面551上の染色画像91の表示倍率も、選定支援画像81の表示倍率と同じになるように連動して変更される。選定支援画像81の表示倍率が初期状態よりも大きくされると、画面551上には、選定支援画像81の一部および染色画像91の一部のみが表示される。オペレータが染色画像91の表示倍率を変更した場合も同様に、選定支援画像81の表示倍率が連動して変更される。
【0049】
これにより、オペレータは、選定支援画像81および染色画像91のそれぞれにて表示倍率の調整を行うことなく、選定支援画像81と染色画像91とを同一の表示倍率にて見比べることができる。
【0050】
また、オペレータは、図9に示すように選定支援画像81および染色画像91が初期状態(図8参照)よりも拡大された状態で、選定支援画像81上にマウスポインタを位置させ、マウスボタン等を操作して選定支援画像81の標本90(図8参照)上における表示範囲を変更する(すなわち、選定支援画像81の表示範囲の標本90上における位置を変更する)。これに伴い、図10に示すように、画面551上の染色画像91の標本90上における表示範囲も、選定支援画像81の表示範囲と同じになるように連動して変更される。オペレータが染色画像91の標本90上における表示範囲を変更した場合も同様に、選定支援画像81の標本90上における表示範囲が連動して変更される。
【0051】
これにより、オペレータは、選定支援画像81および染色画像91のうち一方の画像上において注目した領域について、他方の画像上において改めて当該領域を探すことなく、すぐに当該領域を観察することができる。
【0052】
領域選定支援装置1では、図8ないし図10に示すように、選定支援画像81および染色画像91上に、各画像上の位置を示す位置指示部553がそれぞれ表示されてもよい。位置指示部553は、例えば、マウス56b等によって変位可能な十字マークや矩形枠等である。選定支援画像81および染色画像91上にそれぞれ表示される2つの位置指示部553は、マウス56b等の移動に伴って、連動して移動可能であることが好ましい。これにより、オペレータは、選定支援画像81および染色画像91において、位置指示部553が示す略同じ位置に容易に注目することができる。
【0053】
オペレータは、選定支援画像81および染色画像91の表示態様を必要に応じて様々に変更しつつ、選定支援画像81上にて解析領域を指定する。具体的には、オペレータは、図11に例示する解析用ウインドウ87を選定支援画像81上の所望の位置にマウス56b等を用いて設定する。領域選定支援装置1では、選定支援画像81における解析用ウインドウ87の設定に連動して、染色画像91上にも解析用ウインドウ97が表示される。解析用ウインドウ97の大きさおよび染色画像91上の標本90に対する相対位置は、解析用ウインドウ87の大きさおよび選定支援画像81上の標本90に対する相対位置と同じである。図11に示す例では、解析用ウインドウ87の形状は矩形であり、その大きさは変更可能である。解析用ウインドウ87の大きさや位置が変更される際には、解析用ウインドウ97の大きさや位置も連動して変更される。
【0054】
解析用ウインドウ87,97の設定(すなわち、解析領域の指定)が終了すると、解析用画像取得部506(図2参照)が、染色画像91の解析用ウインドウ97に含まれる領域を切り出し、詳細解析用の画像として記憶部501へと送る。これにより、オペレータは、染色細胞96の集簇性の分布を選定支援画像81において容易に確認しつつ、染色画像91中の解析に適した領域を当該分布に基づいて選定することができる。例えば、オペレータは、染色細胞96の集簇性が高い領域を選定支援画像81において確認しつつ、当該領域に対応する染色画像91上の領域から、解析に適した領域を選定することができる。
【0055】
なお、オペレータは、選定支援画像81上で操作を行って解析用ウインドウ87を設定する代わりに、染色画像91上に直接的に解析用ウインドウ97を設定してもよい。この場合、解析用ウインドウ97に連動する解析用ウインドウ87が選定支援画像81上に表示されてもよい。また、解析用ウインドウ87,97の設定は、図9および図10に示すように、選定支援画像81および染色画像91の表示倍率や表示範囲が初期状態から変更された画面551において行われてもよい。
【0056】
ステップS14では、図12に示すように、染色画像91とは異なる他の染色画像92、および、当該他の染色画像92から選定支援画像81と同様の方法にて生成された他の選定支援画像82が、染色画像91および選定支援画像81と互いに重ならないように並べて画面551上に表示されてもよい。
【0057】
染色画像92は、染色画像91と同一の標本90を、染色画像91とは異なる染色方法(例えば、CD20抗体を用いた免疫染色法)にて染色した単染色画像である。染色画像91および染色画像92は、例えば、1つの標本90に対して、第1の抗体を用いた染色および撮像、標本90の脱色、並びに、第2の抗体を用いた染色および撮像、を順次行うことにより取得される。あるいは、1つの標本90に対して、複数種類の抗体をまとめて用いた染色を行い、撮像により得られた多色画像を各抗体に対応する色毎に色分解することにより、複数種類の単染色画像が得られてもよい。
【0058】
選定支援画像82では、選定支援画像81と同様に、染色細胞96の集簇性が最も高い範囲に含まれる分割領域は「黄色」に塗り潰され、選定支援画像82における第1領域821を構成する。図12では、図示の都合上、第1領域821には平行斜線を付さず、白色の領域として示す。染色細胞96の集簇性が2番目に高い範囲に含まれる分割領域は「緑色」に塗り潰され、選定支援画像82における第2領域822を構成する。図12では、第2領域822に比較的間隔が大きい平行斜線を付す。染色細胞96の集簇性が3番目に高い範囲に含まれる分割領域は「水色」に塗り潰され、選定支援画像82における第3領域823を構成する。図12では、第3領域823に第2領域822よりも間隔が小さい平行斜線を付す。染色細胞96の集簇性が最も低い範囲に含まれる分割領域は「紺色」に塗り潰され、選定支援画像82における第4領域824を構成する。図12では、第4領域824に最も間隔が小さい平行斜線を付す。図12に示す例では、表示色の誘目性が低くなるに従って平行斜線の間隔を小さくしている。
【0059】
図12に示す例では、選定支援画像81、染色画像91、選定支援画像82および染色画像92は、互いに位置合わせされた状態、かつ、標本90に対する縮尺が同じ状態にて表示される。すなわち、選定支援画像81,82および染色画像91,92は、選定支援画像81中における標本90の大きさおよび位置、染色画像91中における標本90の大きさおよび位置、選定支援画像82中における標本90の大きさおよび位置、並びに、染色画像92中における標本90の大きさおよび位置が略同じになるように、必要に応じて補正されて表示される。これにより、オペレータは、選定支援画像81,82および染色画像91,92を容易に見比べることができる。
【0060】
選定支援画像81,82および染色画像91,92の位置合わせは、例えば、公知のイメージレジストレーション技術によって自動的に行われてもよく、オペレータが手動により行ってもよい。手動で位置合わせが行われる際には、まず、オペレータがマウス56b(図1参照)等を操作して、選定支援画像81,82および染色画像91,92のそれぞれに基準点を設定する。当該基準点は、選定支援画像81,82および染色画像91,92のそれぞれにおいて、標本90上の同じ位置と思われる点に設定される。そして、選定支援画像81,82および染色画像91,92の各画像において、当該基準点が所定の位置(例えば、各画像の中心)に位置するように、画像の表示範囲が調整される。
【0061】
領域選定支援装置1では、画面551上における選定支援画像81および染色画像91の表示倍率と、選定支援画像82および染色画像92の表示倍率とが、連動して変更可能であることが好ましい。また、選定支援画像81および染色画像91の標本90上における表示範囲と、選定支援画像82および染色画像92の標本90上における表示範囲(すなわち、標本90のうち選定支援画像82および染色画像92として画面551上に表示される範囲)とが、連動して変更可能であることが好ましい。
【0062】
例えば、オペレータが、選定支援画像81上に図示省略のマウスポインタを位置させ、マウスホイール等を操作して選定支援画像81の表示倍率を変更すると、図13に示すように、画面551上の選定支援画像82および染色画像91,92の表示倍率も、選定支援画像81の表示倍率と同じになるように連動して変更される。選定支援画像81の表示倍率が初期状態よりも大きくされると、画面551上には、選定支援画像81,82の一部および染色画像91,92の一部のみが表示される。オペレータが選定支援画像82、染色画像91または染色画像92の表示倍率を変更した場合も同様に、他の3つの画像の表示倍率が連動して変更される。
【0063】
これにより、オペレータは、選定支援画像81,82および染色画像91,92のそれぞれにて表示倍率の調整を行うことなく、選定支援画像81,82および染色画像91,92を同一の表示倍率にて見比べることができる。
【0064】
また、オペレータは、図13に示すように選定支援画像81,82および染色画像91,92が初期状態(図12参照)よりも拡大された状態で、選定支援画像81上にマウスポインタを位置させ、マウスボタン等を操作して選定支援画像81の標本90(図12参照)上における表示範囲を変更する。これに伴い、図14に示すように、画面551上の選定支援画像82および染色画像91,92の標本90上における表示範囲も、選定支援画像81の表示範囲と同じになるように連動して変更される。オペレータが選定支援画像82、染色画像91または染色画像92の標本90上における表示範囲を変更した場合も同様に、他の3つの画像の標本90上における表示範囲が連動して変更される。
【0065】
これにより、オペレータは、選定支援画像81,82および染色画像91,92のうちいずれか1つの画像上において注目した領域について、他の3つの画像上において改めて当該領域を探すことなく、すぐに当該領域を観察することができる。
【0066】
領域選定支援装置1では、図12ないし図14に示すように、選定支援画像81,82および染色画像91,92上に、各画像上の位置を示す位置指示部553がそれぞれ表示されてもよい。位置指示部553は、例えば、マウス56b等によって変位可能な十字マークや矩形枠等である。選定支援画像81,82および染色画像91,92上にそれぞれ表示される4つの位置指示部553は、マウス56b等の移動に伴って、連動して移動可能であることが好ましい。これにより、オペレータは、選定支援画像81,82および染色画像91,92において、位置指示部553が示す略同じ位置に容易に注目することができる。
【0067】
オペレータは、選定支援画像81,82および染色画像91,92の表示態様を必要に応じて様々に変更しつつ、選定支援画像81または選定支援画像82上にて解析領域を指定する。例えば、オペレータは、図15に例示する解析用ウインドウ87を選定支援画像81上の所望の位置にマウス56b等を用いて設定することにより、解析領域を指定する(ステップS15)。領域選定支援装置1では、選定支援画像81における解析用ウインドウ87の設定に連動して、選定支援画像82上に解析用ウインドウ88が表示され、染色画像91,92上に解析用ウインドウ97,98が表示される。
【0068】
解析用ウインドウ88の大きさおよび選定支援画像82上の標本90に対する相対位置、解析用ウインドウ97の大きさおよび染色画像91上の標本90に対する相対位置、および、解析用ウインドウ98の大きさおよび染色画像92上の標本90に対する相対位置は、解析用ウインドウ87の大きさおよび選定支援画像81上の標本90に対する相対位置と同じである。図15に示す例では、解析用ウインドウ87の形状は矩形であり、その大きさは変更可能である。解析用ウインドウ87の大きさや位置が変更される際には、解析用ウインドウ88,97,98の大きさや位置も連動して変更される。
【0069】
解析用ウインドウ87,88,97,98の設定(すなわち、解析領域の指定)が終了すると、解析用画像取得部506(図2参照)が、染色画像91の解析用ウインドウ97に含まれる領域、および/または、染色画像92の解析用ウインドウ98に含まれる領域を切り出し、詳細解析用の画像として記憶部501へと送る(ステップS16)。これにより、オペレータは、染色細胞96の集簇性の分布を選定支援画像81,82において容易に確認しつつ、染色画像91,92中の解析に適した領域を当該分布に基づいて選定することができる。例えば、オペレータは、選定支援画像81および選定支援画像82の双方において染色細胞96の集簇性が最も高い領域(上記例では、「黄色」にて表示されている領域)を画面551上にて確認しつつ、当該領域に対応する染色画像91,92上の領域から、解析に適した領域を選定することができる。
【0070】
なお、オペレータは、選定支援画像81上で操作を行って解析用ウインドウ87を設定する代わりに、選定支援画像82上に解析用ウインドウ88を設定してもよい。この場合も、解析用ウインドウ88に連動する解析用ウインドウ87,97,98が、選定支援画像81、染色画像91および染色画像92上にそれぞれ表示される。
【0071】
また、オペレータは、選定支援画像81上で操作を行って解析用ウインドウ87を設定する代わりに、染色画像91上に解析用ウインドウ97を直接的に設定してもよく、染色画像92上に解析用ウインドウ98を直接的に設定してもよい。これらの場合、解析用ウインドウ97または解析用ウインドウ98に連動する解析用ウインドウ87,88が選定支援画像81,82上に表示されてもよい。また、解析用ウインドウ87,88,97,98の設定は、図13および図14に示すように、選定支援画像81,82および染色画像91,92の表示倍率や表示範囲が初期状態から変更された画面551において行われてもよい。
【0072】
上述のように、染色画像91,92の双方に基づいて解析領域を指定する場合、ステップS14では、必ずしも選定支援画像81と選定支援画像82とが画面551上に並べて表示される必要はない。例えば、図16および図17に示すように、マスク生成部507(図2参照)が染色画像92(図12参照)に基づいて生成したマスク85a,85bが、選定支援画像81上に重ねて表示されることにより、選定支援画像81の一部のみが視認可能な状態で表示されてもよい。マスク生成部507は、例えば、染色画像91と位置合わせされた染色画像92を閾値処理することにより、陽性領域と陰性領域とを示す二値画像を生成する。そして、陽性領域および陰性領域のうち一方が透過領域とされ、他方がマスク領域(すなわち、不透過領域)とされることにより、マスク85a,85bが生成される。
【0073】
図16に例示されるマスク85aでは、染色画像92において染色細胞96の集簇性が最も高い範囲に含まれる領域(すなわち、図12に示す第1領域821に対応する領域)のみが陽性領域とされ、当該陽性領域が透過領域である開口851aとされる。また、開口851a以外の領域(すなわち、陰性領域)は、背景色である「黒色」にて塗り潰されてマスク領域とされる。
【0074】
図16に示す例では、染色画像92に基づいて生成されたマスク85aが、染色画像91に基づいて生成された選定支援画像81上に重ねて表示される。選定支援画像81では、染色画像92の陽性領域と重なる領域のみが視認可能とされるため、オペレータは、視認可能な当該領域において解析領域を指定することにより、染色画像92における陽性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。例えば、開口851a内において選定支援画像81の第1領域811上に解析領域を指定することにより、染色画像92における陽性領域に限定した上で、染色画像91において染色細胞96の集簇性が高い領域を解析領域として選定することができる。
【0075】
図17に例示されるマスク85bでは、染色画像92において染色細胞96の集簇性が最も高い範囲に含まれる領域、および、当該集簇性が2番目に高い範囲に含まれる領域(すなわち、図12に示す第1領域821および第2領域822に対応する領域)が陽性領域とされ、当該陽性領域が透過領域である開口851bとされる。また、開口851b以外の領域(すなわち、陰性領域)は、背景色である「黒色」にて塗り潰されてマスク領域とされる。
【0076】
図17に示す例では、染色画像92に基づいて生成されたマスク85bが、染色画像91に基づいて生成された選定支援画像81上に重ねて表示される。この場合も、オペレータは、選定支援画像81上の視認可能な領域(すなわち、マスク85bの開口851bと重なる領域)において解析領域を指定することにより、染色画像92における陽性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0077】
なお、図16および図17に示す例では、選定支援画像81は、染色画像92において陰性領域とされた領域によってマスクされているが、上述のように、染色画像92において陽性領域とされた領域によってマスクされてもよい。この場合、オペレータは、染色画像92における陰性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0078】
ステップS14では、上述のマスク85a,85bに代えて、図18に示すように、境界線取得部508(図2参照)が染色画像92(図12参照)に基づいて取得した境界線86aが、選定支援画像81上に重ねて表示されてもよい。境界線取得部508は、例えば、染色画像92を閾値処理することにより、陽性領域と陰性領域とを示す二値画像を生成し、陽性領域と陰性領域との境界線86aを取得する。図18に示す例では、染色画像92において染色細胞96の集簇性が最も高い範囲に含まれる領域(すなわち、図12に示す第1領域821に対応する領域)のみが陽性領域とされ、他の領域は陰性領域とされる。そして、当該陽性領域の外周縁が境界線86aとされる。
【0079】
オペレータは、境界線86aの内側にて解析領域を指定することにより、染色画像92における陽性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。また、オペレータは、境界線86aの外側にて解析領域を指定することにより、染色画像92における陰性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。さらに、オペレータは、境界線86aと重なる位置にて解析領域を指定することにより、染色画像92における陽性領域と陰性領域との境界上に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0080】
また、ステップS14では、図19に示すように、境界線取得部508(図2参照)が染色画像92に基づいて取得した境界線86b,86cが、選定支援画像81上に重ねて表示されてもよい。境界線取得部508は、例えば、染色画像92を閾値処理することにより、陽性領域、陰性領域、および、陽性領域と陰性領域との境界の領域(以下、「境界領域」とも呼ぶ。)を示す画像を生成し、陽性領域と境界領域との境界線86b、および、境界領域と陰性領域との境界線86cを取得する。
【0081】
図19に示す例では、染色画像92において染色細胞96の集簇性が最も高い範囲に含まれる領域(すなわち、図12に示す第1領域821に対応する領域)が陽性領域とされ、染色細胞96の集簇性が2番目に高い範囲に含まれる領域(すなわち、図12に示す第2領域822に対応する領域)が境界領域とされ、他の領域は陰性領域とされる。そして、当該陽性領域の外周縁が境界線86bとされ、当該陰性領域の内周縁が境界線86cとされる。
【0082】
オペレータは、境界線86bの内側にて解析領域を指定することにより、染色画像92における陽性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。また、オペレータは、境界線86bと境界線86cとの間にて解析領域を指定することにより、染色画像92における境界領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。さらに、オペレータは、境界線86bの外側にて解析領域を指定することにより、染色画像92における陰性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0083】
ステップS12における各分割領域95への表示色の割り当ては、必ずしも、1つの染色画像91における染色細胞96の集簇性のみに基づいて行われる必要はなく、互いに異なる複数種類の染色方法によって同一の標本90を染色して得られた複数種類の染色画像のそれぞれにおける染色細胞96の集簇性に基づいて行われてもよい。
【0084】
例えば、上述の染色画像91および染色画像92が表示色の割り当てに用いられる場合、まず、ステップS11よりも前に、染色画像91と染色画像92との位置合わせが行われる。当該位置合わせは、上述のように、公知のイメージレジストレーション技術によって自動的に行われてもよく、オペレータが手動により行ってもよい。また、染色画像91および染色画像92の標本90に対する縮尺が異なっている場合は、当該縮尺も同じになるように画像処理される。
【0085】
続いて、上述のように、染色画像91が図3に示す複数の分割領域95に分割される(図5:ステップS11)。また、染色画像92が、染色画像91の分割態様と同様の態様にて、複数の分割領域95に分割される(図20:ステップS41)。すなわち、染色画像92には、染色画像91に設定された複数の分割領域95と同じ大きさおよび同じ配置の複数の分割領域95が設定される。なお、ステップS41は、ステップS11と並行して行われてもよく、ステップS11よりも前または後に行われてもよい。
【0086】
ステップS11,S41が終了すると、表示色割当部503(図2参照)により、染色画像91の各分割領域95、および、染色画像92の各分割領域95について、染色細胞96の集簇性が求められる。そして、各分割領域95に対して、染色細胞96の集簇性が高くなるに従って誘目性が高くなるように、一の表示色が割り当てられる(ステップS12)。
【0087】
ステップS12における表示色の割り当ては、分割領域95における染色画像91および染色画像92のそれぞれの染色細胞96の集簇性に基づいて行われる。例えば、各分割領域95において、染色画像91の染色細胞96の集簇性および染色画像92の染色細胞96の集簇性のうち低い方の集簇性に基づいて表示色が割り当てられてもよい。あるいは、各分割領域95において、染色画像91の染色細胞96の集簇性および染色画像92の染色細胞96の集簇性のうち高い方の集簇性に基づいて表示色が割り当てられてもよい。いずれの場合も、ステップS14において、複数種類の染色画像における染色細胞96の集簇性を考慮した選定支援画像を表示することができる。
【0088】
あるいは、ステップS12では、複数種類の染色画像を画素毎にMax合成した合成染色画像(すなわち、各画素において、複数種類の染色画像のうち最大の画素値を当該画素の画素値とした画像)を準備し、当該合成染色画像を複数の分割領域95に分割した上で、各分割領域95における合成染色画像の染色細胞96の集簇性に基づいて、表示色の割り当てが行われてもよい。この場合、合成染色画像を複数の分割領域95に分割することにより、例えば上述のステップS11,S41が同時に行われる。当該方法によれば、ステップS14にて表示される上述の選定支援画像において、複数種類の染色画像のいずれかにおいて染色細胞96の集簇性が高い領域を、高い誘目性にて表示することができる。
【0089】
以上に説明したように、免疫染色法による染色画像における解析領域の選定を支援する領域選定支援方法は、免疫染色法による標本90の染色画像91を複数の分割領域95に分割する工程(ステップS11)と、当該複数の分割領域95のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域95における染色細胞96の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程(ステップS12)と、当該複数の分割領域95のそれぞれをステップS12にて割り当てられた表示色にて塗り潰した選定支援画像81を生成する工程(ステップS13)と、選定支援画像81を画面551上に表示する工程(ステップS14)と、を備える。これにより、染色画像91の各位置における染色細胞96の集簇性の高低を容易に視認することができる。その結果、オペレータは、染色細胞96の集簇性に基づいて染色画像91中の解析に適した領域を解析領域として容易に選定することができる。
【0090】
上述のように、ステップS12では、分割領域95における染色細胞96の集簇性は、分割領域95における染色強度に基づいて求められることが好ましい。この場合、染色画像91中の個々の細胞を特定する必要がないため、ステップS12における表示色の割り当てに要する処理量が低減されるとともに、低倍率で取得された染色画像91を用いた処理が可能となる。その結果、ステップS12に要する時間を短くすることができる。
【0091】
上述のように、分割領域95における染色細胞96の集簇性の算出は、分割領域95を構成する複数の小領域のそれぞれの染色強度を得る工程(ステップS31)と、当該複数の小領域の染色強度のうち最大値を分割領域95の代表値として画像縮小を行う工程(ステップS32)と、を備えることが好ましい。これにより、分割領域95に含まれる染色細胞96の数が少ない場合であっても、選定支援画像81における当該分割領域95の誘目性を向上することができる。
【0092】
上述のように、ステップS12では、分割領域95における染色細胞96の集簇性は、分割領域95における陽性細胞の数に基づいて求められることも好ましい。これにより、陽性細胞が多い領域の誘目性向上を精度良く行うことができる。
【0093】
上述のように、ステップS14において、染色画像91、または、免疫染色法による標本90の他の染色画像92から選定支援画像81と同様の方法にて生成された他の選定支援画像82が、選定支援画像81と位置合わせされた状態で画面551上に並べて表示されることが好ましい。選定支援画像81および染色画像91が並べて表示される場合、一般的に標本90における組織の構造は染色画像91の方が分かりやすいため、オペレータは、染色画像91における実際の染色細胞96の分散態様等を見ながら解析領域の選定を行うことができる。また、選定支援画像81のみでは判断が困難な場合もあるアーチファクト(例えば、組織のよれ等によって非特異的に染色性が強くなったもの等)について、オペレータは、選定支援画像81および染色画像91を見ることにより、精度良く判断することができる。選定支援画像81および他の選定支援画像82が並べて表示される場合、オペレータは、選定支援画像81および他の選定支援画像82を見比べることにより、染色画像91および他の染色画像92の双方における染色細胞96の集簇性を考慮した解析領域の選定を容易に行うことができる。
【0094】
上述のように、好ましくは、選定支援画像81の表示倍率と、染色画像91または他の選定支援画像82の表示倍率とが、連動して変更可能である。これにより、オペレータは、選定支援画像81と、染色画像91または他の選定支援画像82とのそれぞれにおいて表示倍率の調整を行うことなく、複数の画像を同一の表示倍率にて容易に見比べることができる。
【0095】
上述のように、好ましくは、選定支援画像81の標本90上における表示範囲と、染色画像91または他の選定支援画像82の標本90上における表示範囲とが、連動して変更可能である。これにより、オペレータは、選定支援画像81と、染色画像91または他の選定支援画像82とのうち一の画像上において注目した領域について、他の画像上において改めて当該領域を探すことなく、すぐに当該領域を観察することができる。
【0096】
上述のように、好ましくは、選定支援画像81上に表示されて画像上の位置を示す位置指示部553と、染色画像91または他の選定支援画像82上に表示されて画像上の位置を示す位置指示部553とが、連動して移動可能である。これにより、オペレータは、選定支援画像81と、染色画像91または他の選定支援画像82とにおいて、位置指示部553が示す略同じ位置に容易に注目することができる。
【0097】
上述のように、ステップS14において、選定支援画像81の標本90に対する縮尺と、染色画像91または他の選定支援画像82の標本90に対する縮尺とは同じであることが好ましい。これにより、オペレータは、選定支援画像81と、染色画像91または他の選定支援画像82とを容易に見比べることができる。
【0098】
上述の領域選定支援方法は、ステップS12よりも前に、免疫染色法による標本90の他の染色画像92を、ステップS11における分割態様と同様の態様にて複数の分割領域95に分割する工程(ステップS41)をさらに備えることが好ましい。また、ステップS12における表示色の割り当ては、分割領域95における染色画像91および他の染色画像92のそれぞれの染色細胞96の集簇性に基づいて行われることが好ましい。これにより、オペレータは、染色画像91および染色画像92の双方における染色細胞96の集簇性を考慮した解析領域の選定を容易に行うことができる。
【0099】
上述のように、好ましくは、免疫染色法による標本90の他の染色画像92を閾値処理することにより、陽性領域と陰性領域とを示す二値画像が生成され、ステップS14において、選定支援画像81が当該陽性領域または当該陰性領域によってマスクされる。これにより、オペレータは、染色画像92における陽性領域または陰性領域に限定した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0100】
上述のように、好ましくは、免疫染色法による標本90の他の染色画像92を閾値処理することにより陽性領域または陰性領域の境界線86a,86b,86cが取得され、ステップS14において、選定支援画像81に境界線86a,86b,86cが重ねて表示される。これにより、オペレータは、染色画像92における陽性領域および陰性領域等も考慮した上で、染色画像91における染色細胞96の集簇性を考慮して解析領域を選定することができる。
【0101】
上述の領域選定支援装置1は、画像分割部502と、表示色割当部503と、選定支援画像生成部504と、画面551とを備える。画像分割部502は、免疫染色法による標本90の染色画像91を複数の分割領域95に分割する。表示色割当部503は、複数の分割領域95のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域95における染色細胞96の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる。選定支援画像生成部504は、複数の分割領域95のそれぞれを表示色割当部503により割り当てられた表示色にて塗り潰した選定支援画像81を生成する。画面551は、選定支援画像81を表示する。これにより、上記と同様に、オペレータは、染色細胞96の集簇性に基づいて染色画像91中の解析に適した領域を解析領域として容易に選定することができる。
【0102】
また、上述のプログラム572がコンピュータによって実行されることにより、免疫染色法による標本90の染色画像91を複数の分割領域95に分割する工程(ステップS11)と、当該複数の分割領域95のそれぞれに対して、誘目性が異なる複数の色を含む表示色群から、分割領域95における染色細胞96の集簇性が高くなるに従って誘目性が高くなるように一の表示色を割り当てる工程(ステップS12)と、当該複数の分割領域95のそれぞれをステップS12にて割り当てられた表示色にて塗り潰した選定支援画像81を生成する工程(ステップS13)と、選定支援画像81を画面551上に表示する工程(ステップS14)と、が行われる。これにより、上記と同様に、オペレータは、染色細胞96の集簇性に基づいて染色画像91中の解析に適した領域を解析領域として容易に選定することができる。
【0103】
上述の領域選定支援方法、領域選定支援装置1およびプログラム572では、様々な変更が可能である。
【0104】
例えば、ディスプレイ55の画面551上に表示される画像の数は、上記例には限定されず、様々に変更されてよい。また、画面551上における画像の配置も様々に変更されてよい。
【0105】
領域選定支援装置1では、複数のディスプレイ55を縦方向および/または横方向に並べて1つの表示部として使用する場合、上述の画面551は、当該複数のディスプレイ55の画面をまとめたものである。
【0106】
上述の境界線86a,86b,86cは、マスク85aまたはマスク85bと共に、選定支援画像81上に重ねて表示されてもよい。
【0107】
選定支援画像81,82では、例えば、各分割領域95における染色細胞96の集簇性が高くなるに従って誘目性が高くなるように割り当てられた上述の表示色によって、当該集簇性に応じた等高線が表示されてもよい。この場合、同一の表示色が割り当てられるとともに隣接して配置される複数の分割領域95の集合の外周縁が、当該表示色にて表示される。また、隣接する全ての分割領域95と異なる表示色が割り当てられた一の分割領域95の外周縁は、当該一の分割領域95に割り当てられた表示色にて表示される。なお、選定支援画像81,82において上記等高線が表示される場合、各分割領域95の塗りつぶしは省略されてもよい。この場合であっても、上記と略同様に、染色画像91,92の各位置における染色細胞96の集簇性の高低を容易に視認することができる。
【0108】
上述のように、画面551上に複数の画像(例えば、選定支援画像81,82および染色画像91,92)が表示される場合、当該複数の画像の表示倍率は、連動することなく個別に変更可能であってもよい。また、当該複数の画像の標本90上における表示範囲は、連動することなく個別に変更可能であってもよい。さらに、当該複数の画像上にそれぞれ表示される位置指示部553は、連動することなく個別に移動可能であってもよい。なお、位置指示部553の表示は省略されてもよい。
【0109】
領域選定支援装置1の記憶部501に記憶される染色画像は、例えば、1つの標本90に対して複数種類の抗体をまとめて用いた多色画像であってもよい。この場合、例えば、当該多色画像を色分解することにより、特定の1つの抗体に対応する単染色画像が取得され、当該単染色画像が上述の染色画像91とされる。あるいは、上記多色画像が染色画像91とされ、当該多色画像から特定の1つの抗体に対応する染色細胞96が検出されてその集簇性が求められ、当該集簇性に基づいて選定支援画像81が生成されてもよい。
【0110】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【0111】
1 領域選定支援装置
81,82 選定支援画像
86a,86b,86c 境界線
90 標本
91,92 染色画像
95 分割領域
96 染色細胞
502 画像分割部
503 表示色割当部
504 選定支援画像生成部
551 画面
553 位置指示部
572 プログラム
S11~S16,S21~S25,S31~S33,S41 ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20