特開 2022-144801 標本画像のレジストレーション方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022144801

(43)【公開日】2022-10-03

(54)【発明の名称】標本画像のレジストレーション方法、プログラムおよび記録媒体

(51)【国際特許分類】

   G01N 33/48 20060101AFI20220926BHJP

   G06T 7/00 20170101ALI20220926BHJP

   G06T 7/32 20170101ALI20220926BHJP

【ＦＩ】

G01N33/48 M

G01N33/48 P

G06T7/00 630

G06T7/32

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021045966

(22)【出願日】2021-03-19

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】平井 真紀

(72)【発明者】

【氏名】荻 寛志

(72)【発明者】

【氏名】古田 智靖

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045BA14

2G045BB24

2G045CB01

2G045FA16

2G045FA19

2G045GB01

2G045JA01

5L096BA03

5L096BA13

5L096FA09

5L096FA69

5L096FA76

5L096GA08

5L096JA03

5L096JA13

(57)【要約】

【課題】複数種の染色により得られた複数の標本画像の間で染色状態が大きく異なる場合でも、レジストレーションの成功率を向上させる。
【解決手段】本発明に係る標本画像のレジストレーション方法は、複数種の染色が施された複数の標本画像から、レジストレーション対象である第１画像および第２画像とは異なる第３画像を少なくとも１つ選出する工程（Ｓ２０５）と、第１画像と第３画像との間のレジストレーション量、および、第２画像と第３画像との間のレジストレーション量をそれぞれ求める工程と（Ｓ２０６，Ｓ２０７）、第１画像と第３画像との間のレジストレーション量と、第２画像と第３画像との間のレジストレーション量とに基づき、第１画像と第２画像との間のレジストレーション量を求める工程（Ｓ２０８）とを備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

生物標本に複数種の染色を施し染色ごとに撮像してなる複数の標本画像のうち互いに異なる第１画像と第２画像との間でレジストレーションを行う、標本画像のレジストレーション方法であって、
前記複数の標本画像を探索して、前記第１画像および前記第２画像とは異なる第３画像を少なくとも１つ選出する工程と、
前記第１画像と前記第３画像との間のレジストレーション量、および、前記第２画像と前記第３画像との間のレジストレーション量をそれぞれ求める工程と、
前記第１画像と前記第３画像との間のレジストレーション量と、前記第２画像と前記第３画像との間のレジストレーション量とに基づき、前記第１画像と前記第２画像との間のレジストレーション量を求める工程と
を備える、標本画像のレジストレーション方法。

【請求項2】

前記第３画像は、前記第１画像および前記第２画像を除いた複数の前記標本画像のうち前記第２画像との類似度が最も高い画像を含む、請求項１に記載の標本画像のレジストレーション方法。

【請求項3】

前記第３画像は、前記第１画像および前記第２画像を除いた複数の前記標本画像のうち前記第２画像との差分が最も小さい画像を含む、請求項１または２に記載の標本画像のレジストレーション方法。

【請求項4】

前記第１画像および前記第２画像を除いた複数の前記標本画像のそれぞれについて、前記第２画像との差分を算出し、その結果に基づき前記第３画像を選出する、請求項３に記載の標本画像のレジストレーション方法。

【請求項5】

前記差分は、２つの画像間で互いに対応する位置の画素間における輝度の差の絶対値を全画素につき合計した値に基づく指標値により評価される、請求項３または４に記載の標本画像のレジストレーション方法。

【請求項6】

前記標本画像のうち前記差分が小さいものから順に複数の前記第３画像を選出する、請求項３ないし５のいずれかに記載の標本画像のレジストレーション方法。

【請求項7】

複数の前記第３画像の各々について、前記第１画像との間でのレジストレーション量および前記第２画像との間でのレジストレーション量をそれぞれ求める、請求項６に記載の標本画像のレジストレーション方法。

【請求項8】

前記標本画像のうち前記差分が小さいものから順に複数の画像を選出し、そのうち前記第１画像との差分が小さいものから順に少なくとも１つを前記第３画像とする、請求項３ないし５のいずれかに記載の標本画像のレジストレーション方法。

【請求項9】

前記第１画像を基準としたときの前記第３画像のレジストレーション量と、前記第３画像を基準としたときの前記第２画像のレジストレーション量とを合成して得られる量を、前記第１画像を基準とする前記第２画像のレジストレーション量とする、請求項１ないし８のいずれかに記載の標本画像のレジストレーション方法。

【請求項10】

コンピューター装置に、請求項１ないし９のいずれかに記載された標本画像のレジストレーション方法の各工程を実行させるためのプログラム。

【請求項11】

請求項１０に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、染色された生物標本を評価するための画像解析技術に関するものであり、特に、同一標本を撮像した複数の画像間のレジストレーション技術に関する。

【背景技術】

【0002】

近年の免疫組織化学の分野においては、標本を細胞の集団として見るだけでなく、それを構成する個々の細胞に着目して、タンパク質やその関連物質等の生体物質の発現量や位置等を細胞単位で計測する、いわゆるシングルセル解析が注目されている。その代表的な解析技術として、細胞を流体中に分散させて１つずつ定量的に計測するフローサイトメトリーが広く行われてきた。

【0003】

一方、画像解析技術の高度化に伴い、組織標本を分離せずそのまま撮像し、画像処理によって解析を行うイメージサイトメトリーも実用化されてきている。イメージサイトメトリーを利用した多重免疫染色法の解析技術では、生体から採取された組織切片や、人工的に培養された細胞組織等の生物標本に対し、染色、撮像および脱色を繰り返すことで、複数種の染色それぞれに対応した複数の標本画像が取得される。

【0004】

この技術においては、互いに異なる染色が施された複数の標本画像間の相互参照を可能とするために、標本画像間の位置合わせ（レジストレーション）を行う必要がある。例えば特許文献１に記載の技術では、互いに異なる染色が施された２つの標本画像間でのレジストレーションが次のようにして行われる。すなわち、２つの画像のうち組織の変形等で信頼できない部分を抽出してこれを除外する。そして、残りの信頼できる部分から、画像処理技術を用いて互いに対応する箇所を検出することで、２つの画像の間の位置関係が特定される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－０３２３１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

同一標本に対し多数種の染色方法が適用される多重免疫染色の場合、染色の種類により、標本中で当該染色により発色する箇所やその濃淡、色味等の染色状態は様々に異なる。このため、例えば無作為に選ばれた２つの標本画像の間で画像処理により自動的にレジストレーションを行う場合において、選択された標本画像間で染色状態の違いが大きいことに起因して互いに対応する箇所を検出することができず、結果としてレジストレーションに失敗することがあり得る。

【0007】

ここでいうレジストレーションの失敗とは、画像処理によって導出された２つの標本画像の間の位置関係が、実際の標本における位置関係を正しく表していないことを意味する。標本画像間の位置関係は、例えば両者の相対的な位置ずれ量の大きさ、またはその位置ずれを補正するために必要な一方画像に対する他方画像の移動量の大きさを指標するレジストレーション量により、定量的に表すことが可能である。

【0008】

この発明は上記課題に鑑みなされたものであり、複数種の染色により得られた複数の標本画像の間でレジストレーションを行う技術において、染色状態が大きく異なる標本画像の間におけるレジストレーションの成功率を向上させることを目的とする。

【課題を解決するための手段】

【0009】

この発明の一の態様は、生物標本に複数種の染色を施し染色ごとに撮像してなる複数の標本画像のうち互いに異なる第１画像と第２画像との間でレジストレーションを行う、標本画像のレジストレーション方法であって、上記目的を達成するため、前記複数の標本画像を探索して、前記第１画像および前記第２画像とは異なる第３画像を少なくとも１つ選出する工程と、前記第１画像と前記第３画像との間のレジストレーション量、および、前記第２画像と前記第３画像との間のレジストレーション量をそれぞれ求める工程と、前記第１画像と前記第３画像との間のレジストレーション量と、前記第２画像と前記第３画像との間のレジストレーション量とに基づき、前記第１画像と前記第２画像との間のレジストレーション量を求める工程とを備える、標本画像のレジストレーション方法である。

【0010】

このように構成された発明では、仮に第１画像と第２画像との間で染色状態の乖離が大きく対応する箇所が見出せない場合であっても、これらとは異なる第３画像を間に仲介させて、第１画像と第３画像との間、および第２画像と第３画像との間でそれぞれレジストレーションが成功すれば、それらで求められたレジストレーション量から間接的に、第１画像と第２画像とのレジストレーションを行うことが可能となる。

【発明の効果】

【0011】

上記のように、本発明によれば、第１画像と第２画像との間で染色状態の乖離が大きく対応する箇所が見出せない場合であっても、これらとは異なる第３画像を仲介させることにより、レジストレーションの成功率を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明を適用可能なイメージサイトメトリー技術の流れを示すフローチャートである。

【図2】本実施形態が扱う標本画像の例を示す図である。

【図3】レジストレーション処理の原理を示す図である。

【図4】本実施形態におけるレジストレーション処理を説明する図である。

【図5】本発明に係るレジストレーション処理を示すフローチャートである。

【図6】特徴空間内での基準画像と対象画像との関係を模式的に示す図である。

【図7】本実施形態の評価結果の一例を示す図である。

【図8】仲介画像の選出方法の他の事例を示す図である。

【発明を実施するための形態】

【0013】

図１は本発明を適用可能なイメージサイトメトリー技術の流れを示すフローチャートである。最初に、生体から採取された組織切片や人工的に培養された組織等が適宜の厚みにスライスされスライドガラス等の適宜の担体に固定されることにより、評価の対象となる生物標本が作製される（ステップＳ１０１）。この生物標本に対し、適宜の染色方法による染色（ステップＳ１０２）、撮像（ステップＳ１０３）および脱色（ステップＳ１０４）が、染色の種類数に応じた所定回数繰り返して行われる（ステップＳ１０５）。すなわち、標本は多重免疫染色され、染色ごとに撮像を行うことで各染色に対応する複数の標本画像が取得される。

【0014】

次に、それらの標本画像間の位置合わせを行うためのレジストレーションが行われる（ステップＳ１０６）。染色、撮像、脱色が繰り返されることに起因して、複数の標本画像の間では、仮に同一標本の同一箇所を撮像したものであっても実際の撮像範囲には相互にずれが生じる。このような画像間の位置ずれ量を把握することで、位置ずれの影響を排除して画像の重ね合わせを可能とするための処理がレジストレーション処理である。この処理は、本発明に係る標本画像のレジストレーション方法の一実施形態を好適に適用可能なものであり、その具体的な処理内容については後で詳しく説明する。

【0015】

１つまたは複数の標本画像から個々の細胞が占める細胞領域を同定した後、その領域を、相互に位置合わせされた他の標本画像に適用することにより、全標本画像の細胞領域が同定される（ステップＳ１０７）。そして、個々の細胞に対して定量的な解析を施すサイトメトリーが実行される（ステップＳ１０８）。細胞領域の同定およびサイトメトリーの手法については種々のものが公知であり、本実施形態でもそれらを適宜選択して適用可能である。そのため、これらについては詳しい説明を省略する。

【0016】

図２は本実施形態が扱う標本画像の例を示す図である。図２（ａ）は生物標本の一例を模式的に示す図であり、ここでは複数の細胞Ｃを含む組織標本Ｓを考えることとする。各細胞Ｃは、細胞膜Ｍ、細胞質Ｐおよび細胞核Ｎ等から構成される。多重免疫染色（免疫組織染色）では、細胞Ｃおよびそれを含む組織を構成する生体由来物質のうち特定のものを選択的に染色する染色方法が複数種、逐次的に標本に施される。

【0017】

染色ごとに標本の少なくとも一部を撮像視野ＦＶに収めて撮像することで、複数の標本画像が得られる。それらの標本画像ではそれぞれ特定の生体由来物質が染色されており、染色される箇所や濃度等の染色状態は染色の種類により様々である。図２（ｂ）は組織標本Ｓ全体が一様に染色された例を示しており、図２（ｃ）は細胞核Ｎのみが選択的に染色された例を示している。また、図２（ｄ）は細胞質Ｐが選択的に染色された例を示しており、図２（ｅ）は、一部の細胞の内部にのみ含まれる特定の生体由来物質が染色された例を示している。

【0018】

例えば特定の生体由来物質が発現している細胞の割合や、複数の生体由来物質の発現パターンの関係性の解析を行うためには、これら各種の染色方法で染色された標本画像を相互に参照する必要があり、そのために、各標本画像間の位置関係が明確になっている必要がある。このために、標本画像間のレジストレーション処理（図１のステップＳ１０６）が実行される。

【0019】

図３はレジストレーション処理の原理を示す図である。複数の標本画像は、同一標本の同一範囲を撮像したものであるから、標本上で互いの撮像視野が一致していることが望ましい。しかしながら、標本に対し染色、撮像、脱色を繰り返すという作業の性質上、ある程度の位置ずれや歪みが生じることは避けられない。

【0020】

原理的には、２つの画像間で互いに対応する領域の位置がそれぞれの画像内で特定されれば、画像の相対的な位置関係を一義的に決めることができる。例えば画像平面に沿った方向および該平面に垂直な軸回りの回転方向での画像間の位置ずれ量は、両画像内で互いに対応する少なくとも２点が特定されれば求めることができる。例えば図３（ａ）に示すように、複数の標本画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅ，…上で互いに対応する２点Ｐａ，Ｐｂの画像内における位置から、各標本画像の位置関係を特定することが可能である。それらの２点がいずれも重なり合うように２つの画像を位置合わせすることで、レジストレーションの目的は達成される。

【0021】

例えば図３（ｂ）に示すように、１つの標本画像Ｉａを基準として、画像平面に平行なＸ方向およびこれに直交するＹ方向への移動と、ＸＹ平面に垂直な軸回りのθ方向の回転とを組み合わせて他の標本画像を移動させることにより、点Ｐａ，Ｐｂが互いに重なり合うような位置合わせを行うことが可能である。

【0022】

しかしながら、各標本画像における染色状態は様々に異なり、ある標本画像で鮮明に染色されている生体由来物質が、他の標本画像ではほとんど顕像化されていないといった状況があり得る。例えばある種のタンパク質を染色するような染色方法の結果と、当該タンパク質が発色しない染色方法の結果との間に全く相関性が見られないケースがある。このため、２つの標本画像間で、互いに対応する点または領域を特定することができず、レジストレーションが失敗することがあり得る。

【0023】

レジストレーション処理の具体的手法、すなわち２つの画像間で互いに対応する領域を検出し、その結果に基づき両画像間の位置関係を特定する技術としては、例えば公知のパターンマッチング技術など各種の画像処理技術を適用することが可能である。これらの技術を用いて実質的に相関のない２つの画像の間でレジストレーションを試行すれば、何らかの結果が返される。ただし、その結果が標本上での位置関係を正しく表しているとは限らない。また、染色状態や画像の組み合わせによっては、画像間で有意な共通点を見出すこと自体ができない場合もあり得る。このように、画像処理によるレジストレーションの結果として正しい位置関係を表す情報が得られない状態を総称して、ここでは「レジストレーションの失敗」と称している。

【0024】

図４は本実施形態におけるレジストレーション処理を説明する図である。図４（ａ）に示すように、第１の標本画像Ｉ１内で特徴的な２点Ｐ１，Ｐ２が第２の標本画像Ｉ２内では検出できない一方、標本画像Ｉ２内で特徴的な２点Ｐ３，Ｐ４が標本画像Ｉ１内では検出できないケースを考える。このようなケースでは、互いに対応する領域を検出することができず、レジストレーションが失敗する確率が高い。

【0025】

本実施形態では、図４（ｂ）に示すように、２つの標本画像Ｉ１，Ｉ２に加えて、これら以外の標本画像の中から両者の中間的特徴を有する第３の標本画像Ｉ３を選出し、この画像Ｉ３を標本画像Ｉ１，Ｉ２の間に介在させてレジストレーションを試行する。具体的には、第１の標本画像Ｉ１と第３の標本画像Ｉ３との間で共通する特徴に基づきレジストレーションを行う一方、第２の標本画像Ｉ２と第３の標本画像Ｉ３との間でも、これらに共通する特徴に基づきレジストレーションを行う。

【0026】

図４（ｂ）に点線矢印で示すように、第１の標本画像Ｉ１と第３の標本画像Ｉ３との位置関係、および、第２の標本画像Ｉ２と第３の標本画像Ｉ３との位置関係が特定できれば、その結果を用いて、図４（ｂ）に破線矢印で示すように、第１の標本画像Ｉ１と第２の標本画像Ｉ２との位置関係を間接的に表すことが可能となる。以下、この原理に基づく本実施形態のレジストレーション処理の具体的内容について説明する。なお、以下では第３の標本画像を「仲介画像」と称することがある。

【0027】

図５は本発明に係るレジストレーション処理を示すフローチャートである。この処理は図１のステップＳ１０６に相当する処理であり、例えばコンピューター装置が予め作成されたプログラムを実行することにより実現可能な処理である。この処理を実行するためのコンピューター装置としては、例えばパーソナルコンピューターとして市販されている一般的なハードウェア構成を有するものを適用可能である。具体的には、演算処理装置、メモリやストレージなどの記憶手段、入力デバイスおよび表示デバイスを備えた装置を用いることができる。

【0028】

まず、複数の標本画像の中から、レジストレーションの基準となる１つの画像を基準画像として、またこれとの間でレジストレーション処理の対象となる他の１つの画像を対象画像として選出する（ステップＳ２０１）。ここでは図４と関連付けて、第１の標本画像Ｉ１を基準画像、第２の標本画像Ｉ２を対象画像とした場合を考える。なお、２つの画像の間の相対位置関係を求めるという意味から、いずれの画像を基準画像としても技術的には等価である。

【0029】

基準画像および対象画像の選出基準は任意である。例えば、特定の染色方法に係る１つの標本画像が予め基準画像として定められており、他の標本画像から無作為に選出された１つの標準画像を対象画像とすることができる。また、基準画像と対象画像との両方が無作為に選出されてもよい。ただし、最終的には解析を実施する画像の全てについて相対的な位置関係を算出可能な組み合わせが含まれる必要がある。また例えば、予め定められた順序に従って基準画像と対象画像とが選出されてもよい。また例えば、表示デバイスに表示した標本画像の中から基準画像および対象画像を選択するオペレーターの操作入力を受け付ける態様であってもよい。

【0030】

こうして選出された基準画像と対象画像との間で、両画像間の位置関係を定量的に表すレジストレーション量が求められる。例えば２つの画像間の相対的な位置ずれ量をレジストレーション量とすることができる。図２（ｂ）および図４（ｂ）に示すように、Ｘ方向、Ｙ方向およびθ方向の移動によって画像間の位置合わせを行う場合には、基準画像と対象画像とを位置合わせするためのＸ方向、Ｙ方向およびθ方向への相対移動量を、両画像間におけるレジストレーション量とすることができる。レジストレーション量を求めるための技術としては、公知のものから適宜選択して適用可能である。

【0031】

次に、レジストレーションが成功したか否かの判定が行われる（ステップＳ２０３）。基準画像と対象画像との間で共通するまたは類似する特徴があれば、それを利用することで、両者間の正しい位置関係を取得するレジストレーションを成功させることができる。一方、前記したように、そのような特徴を適切に見出すことができなければレジストレーションが失敗することがある。レジストレーションの成否により、以下の動作が異なる。

【0032】

レジストレーションの成否の判断基準としては種々のものを用いることができる。例えばパターンマッチング技術を用いてレジストレーションを行う場合には、マッチングスコアと適宜に設定された閾値との大小関係に基づき、レジストレーションの成否を判断することができる。また例えば、レジストレーションの結果を表示デバイスに表示し、オペレーターに成否を判断させる態様でもよい。

【0033】

レジストレーションが失敗した場合には、ステップＳ２０４～Ｓ２０９が実行される。一方、レジストレーションが成功していれば（ステップＳ２０３においてＹＥＳ）、これらの処理ステップはスキップされる。ステップＳ２０４～Ｓ２０９の処理は、上記した原理に基づく他の画像を仲介させたレジストレーション処理である。以下、図５および図６を参照しながら処理の具体的内容を説明する。

【0034】

図６は特徴空間内での基準画像と対象画像との関係を模式的に示す図である。基準画像および対象画像を含む標本画像の各々は、画像内容を各種の特徴量により表すことで特徴空間内の一点と対応付けることができる。説明の便宜上、図では特徴量１、特徴量２を用いた二次元特徴空間として示されているが、より一般的には多数種の特徴量を用いた多次元の超空間として特徴空間が定義される。

【0035】

なお、ここでは本実施形態の概念を説明するために特徴空間の考え方を導入するが、実際の処理において特徴量を利用することを意味するものではない。そのため特徴量の種類についても特に規定しない。煩雑さを避けるため図では処理に関わる画像のみをプロットしているが、それ以外の各標本画像も、それぞれの画像内容に応じて特徴空間内の適宜の位置にプロットされるべきものである。

【0036】

特徴空間内で比較的近い位置にある２つの画像は、その画像内容の類似度が高く、レジストレーションの成功率は高いと言える。一方、特徴空間内で遠い位置にある２つの画像では、両者の画像内容の乖離が大きく、レジストレーションが失敗する確率がより高くなる。

【0037】

本実施形態のレジストレーション処理の技術思想は、図６（ａ）に示すように、特徴空間内での距離が大きく、基準画像Ｉ１と対象画像Ｉ２との間で直接レジストレーションが成立しない場合に、第３の画像Ｉ３を仲介画像として導入する、というものである。基準画像Ｉ１と仲介画像Ｉ３との間、および仲介画像Ｉ３と対象画像Ｉ２との間でそれぞれレジストレーションが成立すれば、基準画像Ｉ１と対象画像Ｉ２との間で間接的にレジストレーションが成功したことになる。

【0038】

このことから、仲介画像Ｉ３については、特徴空間において、基準画像Ｉ１と対象画像Ｉ２との中間的な位置にある画像であることが求められる。つまり、特徴空間においては、基準画像Ｉ１と仲介画像Ｉ３との距離、および対象画像Ｉ２と仲介画像Ｉ３との距離は、いずれも基準画像Ｉ１と対象画像Ｉ２との距離よりも小さいことが求められる。

【0039】

そこで、この実施形態では、特徴空間において対象画像Ｉ２の近傍にある他の標本画像を探索する。そのような画像であれば、対象画像Ｉ２との間でレジストレーションが成功する確率が極めて高いと考えられる。具体的には、図６（ｂ）に示すように、特徴空間内で対象画像Ｉ２との距離Ｄが最も小さい他の標本画像を探索し、その画像を仲介画像Ｉ３として仮設定する。

【0040】

特徴空間内での距離については、厳密には例えば特徴量の値に基づき算出したマハラノビス距離等により表すことが可能であり、こうして求められた距離から仲介画像を探索する方法も考えられる。ここではその一例として、比較的簡便な方法でありながら十分に高い確率でレジストレーションを成功させることが可能な、本実施形態の具体的手法について説明する。

【0041】

この実施形態では、基準画像Ｉ１および対象画像Ｉ２を除く他の全ての標本画像について、対象画像Ｉ２との差分が算出される（ステップＳ２０４）。なお、画像間の位置ずれが大きな差分として現れるのを回避するために、差分の算出に先立って前処理としての画像処理が施されることが好ましい。前処理としては、例えば画像の縮小、グレースケール変換、コントラスト強調および各種のフィルタ処理等を適用することができる。これにより、標本の汚れやノイズ等に起因する軽微な差異が処理に影響を及ぼすのを回避することも可能となる。

【0042】

差分を定量的に表す指標値（以下、「差分値」という）としては、例えば２つの画像間で輝度値の差を画素単位で算出し、その差の絶対値を全画素につき合計した値を用いることができる。ここでは２つの画像間における類似度の指標値として輝度値の差分を用いているが、ここでいう「類似」とは互いの染色パターンの形状（染色された領域と染色されない領域との配置）が類似することであって、染色された濃度が同程度であることではない。そこで、染色濃度の違いが結果に影響を及ぼすのを抑制するために、例えば画像全体の濃度やそのばらつき等を考慮して標準化された適宜の評価値が上記差分値に代えて導入されてもよい。

【0043】

こうして求められた差分値が小さい画像ほど、対象画像Ｉ２に対する類似度が高いと一応考えることができる。そこで、求められた差分値が小さいものから順に、当該画像を仲介画像Ｉ３として選出する（ステップＳ２０５）。そして、基準画像Ｉ１と仲介画像Ｉ３との間、対象画像Ｉ２と仲介画像Ｉ３との間で、それぞれレジストレーション量の算出が試行される（ステップＳ２０６、Ｓ２０７）。

【0044】

それらの結果から、基準画像Ｉ１と対象画像Ｉ２との間のレジストレーション量が算出される（ステップＳ２０８）。例えば、基準画像Ｉ１を固定してこれに仲介画像Ｉ３を位置合わせするために必要な仲介画像Ｉ３のＸ方向、Ｙ方向およびθ方向の移動量と、仲介画像Ｉ３を固定してこれに対象画像Ｉ２を位置合わせするために必要な対象画像Ｉ２のＸ方向、Ｙ方向およびθ方向の移動量とをそれぞれ合算することで、基準画像Ｉ１を固定してこれに対象画像Ｉ２を位置合わせするために必要な仲介画像Ｉ３のＸ方向、Ｙ方向およびθ方向の移動量を、それぞれ求めることができる。

【0045】

こうして求められた結果から、基準画像Ｉ１と対象画像Ｉ２との間のレジストレーションが成功しているか否かが判断される（ステップＳ２０９）。成否の判断基準については、ステップＳ２０３と同様にすることができる。すなわち、例えば算出されたレジストレーション量に基づく位置合わせ後の基準画像Ｉ１と対象画像Ｉ２との間の差分値またはパターンマッチングにおけるマッチングスコア等の値に閾値を設定し、閾値との比較で成否を判断する方法を適用可能である。また、例えば位置合わせを行った上で重畳された画像を表示デバイスに表示し、オペレーターによる成否判定を受け入れる態様でもよい。

【0046】

仲介画像Ｉ３は、対象画像Ｉ２との類似度が比較的高い画像として選出されたものであるため、対象画像Ｉ２との間では高い確率でレジストレーションが成立するものと期待される。一方、基準画像Ｉ１との間についてはこの限りではない。すなわち、選出された仲介画像Ｉ３と基準画像Ｉ１との間で特徴空間における距離が十分に小さくなく、場合によっては基準画像Ｉ１と対象画像Ｉ２との距離よりも大きくなってしまうことで、レジストレーションが失敗することがある。

【0047】

レジストレーションが失敗と判断されたときには（ステップＳ２０９においてＮＯ）、ステップＳ２０５に戻り、差分値が次に小さい画像が仲介画像Ｉ３として新たに選出される。そして、上記と同様にしてレジストレーションが試行される。

【0048】

図６（ｃ）に示すように、特徴空間において対象画像Ｉ２の周囲に位置する画像のうち、対象画像Ｉ２からの距離が小さい順にいくつかの画像Ｉ３ａ，Ｉ３ｂ，Ｉ３ｃ，…を抽出したとき、複数組の画像間でレジストレーションが成功するような状況下においては、そのうちの幾つかは、対象画像Ｉ２よりも基準画像Ｉ１に近い位置にあり、基準画像Ｉ１との間でレジストレーションを成功させることができる位置にあるものと期待される。

【0049】

このため、差分値が小さい順に選出される画像を仲介画像Ｉ３としてレジストレーションを何度か試行することで、基準画像Ｉ１と対象画像Ｉ２との間のレジストレーションを成功させる確率を高めることができる。

【0050】

ステップＳ２０３またはステップＳ２０９においてレジストレーションが成功したと判断されたとき、全ての標本画像についてレジストレーションが完了したか否かが判断される（ステップＳ２１０）。レジストレーションが終了していない画像が残っている場合には、新たに基準画像および対象画像が選出されて（ステップＳ２０１）、上記処理が繰り返される。この場合には、最終的に解析を実施する画像全てについて相対的な位置関係を算出可能な組み合わせとなるよう、他の標本画像との間でレジストレーションが終了している標本画像が基準画像として選出されることが望ましい。このようにして、全ての標本画像についてレジストレーションを完了させることができる。

【0051】

図７は本実施形態の評価結果の一例を示す図である。本願発明者は、直接レジストレーションを行うことができなかった画像の組を含む６枚または１２枚の標本画像からなる画像セットを合計１６組用意し、それらの画像セットについて本実施形態のレジストレーション処理を実行して、次のような結果を得た。なお、レジストレーションの成否については、レジストレーションの結果として重ね合わされた画像を熟練者が目視評価することによって判断し、画像間の位置ずれ量が概ね３ピクセルまでに抑えられている場合を成功とした。

【0052】

すなわち、仲介画像の選出数を１枚に限定した場合のレジストレーション成功率は約６３％であり、これを２枚にすると成功率は約８１％に向上した。さらに、仲介画像を３枚まで選出することを許容した場合、ほぼ１００％の確率でレジストレーションを成功させることができた。

【0053】

一方、比較例として記載しているように、基準画像および対象画像以外の画像からランダムに仲介画像を選出した場合では、仲介画像の数を増やすことで成功確率は増加するものの、本実施形態の方法には及んでいない。この結果から、本実施形態がレジストレーションの成功率を向上させる作用を有するものであることが示される。

【0054】

以上のように、この実施形態のレジストレーション処理では、直接レジストレーションを行うことができない基準画像Ｉ１と対象画像Ｉ２との間に仲介画像Ｉ３を介在させることにより、仲介画像Ｉ３を介して間接的にレジストレーションを成立させることが図られている。こうすることで、画像間の類似度が低く直接レジストレーションを行うことができない画像の間でも、レジストレーションの成功率を向上させることが可能となる。

【0055】

以上説明したように、上記実施形態においては、組織標本Ｓが本発明の「生物標本」に相当している。また、上記実施形態では、基準画像Ｉ１が本発明の「第１画像」に、対象画像Ｉ２が本発明の「第２画像」に、仲介画像Ｉ３が本発明の「第３画像」に、それぞれ相当している。そして、図３のステップＳ１０６および図５に示すレジストレーション処理に、本発明の「標本画像のレジストレーション方法」が適用されている。

【0056】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、対象画像Ｉ２からの差分値に基づき仲介画像Ｉ３が探索されている。しかしながら、前記した通り、基準画像と対象画像との関係を入れ替えても技術的には等価であり、その意味では、基準画像の近傍で仲介画像が探索されても同様の結果が得られる。

【0057】

また、上記実施形態では仲介画像Ｉ３の選出に関して基準画像Ｉ１は特に考慮されていないが、以下に説明するように、対象画像Ｉ２だけでなく、基準画像Ｉ１の特徴をも考慮した選出方法も可能である。

【0058】

図８は仲介画像の選出方法の他の事例を示す図である。この変形例は、図５に示されるレジストレーション処理の各処理ステップのうちステップＳ２０５を図８（ａ）に示すステップＳ２０５ａ，Ｓ２０５ｂに置き換えることにより実現可能である。ステップＳ２０５ａでは、基準画像Ｉ１および対象画像Ｉ２を除く標本画像の中から、対象画像Ｉ２との差分値が小さいものから順に所定数の画像が、仲介画像の候補画像として選出される。図８（ｂ）には、３つの画像Ｉ３ａ，Ｉ３ｂ，Ｉ３ｃが候補画像として選出された例が示されている。

【0059】

次に、これらの候補画像と基準画像Ｉ１との差分が求められ、差分値が最も小さい候補画像が仲介画像Ｉ３として選出される（ステップＳ２０５ｂ）。そうすると、図８（ｂ）に示すように、候補画像Ｉ３ａ～Ｉ３ｃのうち、基準画像Ｉ１との距離が最も近い、つまり基準画像Ｉ１との類似度が最も高いもの（この例では画像Ｉ３ｃ）が仲介画像Ｉ３として選出される。このように、基準画像Ｉ１および対象画像Ｉ２のそれぞれから見て類似度の高い画像を仲介画像Ｉ３として選出することで、レジストレーションの成功率をさらに向上させることができる可能性がある。この場合においても、第３画像Ｉ３は複数選出されてもよい。

【0060】

また、上記実施形態の説明では、画像間のずれを平行移動と回転移動とによって表せる場合を採り上げたが、これ以外にも、例えば撮像時のあるいは標本自体の歪みに起因する画像間の位置ずれのような、より複雑な位置ずれも生じ得る。より一般的には変換行列を用いて、このような位置ずれを有する場合でも２つの画像間の位置関係を表すことができる。この場合の第１画像Ｉ１と第２画像Ｉ２との間のレジストレーション量は、第１画像Ｉ１から第３画像Ｉ３への変換行列と、第３画像Ｉ３から第２画像Ｉ２への変換行列との積により表すことができる。

【0061】

以上、具体的な実施形態を例示して説明してきたように、本発明に係る標本画像のレジストレーション方法において、第３画像は、例えば第１画像および第２画像を除いた複数の標本画像のうち第２画像との類似度が最も高い画像を含むものとすることができる。このようにすることで、少なくとも第２画像と第３画像との間では、高い確率でレジストレーションを成功させることができる。これにより、第１画像、第２画像のいずれとも類似せず双方に対してレジストレーションが失敗するような画像が第３画像として選出されることは回避される。

【0062】

また例えば、第３画像は、第１画像および第２画像を除いた複数の標本画像のうち第２画像との差分が最も小さい画像を含むものとすることができる。画像内容が類似している画像の間では、両者の差分が小さくなる。つまり、類似度の尺度として画像間の差分を用いることで、定量的情報に基づき類似した画像を探索することが可能となる。

【0063】

この場合、例えば、第１画像および第２画像を除いた複数の標本画像のそれぞれについて、第２画像との差分を算出し、その結果に基づき第３画像を選出することができる。これにより、複数の標本画像の中から第２画像との差分が最小のものを一義的に選出することができる。

【0064】

また例えば、差分については、２つの画像間で互いに対応する位置の画素間における輝度の差の絶対値を全画素につき合計した値に基づく指標値により評価することができる。画像全体で差分を評価することにより、画素単位での比較をより巨視的な比較として扱うことが可能となる。

【0065】

また例えば、標本画像のうち差分が小さいものから順に複数の第３画像を選出するようにしてもよい。第３画像は第２画像に近いものが選ばれる一方で、第１画像との類似性については考慮されていない。このため、第２画像との差分が最小の画像が第３画像として最適なものであるとは限らない。第３画像を複数選出することで、それらの中に第１画像との類似性を有するものが含まれる可能性が高まり、レジストレーションの成功率の向上を図ることが可能となる。

【0066】

この場合、複数の第３画像の各々について、第１画像との間でのレジストレーション量および第２画像との間でのレジストレーション量をそれぞれ求めるようにしてもよい。こうしてレジストレーション量が算出された画像の組み合わせに、第１画像と第３画像との間および第２画像と第３画像との間でそれぞれレジストレーションが成功したものが含まれていれば、その結果を用いて第１画像と第２画像との間のレジストレーションを行うことが可能となる。

【0067】

また例えば、標本画像のうち差分が小さいものから順に複数の画像を選出し、そのうち第１画像との差分が小さいものから順に少なくとも１つを第３画像としてもよい。このように、第２画像だけでなく、第１画像との類似性も考慮して第３画像を選出するようにすれば、これを介した第１画像と第２画像との間のレジストレーションの成功率をさらに向上させることが可能となる。

【0068】

また、第１画像と第２画像との間のレジストレーション量を求める方法としては、例えば、第１画像を基準としたときの第３画像のレジストレーション量と、第３画像を基準としたときの第２画像のレジストレーション量とを合成して得られる量を、第１画像を基準とする第２画像のレジストレーション量とする方法がある。これにより、第１画像と第２画像との間でレジストレーションを成立させることができる。例えば変換行列を用いてレジストレーション量を表す場合には、変換行列の積を求めることで合成後のレジストレーション量を得ることができる。

【0069】

なお、本発明は、コンピューター装置に、上記した標本画像のレジストレーション方法の各工程を実行させるためのプログラムとして、またこのプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体として実施することが可能である。上記各工程は一般的なハードウェア構成を有するコンピューター装置により実現可能なものであり、既存のコンピューター装置に上記プログラムを実装することで、当該コンピューター装置に新たな機能を付与することが可能となる。

【産業上の利用可能性】

【0070】

この発明は、医学・生物学研究等の分野において、同一の組織標本を複数回染色・撮像して得られる画像を統合して解析する用途に適用可能なものであり、特に多重免疫染色された標本をシングルセル単位で解析する用途に好適なものである。

【符号の説明】

【0071】

Ｃ 細胞
Ｉ１ 基準画像（第１画像）
Ｉ２ 対象画像（第２画像）
Ｉ３ 仲介画像（第３画像）
Ｓ 組織標本（生物標本）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】