特許 6973638 イメージングデータ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6973638

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】イメージングデータ処理装置

(51)【国際特許分類】

   G01N 27/62 20210101AFI20211118BHJP

   G01N 21/64 20060101ALI20211118BHJP

【ＦＩ】

   G01N27/62 Y

   G01N21/64 E

【請求項の数】3

【全頁数】13

(21)【出願番号】特願2020-522472(P2020-522472)

(86)(22)【出願日】2018年5月30日

(86)【国際出願番号】JP2018020832

(87)【国際公開番号】WO2019229897

(87)【国際公開日】20191205

【審査請求日】2020年9月11日

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001069

【氏名又は名称】特許業務法人京都国際特許事務所

(72)【発明者】

【氏名】山口 真一

【審査官】 吉田 将志

(56)【参考文献】

【文献】 特開２００９−２５２７５（ＪＰ，Ａ）

【文献】 国際公開第２０１７／００２２２６（ＷＯ，Ａ１）

【文献】 特開２０１３−２５７２８２（ＪＰ，Ａ）

【文献】 特開平１０−１２４５３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２７／６０ − Ｇ０１Ｎ ２７／７０

Ｇ０１Ｎ ２７／９２

Ｇ０１Ｎ ２１／６４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

ユーザインターフェイスである入力部及び表示部を有し、試料上の２次元領域内の複数の微小領域に対しそれぞれ第１の測定手法による測定を実行して得られる第１のイメージングデータと、該試料上の前記２次元領域の少なくとも一部を含む範囲について前記第１の測定手法とは異なる第２の測定手法による測定を実行して得られた第２のイメージングデータと、を処理するイメージングデータ処理装置であって、
a)試料上の略同一の範囲について前記第１のイメージングデータに基づいて作成される第１の画像と前記第２のイメージングデータに基づいて作成される第２の画像とを表示部の画面内に重ねて表示するとともに、その重ねて表示される重ね合わせ画像上に、所定間隔のグリッド点を重畳して表示する画像表示処理部と、
b)前記画像表示処理部により前記グリッド点が重畳して表示されている画像上で、入力部を介した操作により画像変形範囲をユーザに指定させる変形範囲指定受付部と、
c)入力部を介したユーザの、前記画像表示処理部により画像上に重畳して表示されているグリッド点の中で前記変形範囲指定受付部により指定された画像変形範囲に含まれるグリッド点の選択、及び画像上での該選択されたグリッド点の移動操作を受けて、重ねて表示されている二つの画像の一方における前記画像変形指示範囲内の画像を、前記選択及び移動操作に応じて変形させる画像変形処理部と、
を備えることを特徴とするイメージングデータ処理装置。

【請求項2】

ユーザインターフェイスである入力部及び表示部を有し、試料上の２次元領域内の複数の微小領域に対しそれぞれ第１の測定手法による測定を実行して得られる第１のイメージングデータと、該試料上の前記２次元領域の少なくとも一部を含む範囲について前記第１の測定手法とは異なる第２の測定手法による測定を実行して得られた第２のイメージングデータと、を処理するイメージングデータ処理装置であって、
a)試料上の略同一の範囲について前記第１のイメージングデータに基づいて作成される第１の画像と前記第２のイメージングデータに基づいて作成される第２の画像とを表示部の画面内に重ねて表示するとともに、その重ねて表示される重ね合わせ画像上にグリッド点を重畳して表示する画像表示処理部と、
b)画像上の異なる領域毎にそれぞれ前記グリッド点の間隔をユーザに指定させるグリッド点間隔指定受付部と、
c)前記グリッド点間隔指定受付部により指定された間隔を有して前記画像表示処理部により画像に重畳して表示されたグリッド点の選択、及び画像上での該選択されたグリッド点の移動操作を受けて、重ねて表示されている二つの画像の一方における所定範囲の画像を、前記選択及び移動操作に応じて変形させる画像変形処理部と、
を備えることを特徴とするイメージングデータ処理装置。

【請求項3】

請求項１又は２に記載のイメージングデータ処理装置であって、
前記第１の測定手法はマトリクス支援レーザ脱離イオン化法を用いた質量分析イメージング法であり、前記第２の測定手法は、試料を染色又は蛍光標識したうえで顕微観察する手法であることを特徴とするイメージングデータ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばイメージング質量分析装置といった、試料上の２次元領域内の微小領域毎に得られるデータを処理して特定の物質の２次元強度分布を示す画像などを表示するイメージングデータ処理装置に関する。

【背景技術】

【0002】

イメージング質量分析装置は、生体組織切片などの試料の表面の形態を光学顕微鏡によって観察しながら、同じ試料表面における特定の質量電荷比m/zを有するイオンの２次元的な強度分布を測定することが可能な装置である。イメージング質量分析装置を用いて例えば癌などの特定の疾病に特徴的に現れる化合物由来のイオンについての質量分析イメージング画像を観察することにより、その疾病の拡がり具合などを把握することが可能である。こうしたことから、近年、イメージング質量分析装置を利用し、生体組織切片等を対象とした薬物動態解析や各器官での化合物分布の相違、或いは、癌等の病理部位と正常部位との間での化合物分布の差異などを解析する研究が盛んに行われている。

【0003】

非特許文献１に開示されているように、上記イメージング質量分析装置では、試料上の２次元的な測定領域における特定の質量電荷比を有する物質の２次元強度分布を示すヒートマップ状の画像（質量分析イメージング画像）を作成して表示することができる。また、イメージング質量分析装置に併設されている光学顕微鏡では試料の光学顕微画像が得られるから、この光学顕微画像と任意の質量電荷比における質量分析イメージング画像とを重ね合わせた画像を作成して表示することも可能である。こうした重ね合わせ画像では、生体組織の輪郭や模様等と特定の物質の２次元分布とが併せて表示されるため、生体組織のどの部分にどのような物質が偏在しているか等を観察するのに便利である。

【0004】

また一般的な光学顕微観察では見えない生体組織中の特定の部位などを顕在化させるために染色した試料を光学顕微鏡で観察したり蛍光標識した試料を蛍光顕微鏡で観察したりした画像と、質量分析イメージング画像とを重ね合わせた画像を作成して表示することも行われている。例えば同じ生体組織切片である試料について質量分析イメージング画像と染色画像とを取得したい場合には、次のような手順で測定（撮影）を実施する。

【0005】

まず、作業者は目的とする試料の表面にＭＡＬＤＩ（マトリクス支援レーザ脱離イオン化）用のマトリクスを塗布し、イメージング質量分析装置により測定を実施して質量分析イメージングデータを収集する。次に、作業者は試料を装置から取り出し、所定の溶剤を用いて試料表面のマトリクスを除去する。そのあと、所定の染色試薬により該試料を染色し、光学顕微鏡により測定を実施して染色画像データを収集する。光学観察よりも質量分析を先に実施するのは、染色された試料は染色試薬の影響により正確な質量分析が行えないためである。

【0006】

こうして収集された質量分析イメージングデータに基づく質量分析イメージング画像と、染色画像データに基づく染色画像である参照画像とを重ね合わせる場合、質量分析イメージング画像と参照画像とで試料上の同じ部位に対応する画像上での位置が異なるのが一般的である。これは、試料を装置にセットする際の位置のずれのほか、試料表面のマトリクスを除去する際に使用される溶剤により試料の一部の組織等が変形してしまうためである。そのため、多くの場合、参照画像と質量分析イメージング画像とをそのまま重ね合わせることはできず、少なくとも一方の画像について移動、回転、変形（伸縮）、トリミングなどの画像処理を行ったうえで、重ね合わせを行う必要がある（特許文献１〜３等参照）。

【0007】

上記のような画像の位置合わせを自動的に行う試みもなされているものの、生体組織中の或る部位に対応する画像の位置が合っているか否かを機械的に判断するのはかなり難しいため、作業者がマニュアル操作で画像の位置合わせを行っているのが現状である。こうしたマニュアル操作による画像位置合わせ処理の際には、例えば作業者が所定の操作を行うと、グリッド線を参照画像に重畳して表示させる。このグリッド線の交点が作業者が移動を指示できる点であり、作業者は任意の交点をマウス等のポインティングデバイスで選択して能動化した上で、画像上で所望の位置まで移動させる。すると、その移動前の交点の位置をほぼ中心とする所定の範囲の画像が非線形に変形される。

【0008】

一般的に、グリッド線の交点を選択して移動させる場合、画像が変形する範囲は選択された交点を囲んで最も近接する複数の交点を結ぶ範囲内である。一般に、１枚の画像の中の領域によって変形させたい量と範囲とは異なることが多いが、このような場合に様々な部分の画像位置が合うように画像変形を行うには、変形させたい範囲に合わせて作業者がグリッド線の間隔を様々に変えながら試行錯誤的に作業を進める必要があった。そのため、画像位置を適切に合わせるのに時間が掛かり、作業効率が悪かった。また、こうした作業は作業者にとっても身体的及び精神的に大きな負担であった。

【0009】

なお、こうした課題は染色画像や蛍光画像、或いは一般的な光学顕微画像と質量分析イメージング画像とを重ね合わせる際に限るものではなく、異なる測定手法で得られるイメージング画像同士を重ね合わせる際に少なからず生じる課題である。ここでいう測定手法とは、具体的には例えば、赤外イメージング法、レーザーラマン分光イメージング法、Ｘ線、イオン線、電子線などを用いた表面分析法、などである。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２００９−２５２７５号公報

【特許文献2】国際公開第２０１７／００２２２６号

【特許文献3】特開２０１３−２５７２８２号公報

【非特許文献】

【0011】

【非特許文献1】「iMScope TRIO イメージング質量顕微鏡 光学画像・MSイメージング質量分析の重ね合わせ」、[online]、［平成３０年３月２０日検索］、株式会社島津製作所、インターネット＜URL : https://www.an.shimadzu.co.jp/bio/imscope/overlay.htm＞

【非特許文献2】水田 忍、「マルチモダリティ医用三次元画像の自動位置合わせ手法に関する研究」、［online］、［平成３０年３月２０日検索］、京都大学、インターネット＜URL: https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/157072/2/D_Mizuta_Shinobu.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は上記課題を解決するために成されたものであり、その目的とするところは、光学顕微画像や質量分析イメージング画像などを重ね合わせるために一方の画像を変形させる際に、画像を変形させるための作業者の操作を円滑化して操作性を向上させることができるイメージングデータ処理装置を提供することである。

【課題を解決するための手段】

【0013】

上記課題を解決するために成された本発明の第１の態様は、ユーザインターフェイスである入力部及び表示部を有し、試料上の２次元領域内の複数の微小領域に対しそれぞれ第１の測定手法による測定を実行して得られる第１のイメージングデータと、該試料上の前記２次元領域の少なくとも一部を含む範囲について前記第１の測定手法とは異なる第２の測定手法による測定を実行して得られた第２のイメージングデータと、を処理するイメージングデータ処理装置であって、
a)試料上の略同一の範囲について前記第１のイメージングデータに基づいて作成される第１の画像と前記第２のイメージングデータに基づいて作成される第２の画像とを表示部の画面内に重ねて表示するとともに、その重ねて表示される重ね合わせ画像上に、所定間隔のグリッド点を重畳して表示する画像表示処理部と、
b)前記画像表示処理部により前記グリッド点が重畳して表示されている画像上で、入力部を介した操作により画像変形範囲をユーザに指定させる変形範囲指定受付部と、
c)入力部を介したユーザの、前記画像表示処理部により画像上に重畳して表示されているグリッド点の中で前記変形範囲指定受付部により指定された画像変形範囲に含まれるグリッド点の選択、及び画像上での該選択されたグリッド点の移動操作を受けて、重ねて表示されている二つの画像の一方における前記画像変形指示範囲内の画像を、前記選択及び移動操作に応じて変形させる画像変形処理部と、
を備えることを特徴としている。

【0014】

本発明において、第１及び第２の測定手法とは、質量分析イメージング法、ラマン分光イメージング法、蛍光イメージング法、赤外分光イメージング法、Ｘ線分析イメージング法、電子線やイオン線などの粒子線を用いた表面分析イメージング法、走査型プローブ顕微鏡（ＳＰＭ）などの探針を用いた表面分析イメージング法、光学顕微鏡などの一般的な顕微鏡による顕微観察法などのいずれかとすることができる。

【0015】

本発明の第１の態様において、画像表示処理部は、第１及び第２のイメージングデータを取得すると、第１のイメージングデータに基づいて第１の画像を作成するとともに、第２のイメージングデータに基づいて第２の画像を作成する。そして、同じ試料の略同一の領域についてのその二つの画像を重ねて表示部の画面内に表示する。また、その重ね合わせ画像の上に、所定間隔のグリッド点を重畳して表示する。ここでのグリッド点は、格子状の線（グリッド線）の交点でもよいし、単に格子状に且つ離散的に配置された複数の点でもよい。各グリッド点を繋ぐグリッド線は表示されている必要は無いが、画像上の各部位の相対位置が把握し易いようにグリッド線の全体又はその一部が表示されるようにしてもよい。なお、二つの画像が重ねられた重ね合わせ画像上にグリッド点を表示する場合、変形対象の画像をユーザが選択できるようにしておくとよい。さらにまた、重畳して表示するグリッド点の間隔はユーザが指定又は調整できるようにしておくとよい。

【0016】

変形範囲指定受付部は、グリッド点が重畳して表示されている画像上で、ユーザによる入力部の操作を受けて画像変形範囲を決定する。典型的には入力部はマウス等のポインティングデバイスであり、画像上で指定された任意の大きさ、形状の領域を画像変形範囲とすればよい。画像変形処理部は上記画像変形範囲を画像変形処理対象として認識する。そして、ユーザが入力部により、画像上のグリッド点の中で上記画像変形範囲に含まれるグリッド点のいずれかを選択したうえで該選択したグリッド点を任意の位置まで移動させる操作を行うと、この操作に応じて、変形処理対象の画像上における移動前のグリッド点の位置に対応する微小画像を移動後のグリッド点の位置まで移動させ、その移動前のグリッド点を含む画像変形範囲内の各グリッド点の位置に対応する微小画像をそれぞれ所定のアルゴリズムに従って移動させることで該画像変形範囲内の画像全体を変形させる。

【0017】

ユーザの操作による、上述したような画像変形処理を一又は複数回実施することで、位置合わせ済みの重ね合わせ画像が表示部の画面上に表示される。一回のグリッド点の移動操作に応じて変形される範囲を任意に指定することができるので、１枚の画像の中での変形させたい範囲と量とに応じて画像変形範囲を適宜調整することで、従来よりも少ない操作回数で正確な画像位置合わせが可能となる。

【0018】

また上記課題を解決するために成された本発明の第２の態様は、ユーザインターフェイスである入力部及び表示部を有し、試料上の２次元領域内の複数の微小領域に対しそれぞれ第１の測定手法による測定を実行して得られる第１のイメージングデータと、該試料上の前記２次元領域の少なくとも一部を含む範囲について前記第１の測定手法とは異なる第２の測定手法による測定を実行して得られた第２のイメージングデータと、を処理するイメージングデータ処理装置であって、
a)試料上の略同一の範囲について前記第１のイメージングデータに基づいて作成される第１の画像と前記第２のイメージングデータに基づいて作成される第２の画像とを表示部の画面内に重ねて表示するとともに、その重ねて表示される重ね合わせ画像上にグリッド点を重畳して表示する画像表示処理部と、
b)画像上の異なる領域毎にそれぞれ前記グリッド点の間隔をユーザに指定させるグリッド点間隔指定受付部と、
c)前記グリッド点間隔指定受付部により指定された間隔を有して前記画像表示処理部により画像に重畳して表示されたグリッド点の選択、及び画像上での該選択されたグリッド点の移動操作を受けて、重ねて表示されている二つの画像の一方における所定範囲の画像を、前記選択及び移動操作に応じて変形させる画像変形処理部と、
を備えることを特徴としている。

【0019】

本発明の第２の態様では、ユーザの入力部の操作を受けて、グリッド点間隔指定受付部は例えばグリッド点が重畳して表示される画像の全面を複数の領域に区切り、その領域毎にそれぞれ異なる（又は同じ）グリッド点間隔を設定する。即ち、異なるグリッド点間隔であるグリッド点の混在を可能とする。具体的には例えば、まず大きな第１のグリッド点間隔のグリッド点を画像全面に表示したあと、一直線上に位置していない３以上のグリッド点で囲まれる１又は複数の所定形状の範囲内に、上記第１のグリッド点間隔に比べて小さな第２のグリッド間隔のグリッド点を設けるとよい。

【0020】

画像変形処理部は、従来の均一の間隔のグリッド点と同様に、領域によって異なる間隔の多数のグリッド点のうちの任意のグリッド点の選択及び画像上での該選択されたグリッド点の移動操作を受け付け、その操作に応じて画像を変形させる。グリッド点間隔の狭い領域では一つの交点の操作に応じて変形される画像の範囲を狭くし、グリッド点間隔の広い領域では一つのグリッド点に対する操作に応じて変形される画像の範囲を広くするとよい。これにより、１枚の画像の中での変形させたい範囲と量とに応じてグリッド点間隔とその間隔を有するグリッド点を設ける範囲とを適宜調整することで、従来よりも少ない操作回数で正確な位置合わせが可能となる。

【0021】

なお、上述したように本発明において第１及び第２の測定手法として様々な測定手法を採り得るが、本発明は、単純な移動や回転、伸縮では十分に正確な位置合わせが難しいような場合に特に有効である。そうしたことから、本発明において、第１の測定手法はマトリクス支援レーザ脱離イオン化法を用いた質量分析イメージング法であり、前記第２の測定手法は、試料を染色又は蛍光標識したうえで顕微観察する手法であるものとすることができる。

【発明の効果】

【0022】

本発明によれば、例えば同じ試料についての染色画像や蛍光顕微画像と質量分析イメージング画像とを精度良く重ね合わせるために一方の画像を変形させる際に、画像を変形させるための作業者の操作を円滑化して操作性を向上させることができる。それによって、画像位置合わせ作業の効率を改善するとともに、作業者の身体的及び精神的な負担を軽減することができる。

【図面の簡単な説明】

【0023】

【図1】本発明に係るイメージングデータ処理装置を含むイメージング質量分析装置の一実施例の概略構成図。

【図2】本実施例のイメージング質量分析装置における画像重ね合わせ作業の手順を示すフローチャート。

【図3】本実施例のイメージング質量分析装置における画像重ね合わせ作業の際の表示画面の一例を示す図。

【図4】本実施例のイメージング質量分析装置における画像変形処理の説明図。

【図5】他の実施例のイメージング質量分析装置における画像変形処理の説明図。

【発明を実施するための形態】

【0024】

以下、本発明に係るイメージングデータ処理装置を含むイメージング質量分析装置の一実施例について、添付図面を参照して説明する。
図１は本実施例によるイメージング質量分析装置の概略構成図である。

【0025】

本実施例のイメージング質量分析装置は、試料に対して質量分析イメージング法による測定を実施するイメージング質量分析部１と、試料上の光学顕微画像を撮影する光学顕微撮像部２と、データ処理部３と、ユーザインターフェイスである入力部４及び表示部５と、を含む。

【0026】

イメージング質量分析部１は例えばＭＡＬＤＩイオントラップ飛行時間型質量分析装置を含み、生体組織切片などの試料上の２次元的な測定領域内の多数の微小領域（測定点）に対してそれぞれ質量分析を実行して測定点毎に質量分析データを取得するものである。

【0027】

光学顕微撮像部２は光学顕微鏡に撮像部を付加したものであり、試料上の表面の２次元領域の顕微画像を取得するものである。ここでは、この光学顕微撮像部２を、質量分析イメージング法による測定を行う際の測定領域を決めるための光学顕微画像を取得するため、及び、染色した試料についての染色画像を撮影するために用いる。

【0028】

データ処理部３は、イメージング質量分析部１で収集された各微小領域におけるマススペクトルデータ及び光学顕微撮像部２から入力される光学顕微画像データを受けて所定の処理を行うものであり、データ収集部３１、データ格納部３２、イメージング画像作成部３３、光学画像作成部３４、画像重ね合わせ処理部３５など、を機能ブロックとして備える。データ格納部３２は、イメージング質量分析部１による測定で収集されたデータを格納するスペクトルデータ格納領域３２１と光学顕微撮像部２による測定（撮影）で収集されたデータを格納する光学画像データ格納領域３２２とを含む。また、画像重ね合わせ処理部３５は、下位の機能ブロックとして、画像表示処理部３５１、画像変形範囲指定受付部３５２、グリッド間隔調整受付部３５３、画像変形処理部３５４などの機能ブロックを含む。

【0029】

なお、通常、データ処理部３の実体はパーソナルコンピュータ（又はより高性能なワークステーション）であり、該コンピュータにインストールされた専用のソフトウェアを該コンピュータ上で動作させることにより、上記各ブロックの機能が達成される構成となっている。その場合、入力部４はキーボードやマウス等のポインティングデバイスであり、表示部５はディスプレイモニタである。

【0030】

次に、本実施例のイメージング質量分析装置による試料の測定作業について説明する。
まず作業者が目的試料を光学顕微撮像部２の所定の測定位置にセットし、入力部４で所定の操作を行うと、光学顕微撮像部２は該試料の表面を撮影し、その画像を表示部５の画面上に表示する。作業者（ユーザ）はその画像上でその試料全体又は試料の一部である測定領域を入力部４で指示する。作業者は試料を一旦取り出し、その表面にＭＡＬＤＩ用のマトリクスを付着させる。そして、マトリクスが付着された試料をイメージング質量分析部１の所定の測定位置にセットし、入力部４で所定の操作を行う。これにより、イメージング質量分析部１は、試料上の、上述したように指示された測定領域内の多数の微小領域についてそれぞれ質量分析を実行し、所定の質量電荷比範囲に亘る質量分析データを取得する。このときデータ収集部３１は、いわゆるプロファイルアクイジションを実行し、質量電荷比範囲内で質量電荷比方向に連続的な波形であるプロファイルスペクトルデータを収集してデータ格納部３２のスペクトルデータ格納領域３２１に保存する。

【0031】

なお、マトリクスを試料表面に付着させても該試料表面の模様（異なる組織の境界等）が比較的鮮明に観察できる場合には、先に試料の表面にマトリクスを付着させたあとに光学顕微撮像部２で撮影を実施してもよい。

【0032】

質量分析イメージング法による測定後に作業者は試料を取り出し、溶剤を用いて試料表面に付着しているマトリクスを除去する。そのあと、所定の染色試薬により試料を染色し、染色された試料を光学顕微撮像部２の所定の測定位置に再びセットする。そして、作業者が入力部４で所定の操作を行うと、光学顕微撮像部２は該試料の表面を撮影し、データ収集部３１はそれにより得られた染色画像データをデータ格納部３２の光学画像データ格納領域３２２に保存する。こうして、同一試料についての質量分析イメージングデータと染色画像データとがデータ格納部３２に保存される。

【0033】

次に、上述したデータが保存されている状態で実施される画像重ね合わせ作業及びその際の画像変形処理について、図２〜図４を参照して説明する。図２は画像重ね合わせ作業の手順を示すフローチャート、図３は画像重ね合わせ作業の際の表示画面の一例を示す図、図４は画像変形処理の説明図である。

【0034】

作業者が入力部４で所定の操作を行うと、光学画像作成部３４はデータ格納部３２の光学画像データ格納領域３２２から染色画像データを読み出し、該データに基づいて試料についての染色画像を作成する（ステップＳ１）。また、作業者が２次元分布を確認したい化合物を入力部４で指定すると、イメージング画像作成部３３はデータ格納部３２のスペクトルデータ格納領域３２１から指定された化合物に対応する質量電荷比Ｍにおける信号強度値データを読み出し、該データに基づいて試料についての質量電荷比Ｍにおける質量分析イメージング画像を作成する（ステップＳ２）。

【0035】

また画像表示処理部３５１は、図３に示すような画像重ね合わせ作業画面６０を表示部５の画面上に表示する（ステップＳ３）。画像重ね合わせ作業画面６０には、同じ試料についての染色画像と質量分析イメージング画像とを重ね合わせた重ね合わせ画像が配置される画像表示領域６１が設けられている。このときに画像表示領域６１に表示される重ね合わせ画像は単に２枚の画像の一方を半透明化して重ね合わせたものであり、画像の位置合わせは全くなされていない。本実施例の装置では、アフィン変換等の線形画像変形による画像位置合わせも可能であるが、ここでは、非線形画像変形を行うものとする。また、ここでは２枚の画像のうちの染色画像のほうを変形させるものとするが、画像変形の対象である画像を作業者が選択できるようにしてもよい。

【0036】

作業者が入力部４で所定の操作を行うことにより非線形画像変形を実施する旨を指示すると、画像表示処理部３５１は画像表示領域６１に表示されている重ね合わせ画像の全面に図３中に示しているようなグリッド線６２を表示する（ステップＳ４）。ここでは、縦と横のグリッド線６２の交点６２ａが本発明におけるグリッド点である。ただし、グリッド線の代わりに十字形状でグリッド点を示したり、単なるドットのみでグリッド点を示したりしてもよい。また、表示するグリッド線６２を点線などの単純な実線とは異なる態様としたり、その色を作業者が適宜変更できるようにしたりしてもよい。

【0037】

画像重ね合わせ作業画面６０内にはグリッド間隔調整スライダー６３が配置されており、作業者が入力部４により該スライダー６３のノブを移動させる操作を行うと、グリッド間隔調整受付部３５３はその操作に応じて、画像表示領域６１内の重ね合わせ画像上に表示させているグリッド線６２の間隔を調整する（ステップＳ５）。また作業者が、入力部４により画像変形範囲「設定」ボタン６４を押下すると、画像変形範囲指定受付部３５２が能動化され、ポインティングデバイスで重ね合わせ画像上の所望の範囲を画像変形範囲として指定することが可能となる。ここでは、指定可能な画像変形範囲の形状は矩形状であり、その大きさは任意である。この範囲はグリッド線６２とは無関係に設定可能である。

【0038】

図４（ｂ）は画像表示領域６１内に画像変形範囲を指定した例である。実際には重ね合わせ画像が表示されるが、ここでは省略している。ここでは、グリッド線６２に沿った隣接する４つの交点（グリッド点）６２ａで囲まれる矩形状のブロックを多数（又は一つ）内包するように画像変形範囲を指定することが可能である。また、複数の画像変形範囲を一度に指定することもできる。そうして画像変形範囲が決まったならば、作業者が入力部４により画像変形範囲「決定」ボタン６５を押下すると、画像変形範囲指定受付部３５２はその時点で画像上に設定されている画像変形範囲を確定させる。なお、ここでは画像変形範囲は矩形状であるが、例えばポインティングデバイスによりカーソルを移動させてその軌跡で囲まれる範囲を画像変形範囲とする等により、画像変形範囲を任意形状とすることができるようにしてもよい。

【0039】

次に、作業者は画像表示領域６１内の画像上のグリッド線６２の交点６２ａの一つ、つまり一つのグリッド点をポインティングデバイスのクリック操作によりコントロールポイントとして選択したうえで、該コントロールポイントを任意の方向及び任意の位置までドラッグ＆ドロップする操作を行う（ステップＳ７）。画像変形処理部３５４はこの操作を受け、そのコントロールポイントが画像変形範囲内にある場合には、その画像変形範囲内の染色画像を所定のアルゴリズムに従って非線形に変形する。一方、選択されたコントロールポイントが画像変形範囲外にある場合には、図４（ａ）に示すように、そのコントロールポイントを囲む四つの矩形状のブロックを画像変形範囲として、その画像変形範囲内の染色画像を所定のアルゴリズムに従って非線形に変形する（ステップＳ８）。即ち、後者の場合には、従来の装置と同様に、画像変形範囲がグリッド線の間隔に応じて自動的に決められるのに対し、前者の場合には、画像変形範囲を作業者が任意に決めることができる。

【0040】

そして、作業者は変形後の染色画像と質量分析イメージング画像との位置が合っているか否かを表示されている画像上で確認し（ステップＳ９）、さらに画像変形が必要である場合には、ステップＳ９からＳ５へと戻る。そして、ステップＳ５〜Ｓ９を繰り返すことで、染色画像と質量分析イメージング画像との位置合わせの精度を段階的に高めてゆき、許容できる程度のずれになったと作業者が判断したならばステップＳ９からＳ１０へと進み、作業者は入力部４で「保存」ボタン６６を押下する。これにより、画像表示処理部３５１はその時点での重ね合わせ画像を構成するデータをデータ格納部３２に保存する。

【0041】

上述した画像変形のアルゴリズム自体は例えば非特許文献２などの様々な文献に開示されている周知の方法を用いればよく、図４（ａ）と図４（ｂ）とでは画像変形範囲が異なるだけである。図４（ａ）の場合、画像変形範囲がグリッド線間隔で以て制約されるので、画像を大きく変形させたい場合にはグリッド線間隔を広げる必要がある。そうすると、コントロールポイントを細かく設定することができない。一方、コントロールポイントを細かく設定するにはグリッド線間隔を狭くする必要があり、そうすると、画像が変形される範囲がかなり限られる。

【0042】

これに対し、図４（ｂ）の場合、グリッド線間隔と画像変形範囲とが関連しないので、コントロールポイントを細かく設定できるようにグリッド線間隔を狭くしながら、画像変形範囲を広くして画像上の広い範囲を一度に変形させるようにすることができる。また、画像上でコンロールポイントから比較的近い位置に変形させたくない部分が存在する場合に、該部分を除外するように画像変形範囲を設定することもできる。これによって、重ね合わせられている二つの画像上で試料上の同じ部位が同じ位置になるように、効率良く画像位置合わせを行うことができる。

【0043】

なお、上記実施例では、画像上にコントロールポイントを設定するためのグリッド線の間隔とは無関係に画像変形範囲を設定できるようにしていたが、図３に示したように、重ね合わせ画像上に表示されるグリッド線の間隔自体は一定である。これに対し、次に説明する実施例のように、重ね合わせ画像上に表示されるグリッド線の間隔を一種類ではなく、複数種類のグリッド線間隔の混在を可能とするようにしても上記実施例と類似した効果が得られる。

【0044】

図５は、本発明の他の実施例によるイメージング質量分析装置における画像変形処理の説明図である。
図５は図４と同様に、画像表示領域６１内に表示される重ね合わせ画像（図示せず）上に表示されるグリッド線６２を示す図である。この実施例のイメージング質量分析装置では、まず図５（ａ）に示すように、作業者は、比較的粗いグリッド線間隔であるグリッド線６２を設定したあと、そのグリッド線６２により形成される１又は複数の矩形状（又は複数の交点６２ａを結んだ任意の２次元形状）のブロックを密グリッド点範囲として指定する。そのうえで、作業者は、その密グリッド点範囲内における密のグリッド線間隔をさらに設定する。

【0045】

上記実施例と同様に、縦、横のグリッド線６２の交点６２ａがグリッド点であるから、グリッド線間隔を設定することはグリッド点間隔を設定することと実質的に同じである。即ち、本実施例では、粗密の２段階のグリッド点間隔の設定が可能となっている。これにより、図５（ｂ）に示すような、２種類のグリッド線間隔のグリッド線が混在した状態で画像表示領域６１内に表示される。作業者はこのグリッド線６２における任意の交点６２ａつまりグリッド点をコントロールポイントとして選択したうえで、そのコントロールポイントを任意の方向、及び、任意の位置にドラッグ＆ドロップする操作を行う。

【0046】

ここでは、画像変形範囲は図４（ａ）に示したように、隣接する４ブロックの範囲である。そのため、グリッド線間隔が広い領域では画像変形範囲も広く、グリッド線間隔が狭い領域では画像変形範囲も狭くなる。したがって、画像上において変形させたい量と範囲とに応じて、粗密のグリッド点範囲とその各範囲におけるグリッド線間隔とを適宜に定めることで、従来装置に比べて画像位置合わせの作業効率を改善することができる。

【0047】

なお、上記実施例のイメージング質量分析装置では、染色画像等の光学顕微画像と質量分析イメージング画像との重ね合わせにおいて上述したような特徴的な画像変形処理を実施していたが、同じ試料についての質量分析イメージング画像と、他の測定によって得られるイメージング画像、例えばラマン分光イメージング法、赤外分光イメージング法、Ｘ線分析イメージング法、電子線やイオン線などの粒子線を用いた表面分析イメージング法、或いは、走査型プローブ顕微鏡（ＳＰＭ）などの探針を用いた表面分析イメージング法などにより得られたイメージング画像などと、を重ね合わせる際にも、本発明を適用可能であることは明らかである。また、イメージング質量分析装置に限らず、上述したような各種の測定手法を複数用いて同じ試料について得られた異なるイメージング画像を重ね合わせる際にも本発明は有効である。

【0048】

なお、ここで「同じ試料」とは必ずしも全く同一の試料であるとは限らない。例えば生体組織をごく薄くスライスすることで形成した連続切片試料において隣接する切片試料であれば、異なる試料でも実質的に同じ試料として扱えることがある。こうした場合には、同じ試料であるとみなせる互いに異なる試料についてそれぞれ得られたイメージング画像を重ね合わせる際に本発明を適用することは十分に有用である。

【0049】

さらにまた、上記実施例はあくまでも本発明の一例であり、上記記載の各種の変形例のほか、本発明の趣旨の範囲で適宜に変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

【符号の説明】

【0050】

１…イメージング質量分析部
２…光学顕微撮像部
３…データ処理部
３１…データ収集部
３２…データ格納部
３２１…スペクトルデータ格納領域
３２２…光学画像データ格納領域
３３…イメージング画像作成部
３４…光学画像作成部
３５…画像重ね合わせ処理部
３５１…画像表示処理部
３５２…画像変形範囲指定受付部
３５３…グリッド間隔調整受付部
３５４…画像変形処理部
４…入力部
５…表示部
６０…画像重ね合わせ作業画面
６１…画像表示領域
６２…グリッド
６３…グリッド間隔調整スライダー
６４…画像変形範囲「設定」ボタン
６５…画像変形範囲「決定」ボタン
６６…「保存」ボタン

【図1】

【図2】

【図3】

【図4】

【図5】