特開 2023-172341 マスイメージ処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172341

(43)【公開日】2023-12-06

(54)【発明の名称】マスイメージ処理装置及び方法

(51)【国際特許分類】

   H01J 49/00 20060101AFI20231129BHJP

   H01J 37/28 20060101ALI20231129BHJP

   G01N 27/62 20210101ALI20231129BHJP

   G06T 5/00 20060101ALI20231129BHJP

【ＦＩ】

H01J49/00 360

H01J49/00 040

H01J37/28 B

G01N27/62 D

G06T5/00

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022084053

(22)【出願日】2022-05-23

(71)【出願人】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】武井 雅彦

(72)【発明者】

【氏名】佐藤 貴弥

【テーマコード（参考）】

2G041

5B057

5C101

【Ｆターム（参考）】

2G041CA01

2G041GA03

2G041GA06

5B057CA02

5B057CA08

5B057CA12

5B057CA16

5B057CB02

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE11

5B057DA16

5B057DB02

5B057DB05

5B057DB09

5B057DC22

5B057DC36

5B057DC40

5C101AA03

5C101AA21

5C101HH66

5C101JJ04

(57)【要約】

【課題】機械学習用の高精細マスイメージを得られない状況下において、機械学習モデルを用いてマスイメージの画質を改善する。
【解決手段】前処理器４６は、試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する。画質変換器４８は、走査電子顕微鏡により生成された画像群に基づく機械学習を経て生成された画質変換モデルを有し、モデル入力画像の画質変換によりモデル出力画像を生成する。後処理器５０は、モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する前処理器と、
前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを有し、前記モデル入力画像の画質変換によりモデル出力画像を生成する画質変換器と、
前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する後処理器と、
を含み、
前記前処理は、前記画質変換器の入力条件に対して前記モデル入力画像を適合させる処理であり、
前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、
ことを特徴とするマスイメージ処理装置。

【請求項2】

請求項１記載のマスイメージ処理装置において、
前記画質変換モデルの入力条件には、輝度条件が含まれ、
前記前処理には、前記原マスイメージの輝度分布を前記輝度条件に適合させる輝度スケーリングが含まれる、
ことを特徴とするマスイメージ処理装置。

【請求項3】

請求項２記載のマスイメージ処理装置において、
前記前処理には、更に、前記原マスイメージにおいて高輝度条件を満たす画素値を修正又は除外する高輝度ノイズ処理が含まれ、
前記前処理器において、前記高輝度ノイズ処理の実行後に前記輝度スケーリングが実行される、
ことを特徴とするマスイメージ処理装置。

【請求項4】

請求項３記載のマスイメージ処理装置において、
前記前処理には、更に、前記原マスイメージにおいて低輝度条件を満たす画素値を修正又は除外する低輝度ノイズ処理が含まれ、
前記前処理器において、前記高輝度ノイズ処理及び前記低輝度ノイズ処理の実行後に前記輝度スケーリングが実行される、
ことを特徴とするマスイメージ処理装置。

【請求項5】

請求項１記載のマスイメージ処理装置において、
前記画質変換器の入力条件には、第１輝度条件及び第１画像サイズ条件が含まれ、
前記マスイメージ出力条件には、第２輝度条件及び第２画像サイズ条件が含まれ、
前記前処理には、前記原マスイメージの輝度分布を前記第１輝度条件に適合させる入力側輝度スケーリング、及び、前記第１画像サイズ条件が満たされるように前記原マスイメージの全部又は一部を含む前記モデル入力画像を作成する入力側画像操作、が含まれ、
前記後処理には、前記モデル出力画像の輝度分布を前記第２輝度条件に適合させる出力側輝度スケーリング、及び、前記第２画像サイズ条件が満たされるように前記モデル出力画像の全部又は一部を含む前記画質変換後のマスイメージを作成する出力側画像操作、が含まれる、
ことを特徴とするマスイメージ処理装置。

【請求項6】

請求項１記載のマスイメージ処理装置において、
前記原マスイメージは、試料に対するイオンビーム走査又はレーザー走査により生成された画像であり、
前記別の試料分析は、走査電子顕微鏡による試料観察であり、
前記画像群は、前記走査電子顕微鏡により生成されたものである、
ことを特徴とするマスイメージ処理装置。

【請求項7】

試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する工程と、
前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを用いて、前記モデル入力画像からモデル出力画像を生成する工程と、
前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する工程と、
を含み、
前記前処理は、前記画質変換モデルの入力条件に対して前記モデル入力画像を適合させる処理であり、
前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、
ことを特徴とするマスイメージ処理方法。

【請求項8】

情報処理装置においてマスイメージ処理を実行するためのプログラムであって、
試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する機能と、
前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを用いて、前記モデル入力画像からモデル出力画像を生成する機能と、
前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する機能と、
を含み、
前記前処理は、前記画質変換モデルの入力条件に対して前記モデル入力画像を適合させる処理であり、
前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マスイメージ処理装置及び方法に関し、特に、マスイメージの画質を改善する技術に関する。

【背景技術】

【0002】

マスイメージの生成に際しては、まず、試料に対して設定された観察領域を構成する複数の微小領域から複数のマススペクトルが取得される。次に、複数のマススペクトルから特定の質量電荷比（ｍ／ｚ）に対応する複数のイオン強度値が取り出され、それらの二次元マッピングによりマスイメージが生成される。マスイメージによれば、例えば、特定元素の二次元分布を視覚化できる。通常、複数のマススペクトルに基づいて、複数の質量電荷比に対応する複数のマスイメージが生成される。

【0003】

観察領域内の各微小領域から得られるイオン量は非常に少ない。それ故、マスイメージ生成に当たって良好なＳ／Ｎ比を得ることは困難である。一般に、マスイメージは、多量のノイズを含む粗い画像である。ノイズ又は粗さを目立たなくするために、マスイメージに対して単なる平滑化フィルタを適用すると、マスイメージそれ全体がぼけてしまう。

【0004】

近時、機械学習モデルを用いた画質改善技術が普及しつつある。例えば、電子顕微鏡の分野において、多数の正解画像として多数の高精細画像を用意することは、一般に、容易である。それらの高精細画像を用いた機械学習により画質変換モデルを作成し得る。一方、マスイメージの分野において、多数の高精細画像を用意することは、一般に、極めて難しい。各微小領域から得られる質量電荷比ごとのイオン量は非常に少ないからである。マスイメージの分野において、教師あり機械学習により画質変換モデルを作成することは困難である。

【0005】

特許文献１、２には、機械学習モデルを用いた画像処理が開示されている。特許文献３には、機械学習モデルを有する走査電子顕微鏡が開示されている。非特許文献１には、画質変換モデルを用いて走査電子顕微鏡画像の画質を改善する技術が開示されている。いずれの文献にも、機械学習モデルによりマスイメージの画質を改善する技術は、開示されていない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－２０６３８２号公報

【特許文献2】国際公開２０２０／０３１８５１号公報

【特許文献3】特許第６９６２８６３号公報

【非特許文献】

【0007】

【非特許文献1】植松他「走査電子顕微鏡におけるライブ像のノイズ低減」第３３回日本人工知能学会全国大会、２０１９年

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、マスイメージの画質を改善することにある。あるいは、本発明の目的は、高精細マスイメージを得られない状況下において、機械学習モデルを用いてマスイメージの画質を改善することにある。

【課題を解決するための手段】

【0009】

本発明に係るマスイメージ処理装置は、試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する前処理器と、前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを有し、前記モデル入力画像の画質変換によりモデル出力画像を生成する画質変換器と、前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する後処理器と、を含み、前記前処理は、前記画質変換器の入力条件に対して前記モデル入力画像を適合させる処理であり、前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、ことを特徴とする。

【0010】

本発明に係るマスイメージ処理方法は、試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する工程と、前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを用いて、前記モデル入力画像からモデル出力画像を生成する工程と、前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する工程と、を含み、前記前処理は、前記画質変換モデルの入力条件に対して前記モデル入力画像を適合させる処理であり、前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、ことを特徴とする。

【0011】

本発明に係るプログラムは、情報処理装置においてマスイメージ処理を実行するためのプログラムであって、試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する機能と、前記質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを用いて、前記モデル入力画像からモデル出力画像を生成する機能と、前記モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する機能と、を含み、前記前処理は、前記画質変換モデルの入力条件に対して前記モデル入力画像を適合させる処理であり、前記後処理は、マスイメージ出力条件に対して前記画質変換後のマスイメージを適合させる処理である、ことを特徴とする。

【発明の効果】

【0012】

本発明によれば、マスイメージの画質を改善できる。あるいは、本発明によれば、高精細マスイメージに基づく機械学習を行えない状況下において、機械学習モデルを用いてマスイメージの画質を改善できる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係るシステムを示すブロック図である。

【図2】マスイメージの生成を示す図である。

【図3】マスイメージ処理装置の要部を示す図である。

【図4】原マスイメージの輝度分布を示す図である。

【図5】段階的に実行される複数の輝度変換を示す図である。

【図6】入力側画像操作及び出力側画像操作の第１例を示す図である。

【図7】入力側画像操作及び出力側画像操作の第２例を示す図である。

【図8】入力側画像操作の第３例を示す図である。

【図9】第１の変換例を示す図である。

【図10】第２の変換例を示す図である。

【図11】変形例を示す図である。

【発明を実施するための形態】

【0014】

以下、実施形態を図面に基づいて説明する。

【0015】

（１）実施形態の概要
実施形態に係るマスイメージ処理装置は、前処理器、画質変換器、及び、後処理器を有する。前処理器は、試料の質量分析により生成された原マスイメージに対して前処理を適用してモデル入力画像を生成する。画質変換器は、質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを有し、モデル入力画像の画質変換によりモデル出力画像を生成する。後処理器は、モデル出力画像に対して後処理を適用して画質変換後のマスイメージを生成する。前処理は、画質変換器の入力条件に対してモデル入力画像を適合させる処理である。後処理は、マスイメージ出力条件に対して画質変換後のマスイメージを適合させる処理である。

【0016】

上記構成によれば、正解画像としての高精細画像を用意することが困難なマスイメージの分野において、画質変換モデルを利用することが可能となる。第１の分野で生成された画質変換モデルを第２の分野に導入する方式は、転移学習（Transfer Learning）とも呼ばれている。上記構成は、前処理及び後処理を含んでおり、単なる転移学習とは相違する。前処理によれば、画質変換器（又は画像変換モデル）の入力条件に対してモデル入力画像を適合させることができるので、画質変換モデルを正しく機能させることが可能である。後処理によれば、マスイメージ出力条件に対して画質変換後のマスイメージを適合させることができるので、最終的に出力するマスイメージの仕様を所望のものにすることが可能である。前処理において複数の変換が実行される場合、後処理において複数の変換に対応する複数の逆変換が実行されてもよい。

【0017】

実施形態において、画質変換モデルの入力条件には、輝度条件が含まれる。前処理には、原マスイメージの輝度分布を輝度条件に適合させる輝度スケーリングが含まれる。この構成によれば、画質変換モデルを正しく機能させることができ、あるいは、画像変換モデルの入力ダイナミックレンジを十分に活用できる。輝度スケーリングは、輝度分布範囲の操作あるいは輝度分布の規格化を意味する。

【0018】

実施形態において、前処理には、更に、原マスイメージにおいて高輝度条件を満たす画素値を修正又は除外する高輝度ノイズ処理が含まれる。前処理器において、高輝度ノイズ処理の実行後に輝度スケーリングが実行される。また、実施形態において、前処理には、更に、原マスイメージにおいて低輝度条件を満たす画素値を修正又は除外する低輝度ノイズ処理が含まれる。前処理器において、高輝度ノイズ処理及び低輝度ノイズ処理の実行後に輝度スケーリングが実行される。

【0019】

マスイメージ生成に際して、試料に対する二次元イオンビーム走査又は二次元レーザー走査が実施され、その走査過程において生じる一連のイオンが質量分析される。走査過程において、イオン量が突発的に変動することがある。具体的には、イオン量の急増やイオン量の急落が生じることがある。それらの変動は、マスイメージにおいて高輝度ノイズ及び低輝度ノイズを生じさせる。それらのノイズを含んだマスイメージに対して輝度スケーリングを適用すると、画質変換モデルを十分に機能させることが困難となる。そこで、上記構成では、輝度スケーリングに先立って、マスイメージに対する高輝度ノイズ処理及び低輝度ノイズ処理が実行される。その上で、適正な輝度分布に対して輝度スケーリングが適用される。これにより、輝度変換モデルが有する入力ダイナミックレンジを十分に活用することが可能となる。一般に、高輝度ノイズは、マスイメージを観察する上で、目障りとなるものである。よって、望ましくは、高輝度ノイズ処理及び低輝度ノイズ処理の内で、少なくとも高輝度ノイズ処理が実行される。

【0020】

実施形態において、画質変換器の入力条件には、第１輝度条件及び第１画像サイズ条件が含まれる。マスイメージ出力条件には、第２輝度条件及び第２画像サイズ条件が含まれる。前処理には、原マスイメージの輝度分布を第１輝度条件に適合させる入力側輝度スケーリング、及び、第１画像サイズ条件が満たされるように原マスイメージの全部又は一部を含むモデル入力画像を作成する入力側画像操作、が含まれる。後処理には、モデル出力画像の輝度分布を第２輝度条件に適合させる出力側輝度スケーリング、及び、第２画像サイズ条件が満たされるようにモデル出力画像の全部又は一部を含む画質変換後のマスイメージを作成する出力側画像操作、が含まれる。

【0021】

実施形態において利用する画質変換モデルは、別の試料分析により生成された画像の輝度分布及び画像サイズに依拠するものである。換言すれば、その画像変換モデルは、マスイメージが有する輝度分布及び画像サイズには必ずしも適合しない。そのような不整合（ギャップ）を補う手段が前処理及び後処理である。前処理は、画像変換モデルを正しく機能させる上で不可欠なもの又は重要なものである。後処理は、画質変換後のマスイメージを観察する上で不可欠なもの又は重要なものである。

【0022】

実施形態において、上記の原マスイメージは、試料に対するイオンビーム走査又はレーザー走査により生成された画像である。上記の別の試料分析は、走査電子顕微鏡による試料観察である。上記の画像群は、走査電子顕微鏡により生成されたものである。走査電子顕微鏡画像及びマスイメージは、いずれも試料表面を表す二次元走査画像である。２つの画像間において類似性又は共有性が認められる。走査電子顕微鏡画像の分野からマスイメージの分野への機械学習モデルの転移について、その有効性が実験により確認されている。物体の表面を表す他の画像群（例えば、形状計測画像群、光学画像群）に基づく機械学習を経て生成された画質変換モデルをマスイメージに対して適用してもよい。

【0023】

画質変換後のマスイメージを利用して画質変換モデルの再学習を実行してもよい。その場合、画質変換モデルの一部をチューニング対象としてもよい。

【0024】

実施形態に係るマスイメージ処理方法は、前処理工程、変換工程、及び、後処理工程を有する。前処理工程では、試料の質量分析により生成された原マスイメージに対して前処理が適用され、これによりモデル入力画像が生成される。変換工程では、質量分析とは別の試料分析により生成された画像群に基づく機械学習を経て生成された画質変換モデルを用いて、モデル入力画像からモデル出力画像が生成される。後処理工程では、モデル出力画像に対して後処理が適用され、これにより画質変換後のマスイメージが生成される。前処理は、画質変換モデルの入力条件に対してモデル入力画像を適合させる処理である。後処理は、マスイメージ出力条件に対して画質変換後のマスイメージを適合させる処理である。

【0025】

上記のマスイメージ処理方法は、ハードウエアの機能として又はソフトウエアの機能として実現される。後者の場合、マスイメージ処理方法を実施するためのプログラムが、ネットワークを介して又は可搬型記憶媒体を介して、情報処理装置にインストールされる。情報処理装置は、上記プログラムを格納する非一時的記憶媒体を有する。情報処理装置の概念には、コンピュータ、画像処理装置、質量分析システム、等が含まれる。

【0026】

（２）実施形態の詳細
図１には、実施形態に係るシステムが示されている。図示されたシステムには、質量分析システム１０、走査電子顕微鏡システム１２、及び、画質変換モデル生成装置１４が含まれる。質量分析システム１０は、質量分析装置３４及びマスイメージ処理装置３６により構成される。

【0027】

走査電子顕微鏡システム１２は、走査電子顕微鏡１６、画質変換器１８及び表示器２０を有する。走査電子顕微鏡１６は、試料に対して電子線を照射する照射設備、試料から放出される電子を検出する検出器、等を有する。照射設備は、試料上において電子線を二次元走査する機能を備える。検出器は例えば二次電子検出器である。他の検出器として反射電子検出器、Ｘ線検出器、等が挙げられる。検出器の出力信号に基づいて走査電子顕微鏡画像（ＳＥＭ画像）が生成される。ＳＥＭ画像は、具体的には、二次電子像である。

【0028】

画質変換器１８は、ＳＥＭ画像の画質を変換（具体的には改善）する画質変換モデルを有する。画質変換器１８は、例えばＣＮＮ（Convolutional Neural Network）により構成される。画質変換モデルの実体は、機械学習を経て生成されたパラメータセットである。走査電子顕微鏡１６とは別のコンピュータ上に画質変換器１８が構築されているが、走査電子顕微鏡１６（具体的にはそれが有する情報処理部）の中に画質変換器１８が組み込まれてもよい。表示器２０には、画質変換後のＳＥＭ画像が表示される。表示器２０は、ＬＣＤ（Liquid Crystal Display）等により構成される。

【0029】

画質変換モデル生成装置１４は、コンピュータ等により構成され、教師データ生成器２２及び学習器２４を有する。教師データ生成器２２は、高精細のＳＥＭ画像２８に対して人工的なノイズを付加することにより、ノイズ含有ＳＥＭ画像３０を生成する。ノイズ含有ＳＥＭ画像３０及びそれに対応する高精細のＳＥＭ画像２８からなる画像ペアが１つの教師データ３２を構成する。高精細のＳＥＭ画像２８が正解画像として機能する。教師データ生成器２２において、多数のＳＥＭ画像２８に基づいて多数の教師データ３２が生成される。ＳＥＭ画像データベースから取得されるＳＥＭ画像に基づいて教師データ３２が生成されてもよい。

【0030】

学習器２４は、例えばＣＮＮで構成される。多数の教師データ３２が学習器２４に与えられ、その過程において、教師データ３２ごとに、ノイズ含有ＳＥＭ画像３０の画質変換の結果が高精細のＳＥＭ画像２８に近付くように、学習器２４内のパラメータセットが優良化される。そのような機械学習過程を経て学習器２４内に画質変換モデルが構築される。符号２６が示しているように、生成された画質変換モデルが画質変換器１８へ与えられる。もっとも、画質変換器１８と学習器２４を一体化させてもよい。画質変換器１８及び学習器２４として、多様な構成を採用し得る。画質変換器１８及び学習器２４の構成例が非特許文献１に開示されている。

【0031】

次に、質量分析システム１０について説明する。質量分析装置３４は、イオン源３８、質量分析器４０、及び、検出器４２を有する。イオン源３８として、二次イオン質量分析法（ＳＩＭＳ）に従うイオン源、マトリックス支援レーザー脱離イオン化質量分析法（ＭＡＬＤＩ－ＭＳ）に従うイオン源、等が挙げられる。ＳＩＭＳに従うイオン源においては、試料表面に対して一次イオンビームが照射され、試料表面から放出される二次イオンが質量分析器４０へ送られる。ＭＡＬＤＩ－ＭＳに従うイオン源においては、試料表面に対してレーザーが照射され、試料表面から出るイオンが質量分析器４０へ送られる。

【0032】

より詳しくは、試料表面上に観察領域が設定され、観察領域に対する一次イオンビーム走査又はレーザー走査が実施される。観察領域は、二次元配列された複数の微小領域により構成され、各微小領域から放出されるイオンが質量分析器４０へ導かれる。

【0033】

質量分析器４０は、飛行時間型質量分析器、四重極型質量分析器、等によって構成され、個々のイオンが有する質量（正確には質量電荷比）を分析するものである。検出器４２において、質量分析器４０を通過したイオンが検出される。検出器４２の出力信号に基づいてマススペクトルが生成される。具体的には、微小領域ごとにマススペクトルが生成される。観察領域を構成する複数の微小領域に対応する複数のマススペクトルにより、マススペクトルアレイが構成される。図１には、マススペクトル生成部は示されていないが、それは質量分析装置３４内に設けられ、あるいは、マスイメージ処理装置３６内に設けられる。

【0034】

マスイメージ処理装置３６は、マスイメージ生成器４４、前処理器４６、画質変換器４８、後処理器５０、表示器５２等を有する。マスイメージ処理装置３６は、例えば、コンピュータにより構成される。プログラムを実行するプロセッサ（例えばＣＰＵ）が、前処理器４６、画質変換器４及び後処理器５０として機能する。マスイメージ処理装置３６が質量分析装置３４内に組み込まれてもよい。

【0035】

マスイメージ生成器４４は、マススペクトルアレイから、指定された質量電荷比に対応する複数のイオン強度（イオン強度列）を取り出し、そのイオン強度列に基づいてマスイメージを生成する。マスイメージは、直交関係にあるｘ軸及びｙ軸を有する。マスイメージは複数の画素により構成される。各画素は、イオン強度に相当する画素値（輝度値Intensity Value）を有する。通常、複数の質量電荷比が指定され、それらに対応する複数のマスイメージが生成される。マスイメージ生成方法については後に図２を用いて詳しく説明する。

【0036】

前処理器４６は、画質変換対象とされたマスイメージ（原マスイメージ）に対して前処理を適用するものである。前処理の適用の結果、画質変換器４８の入力条件（画像変換モデルの入力条件）に適合するモデル入力画像が生成される。

【0037】

実施形態において、前処理には、輝度スケーリング（輝度変換）及び画像サイズ調整（画像サイズ操作）が含まれる。また、前処理には、高輝度ノイズ処理、低輝度ノイズ処理、等が含まれる。前処理により、特定のマスイメージの全部又は一部を含むモデル入力画像が生成される。後述するように、複数のマスイメージを含むモデル入力画像が生成されてもよい。

【0038】

画質変換器４８は、例えばＣＮＮで構成され、それは学習器２４において生成された画質変換モデルを有する。符号５４は、学習器２４から画質変換器４８への画質変換モデルの転送又は移植を示している。画質変換モデルの転送又は移植に際して、ネットワーク又は可搬型記憶媒体が利用され得る。学習器２４と画質変換器４８が一体化されてもよい。

【0039】

画質変換モデルは、本来的には、ＳＥＭ画像の画質を改善するためのものであるが、本実施形態においては、その画質変換モデルがマスイメージの画質の改善に利用されている。ＳＥＭ画像とマスイメージの間には、幾つかの相違点が認められるものの、いずれの画像も試料表面を表す二次元走査画像である点で共通している。ＳＥＭ画像用の画質変換モデルをマスイメージに適用することについての有効性が、本発明者らの実験により確認されている。

【0040】

後処理器５０は、画質変換器４８から出力されたモデル出力画像に対して後処理を適用するものである。後処理の適用の結果、マスイメージ出力条件に適合する画像変換後のマスイメージが生成される。

【0041】

実施形態において、後処理には、前処理に含まれる複数の変換に対応する複数の逆変換が含まれる。具体的には、前処理には、輝度スケーリング（輝度変換）、画像サイズ調整（画像サイズ操作）、が含まれる。画像変換後のマスイメージは、モデル出力画像の全部又は一部に相当し、あるいは、複数のモデル出力画像に相当する。前処理及び後処理については後に図３～図８を用いて詳述する。

【0042】

表示器５２には、画質変換後のマスイメージ、つまり画質改善のマスイメージが表示される。マスイメージに対してカラー処理が施されてもよい。マスイメージが解析されてもよい。表示器５２は例えばＬＣＤにより構成される。

【0043】

図１に示したマスイメージ処理装置３６によれば、高精細のマスイメージが得られない状況下において、機械学習モデルを用いて、マスイメージの画質を改善することが可能である。

【0044】

図２には、マスイメージ生成方法が示されている。符号３８はイオン源を示しており、符号４０は質量分析器を示しており、符号４４はマスイメージ生成器を示している。試料に対して観察領域５６が設定される。観察領域５６はｘ方向及びｙ方向に広がる二次元領域である。観察領域５６内においてイオン化のためのビーム６０が二次元走査される。ビーム６０は、一次イオンビーム又はレーザービームである。観察領域５６は、ｘ方向及びｙ方向に並ぶ複数の微小領域５８により構成される。各微小領域５８の位置はｘ座標及びｙ座標により特定される。各微小領域５８から生じるイオン６２が質量分析対象となる。

【0045】

質量分析器４０において、各微小領域５８から生じたイオン６２が質量分析される。その結果、微小領域５８ごとにマススペクトル６８が生成される。すなわち、複数の微小領域５８に対応する複数のマススペクトル６８が生成される。それらによりマススペクトルアレイ６６が構成される。

【0046】

指定された質量電荷比に基づき、マススペクトルアレイ６６から、ピーク列であるイオン強度列７０が取り出される。イオン強度列７０は、複数の微小領域５８に対応する複数のイオン強度により構成される。それらのイオン強度を二次元マッピングすることによりマスイメージ７２が生成される。マスイメージ７２は、複数の画素により構成される。各画素の位置はｘ座標及びｙ座標により特定される。各画素が有する画素値はイオン強度に相当する。通常、複数の質量電荷比が指定され、それらに対応する複数のマスイメージが生成される。複数のマスイメージによりマスイメージセット７４が構成される。個々のマスイメージ７２が画質変換対象となる。

【0047】

ちなみに、試料における各微小領域５８から生じるイオン量は少なく、更に言えば、生じたイオン量の内で、個々の質量電荷比当たりのイオン量はかなり少ない。また、試料に対して二次元ビーム走査を行う過程では、仮に注目する化合物が均一に分布していても、生じるイオン量に変動が生じ易い。特に、突発的なイオン量の増大が生じ易い。突発的なイオン量の減少が生じることもある。ＭＡＬＤＩ法を用いる場合、イオン化の促進のために、試料表面にマトリックスが噴霧され又は蒸着される。マトリックスの分布が均一でない場合、それに起因してイオン量が変動する。以上のような幾つかの要因から、良好なＳ／Ｎ比を有するマスイメージを生成することは困難である。これに対して、実施形態によれば、外部において生成された画質変換モデルを用いてマスイメージの画質を改善することが可能である。本実施形態においては、突発的なイオン量の増大に起因する高輝度ノイズに対処するために、マスイメージに対して高輝度ノイズ処理が適用され、また突発的なイオン量の減少に起因する低輝度ノイズに対処するために、マスイメージに対して低輝度ノイズ処理が適用される。それらの処理により、画質変換モデルの入力ダイナミックレンジを十分に活用できる。

【0048】

図３には、マスイメージ処理装置の具体的な構成例が示されている。前処理器４６は、入力されるマスイメージ（原マスイメージ）７６に対して前処理を適用してモデル入力画像８４を生成する。モデル入力画像８４が画質変換モデルの入力条件を満たすように、マスイメージ７６に対して前処理が適用される。前処理器４６は、図示の構成例において、ノイズ処理器７８、入力側スケーリング器８０、及び、モデル入力画像作成器８２を有する。

【0049】

ノイズ処理器７８は、マスイメージ７６に対して高輝度ノイズ処理及び低輝度ノイズ処理を適用するものである。高輝度ノイズ処理は、マスイメージに含まれる高輝度ノイズを修正又は除去するものである。高輝度ノイズに相当する画素値が所定の画素値に下方修正（抑圧）されてもよい。高輝度条件を満たす画素値が高輝度ノイズである。例えば、画素値ヒストグラムとしての輝度分布において、上位ｋ１％の部分に属する画素値が高輝度ノイズとして判定される。ｋ１は、例えば、０．１～５％の範囲内の数値である。

【0050】

低輝度ノイズ処理は、マスイメージに含まれる低輝度ノイズを修正又は除去するものである。低輝度ノイズに相当する画素値が所定の画素値に上方修正（嵩上げ）されてもよい。低輝度条件を満たす画素値が低輝度ノイズである。例えば、輝度分布において、下位ｋ２％の部分に属する画素値が低輝度ノイズとして判定される。ｋ２は、例えば、０．１～５％の範囲内の数値である。

【0051】

入力側スケーリング器８０は、ノイズ処理後のマスイメージの輝度分布（修正輝度分布）が画質変換モデルの輝度条件（第１輝度条件）つまり入力ダイナミックレンジに適合するように、ノイズ処理後のマスイメージに対してスケーリング（輝度変換）を適用するものである。ノイズ処理後にスケーリングを行うことにより、画質変換モデルの入力ダイナミックレンジを十分に活用することが可能である。

【0052】

モデル入力画像作成器８２は、モデル入力画像のサイズが画質変換モデルの画像サイズ条件（第１画像サイズ条件）に適合するように、モデル入力画像を作成するものである。モデル入力画像作成器８２は、画像サイズ操作器又は画像サイズ調整器とも言い得る。モデル入力画像の作成に際して、同一の又は異なる複数のマスイメージが空間的に連結されてもよいし、１つのマスイメージの全部又は一部が使用されてもよい。前処理器４６において、マスイメージが拡大又は縮小されてもよい。

【0053】

実施形態においては、スケーリングが先に実施された上で、次にサイズ調整が実施される。但し、サイズ調整が先に実施された上で、スケーリングが実施されてもよい。

【0054】

画質変換器４８は、既に説明したように、外部から導入された画質変換モデルを有する。画質変換モデルは、モデル入力画像８４に対して画質変換を適用してモデル出力画像８６を生成する。実施形態における画質変換モデルは、画像化された構造や模様を損なうことなく、粗い画像を精細な画像に変換する作用を発揮する。

【0055】

後処理器５０は、入力されるモデル出力画像８６に対して後処理を適用して画質変換後のマスイメージ９２を生成する。画質変換度のマスイメージ９２がマスイメージ出力条件を満たすように、モデル出力画像８６に対して後処理が適用される。後処理器５０は、図示の構成例において、出力側スケーリング器８８、及び、モデル出力画像加工器９０を有する。

【0056】

出力側スケーリング器８８は、変換後のマスイメージ９２が輝度条件（第２輝度条件）を満たすように、モデル出力画像８６の輝度分布に対してスケーリング（輝度変換）を行う。これにより、画質変換後のマスイメージ９２の輝度分布を自然なものにできる。

【0057】

モデル出力画像加工器９０は、画質変換後のマスイメージ９２が画像サイズ条件（第２画像サイズ条件）を満たすように、モデル出力画像８６を加工して画質変換後のマスイメージ９２を作成するものである。加工の概念には、切り出し等が含まれる。切り出された複数の部分画像が積算されてもよい。

【0058】

実施形態においては、画像加工が先に実施された上で、次にスケーリングが実施される。但し、スケーリングが先に実施された上で、次に、画像加工が実施されてもよい。後処理において画像の拡大率が変更されてもよい。

【0059】

図４には、前処理器に入力されるマスイメージの輝度分布９４が示されている。横軸は輝度軸である。縦軸は頻度（画素数）を示している。高輝度ノイズ処理に際しては、輝度分布９４において、上位ｋ１％に相当する部分９４ａが特定される（符号９６を参照）。その部分９４ａの下限の輝度がＴＨ１である。部分９４ａに属する画素値の全部が例えばＴＨ１（又はそれに基づく値）に下方修正される。低輝度ノイズ処理に際しては、輝度分布９４において、下位ｋ２％に相当する部分９４ｂが特定される（符号９８を参照）。その部分９４ｂの上限の輝度がＴＨ２である。部分９４ｂに属する画素値の全部が例えばＴＨ２（又はそれに基づく値）に上方修正される。

【0060】

高輝度ノイズ処理及び低輝度ノイズ処理の結果、輝度分布９４において画質変換モデルに送られるのは中間部分又は主要部分９４ｃとなる（符号１００を参照）。ノイズに相当する部分を除外して輝度変換範囲を限定できるので、画質変換モデルの入力ダイナミックレンジを最大限活用することが可能となる。高輝度ノイズ処理及び低輝度ノイズ処理の内の一方のみが実施されてもよい。他のノイズ処理が適用されてもよい。

【0061】

図５には、段階的に実行される複数の輝度変換が例示されている。元輝度軸１００は、画質変換対象となるマスイメージが有する輝度軸である。そのマスイメージの輝度分布は、元輝度軸１００上に存在している。ノイズ処理後の輝度の最大値がＡｍａｘで表現されており、ノイズ処理後の輝度の最小値がＡｍｉｎで表現されている。符号１００Ａは、元輝度軸１００上において輝度がとり得る範囲を示している。

【0062】

変換空間輝度軸１０２は、画質変換モデルが有する輝度軸である。符号１０２Ａは変換空間輝度軸１０２上において輝度がとり得る範囲を示しており、それは入力ダイナミックレンジ（及び出力ダイナミックレンジ）に相当する。範囲１０２Ａ内において、輝度の最大値がＢｍａｘで表現されており、輝度の最小値がＢｍｉｎで表現されている。

【0063】

入力側スケーリングにおいては、最大値Ａｍａｘが最大値Ｂｍａｘに変換され、また、最小値Ａｍｉｎが最小値Ｂｍｉｎに変換されるように、変換条件が定められる。実施形態において、入力側スケーリングは線形変換であるが、線形変換に代えて非線形変換が実行されてもよい。

【0064】

出力輝度軸１０４上に画質変換後のマスイメージの輝度分布が存在する。符号１０４Ａは、出力輝度軸１０４において輝度がとり得る範囲を示している。範囲１０４Ａ内において、上記の輝度の最大値Ｂｍａｘに対応する輝度の最大値がＣｍａｘで表現されており、上記の輝度の最小値Ｂｍｉｎに対応する輝度最小値がＣｍｉｎで表現されている。

【0065】

出力側スケーリングにおいては、最大値Ｂｍａｘが最大値Ｃｍａｘに変換され、また、最小値Ｂｍｉｎが最小値Ｃｍｉｎに変換されるように、変換条件が定められる。実施形態において、出力側スケーリングは線形変換であるが、線形変換に代えて非線形変換が実行されてもよい。

【0066】

例えば、マスイメージにおける特定画素の輝度１０６が、入力側スケーリングによって、輝度１０８に変換される。画質変換により、輝度１０８が輝度１１２に変換される（符号１１０を参照）。輝度１１２が、出力側スケーリングによって、輝度１１４に変換される。なお、図５に示した処理は一例であり、他の処理が実行されてもよい。

【0067】

次に、図６～図８を用いて、モデル入力画像の作成及モデル出力画像の加工について説明する。

【0068】

図６に示す第１例において、符号１１６は、モデル入力画像１２０の規定サイズを示している。モデル入力画像１２０を生成するために、同じ内容を有する複数のマスイメージＡが二次元配列され、これによりマスイメージアレイ１１８が構成される。規定サイズ１１６を超える外枠サイズが実現されるように、マスイメージアレイ１１８を構成するマスイメージＡの個数が定められる。換言すれば、画質変換モデルに対して、余白が入力されないように、マスイメージアレイ１１８が構成される。マスイメージアレイ１１８から、規定サイズ１１６を有するモデル入力画像１２０が切り出される。切り出されたモデル入力画像１２０が画質変換モデルへ与えられる。マスイメージＡは、入力側スケーリング後の画像であるが、上記切り出し後に入力側スケーリングが実施されてもよい。

【0069】

モデル出力画像１２２には、画質変換後の複数のマスイメージＡ’が含まれる。その中から特定の１つのマスイメージＡ’が切り出される。マスイメージＡ’が画質変換後のマスイメージとして出力される。切り出しの後に出力側スケーリングが実施される。モデル出力画像１２２から複数のマスイメージＡ’が切り出され、それらが積算（又は平均化）されてもよい（符号１２６を参照）。その場合、積算画像が画質変換後のマスイメージとして出力される。

【0070】

図７に示す第２例において、モデル入力画像１３２の生成に際して、互いに異なる複数のマスイメージＡ～Ｉが二次元配列され、これによりマスイメージアレイ１２８が構成される。規定サイズ１１６を超える外枠サイズが実現されるように、マスイメージアレイ１２８を構成するマスイメージの個数が定められる。規定サイズ１１６内に隙間１３０が生じないように、隙間１３０が例えば複数のマスイメージＡによって埋められる。マスイメージアレイ１２８から、規定サイズ１１６を有するモデル入力画像１３２が切り出される。切り出されたモデル入力画像１３２が画質変換モデルへ与えられる。上記同様に、マスイメージＡ～Ｉは、入力側スケーリング後の画像であるが、上記切り出し後に入力側スケーリングが実施されてもよい。

【0071】

モデル出力画像１３４には、画質変換後の複数のマスイメージＡ’～Ｉ’が含まれる。それらのマスイメージＡ’～Ｉ’が個別的に切り出され、それぞれが画質変換後のマスイメージとして出力される。切り出しの後に、出力側スケーリングが実施される。第２例によれば、複数のマスイメージを同時処理できる。

【0072】

図８に示す第３例において、モデル入力画像の規定サイズ１３６は、マスイメージＡのサイズに比べて小さい。このような場合、マスイメージＡにおける一部分ａ０，ａ１，ａ２，ａ３が順番にモデル入力画像として切り出される。一部分ａ１，ａ２，ａ３の画質変換に対して、隙間１３８が生じないように、マスイメージＡの他の一部分が用いられる。例えば、図８に示されているように、同じ内容を有する複数のマスイメージＡを二次元配列してマスイメージアレイを構成し、そこから切り出された各モデル入力画像が画質変換モデルへ送られる。

【0073】

図９には、画質変換の第１例が示されている。画質変換前のマスイメージ１４０においては粗さが目立つ。画質変換後のマスイメージ１４２は滑らかな画像である。画質変換の前後で、構造又はエッジは保存されている。寧ろ、画質変換後においては構造又はエッジが明瞭化され又は強調されている。

【0074】

図１０には、画質変換の第２例が示されている。画質変換前のマスイメージ１４４は粗い画像である。符号１４６は、前処理において拡大を行わなかった場合における画質変換後のマスイメージを示している。それは細かい画像である。符号１４８は、前処理において４倍（ｘ方向２倍、ｙ方向２倍）の拡大を適用した場合における画質変換後のマスイメージを示している。符号１５０は、前処理において９倍（ｘ方向３倍、ｙ方向３倍）の拡大を適用した場合における画質変換後のマスイメージを示している。拡大率を増加させると、変換後において画質が変化する。

【0075】

図１１には、変形例が示されている。前処理器４６と後処理器５０との間に画質変換器４８Ａが設けられている。画質変換器４８Ａは、画質変換モデルを有する。モデル入力画像ａを画質変換モデルに与えることによりモデル出力画像ｂが生成される。モデル入力画像ａ及びモデル出力画像ｂからなる画像ペアが教師データとして利用される。多数の教師データが用意され、それらを用いた画質変換モデルの再学習が実施される。画質変換モデルが複数の層を有する場合、一部の層（例えば、出力層に近い一部の層）が再学習の対象とされてもよい。その場合、一部の層以外の層の内容は固定又は維持される。

【0076】

なお、図１に示したシステムにおいて、走査電子顕微鏡システムを除外してもよい。その場合、ＳＥＭ画像データベースから教師データ生成器へ高精細のＳＥＭ画像が提供されてもよい。レーザー形状計測により得られた複数の画像に基づく機械学習により生成された画質変換モデルや、カメラにより撮影された複数の画像に基づく機械学習により生成された画質変換モデルが、画質変換器に組み込まれてもよい。

【符号の説明】

【0077】

１０ 質量分析システム、１２ 走査電子顕微鏡システム、１４ 画像変換モデル生成装置、１６ マスイメージ処理装置、４６ 前処理器、４８ 画質変換器、５０ 後処理器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】