特開 2022-105827 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022105827

(43)【公開日】2022-07-15

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   H01J 37/22 20060101AFI20220708BHJP

   H01J 37/28 20060101ALI20220708BHJP

   H01J 37/244 20060101ALI20220708BHJP

【ＦＩ】

H01J37/22 502E

H01J37/22 502F

H01J37/28 B

H01J37/28 C

H01J37/244

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021000405

(22)【出願日】2021-01-05

(71)【出願人】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(74)【代理人】

【識別番号】100090387

【弁理士】

【氏名又は名称】布施 行夫

(74)【代理人】

【識別番号】100090398

【弁理士】

【氏名又は名称】大渕 美千栄

(74)【代理人】

【識別番号】100161540

【弁理士】

【氏名又は名称】吉田 良伸

(72)【発明者】

【氏名】久原 健一

【テーマコード（参考）】

5C033

【Ｆターム（参考）】

5C033NN01

5C033NN02

5C033NN03

5C033SS07

5C033UU04

5C033UU05

(57)【要約】

【課題】事前に調整用のデータを用意することなく、自動で電子顕微鏡像の輝度やコントラストを調整することが可能な画像処理装置等を提供すること。
【解決手段】画像処理装置は、検出器のゲインを段階的に大きくし、その度に、電子顕微鏡像の輝度分布幅を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部に記憶させる輝度分布幅取得部と、記憶部に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式を導出する関係式導出部と、導出された関係式に基づき算出したゲイン値を調整後のゲインとして設定するゲイン設定部とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子線で試料を走査する電子顕微鏡の検出器のゲイン及びオフセットを調整することで電子顕微鏡像の輝度及びコントラストを調整する画像処理装置であって、
前記ゲインを段階的に大きくし、その度に、電子顕微鏡像の輝度分布幅を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部に記憶させる輝度分布幅取得部と、
前記記憶部に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式を導出する関係式導出部と、
前記関係式に基づき算出したゲイン値を調整後の前記ゲインとして設定するゲイン設定部とを含む、画像処理装置。

【請求項2】

請求項１において、
前記関係式は、２次関数の関係式である、画像処理装置。

【請求項3】

請求項１又は２において、
前記オフセットを段階的に大きくし、その度に、電子顕微鏡像の輝度分布を取得し、取得した輝度分布の下端が予め指定された値以上になったときのオフセット値を調整後の前記オフセットとして設定するオフセット設定部を更に含む、画像処理装置。

【請求項4】

電子線で試料を走査する電子顕微鏡の検出器のゲイン及びオフセットを調整することで電子顕微鏡像の輝度及びコントラストを調整する画像処理方法であって、
前記ゲインを段階的に大きくし、その度に、電子顕微鏡像の輝度分布幅を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部に記憶させる輝度分布幅取得ステップと、
前記記憶部に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式を導出する関係式導出ステップと、
前記関係式に基づき算出したゲイン値を調整後の前記ゲインとして設定するゲイン設定ステップとを含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

走査透過電子顕微鏡（ＳＴＥＭ）の検出器から取り込んだＳＴＥＭ像はコンピュータの電顕本体制御ソフトウェアで処理され、表示デバイスに表示される。ユーザ（オペレータ）は、表示されたＳＴＥＭ像を観察する際に見栄えを良くするために、電顕本体制御ソフトウェアにて検出器のゲインとオフセットを調整することで、ＳＴＥＭ像の輝度及びコントラストを調整する。自動でゲインとオフセットを調整するオートゲインオフセットの手法としては、基準ヒストグラムを用いた手法が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平４－３２８２３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の手法では、事前に基準ヒストグラムやテーブル等のデータを用意しておく必要があり、使い勝手が悪かった。

【0005】

本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、事前に調整用のデータを用意することなく、自動で電子顕微鏡像の輝度やコントラストを調整することが可能な、画像処理装置、及び画像処理方法を提供することができる。

【課題を解決するための手段】

【0006】

（１）本発明に係る画像処理装置は、電子線で試料を走査する電子顕微鏡の検出器のゲイン及びオフセットを調整することで電子顕微鏡像の輝度及びコントラストを調整する画像処理装置であって、前記ゲインを段階的に大きくし、その度に、電子顕微鏡像の輝度分布幅を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部に記憶させる輝度分布幅取得部と、前記記憶部に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式を導出する関係式導出部と、前記関係式に基づき算出したゲイン値を調整後の前記ゲインとして設定するゲイン設定部とを含む。

【0007】

また、本発明に係る画像処理方法は、電子線で試料を走査する電子顕微鏡の検出器のゲイン及びオフセットを調整することで電子顕微鏡像の輝度及びコントラストを調整する画像処理方法であって、前記ゲインを段階的に大きくし、その度に、電子顕微鏡像の輝度分布幅を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部に記憶させる輝度分布幅取得ステップと、前記記憶部に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式を導出する関係式導出ステップと、前記関係式に基づき算出したゲイン値を調整後の前記ゲインとして設定するゲイン設定ステップとを含む。

【0008】

本発明によれば、検出器のゲインを段階的に大きくする度に電子顕微鏡像の輝度分布幅を取得し、取得したゲイン値毎の輝度分布幅に基づいてゲイン値と輝度分布幅との関係式を導出し、当該関係式に基づきゲイン値を算出することで、基準ヒストグラムやテーブル等の調整用データを事前に用意することなく、自動で電子顕微鏡像の輝度やコントラスト
を調整することができる。

【0009】

（２）本発明に係る画像処理装置及び画像処理方法では、前記関係式は、２次関数の関係式であってもよい。

【0010】

（３）本発明に係る画像処理装置及び画像処理方法では、前記オフセットを段階的に大きくし、その度に、電子顕微鏡像の輝度分布を取得し、取得した輝度分布の下端が予め指定された値以上になったときのオフセット値を調整後の前記オフセットとして設定するオフセット設定部（オフセット設定ステップ）を更に含んでもよい。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る画像処理装置の機能ブロック図の一例を示す図。

【図2】ＳＴＥＭ像の輝度分布の一例を示す図。

【図3】ゲイン及びオフセットを０にしたときのＳＴＥＭ像の輝度分布の一例を示す図。

【図4】オフセットを大きくしたときのＳＴＥＭ像の輝度分布の一例を示す図。

【図5】ゲインを大きくしたときのＳＴＥＭ像の輝度分布の一例を示す図。

【図6】ゲイン値毎の輝度分布幅の一例を示す図。

【図7】図６に示すパターンＡのデータをプロットしたグラフを示す図。

【図8】最適な輝度分布幅の一例を示す図。

【図9】本実施形態の画像処理装置の処理の流れを示すフローチャート。

【発明を実施するための形態】

【0012】

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

【0013】

１．構成
図１に、本実施形態に係る画像処理装置の機能ブロック図の一例を示す。ここでは、電子線で試料を走査する電子顕微鏡が、走査透過電子顕微鏡（ＳＴＥＭ）である場合について説明するが、当該電子顕微鏡は、走査電子顕微鏡（ＳＥＭ）であってもよい。なお本実施形態の画像処理装置は図１の構成要素（各部）の一部を省略した構成としてもよい。

【0014】

画像処理装置１は、走査透過電子顕微鏡１００に備わる検出器１０１（透過電子検出器）のゲイン及びオフセットを調整することで、検出器１０１からの検出信号に基づくＳＴＥＭ像（検出信号を走査信号に同期させて画像化した電子顕微鏡像）の輝度及びコントラストを調整する装置である。画像処理装置１は、処理部１０、表示部２０、記憶部３０を含む。

【0015】

表示部２０は、処理部１０によって生成された画像（ＳＴＥＭ像）を表示するものであり、その機能は、ＬＣＤ、ＣＲＴなどにより実現できる。

【0016】

記憶部３０は、処理部１０の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部１０のワーク領域として機能し、その機能はハードディスク、ＲＡＭなどにより実現できる。

【0017】

処理部１０（コンピュータ）は、走査透過電子顕微鏡１００を制御する処理や、検出器１０１からの検出信号に基づきＳＴＥＭ像を生成して表示部２０に表示させる処理等を行う。処理部１０の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）などのハードウェアや、プログラムにより実現できる。処理部１０は、検出器１０１に制御信号を出力して検出器
１０１のオフセット及びゲインを調整する処理を行う。検出器１０１に備わるオフセット調整回路は、処理部１０からの制御信号で指定されたオフセットを検出信号に与え（加え）、検出器１０１に備わるゲイン調整回路は、処理部１０からの制御信号で指定されたゲインで検出信号を増幅する。処理部１０は、オフセット設定部１１、輝度分布幅取得部１２、関係式導出部１３、ゲイン設定部１４を含む。

【0018】

オフセット設定部１１は、検出器１０１のオフセットを段階的に大きくし、その度に、ＳＴＥＭ像の輝度分布（輝度値ヒストグラム）を取得し、取得した輝度分布の下端が予め指定された値（輝度分布有効範囲の下端）以上になったときのオフセット値を調整後（調整済み）のオフセットとして設定する。

【0019】

輝度分布幅取得部１２は、検出器１０１のゲインを段階的に大きくし、その度に、ＳＴＥＭ像の輝度分布幅（輝度分布の上端の輝度値と下端の輝度値との差）を取得して、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部３０に記憶させる。

【0020】

関係式導出部１３は、記憶部３０に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式（２次関数の関係式）を導出する。

【0021】

ゲイン設定部１４は、関係式導出部１３で導出された関係式に基づき算出したゲイン値を調整後（調整済み）のゲインとして設定し、当該ゲイン値を指定する制御信号を検出器１０１に出力する。

【0022】

２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。

【0023】

図２は、ＳＴＥＭ像の輝度分布の一例を示す図である。図中横軸は輝度を示し、縦軸は度数（画素数）を示す。ＳＴＥＭ像の輝度分布の上端ＤＵと下端ＤＬとの差が、ＳＴＥＭ像の輝度分布幅となる。なお、輝度分布の上端ＤＵ、下端ＤＬは、輝度分布の外れ値を除いた上端、下端とする。ユーザは、輝度分布有効範囲の上端ＥＵと下端ＥＬを予め指定しておく。輝度分布有効範囲の上端ＥＵは最大輝度値ＭＢ以下の任意の値であり、下端ＥＬは最小輝度値（０）以上の任意の値である。ＳＴＥＭ像の輝度分布が輝度分布有効範囲に広がりつつ飽和しないように収まれば、ＳＴＥＭ像の輝度及びコントラストの調整が理想的に行われたことになる。

【0024】

ＳＴＥＭ像の輝度及びコントラストの調整では、まず、初期処理として、ユーザの操作に基づいて輝度分布有効範囲の上端ＥＵと下端ＥＬを設定し、検出器１０１のゲインとオフセットをそれぞれ０にする。この初期処理により、図３に示すように、ＳＴＥＭ像の輝度分布はほぼ輝度「０」のみになる。なお、ゲイン及びオフセットの初期値は必ずしも０にする必要はなく、条件によっては０以外でも問題ない場合もある。この場合、以降の処理のループ数を減らすことができ、ＳＴＥＭ像の輝度／コントラスト調整にかかる処理時間を短くすることができる。

【0025】

次に、検出器１０１のオフセットを段階的に多くする。図４に示すように、検出器１０１のオフセットを大きくすると、ＳＴＥＭ像の輝度分布は輝度が高くなる方向に移動する（ＳＴＥＭ像の輝度が高くなる）。そして、ＳＴＥＭ像の輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ以上になるまでオフセットを大きくし、輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ以上になったときのオフセット値を調整後のオフセットとして設定する。

【0026】

次に、検出器１０１のゲインを段階的に大きくし、その度にＳＴＥＭ像の輝度分布幅（
上端ＤＵ、下端ＤＬ）を取得し、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部３０に記憶しておく。図５に示すように、検出器１０１のゲインを大きくすると、ＳＴＥＭ像の輝度分布幅が大きくなる（ＳＴＥＭ像のコントラストが高くなる）。ゲインは、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えるまで大きくする。

【0027】

ここで、ゲインを段階的に大きくする際の適切なゲインの増加量は、装置の状態や試料などに依存する。ゲイン値毎の輝度分布幅のデータ数は、以降の処理で２次近似する際に一定数必要になる。ゲインの増加量を小さく設定すれば、２次近似の精度は上がるが、輝度／コントラスト調整にかかる時間は増大してしまう。この段階ではどのくらいゲインを大きくすれば必要な輝度分布幅になるのかが分からない。そこで、ゲインの増加量の初期値を決めておき、ゲインを初期値の増加量ずつ大きくして輝度分布幅を取得していき、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えた際に、それまでに取得したゲイン値毎の輝度分布幅のデータ数が必要数に足りない場合には、ゲインの増加量の初期値を半分にするなどして再度やり直すようにする。例えば、ゲインの増加量の初期値が１００００で、且つ必要データ数が３の場合、初期値では２つしかデータが取れなかったとする。この場合、ゲインの増加量の初期値を半分の５０００にしてやり直し、以降、取得データ数が必要データ数に達するまで繰り返す。

【0028】

図６は、記憶部３０に記憶されたゲイン値毎の輝度分布幅の一例を示す図である。図６では、データの取得パターンとして３つのパターン（パターンＡ、パターンＢ、パターンＣ）を示している。パターンＡでは、ゲインを１０００ずつ大きくする度に輝度分布幅を取得し、ゲインが４３０００になるまで１９個のデータを取得している。パターンＢでは、取得データ数を削減するために、ゲインの増加量に係数「２」を乗算しながら増加量を１０００、２０００、４０００・・・としてゲインを大きくする度に輝度分布幅を取得し、５個のデータを取得している。このようにゲインの増加量が段々増えていくと、後半のデータ数が少なくなることで２次近似の精度が下がる場合がある。また、ＳＴＥＭ像によっては２次近似した際に上に凸の２次関数になる場合（ゲインがある一定以上になるとゲインを大きくしても輝度分布幅が大きくならなくなる場合）がある。この場合、後半のデータ数が足らないことで、上に凸の２次関数であるのか下に凸の２次関数であるのか適切に判定できなくなる可能性がある。そこで、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えた際に、一旦直前のゲインに設定し直し、そこからゲインの増加量を初期値に戻してデータを取得し直し、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えるまで繰り返す。この際に、データ数を増やすために、ゲインの増加量に係数を乗算しないようにする。パターンＣでは、ゲインが４００００になるまではパターンＢと同様であるが、次のゲインが５６０００になり、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えるため、一旦ゲインを４００００まで戻し、以降はゲインの増加量を１０００に固定し、ゲインを４１０００、４２０００・・・として輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵを超えるまでデータを取得している。パターンＣでは、８個のデータを取得している。

【0029】

次に、記憶部３０に記憶されたゲイン値毎の輝度分布幅に基づいて、ゲイン値と輝度分布幅との関係式（２次関数の近似式）を導出する。すなわち、ゲイン値をＧ、輝度分布幅をｗ（Ｇ）としたとき、２次関数ｗ（Ｇ）＝ａＧ^２＋ｂＧ＋ｃに、ゲイン値と輝度分布幅をフィッティングして当該２次関数の係数ａ、ｂ、ｃを求める。図７は、図６に示すパターンＡのデータをプロットしたグラフを示す図であり、図中破線は、当該データから導出された２次関数の近似曲線を示す。

【0030】

次に、導出した２次関数と、最適な（目標とする）輝度分布幅ｗｏとに基づいて、最適なゲイン値Ｇｏを求める。図８に示すように、最適な輝度分布幅ｗｏは、輝度分布有効範囲の上端ＥＵと輝度分布の下端ＤＬ（オフセット調整後の輝度分布の下端ＤＬ）との差で
ある。よって、ｗ（Ｇ）＝ｗｏのときのゲイン値Ｇが最適なゲイン値Ｇｏとなり、このゲイン値Ｇｏを調整後のゲイン値として設定する。ｗｏ＝ａＧ^２＋ｂＧ＋ｃを解くと解が２つ求められるが、ゲインを増やすほど輝度分布幅は大きくなるため、下に凸の２次関数になる。従って、大きい方の解をゲイン値Ｇｏとする。

【0031】

このように本実施形態によれば、ＳＴＥＭ像の輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ以上になるように検出器１０１のオフセットを調整した後、検出器１０１のゲインを段階的に大きくする度にＳＴＥＭ像の輝度分布幅を取得し、取得したゲイン値毎の輝度分布幅に基づいてゲイン値と輝度分布幅との関係式を導出し、導出した関係式に最適な輝度分布幅ｗｏを代入して求めたゲイン値Ｇｏを調整後のゲインとして設定することで、基準ヒストグラムやテーブル等の調整用データを事前に用意することなく、自動でＳＴＥＭ像の輝度やコントラストを調整することができる。特に本実施形態では、検出器１０１のゲイン値とＳＴＥＭ像の輝度分布幅の関係が２次関数に近似することに着目して関係式を導出することで、検出器１０１のゲイン調整によるＳＴＥＭ像のコントラスト調整を適切に行うことができる。

【0032】

３．処理
次に、本実施形態の画像処理装置の処理の一例について図９のフローチャートを用いて説明する。

【0033】

まず、処理部１０は、ユーザによって指定された輝度分布有効範囲（上端ＥＵ、下端ＥＬ）を設定する（ステップＳ１０）。次に、処理部１０は、検出器１０１に制御信号を出力して検出器１０１のゲイン及びオフセットを０にする（ステップＳ１１）。

【0034】

次に、オフセット設定部１１は、検出器１０１からの検出信号に基づくＳＴＥＭ像の輝度分布を取得し（ステップＳ１２）、取得した輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ以上であるか否かを判断する（ステップＳ１３）。輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ未満である場合（ステップＳ１３のＮ）には、オフセット設定部１１は、検出器１０１に制御信号を出力して検出器１０１のオフセットを所定量だけ増加させ（ステップＳ１４）、ステップＳ１２に移行する。輝度分布の下端ＤＬが輝度分布有効範囲の下端ＥＬ以上である場合（ステップＳ１３のＹ）には、そのときの検出器１０１のオフセット値が調整後のオフセット値となり、ステップＳ１５に移行する。

【0035】

次に、輝度分布幅取得部１２は、検出器１０１に制御信号を出力して検出器１０１のゲインを所定量だけ増加させ（ステップＳ１５）、検出器１０１からの検出信号に基づくＳＴＥＭ像の輝度分布幅（輝度分布の上端ＤＵ、下端ＤＬ）を取得し、取得した輝度分布幅をそのときのゲイン値に対応付けて記憶部３０に記憶させる（ステップＳ１６）。次に、輝度分布幅取得部１２は、取得した輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵ以上であるか否かを判断し（ステップＳ１７）、輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵ未満である場合（ステップＳ１７のＮ）には、ステップＳ１５に移行する。

【0036】

取得した輝度分布の上端ＤＵが輝度分布有効範囲の上端ＥＵ以上である場合（ステップＳ１７のＹ）には、関係式導出部１３は、記憶部３０に記憶されたゲイン値毎の輝度分布幅を２次近似して、ゲイン値と輝度分布幅との関係式（２次近似式）を導出する（ステップＳ１８）。次に、ゲイン設定部１４は、導出された関係式と最適な輝度分布幅ｗｏに基づきゲイン値Ｇｏを算出し、算出したゲイン値Ｇｏを調整後のゲイン値として設定し、当該ゲイン値を指定する制御信号を検出器１０１に出力する（ステップＳ１９）。

【0037】

なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変形が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及
び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

【符号の説明】

【0038】

１…画像処理装置、１０…処理部、１１…オフセット設定部、１２…輝度分布幅取得部、１３…関係式導出部、１４…ゲイン設定部、２０…表示部、３０…記憶部、１００…走査透過電子顕微鏡、１０１…検出器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】