特開 2024-143067 訓練データ作成方法、プログラム、情報処理装置、学習モデル生成方法および試料の評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143067

(43)【公開日】2024-10-11

(54)【発明の名称】訓練データ作成方法、プログラム、情報処理装置、学習モデル生成方法および試料の評価方法

(51)【国際特許分類】

   H01J 37/22 20060101AFI20241003BHJP

   H01J 37/28 20060101ALI20241003BHJP

【ＦＩ】

H01J37/22 502H

H01J37/28 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023055551

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000005083

【氏名又は名称】株式会社プロテリアル

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】三好 博之

【テーマコード（参考）】

5C101

【Ｆターム（参考）】

5C101AA03

5C101HH27

5C101HH36

5C101HH66

5C101JJ04

5C101JJ06

5C101KK06

5C101KK15

(57)【要約】

【課題】訓練データを作成する際のユーザの負担が少ない訓練データの作成方法等を提供すること。
【解決手段】訓練データ生成方法は、顕微鏡を用いて試料を撮影した顕微鏡画像６１を取得し、前記顕微鏡画像６１に基づいて線画６５を生成し、前記線画６５に含まれる閉曲線の内部を塗り潰した二値化画像６２１を作成し、前記顕微鏡画像６１と、前記線画６５と、前記二値化画像６２１とを並べて表示し、前記線画６５に関する修正指示を受け付け、前記修正指示に基づいて修正した線画６５に基づいて前記二値化画像６２１を再作成し、前記顕微鏡画像６１と、前記二値化画像６２１とを関連付けて記録する処理をコンピュータが実行する。
【選択図】図５

【特許請求の範囲】

【請求項1】

顕微鏡を用いて試料を撮影した顕微鏡画像を取得し、
前記顕微鏡画像に基づいて線画を生成し、
前記線画に含まれる閉曲線の内部を塗り潰した二値化画像を作成し、
前記顕微鏡画像と、前記線画と、前記二値化画像とを並べて表示し、
前記線画に関する修正指示を受け付け、
前記修正指示に基づいて修正した線画に基づいて前記二値化画像を再作成し、
前記顕微鏡画像と、前記二値化画像とを関連付けて記録する
処理をコンピュータが実行する訓練データ作成方法。

【請求項2】

前記顕微鏡は、走査型電子顕微鏡である
請求項１に記載の訓練データ作成方法。

【請求項3】

前記修正指示は、前記線画に対する追記指示または削除指示である
請求項１に記載の訓練データ作成方法。

【請求項4】

前記線画は、
前記顕微鏡画像を平滑化し、
平滑化した前記顕微鏡画像からエッジを抽出したエッジ抽出画像を生成し、
前記エッジ抽出画像に対して非極大抑制処理を行なって生成する
請求項１から請求項３のいずれか一つに記載の訓練データ作成方法。

【請求項5】

顕微鏡を用いて試料を撮影した顕微鏡画像を取得し、
前記顕微鏡画像に基づいて線画を生成し、
前記線画に含まれる閉曲線の内部を塗り潰した二値化画像を作成し、
前記顕微鏡画像と、前記線画と、前記二値化画像とを並べて表示し、
前記線画に関する修正指示を受け付け、
前記修正指示に基づいて修正した線画に基づいて前記二値化画像を再作成し、
前記顕微鏡画像と、前記二値化画像とを関連付けて記録する
処理をコンピュータに実行させるプログラム。

【請求項6】

制御部を備える情報処理装置であって、
前記制御部は、
顕微鏡を用いて試料を撮影した顕微鏡画像を取得し、
前記顕微鏡画像に基づいて線画を生成し、
前記線画に含まれる閉曲線の内部を塗り潰した二値化画像を作成し、
前記顕微鏡画像と、前記線画と、前記二値化画像とを並べて表示し、
前記線画に関する修正指示を受け付け、
修正した線画に基づいて前記二値化画像を再作成し、
前記顕微鏡画像と、前記二値化画像とを関連付けて記録する
情報処理装置。

【請求項7】

顕微鏡を用いて撮影された試料の顕微鏡画像を取得し、
前記顕微鏡画像に基づいて線画を生成し、
前記線画に含まれる閉曲線の内部を塗り潰した二値化画像を作成し、
前記顕微鏡画像と、前記線画と、前記二値化画像とを並べて表示し、
前記線画に関する修正指示を受け付け、
修正した線画に基づいて二値化画像を再作成し、
前記顕微鏡画像と前記二値化画像とを関連づけた訓練データを記録し、
複数組の前記訓練データを用いて、前記顕微鏡画像を入力、前記二値化画像を出力として、前記顕微鏡画像が入力された場合に、前記二値化画像を出力する学習モデルを生成する
学習モデル生成方法。

【請求項8】

顕微鏡を用いて撮影された試料の顕微鏡画像を取得し、
顕微鏡画像を入力した場合に二値化画像を出力する学習モデルに、取得した顕微鏡画像を入力して、前記学習モデルから出力された二値化画像を取得し、
取得した前記二値化画像に基づいて算出した評価値を出力する
試料の評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、訓練データ作成方法、プログラム、情報処理装置、学習モデル生成方法および試料の評価方法に関する。

【背景技術】

【0002】

エッチングした金属材料の表面等を撮影した画像から、グレイン境界を抽出する画像処理方法が開示されている（特許文献１）。特許文献１においては、反応拡散方程式を用いた二値化、ユークリッド距離マップおよびウォーターシェッド処理による第１のテッセレーション画像の生成、再度のユークリッド距離マップおよびウォーターシェッド処理による第２のテッセレーション画像の生成を順次行なうことにより、グレイン境界を抽出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１４９２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１においては、前述の様に複雑な処理を順次行なうため、計算負荷が高い。それにもかかわらず、十分に分割できない大きな未分割領域が残る可能性がある。未分割領域に対しては、追加の処理が必要であり、完全な自動化には至っていない。専門知識を有する熟練したユーザが、追加の処理について判断する場合、前述のように、計算負荷が高いため、処理待ち時間が生じる等のストレスが生じやすい。

【0005】

ところで、エッチングした金属材料の表面等を撮影した画像のような顕微鏡画像と、グレイン境界を正しく抽出した画像のような二値化画像との組を多数記録した訓練データを用いて機械学習を行なうことにより、顕微鏡画像を入力した場合に、二値化画像を出力する機械学習モデルを生成できる。精度の高い機械学習モデルを生成するためには、多数組の訓練データが必要であるため、ユーザのストレスはできる限り低減することが望ましい。

【0006】

一つの側面では、訓練データを作成する際のユーザの負担が少ない訓練データの作成方法等の提供を目的とする。

【課題を解決するための手段】

【0007】

訓練データ生成方法は、顕微鏡を用いて試料を撮影した顕微鏡画像を取得し、前記顕微鏡画像に基づいて線画を生成し、前記線画に含まれる閉曲線の内部を塗り潰した二値化画像を作成し、前記顕微鏡画像と、前記線画と、前記二値化画像とを並べて表示し、前記線画に関する修正指示を受け付け、前記修正指示に基づいて修正した線画に基づいて前記二値化画像を再作成し、前記顕微鏡画像と、前記二値化画像とを関連付けて記録する処理をコンピュータが実行する。

【発明の効果】

【0008】

一つの側面では、訓練データを作成する際のユーザの負担が少ない訓練データの作成方法等を提供できる。

【図面の簡単な説明】

【0009】

【図1】訓練データを収集して学習モデルを生成する過程の概要を説明する説明図である。

【図2】組織解析システムの構成を説明する説明図である。

【図3】学習モデルを説明する説明図である。

【図4】二値化処理の流れを説明する説明図である。

【図5】画面例である。

【図6】画面例である。

【図7】画面例である。

【図8】画面例である。

【図9】訓練ＤＢ作成段階のプログラムの処理の流れを説明するフローチャートである。

【図10】学習モデル生成段階のプログラムの処理の流れを説明するフローチャートである。

【図11】学習モデル利用段階のプログラムの処理の流れを説明するフローチャートである。

【図12】実施の形態２の組織解析システムの構成を説明する説明図である。

【発明を実施するための形態】

【0010】

［実施の形態１］
材料中の微細な結晶構造および析出物等の状態を解析するミクロ組織解析が行われている。ミクロ組織解析は、顕微鏡画像の目視観察により行われる場合が多い。しかしながら、複数の材料の比較検討等を行なう場合には、それぞれの顕微鏡画像について、たとえば析出物の寸法および数などの評価値を定量的に算出することが望ましい。

【0011】

サンプル数が少ない場合には、専門家がそれぞれの顕微鏡画像中の析出物等をトレースすることにより、評価値を算出できる。しかしながらトレースには時間が掛かる上、専門知識を要する。トレースに、機械学習により生成した学習モデル５６（図２参照）を用いることにより、専門家の負担を大幅に軽減できると期待できる。

【0012】

しかしながら、信頼性の高い学習モデル５６を生成するためには、入力する顕微鏡画像と、精度の高いトレース結果とを組み合わせた多数組の訓練データ５１１が必要である。さらに学習モデル５６は材料ごとにそれぞれ生成する必要があるため、たとえば新しい材料が開発された場合にはその材料に関する多数組の訓練データ５１１を作成する必要がある。本実施の形態においては、訓練データ５１１を作成する際の専門家の負担を低減する。

【0013】

図１は、訓練データ５１１を収集して学習モデル５６を生成する過程の概要を説明する説明図である。最初に、顕微鏡観察に適した試料３９（図２参照）の調整が行われる。以下の説明では、試料３９の材質は特殊鋼である場合を例にして説明する。特殊鋼には、たとえば工具鋼、構造用鋼、ステンレス鋼、ばね鋼および快削鋼等が含まれる。

【0014】

なお、試料３９の材質は特殊鋼に限定しない。試料３９の材質は、たとえばアルミニウム、銅、または各種合金等の金属材料であってもよい。試料３９の材質は、たとえばＦＲＰ（Fiber Reinforced Plastics）またはエンジニアリングプラスチック等の樹脂材料であってもよい。試料３９の材質は、たとえばアルミナ、ジルコニア、フェライトまたは窒化ケイ素等のセラミックス材料であってもよい。

【0015】

以下の説明では、顕微鏡３０（図２参照）には走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）が用いられる場合を例にして説明する。顕微鏡３０は、ＳＥＭのチャンバ内で試料３９を加工可能なＦＩＢ－ＳＥＭ（Focused Ion Beam Scanning Electron Microscopes）であってもよい。

【0016】

顕微鏡３０はたとえば金属顕微鏡等の光学顕微鏡であってもよい。十分に薄い試料３９を作製できる場合には、顕微鏡３０は透過型電子顕微鏡であってもよい。顕微鏡３０は、ＥＰＭＡ（Electron Probe Micro Analyzer：電子プローブマイクロアナライザ）、原子間力顕微鏡、トンネル顕微鏡またはレーザ顕微鏡等であってもよい。観察したいミクロ組織の寸法および種類等に応じた仕様の顕微鏡３０が適宜選択されて、使用される。

【0017】

試料３９の調整について具体的に説明する。顕微鏡３０のチャンバに入る寸法の平板状の試料３９が用意される。物理研磨および電界研磨により、試料３９の表面が平滑にされる。これら研磨の条件は、試料３９の表面が研磨による損傷を受けない範囲で、顕微鏡３０による観察に適した程度の平滑度が得られるように定められる。

【0018】

なお、電界研磨の後に、溶解液を用いて試料３９の表面を腐食させる処理、または、試料３９の表面に金属薄膜をコーティングする処理等が行われてもよい。試料３９は、材質、観察したいミクロ組織、および使用する顕微鏡３０の仕様等の種々の条件に応じた適切な方法を用いて調整される。

【0019】

調整された試料３９は、顕微鏡３０のチャンバに収容されて、撮影される。図１の右上に、顕微鏡３０により撮影されたＳＥＭ画像６１の例を示す。ＳＥＭ画像６１は、顕微鏡３０により撮影された顕微鏡画像の例示である。ＳＥＭ画像６１の撮影条件は、観察対象であるミクロ組織のコントラストが明瞭に得られるように定める。

【0020】

ＳＥＭ画像６１に基づいて白黒の修正前二値化画像６２１（図４参照）を生成する二値化処理が行われる。二値化処理の詳細については後述する。修正前二値化画像６２１が、表示部２５（図２参照）に表示される。ユーザは、入力部２６（図２参照）を操作して、修正前二値化画像６２１に対する修正指示を行なう。修正指示を受け付けるユーザインターフェースの例については後述する。

【0021】

ユーザによる修正指示に基づいて、修正後二値化画像６２２が生成される。修正後二値化画像６２２は、ユーザによる修正指示に基づいて再作成した画像の例示である。修正後二値化画像６２２は、ＳＥＭ画像６１に対して評価値の算出に関与する部分をトレースし、評価値の算出に関与しない部分を省略した画像である。粒子状のミクロ組織（析出物）に関する評価値の例を表１に示す。いずれの評価値も、修正後二値化画像６２２に対して公知の計算処理を行なうことにより算出できる。

【0022】

ＳＥＭ画像６１と、ＳＥＭ画像６１に基づいて作成された修正後二値化画像６２２とが、一組の訓練データ５１１を構成する。訓練データ５１１は、訓練ＤＢ５１（図２参照）に記録される。訓練データ５１１が複数組記録された訓練ＤＢ５１を用いて、機械学習により学習モデル５６が生成される。学習モデル５６の生成方法については後述する。

【0023】

図２は、組織解析システム１０の構成を説明する説明図である。組織解析システム１０は、情報処理装置２０と顕微鏡３０とを含む。なお、図２の顕微鏡３０には、走査型電子顕微鏡の略図を示す。

【0024】

情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

【0025】

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

【0026】

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、訓練ＤＢ５１、学習モデル５６、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。訓練ＤＢ５１は、情報処理装置２０に接続された外部の大容量記憶装置に記憶されていてもよい。通信部２４は、情報処理装置２０と顕微鏡３０との間、および、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。

【0027】

表示部２５は、たとえば液晶表示装置または有機ＥＬ（Electro Luminescence）表示装置である。入力部２６は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示部２５と入力部２６とは、一体に積層されて、タッチパネルを構成していてもよい。

【0028】

本実施の形態の情報処理装置２０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。情報処理装置２０は、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、量子コンピュータ、または、分散処理を行なう複数のパソコン等であってもよい。情報処理装置２０は、顕微鏡３０と一体に構成されていて、顕微鏡３０の制御装置を兼ねてもよい。

【0029】

図２を使用して、走査型電子顕微鏡の構成の概要を説明する。走査型電子顕微鏡は、試料３９を保持する試料台の近傍に、対物レンズ３１、ＢＳＥ（Back Scattered Electron）検出器３３およびＳＥ（Secondary Electron）検出器３４を備える。図示を省略する電子銃から放射された電子ビーム３２が、対物レンズ３１により試料３９の表面に収束される。以下の説明においては、対物レンズ３１と試料３９との間の距離を作動距離ＷＤ（Work Distance）と記載する。

【0030】

試料３９により反射された反射電子は、ＢＳＥ検出器３３により検出される。試料３９から放出された二次電子は、ＳＥ検出器３４により検出される。図示を省略する走査コイルの作用により、電子ビーム３２が試料３９の表面を走査する。

【0031】

ＢＳＥ検出器３３による検出結果と、ＳＥ検出器３４による検出結果とから、それぞれＳＥＭ画像６１が形成される。ＳＥＭ画像６１の画質は、電子ビーム３２の加速電圧と、作動距離ＷＤと、検出器の種類とにより変化する。

【0032】

ユーザは、評価したいミクロ組織を明瞭に描出できるように、撮影条件を定める。顕微鏡３０が、撮影条件を自動調整する機能を備えていてもよい。

【0033】

なお、情報処理装置２０と顕微鏡３０とは直接接続されていなくてもよい。たとえばＳＥＭ画像６１は、顕微鏡３０から図示を省略するネットワークドライブにアップロードされ、制御部２１がネットワークドライブからＳＥＭ画像６１を取得してもよい。ＳＥＭ画像６１は、顕微鏡３０内の図示を省略する記憶装置に保存されており、ユーザがＵＳＢ（Universal Serial Bus）メモリ等を介して、ＳＥＭ画像６１を情報処理装置２０に読み込ませてもよい。

【0034】

図３は、学習モデル５６を説明する説明図である。学習モデル５６は、ＳＥＭ画像６１の入力を受け付けて、評価値の算出に関与する部分をトレースした二値化画像６２を出力するように機械学習を用いて生成される。図１を使用して説明した訓練データ５１１を多数組記録した訓練ＤＢ５１は、学習モデル５６の生成に使用される。学習モデル５６の生成方法については後述する。

【0035】

制御部２１は、学習モデル５６から出力された二値化画像６２に対して、公知の演算処理を行ない、表１に例示した評価値を算出する。なお学習モデル５６は、ＳＥＭ画像６１の入力を受け付けて評価値を出力するように構成されていてもよい。

【0036】

［訓練ＤＢ５１の作成段階］
学習モデル５６の生成に使用する訓練ＤＢ５１を作成する段階について説明する。図４は、二値化処理の流れを説明する説明図である。制御部２１は、顕微鏡３０により撮影されたＳＥＭ画像６１を取得する。ＳＥＭ画像６１は、グレースケールの画像である。以下の説明では、ＳＥＭ画像６１から粒状のミクロ組織を抽出した修正前二値化画像６２１を生成する場合を例にして説明する。

【0037】

制御部２１は、ＳＥＭ画像６１に対して平滑化処理を行ない平滑化画像６３を生成する。平滑化処理は、たとえばガウシアンフィルタまたは移動平均フィルタを用いて行われる。平滑化画像６３は、グレースケールの画像である。図４は、平滑化処理に５×５のガウシアンフィルタが使用された場合の例を示す。

【0038】

制御部２１は、平滑化画像６３に対してエッジ抽出処理を行ない、エッジ抽出画像６４を生成する。エッジ抽出処理は、たとえばＳｏｂｅｌフィルタ、ＰｒｅＷｉｔｔフィルタまたは差分フィルタを用いて行われる。図４は、エッジ抽出処理に３×３のＳｏｂｅｌフィルタが使用された場合の例を示す。エッジ抽出画像６４は、抽出されたエッジを白色のグラデーションで示すグレースケールの画像である。エッジ抽出画像６４においては、白色の輝度が高いほど、画素値の変化が大きい、すなわちエッジが強いことを示す。

【0039】

制御部２１は、エッジ抽出画像６４に対して非極大抑制処理を行ない、非極大抑制画像６５を生成する。非極大抑制処理は、エッジ抽出画像６４を構成する各画素を、エッジの強さが極大となる画素と、それ以外の画素とに分けて、エッジ抽出画像６４を細線化する処理である。非極大抑制処理には、たとえばＣａｎｎｙ法が用いられる。エッジ抽出画像６４は、白黒二値の画像である。図４においては、細線化したエッジを黒色で、それ以外の部分を白色で示す。非極大抑制画像６５は、ＳＥＭ画像６１に基づいて生成された線画の例示である。

【0040】

制御部２１は、非極大抑制画像６５から閉曲線を抽出し、閉曲線の内側を塗り潰した閉曲線抽出画像６６を生成する。閉曲線抽出画像６６は、白黒二値の画像である。制御部２１は、閉曲線抽出画像６６に対して減算・膨張処理を行ない、閉曲線を構成しない線を消去した修正前二値化画像６２１を生成する。

【0041】

減算処理は、閉曲線抽出画像６６から非極大抑制画像６５を減算し、閉曲線内部の部分を抽出する処理である。膨張処理は、膨張フィルタを用いて抽出した部分を膨張させる処理である。なお、減算・膨張処理の代わりに、膨張収縮処理が行われてもよい。

【0042】

図４を使用して説明した一連の二値化処理により、ＳＥＭ画像６１から観察対象である粒状のミクロ組織を抽出した修正前二値化画像６２１が生成できる。なお、上記で説明した画像処理フィルタの種類およびフィルタのサイズ等は、いずれも例示である。ユーザは、事前検討により、ＳＥＭ画像６１から目的のミクロ組織を適切に抽出できるように、二値化処理の詳細条件を定める。

【0043】

図５から図８は、画面例である。二値化処理の終了後、制御部２１は表示部２５に図５に例示する画面を表示する。画面の中央部には、ＳＥＭ画像６１、非極大抑制画像６５および修正前二値化画像６２１が並べて配置されている。画面の上部に、鉛筆ボタン７１および消しゴムボタン７２が配置されている。図５は、鉛筆ボタン７１が選択された状態を示す。

【0044】

画面の下部には、反映ボタン７５、中止ボタン７７および終了ボタン７６が配置されている。なお、画面には、たとえばＳＥＭ画像６１のコントラストを変更するボタン、編集内容を元に戻すボタン等が配置されていてもよい。

【0045】

制御部２１は、鉛筆ボタン７１が選択されたことに対応して、鉛筆カーソル７１１を表示部２５に表示する。ユーザは、入力部２６を介して鉛筆カーソル７１１を操作して、たとえば二値化処理で抽出されなかったミクロ組織の輪郭をなぞることにより、輪郭線の追記指示を入力する。図５は、一個のミクロ組織の輪郭を途中までなぞった状態を示す。必要な線を描き終わったユーザは、反映ボタン７５を選択する。

【0046】

なお、ユーザは鉛筆カーソル７１１を操作して非極大抑制画像６５または修正前二値化画像６２１に線を描いてもよい。制御部２１は、非極大抑制画像６５または修正前二値化画像６２１に描かれた線を、ＳＥＭ画像６１の対応する場所に描かれた線と同様に取り扱う。

【0047】

図６は、反映ボタン７５の選択を受け付けた後に制御部２１が表示部２５に表示する画面の例を示す。ユーザがなぞった輪郭線が細線化されて、非極大抑制画像６５に反映されている。修正前二値化画像６２１の代わりに、非極大抑制画像６５内の閉曲線を塗り潰した修正後二値化画像６２２が表示されている。修正後二値化画像６２２は、修正後の非極大抑制画像６５に基づいて再作成された画像である。

【0048】

修正後二値化画像６２２が意図した通りになっていることを確認した後に、ユーザは終了ボタン７６を選択する。図１を使用して説明したように、ＳＥＭ画像６１と修正後二値化画像６２２とを関連付けた一組の訓練データ５１１が訓練ＤＢ５１に記録される。たとえば、適切なＳＥＭ画像６１が撮影できていない場合には、ユーザは中止ボタン７７を選択する。制御部２１は、処理中のＳＥＭ画像６１を破棄する。

【0049】

図７は、別のＳＥＭ画像６１に関する処理の例を示す。図５と同様に、ＳＥＭ画像６１、非極大抑制画像６５および修正前二値化画像６２１が並べて表示されている。ユーザにより消しゴムボタン７２が選択されている。制御部２１は、消しゴムカーソル７２２を表示部２５に表示する。

【0050】

ユーザは、入力部２６を介して消しゴムカーソル７２２を操作して、非極大抑制画像６５中の不要な部分に関する削除指示を入力する。さらにユーザは、図６および図７を使用して説明したように、鉛筆ボタン７１を選択して必要な線を追加追記指示を入力してもよい。その後ユーザは、反映ボタン７５を選択する。

【0051】

なお、ユーザは消しゴムカーソル７２２を操作して修正前二値化画像６２１の一部を消去してもよい。制御部２１は、修正前二値化画像６２１に対する消去指示を、非極大抑制画像６５の対応する場所に対する消去指示と同様に取り扱う。

【0052】

図８は、反映ボタン７５の選択を受け付けた後に制御部２１が表示部２５に表示する画面の例を示す。修正前二値化画像６２１の代わりに、ユーザが編集した非極大抑制画像６５内の閉曲線を塗り潰した修正後二値化画像６２２が表示されている。

【0053】

修正後二値化画像６２２が意図した通りになっていることを確認した後に、ユーザは終了ボタン７６を選択する。図１を使用して説明したように、ＳＥＭ画像６１と修正後二値化画像６２２とを関連付けた一組の訓練データ５１１が訓練ＤＢ５１に記録される。

【0054】

非極大抑制画像６５および修正前二値化画像６２１を使用することにより、ＳＥＭ画像６１を単純に閾値処理した画像を使用する場合に比べて、ユーザが修正後二値化画像６２２を作成する際の手間を大幅に削減できる。したがって十分な量の訓練データ５１１を記録した訓練ＤＢ５１を、短期間で作成できる。

【0055】

図９は、訓練ＤＢ５１作成段階のプログラムの処理の流れを説明するフローチャートである。制御部２１は、１枚のＳＥＭ画像６１を取得する（ステップＳ５０１）。制御部２１は、ＳＥＭ画像６１に対して平滑化処理を行ない、平滑化画像６３を生成する（ステップＳ５０２）。制御部２１は、平滑化画像６３に対してエッジ抽出処理を行ない、エッジ抽出画像６４を生成する（ステップＳ５０３）。

【0056】

制御部２１は、エッジ抽出画像６４に対して非極大抑制処理を行ない、非極大抑制画像６５を生成する（ステップＳ５０４）。制御部２１は、非極大抑制画像６５から閉曲線を抽出し、閉曲線の内側を塗り潰した閉曲線抽出画像６６を生成する（ステップＳ５０５）。制御部２１は、閉曲線抽出画像６６に対して減算・膨張処理を行ない、修正前二値化画像６２１を生成する（ステップＳ５０６）。

【0057】

制御部２１は、表示部２５に図５および図７を使用して説明した画面を表示する（ステップＳ５０７）。制御部２１は、線の追記および消去等の修正指示を受け付ける（ステップＳ５０８）。制御部２１は、反映ボタン７５の選択を受け付けたか否かを判定する（ステップＳ５０９）。

【0058】

反映ボタン７５の選択を受け付けたと判定した場合（ステップＳ５０９でＹＥＳ）、制御部２１は修正後二値化画像６２２を生成して、図６および図８を使用して説明した画面を表示する（ステップＳ５１０）。制御部２１はステップＳ５０８に戻る。

【0059】

反映ボタン７５の選択を受け付けていないと判定した場合（ステップＳ５０９でＮＯ）、制御部２１は終了ボタン７６の選択を受け付けたか否かを判定する（ステップＳ５１１）。終了ボタン７６の選択を受け付けたと判定した場合（ステップＳ５１１でＹＥＳ）、制御部２１は訓練ＤＢ５１に新規レコードを作成して、ＳＥＭ画像６１と修正後二値化画像６２２とを関連付けた訓練データ５１１を記録する（ステップＳ５２２）。なお制御部２１は、訓練ＤＢ５１に記録するＳＥＭ画像６１には、鉛筆カーソル７１１を使用して描かれた線等は反映しない。

【0060】

終了ボタン７６の選択を受け付けていないと判定した場合（ステップＳ５１１でＮＯ）、すなわち中止ボタン７７の選択を受け付けた場合、またはステップＳ５２２の終了後、制御部２１は処理を終了する。

【0061】

以上の処理により、一組の訓練データ５１１が作成された訓練ＤＢ５１に記録される。複数の組織解析システム１０でそれぞれ作成された訓練データ５１１が、一つの訓練ＤＢ５１に記録されてもよい。なお、訓練ＤＢ５１は試料３９の材質および評価対象のミクロ構造ごとにそれぞれ作成されることが望ましい。それぞれの訓練ＤＢ５１を用いて、以下に説明する処理により学習モデル５６が生成される。

【0062】

［学習モデル５６の生成段階］
図１０は、学習モデル生成段階のプログラムの処理の流れを説明するフローチャートである。図１０のプログラムは、十分な量の訓練データ５１１が訓練ＤＢ５１に記録された後に実行される。

【0063】

図１０のプログラムの実行に先立ち、たとえば画像の入力を受け付けて、新たな画像を出力するＵネット構造等の未学習のモデルが準備されている。図１０のプログラムにより未学習のモデルのパラメータが調整されて、図３を使用して説明した学習モデル５６が生成される。

【0064】

制御部２１は、訓練ＤＢ５１から訓練レコードを取得する（ステップＳ６０１）。制御部２１は、取得した訓練レコードに含まれるＳＥＭ画像６１を、訓練中の学習モデル５６に入力し、出力される画像を取得する（ステップＳ６０２）。以下の説明では、訓練中の学習モデル５６から出力される画像を、訓練中出力画像と記載する。

【0065】

制御部２１は、ステップＳ６０１で取得した訓練レコードに含まれる修正後二値化画像６２２と、訓練中出力画像との差異が小さくなるように、誤差逆伝播法等の手法を用いて学習モデル５６のパラメータを調整する（ステップＳ６０３）。

【0066】

制御部２１は、パラメータの調整を終了するか否かを判定する（ステップＳ６０４）。たとえば、ハイパーパラメータで規定された所定の回数の学習を繰り返した場合に、制御部２１は処理を終了すると判定する。制御部２１は、訓練ＤＢ５１からテストデータを取得して訓練中の学習モデル５６に入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

【0067】

処理を終了しないと判定した場合（ステップＳ６０４でＮＯ）、制御部２１はステップＳ６０１に戻る。処理を終了すると判定した場合（ステップＳ６０４でＹＥＳ）、制御部２１は調整したパラメータを含む学習モデル５６を補助記憶装置２３に記録する（ステップＳ６０５）。その後、制御部２１は処理を終了する。以上により、学習モデル５６の生成が完了する。

【0068】

生成した学習モデル５６の精度を評価した結果の例を説明する。未知のＳＥＭ画像６１を学習モデル５６に入力して、学習モデル５６から出力された二値化画像６２と、同じＳＥＭ画像６１を専門家が手作業で処理した二値化画像６２とが一致する部分を「正解」であると定義する。学習モデル５６の精度は、「正解」である部分の面積の画像全体の面積に対する割合、すなわち正解率で評価する。

【0069】

正解率は、エポック数３０回までは増加し、エポック数３４回で飽和した。飽和時の正解率は、９９．８％であった。未知のＳＥＭ画像６１を学習モデル５６に入力した場合に、二値化画像６２が出力されるまでの時間は、約１４秒であった。同じＳＥＭ画像６１を専門家が手作業で処理する際の所要時間は、約３０分であった。以上により、専門家が作成する場合と遜色のない二値化画像６２を、専門家の作業時間の１パーセント以下の時間で生成できる学習モデル５６が実現できた。

【0070】

図１０を使用して説明した学習モデル５６の生成処理は、情報処理装置２０とは別のハードウェアで実行されても良い。たとえば、制御部２１にＴＰＵ（Tensor Processing Unit）等の機械学習に適したハードウェアを用いることにより、機械学習の高速化が期待できる。

【0071】

図１０を使用して説明したプログラムにより生成された学習モデル５６は、たとえばネットワークを介して複数の組織解析システム１０に配布されて、使用される。

【0072】

［学習モデル５６の利用段階］
図１１は、学習モデル５６利用段階のプログラムの処理の流れを説明するフローチャートである。図１１を使用して説明するプログラムの実行に先立ち、ユーザは、観察する試料３９の材質および評価対象のミクロ構造に応じた学習モデル５６を選択する。ユーザは、評価値を算出する評価項目を選択する。

【0073】

ユーザは、試料３９を顕微鏡３０のチャンバに入れて、ＳＥＭ画像６１を撮影する。ユーザは、観察対象であるミクロ組織のコントラストが明瞭に得られるように、撮影条件を調整する。その後、ユーザは図１１を使用して説明するプログラムの起動を指示する。

【0074】

制御部２１は、顕微鏡３０からＳＥＭ画像６１を取得する（ステップＳ７０１）。制御部２１は、ＳＥＭ画像６１を学習モデル５６に入力して、出力された二値化画像６２を取得する（ステップＳ７０２）。制御部２１は、二値化画像６２に基づいてユーザにより選択された評価項目に関する評価値を算出する（ステップＳ７０３）。評価対象のミクロ組織に応じて様々な評価値が使用されるが、評価値を算出するアルゴリズムは公知であるため、説明を省略する。

【0075】

なお、ユーザが独自に定義して、算出方法を定めた評価値に関する算出アルゴリズムが、補助記憶装置２３に記憶されていてもよい。制御部２１は、算出した評価値を表示部２５に表示する（ステップＳ７０４）。制御部２１は、評価値とともにＳＥＭ画像６１および二値化画像６２を表示部２５に表示してもよい。その後、制御部２１は処理を終了する。

【0076】

本実施の形態によると、特許文献１に開示された解析システムに比べて、訓練データ５１１を作成する際の負担が少ない組織解析システム１０を提供できる。したがって、たとえば試料３９の材質および評価対象のミクロ組織等に応じた種々の学習モデル５６を作成し、目的に応じて適切な学習モデル５６をユーザが選択できる組織解析システム１０を提供できる。

【0077】

本実施の形態によると、専門家による手作業と遜色のない精度の二値化画像６２を短時間で生成できる学習モデル５６を提供できる。たとえば、学習モデル５６を顕微鏡３０に組み込むことにより、顕微鏡画像の撮影とほぼ同時に二値化画像６２を出力する顕微鏡３０を実現できる。

【0078】

本実施の形態によると、二値化画像６２を短時間で生成することにより、評価値を速やかに算出する組織解析システム１０を提供できる。したがって、多数の試料３９のミクロ組織に関して、定量的な検討を行なえる組織解析システム１０を提供できる。

【0079】

主記憶装置２２は、図４を使用して説明した修正前二値化画像６２１について、たとえば所定の寸法範囲の粒子を取り出す等の処理を行なってもよい。たとえば制御部２１は、直径数マイクロメートルの粒子状のミクロ組織（析出物）を抽出した修正後二値化画像６２２と、直径２０マイクロメートル程度の粒子状のミクロ組織（析出物）を抽出した修正後二値化画像６２２とをそれぞれ生成して別々の訓練ＤＢ５１に記録しても良い。制御部２１は、それぞれの訓練ＤＢ５１を使用することにより、直径数マイクロメートルの粒子状のミクロ組織（析出物）を抽出する学習モデル５６と、直径２０マイクロメートル程度の粒子状のミクロ組織（析出物）を抽出する学習モデル５６とを生成できる。

【0080】

［変形例］
一つの材質に関する学習モデル５６を生成した後に、熱処理条件等の異なる試料３９を用いて作成した訓練データ５１１を用いた追加学習により、新たな学習モデル５６が生成されてもよい。具体例を挙げると、４組の訓練データ５１１を使用した追加学習により、元の学習モデル５６とは異なる熱処理条件の材料について約９８パーセントの正解率を有する新たな学習モデル５６を生成できた。

【0081】

［実施の形態２］
本実施の形態の組織解析システム１０は、汎用のコンピュータ９０と顕微鏡３０とを含む。図１２は、実施の形態２の組織解析システム１０の構成を説明する説明図である。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。

【0082】

プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

【0083】

プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。プログラム９７は、プログラム製品の例示である。

【0084】

コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。

【0085】

コンピュータプログラムは、単一のコンピュータ上で、または一つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0086】

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【0087】

特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらずあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0088】

１０ 組織解析システム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２９ 読取部
３０ 顕微鏡
３１ 対物レンズ
３２ 電子ビーム
３３ ＢＳＥ検出器
３４ ＳＥ検出器
３９ 試料
５１ 訓練ＤＢ
５１１ 訓練データ
５６ 学習モデル
６１ ＳＥＭ画像（顕微鏡画像）
６２ 二値化画像
６２１ 修正前二値化画像（二値化画像）
６２２ 修正後二値化画像（二値化画像）
６３ 平滑化画像
６４ エッジ抽出画像
６５ 非極大抑制画像（線画）
６６ 閉曲線抽出画像
７１ 鉛筆ボタン
７１１ 鉛筆カーソル
７２ 消しゴムボタン
７２２ 消しゴムカーソル
７５ 反映ボタン
７６ 終了ボタン
７７ 中止ボタン
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】