ホーム > 特許ランキング > 株式会社日立ハイテク
特許7512532コンピュータシステム、寸法計測方法、および半導体装置製造システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-28
(45)【発行日】2024-07-08
(54)【発明の名称】コンピュータシステム、寸法計測方法、および半導体装置製造システム
(51)【国際特許分類】
G01B 15/00 20060101AFI20240701BHJP
G01B 11/03 20060101ALI20240701BHJP
【ＦＩ】
G01B15/00 K
G01B11/03 H
【請求項の数】
15
(21)【出願番号】P 2023530600
(86)(22)【出願日】2022-08-26
(86)【国際出願番号】 JP2022032199
【審査請求日】2023-05-19
(73)【特許権者】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテク
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】奥山 裕
(72)【発明者】
【氏名】大森 健史
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開２０２１－１２４９３３（ＪＰ，Ａ）
【文献】国際公開第２０２１／０２４４０２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １５／００－１５／０８
Ｇ０１Ｂ １１／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
パターンを含む画像データから、当該パターンの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測する機能を提供するコンピュータシステムであって、学習データセットにおいて、基点の座標をすべて記載しているサンプルと一部の基点の座標しか記載していないサンプルが混在する場合、一部の基点の座標値しか記載していないサンプルに対しては、アノテーションデータにおいて不足する画像データに対しては当該不足する基点と推定される領域を局所的に遮蔽することにより、全サンプルを合わせて学習させることができる前処理部を備え、
前記前処理部は、少なくとも２つの前記基点の座標情報を学習結果として出力する姿勢推定モデルが実装された学習器を備え、
前記学習器は、前記画像データを入力とし、前記少なくとも２つの前記基点の座標情報を出力とする学習データを用いてあらかじめ学習が実施されており、
前記学習器に対して入力された新規画像データに対し、前記少なくとも２つの基点の座標情報及び前記寸法を抽出する、
ことを特徴とするコンピュータシステム。
【請求項2】
請求項１記載のコンピュータシステムであって、さらに、局所的に遮蔽する領域の座標値は、他の既知の基点の座標値から推定する回帰式モデルを作成することによって求める、ことを特徴とするコンピュータシステム。
【請求項3】
請求項１記載のコンピュータシステムであって、さらに、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する機能と、前記所望箇所の座標情報を出力する機能とを備えた画像解析ツールがインストールされた記憶媒体を備える、ことを特徴とするコンピュータシステム。
【請求項4】
請求項３記載のコンピュータシステムであって、さらに、前記座標情報を含む前記画像解析ツールの出力データを、前記学習データを構成するアノテーションデータに変換する第１のソフトウェアモジュールを備える、ことを特徴とするコンピュータシステム。
【請求項5】
請求項３記載のコンピュータシステムであって、さらに、前記座標情報を含む前記画像解析ツールの出力データと予め入力されたルール情報とを用いて、前記姿勢推定モデルの骨格構造の定義データを生成する第２のソフトウェアモジュールを備える、ことを特徴とするコンピュータシステム。
【請求項6】
請求項１記載のコンピュータシステムであって、さらに、前記画像データを表示するユーザーインターフェースとして機能する表示部を備え、
前記表示部は、前記ユーザーインターフェースに、前記画像データと前記抽出された前記少なくとも２つの基点とが重畳されたデータを表示する、ことを特徴とするコンピュータシステム。
【請求項7】
請求項６記載のコンピュータシステムであって、前記表示部は、前記ユーザーインターフェースに、前記少なくとも２つの基点を結ぶ線分の複数の結合によって構成される前記画像データの骨格構造を、更に重畳して表示する、ことを特徴とするコンピュータシステム。
【請求項8】
請求項１項記載のコンピュータシステムにおいて、前記画像データは、荷電粒子線装置によって得られる断面画像である、ことを特徴とするコンピュータシステム。
【請求項9】
コンピュータシステムによって、画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測する寸法計測方法であって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させることができる前処理部を備え、
前記前処理部が、前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データのキーポイントの座標情報を生成し、
前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測し、
前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである、
ことを特徴とする寸法計測方法。
【請求項10】
請求項９記載の寸法計測方法であって、前記コンピュータシステムは、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する画像解析ツールを用い、前記少なくとも２つの基点の座標情報を参照して前記寸法を計測する、
ことを特徴とする寸法計測方法。
【請求項11】
請求項１０記載の寸法計測方法において、前記画像解析ツールは、前記所望箇所の座標情報を出力し、
前記コンピュータシステムは、前記姿勢推定モデルの学習時、前記座標情報を含む前記画像解析ツールの出力データを前記学習データのアノテーションデータに変換する、
ことを特徴とする寸法計測方法。
【請求項12】
請求項９記載の寸法計測方法であって、前記コンピュータシステムは、前記姿勢推定モデルの学習時、前記座標情報を含む出力データと予め入力されたルール情報とを用いて、前記姿勢推定モデルの骨格構造の定義データを生成する、
ことを特徴とする寸法計測方法。
【請求項13】
請求項１２記載の寸法計測方法であって、前記骨格構造は、１つの基点から他のすべての基点へ結ぶような放射型の構造である、
ことを特徴とする寸法計測方法。
【請求項14】
請求項９記載の寸法計測方法において、さらに、前記コンピュータシステムが、ネットワークを介して、外部コンピュータから新規な前記計測対象の画像データを受信し、
前記コンピュータシステムが、前記新規な計測対象の画像データに含まれるパターンの前記寸法の計測を行い、当該寸法の計測結果を前記外部コンピュータに送信すること、
を含む、
ことを特徴とする寸法計測方法。
【請求項15】
画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測するためのアプリケーションが実装されたプラットフォームを備える半導体装置製造システムであって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させるステップと、
前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データの前記キーポイントの座標情報を生成するステップと、
前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測するステップが前記アプリケーションにより実行され、
前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである、
ことを特徴とする半導体装置製造システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、デバイス加工結果を表す画像から寸法を計測するコンピュータシステム、寸法計測方法、および半導体装置製造システムに関する。
【背景技術】
【0002】
近年、半導体デバイスの性能向上のため、半導体デバイスに新材料が導入され、同時に半導体デバイスの構造が立体化・複雑化している。また、現在の先端半導体デバイスの加工では、ナノメートルレベルの精度が要求される。このため、半導体処理装置は多種の材料を種々の形状に極めて高精度に加工できる必要があり、必然的に多数の制御パラメータ（入力パラメータ）を備えた装置になっている。
【0003】
代表的な加工装置であるエッチング装置では、プラズマ放電を制御するための設定項目数は３０以上ある。これらの設定値を固定した際の放電を１ステップとすると、異なる設定値をもつステップを次々に切替えながら加工が進められる。先端プロセスでは、１つの加工工程において通常でも１０ステップ以上、多い場合には３０ステップ以上が用いられており、ステップの組合せおよびステップ内の全ての設定値を最適化するために数百条件もの加工試験が行われている。装置性能を引出すためのノウハウと高い装置運用スキルをもつエンジニアの数は限られており、今後は条件導出や装置運用が予定通りに進まないケースが増えていくと予想される。
【0004】
特に、所望の構造を実現するプロセスを短期間で構築するには、既存の膨大な実験データの中から類似の構造を検索してそれを出発点としてプロセス構築する必要があるが、その際にはＳＥＭ（Scanning Electron Microscope）画像から寸法を計測しておく必要がある。現状は寸法計測を手作業で行うことが多いが、先端プロセスに適用する場合には構造が複雑になり、画像１枚当たりの測定点数も増えることから、人手で行う寸法抽出は限界に達しつつある。さらに、手動による計測では計測値に操作者依存性が生じる。また、ライン／スペースの単位パターンが繰り返している画像でも、個々のパターンごとに１つ１つ計測するため、計測値の統計量にはプロセスばらつき以外に人的誤差も加算されるなどの課題がある。
【0005】
これらの課題に対し、特許文献１は、画像の輝度値から輪郭線を求め、パターン断面の上部と下部の２点の座標値を用い、ＳＥＭ画像特有の白い影部分の信号を手動で除去することにより、側壁角度を精度良く求める測定方法及び測定装置を開示している。
【0006】
特許文献２は、ＳＥＭ画像の輝度値の変化からエッジポイントを求め、パターンの各辺を近似する直線を割り出すことにより、操作者依存を減らして各辺の角度・長さを抽出する測定方法及び測定システムを開示している。
【0007】
特許文献３は、深層学習による画像認識技術の一種である物体検出とセマンティック・セグメンテーションを用い、領域分割と繰り返し単位パターンの分割を行うことにより、計測に必要な計測点が存在する輪郭線を検出させ、寸法を計測する計測方法及び計測システムを開示している。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２０１２－６８１３８号公報
【文献】特開２００２－３５０１２７号公報
【文献】特許第６８７２６７０号
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献１及び２に記載の計測方法は輝度値を用いたエッジ検出法に基づくもので、しきい値などのパラメータチューニングや目視判断による界面位置の指定などの操作が画像ごとに必要であり、自動計測に適した手法とは言えない。目視による調整が不要な自動計測を実現するには、局所的な輝度分布ではなく、画像に写っている個々の物体の領域を認識することにより妥当な物体の輪郭を抽出する必要がある。このような目視と同等あるいはそれ以上の性能を有する画像認識は、機械学習、特に深層学習を用いた画像認識技術を応用することにより実現できると考えられる。
【0010】
特許文献３の手法は自動計測を実現できるが、単位パターンへの切り分け用に物体検出モデルを必要とし合計で２つのモデルを学習させる必要があること、計測に必要な計測点座標は輪郭線データを元に後処理で求める必要があること等の課題がある。
【0011】
発明者は、画像認識技術の１つである人物姿勢推定（ＨＰＥ：Human Pose Estimation）を半導体画像のパターン認識に適用することで、上述の課題を解決できることを見出した。ＨＰＥモデルは、画像中の人物の姿勢を推定するための機械学習モデルであり、従来、自動運転車における歩行者の動作認識や、ゲーム機器やアニメーションにおけるオブジェクト処理等が主な用途であった。
【0012】
ＨＰＥモデルでは、人物の姿勢は、骨格と呼ばれる長さや傾きの異なる複数の線分の結合により表現され、骨格を記述するために各線分の両端の基点（キーポイント）の座標が用いられる。従って、ＨＰＥモデルの骨格を半導体パターンの寸法計測箇所のパターン形状に合わせて適切に設定すれば、上述のキーポイントをパターンの寸法計測の際の基点として利用することが可能である。一方、ＨＰＥモデルでは計測箇所を学習前に教える必要があるので、モデルの学習後に計測箇所を追加する必要が生じた場合には、学習データセットに含まれる全サンプルに対して、追加する計測箇所を記載する必要があることが新たな課題となる。サンプル数が多い場合には、この修正の工数は大きな負担となる。この課題に関して、ＨＰＥモデルに用いられるデータセットの構成を考察した結果、発明者は、一部のサンプルに対して修正を行えば、他のサンプルと一緒にモデルの学習を行える、前処理方法を見出した。この前処理により、上述したＨＰＥモデルの課題を解決できる。また、計測箇所数の異なる複数の学習データセットを混合させてデータセットの規模を拡大することにより、モデルの精度を向上させることも可能となる。
【0013】
本開示は、寸法計測方法において、計測箇所を追加する際に発生するデータセット修正の工数を低減するコンピュータシステム、寸法計測方法、および半導体装置製造システムを提供することを課題とする。
【課題を解決するための手段】
【0014】
上記課題を解決するため、本発明においては、パターンの画像データから、当該パターンの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測するコンピュータシステムであって、学習器に用いる学習データセットにおいて、基点の座標をすべて記載しているサンプルと一部の基点の座標しか記載していないサンプルが混在する場合、一部の基点の座標値しか記載していないサンプルに対しては、アノテーションデータにおいて不足する当該基点を不足計測箇所とし、画像データに対しては当該不足計測箇所を遮蔽することにより、全サンプルを合わせて学習させる前処理部を備え、前記前前処理部は、少なくとも２つの前記基点の座標情報を学習結果として出力する姿勢推定モデルが実装された学習器を備え、前記学習器は、前記画像データを入力とし、少なくとも２つの前記基点の座標情報を出力とする学習データを用いてあらかじめ学習が実施されており、前記コンピュータシステムは、前記学習器に対して入力された新規画像データに対し、前記少なくとも２つの基点の座標情報及び前記寸法を抽出するコンピュータシステムを提供する。
【0015】
また、上記課題を解決するため、本発明においては、コンピュータシステムによって、画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測する寸法計測方法であって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させることができる前処理部を備え、前記前処理部が、前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データのキーポイントの座標情報を生成し、前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測し、前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである寸法計測方法を提供する。
【0016】
更に、画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測するためのアプリケーションが実装されたプラットフォームを備える半導体装置製造システムであって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させるステップと、前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データのキーポイントの座標情報を生成するステップと、前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測するステップが前記アプリケーションにより実行され、前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである半導体装置製造システムを提供する。
【発明の効果】
【0017】
寸法計測を行うための機械学習モデルを学習後に、計測箇所を追加する場合でも、全サンプルを修正する必要がなくなり、修正工数が大幅に低減可能である。また、過去のデータセット資産を統合して学習させることができる。上記以外の課題、構成及び効果は、実施例の説明により明らかにされる。
【図面の簡単な説明】
【0018】
【図1】実施例１の寸法計測システムの構成図である。
【図2】実施例１の寸法計測システムで使用されるサーバーの内部構成例を示す図である。
【図3】実施例１の機械学習モデルの構成例を示す模式図である。
【図4】実施例１で計測対象とする半導体パターンにおける計測箇所の例を示す図である。
【図5】実施例１の機械学習モデルの学習過程を示すフローチャートである。
【図6】学習の初期過程で実施される手動計測で使用される画像解析ツールのＧＵＩ（Graphical User Interface）画面を示す模式図である。
【図7】計測条件データの記述例である。
【図8】アノテーションデータの記述例を示す図である。
【図9】実施例１のＨＰＥモデルで使われる骨格とキーポイントを示す図である。
【図10】実施例１のＨＰＥモデルで使われる骨格構定義データを示す図である。
【図11】実施例１の新規計測箇所を追加した図である。
【図12】実施例１で計測箇所を追加した場合に作成される計測条件データの記述例である。
【図13】（ａ）計測箇所を追加したサンプルと（ｂ）計測箇所を追加しないサンプルに対するアノテーションデータの記述例とを示す図である。
【図14】実施例１の既知キーポイント座標から新規キーポイント座標を求める回帰式を用い推定した座標値（（ａ）はｘ座標、（ｂ）はｙ座標）と手動実測値との関係である。
【図15】実施例１の新規計測箇所に対応するキーポイントが存在すると推定される位置に局所遮蔽マスクを当てた断面ＳＥＭ画像である。
【図16】実施例１の計測箇所を追加した場合にＨＰＥモデルで使われる骨格とキーポイントを示す図である。
【図17】実施例１の計測箇所を追加した場合にＨＰＥモデルで使われる骨格定義データを示す図である。
【図18】実施例１において、データセットにおいて計測箇所を修正したサンプル数の割合と修正工数及び計測失敗率の関係を示す計算機実験の結果である。
【図19】モデルの学習を行う際に、端末ＰＣに表示されるＧＵＩ画面の構成例を示す図である。
【図20】学習済みモデルを用い寸法を計測する際に、端末ＰＣに表示されるＧＵＩ画面の構成例を示す図である。
【図21】学習済みモデルに対し画像を入力し、寸法値を出力させる過程を示すフローチャートである。
【図22】学習済みモデルに画像データを新規入力して得られた骨格構造とキーポイントを画像データ上に表示した結果を説明するための図である。
【図23】学習済みモデルに画像データを新規入力して得られた寸法計測値を画像データ上に表示した結果を説明するための図である。
【図24】実施例２の荷電粒子線装置を用いた半導体装置製造システムの一構成例を示す図である。
【図25】実施例２のシステム中の画像解析ツールのＧＵＩ画面の構成例を示す図である。
【発明を実施するための形態】
【0019】
以下、ＨＰＥモデルを用いた半導体パターンの画像データの寸法計測の具体例について説明する。なお、本明細書においては、ＨＰＥモデルを単に姿勢推定モデルとも称する。
【0020】
（Ａ）実施例１
本実施例では、機械学習モデルとしてＨＰＥモデルを実装した寸法計測システムの構成例について説明する。本実施例の寸法計測システムでは、機械学習モデルの学習データは、寸法計測対象物の画像データである断面ＳＥＭ画像、当該断面ＳＥＭ画像の計測箇所の基点（キーポイント）の座標を記述したアノテーションデータからなる。事前の学習ステップでは、上述の学習データを骨格定義ファイルとともに、ＨＰＥモデルに与えてキーポイント位置を学習させる。ここで骨格は計測箇所とは同一とは限らないが、骨格の両端は必ずキーポイントである。
本実施例では、機械学習モデルとしてＨＰＥモデルを実装した寸法計測システムの構成例について説明する。本実施例の寸法計測システムでは、機械学習モデルの学習データは、寸法計測対象物の画像データである断面ＳＥＭ画像、当該断面ＳＥＭ画像の計測箇所の基点（キーポイント）の座標を記述したアノテーションデータからなる。事前の学習ステップでは、上述の学習データを骨格定義ファイルとともに、ＨＰＥモデルに与えてキーポイント位置を学習させる。ここで骨格は計測箇所とは同一とは限らないが、骨格の両端は必ずキーポイントである。
【0021】
推論ステップでは、与えられた入力画像に対し、学習済みＨＰＥモデルでキーポイントを推定する。計測ステップでは、推定したキーポイント座標群から各計測箇所の両端のキーポイント座標を求め、事前に指定した計測箇所の寸法を自動で計測する。
【0022】
＜寸法計測システムの構成例＞
まず、寸法計測システムの構成について説明する。図１は、寸法計測システムの構成例を示す図である。寸法計測システム１１０は、評価装置１００と、サーバー１０１と、データベース１０２と、１台以上の入出力装置１０３とを有し、それぞれがネットワークによって接続されている。処理装置１１１は、ネットワークでつながっていてもいなくても良い。ネットワークに接続されている場合、処理装置１１１は、ネットワークを介して評価装置１００に加工条件データ等を送信する。
まず、寸法計測システムの構成について説明する。図１は、寸法計測システムの構成例を示す図である。寸法計測システム１１０は、評価装置１００と、サーバー１０１と、データベース１０２と、１台以上の入出力装置１０３とを有し、それぞれがネットワークによって接続されている。処理装置１１１は、ネットワークでつながっていてもいなくても良い。ネットワークに接続されている場合、処理装置１１１は、ネットワークを介して評価装置１００に加工条件データ等を送信する。
【0023】
入出力装置１０３は、ディスプレイとキーボードを備えた端末あるいは記憶媒体を内蔵したＰＣやタブレットであり、図示されているように、評価装置１００を使用する計測エンジニアや処理装置１１１を使用するプロセスエンジニア、或いはサーバー１０１やデータベース１０２を使用するプログラマ等のシステム操作者が使用する。なお、以下の説明において、「入出力装置１０３」と記載した場合、「入出力装置１０３」は入出力装置１０３－１、入出力装置１０３－２および入出力装置１０３－３の総称であることを意味し、全ての入出力装置に共通する特徴の説明であるものとする。
【0024】
処理装置１１１は、半導体または半導体を含む半導体デバイスを処理する装置である。処理装置１１１の処理の内容は特に限定されない。例えば、リソグラフィ装置、成膜装置、パターン加工装置を含む。リソグラフィ装置には、たとえば、露光装置、電子線描画装置、Ｘ線描画装置を含む。成膜装置は、たとえばＣＶＤ（Chemical Vapor Deposition）、ＰＶＤ（Physical Vapor Deposition）、蒸着装置、スパッタリング装置、熱酸化装置を含む。パターン加工装置は、たとえば、ウェットエッチング装置、ドライエッチング装置、電子ビーム加工装置、レーザ加工装置を含む。
【0025】
評価装置１００は、処理装置１１１で加工したウェハから得られる試料について評価結果である断面画像を出力する装置であり、例えばＳＥＭ、ＴＥＭ（Transmission Electron Microscope）、光学式モニタを用いた加工寸法計測装置あるいはＦＩＢ装置を含む。ウェハから得られる試料の形状としては、ウェハを割断して一部を切り出した試料（クーポン）であってもウェハ全体であってもよい。また、処理装置１１１から評価装置１００へウェハを運搬する途中にラメラ作製装置を設置して、当該装置により半導体または半導体デバイスの一部を断片として抽出し、抽出された試料を計測対象試料としてもよい。
【0026】
サーバー１０１は、通常のコンピュータで構成することができ、ＯＳ、深層学習に必要なフレームワーク、ライブラリ、プログラム言語、モデルなどがインストールされている。モデルの学習を短時間で行うために高性能なＧＰＵ（Graphics Processing Unit）を備えていることが望ましい。モデルの学習及び推論は入出力装置１０３からサーバー１０１にログインして行う。手動計測に用いる画像解析ツールは、サーバー１０１にインストールされていても入出力装置１０３のいずれかまたは全てにインストールされていても良い。画像解析ツールがサーバー１０１にインストールされている場合、当該ツールの操作は入出力装置１０３から行う。
【0027】
データベース１０２は、入力データである撮影した断面画像、アノテーションデータ、骨格定義データ、学習済みモデルを表すモデルパラメータ、計測結果などを格納する外部記憶装置である。
【0028】
計測エンジニアは、データベース１０２に格納されている評価装置１００で得られた画像に対し、入出力装置１０３から画像解析ツールを用いて寸法を計測するとともに、計測結果をデータベース１０２に格納する。また、プロセスエンジニアが、入出力装置１０３にて上記計測結果を基にサーバー１０１上でモデルの学習を行う。モデルを学習した後は、評価装置１００で得られた画像が直接サーバー１０１上の学習済みモデルに入力され、寸法が自動計測される。必要に応じ、プログラマが入出力装置１０３にてプログラムの修正などを行う。
【0029】
以上の各作業を計測エンジニア、プロセスエンジニアおよびプログラマで分担する必要は必ずしも無く、一人のシステム操作者が単独で実行してもよいことは言うまでもない。
【0030】
＜寸法計測機能が実装されたサーバー１０１の内部構成例＞
図２は、本実施例の寸法計測機能が実装されたサーバー１０１の内部構成例を示す図である。サーバー１０１の筐体内には、インターフェース１１５、プロセッサ１１６、不揮発性メモリ（ＲＯＭ）１１７、揮発性メモリ（ＲＡＭ）１１８、ストレージ１２６等が格納されている。サーバー１０１への画像データや学習データの入力或いは寸法計測結果の出力は、インターフェース１１５を介して入出力装置１０３により実行される。入力データである画像データ、アノテーションデータ、骨格定義データ、学習済みモデルを表すモデルパラメータ、および計測結果は、データベース１０２に格納され、必要なときに読み出される。図示は省略したが、入出力装置１０３には、手動画像解析ツール１２７のＧＵＩ画面を操作するためのマウスや各種の設定値を入力するためのキーボード等、入出力デバイスが備えられている。
図２は、本実施例の寸法計測機能が実装されたサーバー１０１の内部構成例を示す図である。サーバー１０１の筐体内には、インターフェース１１５、プロセッサ１１６、不揮発性メモリ（ＲＯＭ）１１７、揮発性メモリ（ＲＡＭ）１１８、ストレージ１２６等が格納されている。サーバー１０１への画像データや学習データの入力或いは寸法計測結果の出力は、インターフェース１１５を介して入出力装置１０３により実行される。入力データである画像データ、アノテーションデータ、骨格定義データ、学習済みモデルを表すモデルパラメータ、および計測結果は、データベース１０２に格納され、必要なときに読み出される。図示は省略したが、入出力装置１０３には、手動画像解析ツール１２７のＧＵＩ画面を操作するためのマウスや各種の設定値を入力するためのキーボード等、入出力デバイスが備えられている。
【0031】
ストレージ１２６は、画像解析ツール１２７や本実施例の寸法計測機能を備えた寸法計測ソフトウェア１２８を格納している。当該寸法計測ソフトウェア１２８は、必要に応じてＲＡＭ１１８に展開される。プロセッサ１１６は、それを実行することにより、本実施例の寸法計測機能を実現する。画像解析ツール１２７は、学習データを構成するアノテーションデータ作成に必要な計測条件データを出力するツールであり、ピクセルの演算処理により画像の特定箇所の座標を計算したり、座標間の距離を計算する機能を備える。
【0032】
また、本実施例の寸法計測ソフトウェア１２８は、主としてデータ変換部１２３、ＨＰＥモデル部１２４と寸法計測部１２５で構成されており、それらはソフトウェアモジュールの形で寸法計測ソフトウェア１２８に組み込まれている。図２はデータ変換部１２３、ＨＰＥモデル部１２４と寸法計測部１２５とがＲＡＭ１１８に展開された状態を示している。
【0033】
＜ＨＰＥモデルの一例＞
図３は、サーバー１０１で用いるＨＰＥモデルの一例を示す図である。図３のＨＰＥモデルは、ニューラルネットワーク構造１０を有し、入力層に入力された画素情報が、中間層、出力層へと順に伝播され演算されることにより、キーポイントの座標が出力層から出力される。中間層は畳み込み層、プーリング層などが多数層繰り返された構造を備える。以上は、本実施例のＨＰＥモデルの基本構造であるが、更に具体的な層構造は採用するモデルの詳細により異なる。
図３は、サーバー１０１で用いるＨＰＥモデルの一例を示す図である。図３のＨＰＥモデルは、ニューラルネットワーク構造１０を有し、入力層に入力された画素情報が、中間層、出力層へと順に伝播され演算されることにより、キーポイントの座標が出力層から出力される。中間層は畳み込み層、プーリング層などが多数層繰り返された構造を備える。以上は、本実施例のＨＰＥモデルの基本構造であるが、更に具体的な層構造は採用するモデルの詳細により異なる。
【0034】
ＨＰＥモデルの学習時には、出力されたキーポイントの座標と正解であるアノテーションデータとの誤差が最小となるように中間層のパラメータが調整される。図３に示すＨＰＥモデルは、図２のＨＰＥモデル部１２４に実装されており、寸法計測ソフトウェア１２８の本体そのものは図２のストレージ１２６に格納されている。図３のＨＰＥモデルは、学習時や推論時にはＲＡＭ１１８に展開され、プロセッサ１１６により実行される。
【0035】
以下の説明で学習器という場合、ソフトウェアモジュールとして寸法計測ソフトウェア１２８に組み込まれたＨＰＥモデル部１２４を意味するが、ソフトウェアモジュール以外の実装形態も適用可能である。また、本実施例では、ニューラルネットワーク１０を用いてＨＰＥモデルを構成したが、これに限られず、Ｐｉｃｔｏｒｉａｌ Ｓｔｒｕｃｔｕｒｅ Ｍｏｄｅｌなどの機械学習のモデルを用いることもできる。
【0036】
まず、ＨＰＥモデルを学習させるまでの手順を説明する。
【0037】
＜ＨＰＥモデルの学習データセット作成手順＞
まず、図４を用いて計測箇所の指定の仕方を説明する。図４は計測対象である半導体の断面ＳＥＭ画像から、計測箇所の説明のために、一部を切り出してきた半導体パターンの画像である。当該断面ＳＥＭ画像の対象構造は、シリコン基板部（substrate）４１の上に酸化シリコンからなるマスク部(ｍａｓｋ)４０を形成後、トレンチパターンが形成された構造を備える。同図においては、計測箇所の例として、ｍａｓｋ ｈｅｉｇｈｔ４３,ｔｒｅｎｃｈ ｄｅｐｔｈ４４，ｌｉｎｅ ｔｏｐ４５，ＣＤ ｎｅｃｋｉｎｇ４６の４箇所を示してある。図中に８個ある白丸４２は計測箇所の両端に当たる基点であり、以下、キーポイントとも呼ぶ。図中の座標は各キーポイントの座標値であり、座標軸は横方向にｘ軸を、縦方向にｙ軸を取っている。
まず、図４を用いて計測箇所の指定の仕方を説明する。図４は計測対象である半導体の断面ＳＥＭ画像から、計測箇所の説明のために、一部を切り出してきた半導体パターンの画像である。当該断面ＳＥＭ画像の対象構造は、シリコン基板部（substrate）４１の上に酸化シリコンからなるマスク部(ｍａｓｋ)４０を形成後、トレンチパターンが形成された構造を備える。同図においては、計測箇所の例として、ｍａｓｋ ｈｅｉｇｈｔ４３,ｔｒｅｎｃｈ ｄｅｐｔｈ４４，ｌｉｎｅ ｔｏｐ４５，ＣＤ ｎｅｃｋｉｎｇ４６の４箇所を示してある。図中に８個ある白丸４２は計測箇所の両端に当たる基点であり、以下、キーポイントとも呼ぶ。図中の座標は各キーポイントの座標値であり、座標軸は横方向にｘ軸を、縦方向にｙ軸を取っている。
【0038】
ＨＰＥモデルの学習を行うには、各画像に含まれるキーポイントの名称とキーポイントの座標値を記載した「計測条件データ」と骨格の定義を記載した「骨格定義データ」を作成する必要がある。計測条件データはその後、ＨＰＥモデルが読み込める形のアノテーションデータに変換される。
【0039】
図５は、実施例１において、サーバー１０１によって実行される、入力画像を読み込んでからモデルを学習させるまでの処理を説明するためのフローチャートである。Ｓ３０１からＳ３０３までのステップのみ手動による操作を伴い、Ｓ３０４以降、画像解析ツールあるいはグラフィックツールなど何らかのソフトウェアを用いて各キーポイントの座標値を求め、キーポイント名称を併記して「計測条件データ」を作成する。以下、画像解析ツールで行う例を提示し、計測条件データの作成方法を説明する。
【0040】
図６は画像解析ツールに表示されるパネルの構成例である。図６上段のロードボタン２０を押すと、画像の候補がＧＵＩ上にサムネイル表示され、システム操作者はその中から手動計測する画像を選択する。画像消去ボタン２１は選択した画像をキャンセルしたい場合に用いる。倍率セル２２には画像撮影の際の倍率を入力する。この値は計測した寸法をピクセル単位から実寸法に換算するために用いられる。以上の操作が図５のＳ３０１に当たる。
【0041】
次に、Ｓ３０２に当たる操作を示すために、図６の中段に示される各種ボタンについて説明する。図６中段のボタンは、画像解析ツールの計測環境を設定する「計測箇所設定データ」を作成する時に使用される。計測箇所設定データとは、以下の操作で作成する計測箇所の名称、単位、表示に使う色の対応関係が保存されたデータである。新規作成ボタン２３で新規計測箇所設定データの作成、ロードボタン２４で作成済み計測箇所設定データのロード、保存ボタン２５で作成した計測箇所設定データの保存を行う。新規に計測箇所設定データを作成する場合、まず、名称セル２６に計測箇所の名称を入力し、次に単位セル２７に寸法の単位を入力する。色セル２８には使用されていない色が候補として自動で設定される。生成ボタン２９を押すと、作成した計測箇所が計測値リスト３１に登録される。計測箇所を削除したいときは、計測値リスト３１内で対応する行を選択後、計測箇所削除ボタン３０を押す。計測値リスト３１には表示色、名称、単位、計測本数、寸法の平均値、寸法の標準偏差などが表示される。
【0042】
次に、手動計測の手順を説明する。画像ロードボタン２０によって所望の画像を表示させてから、操作者は図６中段に示される各種ボタンとマウスを操作して、画像中の計測箇所の寸法を計測していくことになる。手動計測する箇所は画像に映っているすべての箇所を対象としても良く、また所定の本数だけを計測するのでも良い。
【0043】
初めに新規作成ボタン２３を押すと、名称セル２６と単位セル２７がアクティベートされ入力可能な状態となり、計測箇所の名称と寸法の単位を入力する。次に、マウスを操作し、表示画像の任意の始点と終点にカーソルまたはポインタを移動し、これら２箇所でマウスをクリックする。１つ目のマウスクリックイベントが検出されると、クリックした箇所の座標をピクセル単位で始点と判断し、２つ目のマウスクリックイベントが検出されると、クリックした箇所の座標をピクセル単位で終点と判断する。２つの座標間の距離から始点と終点間の寸法を計算し、計測値リスト３１内に表示する。表示後、操作者が生成ボタン２９を押すと、計算された寸法値あるいは計測値リスト３１内の個数、平均値、標準偏差の値が計測値リスト３１に登録される。始点と終点を新たに追加するごとに、計測値リスト３１内の個数、平均値、標準偏差の値は更新される。
【0044】
新規画像を計測する場合は、初期には計測値リスト３１の数値は空欄になっているが、２枚目以降の画像に対しては、計測値リスト３１から目的の計測箇所の名前を選択後、画像上で計測箇所の始点と終点をクリックすればよい。計測を終了する時には、下段の保存ボタン３２を押す。計測値リストに対応した「計測値データ」（ＣＳＶファイル）と「計測条件データ」（テキストファイル）が出力される。以前に保存した計測値データを参照あるいは修正するには、ロードボタン３３を押して呼び出す。以上が図５のＳ３０２で行う操作である。全画像に対して手動計測作業が完了していれば、計測条件データの作成作業は終了であり、残っていれば、Ｓ３０１に戻る（Ｓ３０３）。以上の操作は、計測エンジニアが入出力装置１０３から画像解析ツール１２７を使って行う。
【0045】
次に、Ｓ３０４において、システムが、作成した全計測条件データを読み込み、全サンプルに対し、計測箇所が共通かあるいは否かを判定する。初めに、計測箇所がすべて共通の場合のフローを説明する。図７は、図４の計測箇所に対して手動計測を行ったことにより、手動画像解析ツールが出力した計測条件データの例である。この例ではＪＳＯＮ形式の書式を採用しているが、他の書式でも良い。このファイルにおいて、「ｎａｍｅ」は計測ツールで入力した計測箇所の名称である。その次にある「ｍｅａｓｕｒｅｍｅｎｔＬｉｓｔ」には、計測名が「ｍｅａｓｕｒｅｍｅｎｔＮａｍｅ」に、始点及び終点の座標値が「ｐｏｓｉｔｉｏｎＬｉｓｔ」に列挙されている。その中のＬ１、Ｌ２などは計測箇所を区別するために手動画像解析ツールが自動的に割り振った名称であり、ＨＰＥモデルの学習に用いるアノテーションデータには使用されない。
【0046】
次に、読み込まれた計測条件データが、ＨＰＥモデルが対応しているフォーマットのアノテーションデータに変換される（Ｓ３０５）。変換は図２の１２３データ変換部が自動で行う。図８にそのアノテーションデータの例を示す。本実施例では、人物姿勢推定用データセットで通常用いられるＪＳＯＮ形式のフォーマットを想定している。マスク部と基板部は別のオブジェクトとして記載されている。このフォーマットでは、オブジェクトごとにキーポイント番号順に「ｘ座標」、「ｙ座標」、「可視度」を列挙する。キーポイント番号は一意に決める必要があるが、ここでは、縦方法の計測箇所を先に、横方向の計測箇所を後に、始点を先、終点を後に並べるルールを用いている。すなわち、図４の例では、計測箇所の順番は、ｍａｓｋ ｈｅｉｇｈｔ、ｔｒｅｎｃｈ ｄｅｐｔｈ、ｌｉｎｅ ｔｏｐ、ＣＤ ｎｅｃｋｉｎｇとなる。可視度は、キーポイントが完全に見えていれば２、全く見えていなければ０である。ｉｄはオブジェクトを区別する番号であり、画像枚数と各画像に含まれるオブジェクト数に応じて自動で連番で付与される。人物姿勢モデルでは、複数の種類のオブジェクトを扱うことができないので、マスク部と基板部をともに８つのキーポイントを有するオブジェクトとして扱い、その代わりに存在しないキーポイントを不可視としている。例えば、ｉｄ＝１０００のマスク部に対しては、２～７番のキーポイントは不可視とし、座標にはダミー値（ここでは０を使用）を記載してある。全画像に対する以上の情報を画像ファイル名とともに並べて記載したファイルがアノテーションデータとなる。
【0047】
次に、図５のＳ３０２において断面ＳＥＭ画像で所定の本数の計測箇所のみ手動計測していた場合には、Ｓ３０６において画像中の非計測領域を遮蔽するマスクを付加する。これは画像とアノテーションデータが矛盾しないようにするための処置である。マスクの形状は任意で良いが、非計測領域全体を覆うような矩形マスクならば領域指定が容易である。
【0048】
遮蔽用のマスクを付加した断面ＳＥＭ画像と図８に示したアノテーションデータから学習データセットが構成される（Ｓ３０７）。
【0049】
学習データセットの構成と並行して、Ｓ３０８において、与えられたキーポイントのセットに対応した骨格を設計し、「骨格定義データ」を作成する。図９は、図７の計測条件データから自動設計した骨格構造の一例である。なお、この図自体をモデルの学習に用いるのではなく、後に述べるテキストファイルである骨格定義データを使用する。図中のキーポイント４２同士を結ぶ白直線５０を「骨格」と呼ぶ。キーポイント同士の結び方（以下、骨格設計ルールと呼ぶ）は任意であるが、後に述べる局所マスクを付加した際に骨格構造が分離するのを防ぐために、マスク部（キーポイント０と１からなる）と基板部（キーポイント２～７からなる）それぞれにおいて、ある１つのキーポイントから他のすべてのキーポイントへ結ぶ放射型の構造を採用している。基点であるキーポイントは、マスク部と基板部から構成される単位パターンにつき８個あり、骨格は６本設定されている。キーポイントと骨格にはそれぞれ通し番号０～７、（０）～（５）が自動的に付与される。以上の自動設計と骨格定義データ作成も、図２の１２３データ変換部が骨格設計ルールに基づき自動で行う。
【0050】
図１０は、図９で示した骨格を記述する骨格定義データであり、辞書形式で記述した場合の例である。キーｌｉｍｂｓ＿ｐｏｉｎｔに対応した６組の数字は骨格番号順に並んだ骨格の始点と終点のキーポイント番号であり、キーｊｏｉｎｔ＿ｉｎｄｉｃｅｓに対応した８つの数字はキーポイント番号である。
【0051】
ＨＰＥモデルの学習時（Ｓ３１４）には、Ｓ３０７で構成した学習データセットとＳ３０８で作成した骨格定義データをモデルに入力する。学習は所定の反復回数に達すれば、終了である（Ｓ３１５）。
【0052】
以上が、ゼロから学習用データセットを作るまでのフローであり、計測対象となるデバイスあるいは計測箇所の変更があるたびに、このフローを最初から行うことになる。一方、対象となるデバイスは同じだが、モデルを学習させた後に、当初設定していた計測箇所よりも計測箇所を増やす必要が生じることがあり得る。図１１は、従来の計測箇所が図４に示す箇所であった場合に、新規の計測箇所として４７ｌｉｎｅ ｂｏｔｔｏｍを追加する例を示している。図１１の計測箇所に対応したモデルを学習させるには、既存の計測条件データを修正する必要があり、図６に示した画像解析ツールの計測値リスト３１にｌｉｎｅ ｂｏｔｔｏｍを追加して、全画像に対して計測条件データを修正することが、通常のやり方である。このやり方は確実だが、画像枚数分の修正工数を要する。
【0053】
本実施例では、この計測条件データの修正に要する工数を低減させるため、全画像ではなく、一部の画像のみに対して計測条件ファイルを修正し、その他の画像に対しては既存の計測条件データを使用することを可能にする機能をシステムに組み込んだ。以下、図５のＳ３０４において、計測箇所が共通でないと判定した場合にシステムが行う処理について説明する。
【0054】
まず、図５のＳ３０９において、アノテーションデータを作成する。図１２は計測箇所ｌｉｎｅ ｂｏｔｔｏｍを追加した場合に画像解析ツールによって作成される計測条件データの例である。従来のデータと比べると、ｌｉｎｅ ｂｏｔｔｏｍに関する情報が追加されている。一方、計測箇所が追加されてないサンプルに対しては、計測条件データは図７のままであり、ｌｉｎｅ ｂｏｔｔｏｍに関する情報は欠落している。両者を統合する際には、計測箇所の多い図１２の書式に揃える必要がある。
【0055】
図１３（ａ）には計測箇所を追加したサンプルを記述するアノテーションデータの部分を、（ｂ）には計測箇所を追加していないサンプルを記述するアノテーションデータの部分を示す。計測箇所を追加したサンプルは、追加した計測箇所に関する情報（図中に太字で表示）が計測条件ファイル（図１２）から取得できる。一方、計測箇所を追加しないサンプルにおいては、追加される計測箇所に関する情報（図中に太字で表示）は未知なので、対応するキーポイントの座標値にダミーの値（図の例では０を使用）を入れ、可視の程度を０に設定する。
【0056】
次に、アノテーションデータの記載と整合させるため、計測箇所が追加されていないサンプルの断面ＳＥＭ画像には、追加されるべきキーポイントが存在すると想定される領域を遮蔽するための局所的マスクを付加する。すなわち、人為的に障害物を置いて、追加されるべきキーポイントが画像中に見えないようにする。これは非計測領域を遮蔽することと目的は同じである。但し、追加されるべきキーポイントの座標は未知なので、回帰式による推定を行う（Ｓ３１０）。回帰式としては、線形回帰、機械学習モデル、ニューラルネットワークなど何でも良い。回帰式の作成には、まず、計測箇所を追加したサンプルの計測条件ファイルから全キーポイントの座標値を収集して学習データとし、既存のキーポイントの座標を入力、追加したキーポイントの座標を出力とする回帰式を学習させる。得られた回帰式を、計測箇所が追加されていないサンプルに対して適用し、既存のキーポイントの座標から、未知のキーポイントの座標を推定する。
【0057】
図１４は、学習させた回帰式を計測箇所を追加しないあるサンプルに適用して推定した座標値を、手動で計測した座標値と比較した結果である。(ａ)はｘ座標、（ｂ）はｙ座標である。手動計測値と非常に良く一致する推定値が得られる。このような精度良い推定が可能である理由は、断面ＳＥＭ画像の計測では、計測対象が類似した形状ばかりであり、キーポイント座標間の相関が比較的大きいためである。図１４の例では、ｙ座標に比べてｘ座標の方が推定誤差は大きいが、最大で１０ピクセル程度である。
【0058】
図１５は、図５のＳ３１１において、計測箇所を追加していないサンプルの断面ＳＥＭ画像に対し、追加キーポイントとして推定した座標値を中心に局所マスクを付加した画像である。画像の両端の黒い領域は、手動計測の際に計測されなかった領域である。局所マスクの形状は任意であり、円形・正方形・矩形いずれでも良いが、ここでは円形の例を示してある。円形の大きさは、回帰式推定誤差より大きな値（図１５では半径１５ピクセルを使用）が望ましい。計測箇所を追加していないサンプルに対しては、この局所マスクを付加した画像が学習データセットとして使われる。一方、計測箇所を追加したサンプルの断面ＳＥＭ画像には局所マスクは付加されず、非計測領域を遮蔽するための画像両端の矩形マスクのみが付加される。遮蔽用のマスクを付加した断面ＳＥＭ画像と図１３のアノテーションデータから学習データセットが構成される（Ｓ３１２）。
【0059】
並行して、Ｓ３１３において、骨格定義データを作成する。図１６は計測箇所を追加した図１１に対応する骨格構造である。図９と比較すると、キーポイント５１，５２と骨格５３，５４が追加されている。統合したデータセットでは計測箇所の本数の多い方に合わせる必要があるので、骨格定義ファイルとしては、図１６に対応した図１７が作成される。追加前の図１０と比較すると、キーｌｉｍｂｓ＿ｐｏｉｎｔには骨格が２個追加され、キーｊｏｉｎｔ＿ｉｎｄｉｃｅｓにはキーポイントが２個追加されている。
【0060】
ＨＰＥモデルの学習（Ｓ３１４）では、Ｓ３１２で構成した学習データセットとＳ３１３で作成した骨格定義データをモデルに入力する。学習は所定の反復回数に達すれば、終了である（Ｓ３１５）。
【0061】
なお、本実施例で説明したシステムで計測箇所を新たに追加する場合、計測条件ファイルを修正するサンプルが１枚であっても学習が行えるが、当然学習済みモデルの精度は低くなる。許容される修正サンプル数の割合を調べるため、修正する割合を種々に変えて計算機実験を行った結果を図１８に示す。図１８は、計測条件ファイルを全サンプルに対して修正する場合の工数を１００％基準にした時の工数と計測の失敗率（全計測箇所数に対する計測できなかった箇所数の比）の修正する割合（修正比）に対する関係である。修正工数と計測失敗率は修正比に関してトレードオフ関係にある。この例では、実用的な失敗率（例えば１％未満）を考えると、修正比は１/４まで低減可能である。すなわち、全サンプルの１/４程度の計測条件ファイルを修正すれば、十分な精度のモデルを学習させることが可能となる。なお、局所マスクを付加しない場合には、失敗率がさらに増加する結果も得られたので、局所マスク付加は必須である。
【0062】
再び図５のフローチャートに戻って、以上説明したＳ３０５～Ｓ３１５までの一連の処理は、プロセスエンジニアが入出力装置１０３のＧＵＩ画面から出した指示に従い、システムが自動で行うことになる。図１９は、本実施例においてＨＰＥモデルの学習時に必要な操作を行うためのＧＵＩ画面の一例を示す図であり、入出力装置１０３に表示される。図１９に示したＧＵＩ画面は、学習の際に用いる学習画面と、計測実行時に用いる計測画面とがタブで切替可能に構成されており、「ｔｒａｉｎ」と表示された学習タブ２００を選択すると本画面が表示される。上段にモジュールの実行とモデル学習を指示するためのボタン群が配置されており、下段にはターミナル出力画面（ターミナルウインドウ）２０６が配置されている。
【0063】
まず、学習データを格納しているフォルダを指定するために、入力ボタン（学習データ格納フォルダ指定ボタン）２１０を押してフォルダを指定する。指定したフォルダ名はフォルダ名セル２１３に表示される。次に、学習後に学習済みモデルを格納するフォルダを指定するために、出力ボタン２１１を押してフォルダを指定する。指定したフォルダ名はフォルダ名セル２１４に表示される。指定したフォルダ名を変更するには、クリアボタン２１２を押す。モデルの学習を開始するときは学習開始ボタン２０４を押す。学習開始ボタン２０４の横には状態を示す状態セル２０５が表示される。状態セル２０５に「Ｄｏｎｅ」が表示されればステップＳ３０６の学習ステップは終了である。なお、図９で表示されている変換モジュール実行ボタン２０２や骨格自動設計モジュール実行ボタン２０３の意味については実施例２または３で説明するが、本実施例の寸法計測システムにおいては各ボタンの処理を実現する機能ブロックが寸法計測ソフトウェア１２８に組み込まれていないため、各ボタンを押しても動作しない。
【0064】
＜学習モデルを用いた寸法の自動計測処理＞
次に、学習済みモデルに新規画像を入力して寸法計測を行う方法について説明する。以降の説明は、未計測の断面ＳＥＭ画像がストレージ１２６のフォルダ内に既に格納されているものとする。新規画像に対する寸法計測は、サーバー１０１により実行される。学習が完了したＨＰＥモデルにおいては、図３に示すニューラルネットワーク１０の各層を構成するパラメータが最適化されており、最適化されたパラメータはサーバー１０１内のストレージ１２６に格納されている。推論実行時にはパラメータがＲＡＭ１１８に展開され、プロセッサ１１６により参照されることにより、計測の基点となるキーポイント座標と、寸法値が算出される。
次に、学習済みモデルに新規画像を入力して寸法計測を行う方法について説明する。以降の説明は、未計測の断面ＳＥＭ画像がストレージ１２６のフォルダ内に既に格納されているものとする。新規画像に対する寸法計測は、サーバー１０１により実行される。学習が完了したＨＰＥモデルにおいては、図３に示すニューラルネットワーク１０の各層を構成するパラメータが最適化されており、最適化されたパラメータはサーバー１０１内のストレージ１２６に格納されている。推論実行時にはパラメータがＲＡＭ１１８に展開され、プロセッサ１１６により参照されることにより、計測の基点となるキーポイント座標と、寸法値が算出される。
【0065】
図２０は、モデルの学習完了後、自動計測を行う際に、図１の入出力装置１０３に表示される自動計測ツールのＧＵＩ画面の例である。図２０のＧＵＩ画面は、画面右上側の入力パネル３４５、画面右下側の出力パネル３５３及び画面左側に配置された各種の操作ボタン（３４１、３４２、３４３、３４４、３５１、３５２の各ボタン）により構成されている。入力パネル３４５には選択した画像あるいはフォルダの情報が表示され、出力パネル３５３には計測結果が表示される。ＧＵＩ画面は、学習の際に用いる学習画面と、計測実行時に用いる計測画面とがタブで切替可能に構成されており、「ｍｅａｓｕｒｅ」と表示された計測タブ２０１を選択すると図２０の画面が表示される。
【0066】
各種の操作ボタンにおいて、マニュアルボタン３４１は計測したい画像を１枚ずつ選択する場合に用いる。バッチボタン３４２はフォルダ内にある全画像に対し一度に計測する場合にフォルダを指定するために用いる。計測開始ボタン３４３を押すと計測が開始され、終了すると計測結果が自動で保存される。画像の選択をやり直す場合には、クリアボタン３４４を押して、入力パネル３４５に表示されている情報を消去する。計測結果ロードボタン３５１を押すと、計測結果がロードされて表示され、計測結果表示クリアボタン３５２を押すと表示は消去される。
【0067】
入力パネル３４５において、フォルダ名セル３４６には対象とする画像を格納するフォルダ名が表示される。ファイル名セル３４７には、マニュアルボタン３４１を押した場合には指定した画像の名称が、バッチボタン３４２を押した場合には、１枚目の画像名が表示される。指定したフォルダ名、ファイル名を変更する場合には、クリアボタン３４４を押して消去してから再度指定し直す。定義ウィンドウ（計測箇所定義リスト）３４９には、フォルダに格納されている画像に付与されている計測箇所の定義情報が表示される。入力画像パネル３５０には、マニュアルボタン３４１を押した場合には指定した画像名が、バッチボタン３４２を押した場合には、１枚目の画像名が表示される。
【0068】
出力パネル３５３において、フォルダ名セル３５４には対象とする画像を格納するフォルダ名が表示される。ファイル名セル３５５には、マニュアルボタン３４１を押した場合には指定した画像名が、バッチボタン３４２を押していた場合には、１枚目の画像名が表示される。姿勢検出画面（姿勢推定結果表示パネル）３５６には検出した骨格構造が入力画像上に表示され、寸法計測結果表示パネル（計測画面）３５７には計測した寸法値が入力画面上に表示される。姿勢検出画面３５６と計測画面３５７には、バッチボタン３４２を押していた場合には、１枚目の画像に対する結果が表示される。寸法計測結果セル３５８には、各計測箇所に対する個数、平均値、標準偏差が表示される。マニュアルボタン３４１を押していた場合には指定した画像に対する結果が、バッチボタン３４２を押していた場合には、１枚目の結果が表示される。
【0069】
図２１には、学習済みモデルに新規画像を入力して寸法計測を行う過程のフローチャートを示す。システム操作者が図２０の開始ボタン３４３を押すと、プロセッサ１１６は図２１のフローチャートによる処理を実行開始する。
【0070】
（i）ステップＳ１００１からステップＳ１００３
寸法計測部１２５は、操作者によって与えられた寸法計測させたい画像を読み込み（ステップＳ１００１）、当該画像と学習の際に作成した骨格定義データ（ステップＳ１００２）を学習済みモデル（ステップＳ１００３）に入力する。寸法計測部１２５が取得する（操作者によって与えられる）画像は、図２０のマニュアルボタン３４１を押した場合は１枚であり、バッチボタン３４２を押した場合は図２０のフォルダ名セル３４６に表示された名前のフォルダに格納された画像ファイル（複数枚まとめて入力される）となる。
寸法計測部１２５は、操作者によって与えられた寸法計測させたい画像を読み込み（ステップＳ１００１）、当該画像と学習の際に作成した骨格定義データ（ステップＳ１００２）を学習済みモデル（ステップＳ１００３）に入力する。寸法計測部１２５が取得する（操作者によって与えられる）画像は、図２０のマニュアルボタン３４１を押した場合は１枚であり、バッチボタン３４２を押した場合は図２０のフォルダ名セル３４６に表示された名前のフォルダに格納された画像ファイル（複数枚まとめて入力される）となる。
【0071】
（ii）ステップＳ１００４
寸法計測部１２５は、画像の入力後、学習済みモデルは推論結果であるキーポイント座標と骨格構造を出力する（ステップＳ１００４）。
寸法計測部１２５は、画像の入力後、学習済みモデルは推論結果であるキーポイント座標と骨格構造を出力する（ステップＳ１００４）。
【0072】
（iii）ステップＳ１００５およびＳ１００６
寸法計測部１２５は、キーポイント座標を基に、各計測箇所の寸法を計算する（ステップＳ１００５）。
寸法計測部１２５は、キーポイント座標を基に、各計測箇所の寸法を計算する（ステップＳ１００５）。
【0073】
（iv）ステップＳ１００６
寸法計測部１２５は、統計データを含む計測結果を入出力装置１０３のＧＵＩ画面上に表示し、更に所定のファイル形式に出力する（ステップＳ１００６）。
寸法計測部１２５は、統計データを含む計測結果を入出力装置１０３のＧＵＩ画面上に表示し、更に所定のファイル形式に出力する（ステップＳ１００６）。
【0074】
（v）ステップＳ１００７
寸法計測部１２５は、骨格構造や計測値を入力画像に重畳し、当該重畳表示した画像データを出力する（ステップＳ１００７）。出力された計測結果ファイルや画像データは、ストレージ１２６内の所定のフォルダ内に格納される。図２０のＧＵＩ画面の例では、「ｔｒｅｎｃｈ」という名前のフォルダに格納される。
寸法計測部１２５は、骨格構造や計測値を入力画像に重畳し、当該重畳表示した画像データを出力する（ステップＳ１００７）。出力された計測結果ファイルや画像データは、ストレージ１２６内の所定のフォルダ内に格納される。図２０のＧＵＩ画面の例では、「ｔｒｅｎｃｈ」という名前のフォルダに格納される。
【0075】
＜重畳表示した画像データの例＞
図２２は、学習済みモデルの推定した骨格を入力画像に重畳表示した画像データの例を示す図である。また、図２３は、計測値を図２２と同じ入力画像に重畳表示した画像データの例を示す図である。
図２２は、学習済みモデルの推定した骨格を入力画像に重畳表示した画像データの例を示す図である。また、図２３は、計測値を図２２と同じ入力画像に重畳表示した画像データの例を示す図である。
【0076】
以上、本実施例の寸法計測システムないし寸法計測方法により、計測箇所を追加することになっても、従来技術よりも修正工数を低減して機械学習モデルの学習を行うことが可能となる。
【0077】
本実施例においては、断面ＳＥＭ画像を用いた半導体パターン計測に対してＨＰＥモデルを適用した構成例について説明を行ったが、本開示の技術は平面ＳＥＭ画像や平面ＴＥＭ画像、断面ＴＥＭ画像、平面のＦＩＢ（Focused Ion Beam）画像あるいは断面のＦＩＢ画像についても適用可能である。ただし、断面ＳＥＭ画像や断面ＴＥＭ画像または断面のＦＩＢ画像には、１）明るさが画像ごとに異なる、２）寸法計測には不必要な奥の構造が写っている、３）寸法を計測したい異種材料界面の境界が不明瞭、といった平面のＳＥＭ、ＴＥＭ及びＦＩＢ画像には無い計測の困難さがあり、本実施例に記載の技術を適用した場合の効果は、断面ＳＥＭ画像、断面ＴＥＭ画像または断面のＦＩＢ画像の方がより大きいと言える。
【0078】
（B）実施例２
本実施例では、走査電子顕微鏡、透過電子顕微鏡あるいは集束イオンビーム装置等の撮像装置と当該撮像装置に接続された操作端末２００２により構成される荷電粒子線装置に本実施例を適用した場合の構成例について説明する。
本実施例では、走査電子顕微鏡、透過電子顕微鏡あるいは集束イオンビーム装置等の撮像装置と当該撮像装置に接続された操作端末２００２により構成される荷電粒子線装置に本実施例を適用した場合の構成例について説明する。
【0079】
＜荷電粒子線装置の設置環境＞
図２４は、本実施例の荷電粒子線装置２０００が設置される半導体装置製造システムのシステム環境の一例を示す図である。荷電粒子線装置２０００は、撮像装置２００１と、操作端末２００２と、手動画像解析ツール１２７と、を備える。すなわち、半導体装置製造システムは、画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測するためのアプリケーションが実装されたプラットフォームを備える半導体装置製造システムであって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させるステップと、前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データの前記キーポイントの座標情報を生成するステップと、前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測するステップが前記アプリケーションにより実行され、前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである。
図２４は、本実施例の荷電粒子線装置２０００が設置される半導体装置製造システムのシステム環境の一例を示す図である。荷電粒子線装置２０００は、撮像装置２００１と、操作端末２００２と、手動画像解析ツール１２７と、を備える。すなわち、半導体装置製造システムは、画像データの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測するためのアプリケーションが実装されたプラットフォームを備える半導体装置製造システムであって、学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不足計測箇所とし、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させるステップと、前記画像データの少なくとも２つの前記基点をキーポイントとして含む骨格を自動設計し、かつ当該キーポイントの座標情報を出力するよう学習された姿勢推定モデルに、計測対象の画像データを入力して、当該入力した画像データの前記キーポイントの座標情報を生成するステップと、前記計測対象の画像データの前記キーポイントの座標情報を用いて前記寸法を計測するステップが前記アプリケーションにより実行され、前記姿勢推定モデルは、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いて学習されたものである。
【0080】
撮像装置２００１は、ＳＥＭやＴＥＭ、ＦＩＢ装置あるいはＦＩＢ－ＳＥＭ等である。操作端末２００２は、キーボード、マウス、ディスプレイ等の入出力デバイスを備え、ハードディスクなどの記憶媒体が内蔵されたＰＣ（サーバー１０１から見て外部のコンピュータとなる）であり、インターネットなどの公衆回線網（ネットワーク）２００３を介してサーバー１０１（実施例１と同じもの）と接続されている。図示していないが、サーバー１０１の周囲には図１５と同様の評価装置１００や処理装置１１１等が配置されており、ＨＰＥモデルを学習可能な環境が整っている。また、サーバー１０１に格納されているＨＰＥモデルは既に学習が完了しているものとする。操作端末２００２のハードディスク内には画像解析ツール１２７がインストールされており、ＧＵＩがディスプレイ上に表示される。例えば、操作端末２００２の操作者（ユーザ）は、寸法計測を行いたい画像データ（新規のデータ）を読み込み、ネットワーク２００３を介して当該画像データ（新規の計測対象）をサーバー１０１に送信する。
【0081】
サーバー１０１は、上述のように、当該画像データを学習済モデル（姿勢推定モデル）に適用し、キーポイント座標の情報および骨格データを生成した後、寸法計測を行う。そして、サーバー１０１は、ネットワーク２００３を介して、当該寸法計測結果を操作端末２００２に送信する。なお、画像解析ツール１２７の機能や操作方法はこれまでの実施例で説明した内容と同じであり、画像解析ツールは、所望箇所の座標情報を出力し、コンピュータシステムは、姿勢推定モデルの学習時、座標情報を含む画像解析ツールの出力データをデータのアノテーションデータに変換する。また、コンピュータシステムは、姿勢推定モデルの学習時、座標情報を含む出力データと予め入力されたルール情報とを用いて、姿勢推定モデルの骨格構造の定義データを生成する。更に、骨格構造は、１つの基点から他のすべての基点へ結ぶような放射型の構造である。
【0082】
＜画像解析ツールの構成例＞
図２５は、本実施例の画像解析ツール１２７のＧＵＩ上に表示されるダッシュボードの構成例を示す図である。図２５に示すダッシュボード４００は、計測状況表示パネル４０１、計測結果一覧パネル４０２、モデル改変履歴表示パネル４０３、計測進捗状況パネル４０４、進捗状況パネル４０５、および標準偏差推移表示パネル４０６等を含んで構成されている。これらのパネルに表示される情報は、サーバー１０１に格納されたＨＰＥモデルの学習の進捗具合や学習済みのＨＰＥモデルを用いた寸法計測の異常等を遠隔監視する際に非常に有効である。
図２５は、本実施例の画像解析ツール１２７のＧＵＩ上に表示されるダッシュボードの構成例を示す図である。図２５に示すダッシュボード４００は、計測状況表示パネル４０１、計測結果一覧パネル４０２、モデル改変履歴表示パネル４０３、計測進捗状況パネル４０４、進捗状況パネル４０５、および標準偏差推移表示パネル４０６等を含んで構成されている。これらのパネルに表示される情報は、サーバー１０１に格納されたＨＰＥモデルの学習の進捗具合や学習済みのＨＰＥモデルを用いた寸法計測の異常等を遠隔監視する際に非常に有効である。
【0083】
操作端末２００２のディスプレイに表示される図２０に示したＧＵＩには、図２５のダッシュボードを呼び出すための例えばアイコンが表示される。当該アイコンをクリックすると、操作端末２００２からダッシュボード呼び出しのｈｔｔｐ（hyper text transfer protocol）リクエストが送信され、ダッシュボードを構成するコンテンツデータが暗号化されてサーバー１０１から送信される。コンテンツデータ自体は送信せずコンテンツ閲覧サイトのｕｒｌ（uniform resource locator）をサーバー１０１から送信してもよい。
【0084】
以上、操作端末２００２にダッシュボードを表示させる構成について説明したが、撮像装置２００１で取得された画像を操作端末２００２からサーバー１０１に送信すれば、撮像装置２００１の取得画像に対して寸法計測を行うことも可能である。サーバー１０１で行った寸法計測結果は、暗号化されて操作端末２００２に返信される。学習済みのＨＰＥモデルが格納された記憶媒体（ハードディスクやレイドアレイ等）を操作端末２００２に接続しても、撮像装置２００１の取得画像に対する寸法計測が可能である。これにより、本実施例による寸法計測機能を備えた荷電粒子線装置が実現される。
【0085】
サーバー１０１は、ネットワークを介してリモート接続せず操作端末２００２に直接接続してもよく、あるいはリモート接続されたサーバー１０１とは別のサーバーを操作端末２００２に直接接続し、当該サーバーをサーバー１０１のミラーサーバーとして設置してもよい。これらの接続形態であれば、新規画像についての寸法計測のみならず、取扱うデータ量が大きく情報処理およびデータ伝送への負荷の大きな、撮像装置２００１の取得画像を用いたＨＰＥモデルの学習を実行できる荷電粒子線装置を実現することが可能である。
【0086】
上述のように本発明の実施例について具体的に説明したが、本開示による権利範囲は上述した実施例に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本開示の技術を分かりやすく説明するために詳細に説明したものであり、本開示の技術は、説明した全ての構成を備えるものに必ずしも限定されない。実施例の構成の一部について、他の構成を追加、削除、または置換してもよい。
【0087】
また、前述した各構成、機能、処理部、処理手段等はハードウェアで実現してもよく、ソフトウェアで実現してもよい。ハードウェアで実現する場合とは、例えば前述した各構成、機能、処理部、処理手段等の一部又は全部を集積回路で設計する場合等であり、ソフトウェアで実現する場合とは、例えばプロセッサがそれぞれの機能を実現するプログラムを解釈し実行する場合等である。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置（記憶媒体）、又は、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）の記録媒体（記憶媒体）に格納することができる。
【0088】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【0089】
更に、以上の説明にあっては、コンピュータシステムと、寸法計測方法、および半導体装置製造システムを中心に説明したが、本開示には以下に示す記憶媒体も開示している。
コンピュータに、半導体パターンの画像データから、当該半導体パターンの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該座標情報を用いて前記寸法を計測する寸法計測機能を実現させるためのプログラムを記憶する記憶媒体であって、
学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不可視としつつ、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させることができる前処理部を備え、
前記プログラムは、
少なくとも２つの前記基点の座標情報を学習結果として出力する姿勢推定モデルを記述する学習器を実現するプログラムコードを含み、
前記学習器は、前記半導体パターンの画像データを入力とする入力層と、前記少なくとも２つの基点の座標情報を出力する出力層とを備え、
前記姿勢推定モデルは、前記半導体パターンの画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いた学習が可能である、記憶媒体。
コンピュータに、半導体パターンの画像データから、当該半導体パターンの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該座標情報を用いて前記寸法を計測する寸法計測機能を実現させるためのプログラムを記憶する記憶媒体であって、
学習データセットに計測箇所数の異なる学習データが含まれる場合、計測箇所数の不足したデータの画像に対しては、不足する当該基点を不可視としつつ、当該不足計測箇所と想定される領域を遮蔽することにより、統合して学習させることができる前処理部を備え、
前記プログラムは、
少なくとも２つの前記基点の座標情報を学習結果として出力する姿勢推定モデルを記述する学習器を実現するプログラムコードを含み、
前記学習器は、前記半導体パターンの画像データを入力とする入力層と、前記少なくとも２つの基点の座標情報を出力する出力層とを備え、
前記姿勢推定モデルは、前記半導体パターンの画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いた学習が可能である、記憶媒体。
【0090】
上記記憶媒体であって、
前記プログラムは、前記座標情報を含む画像解析ツールの出力データを、前記学習データのアノテーションデータに変換するプログラムコードを有し、
前記画像解析ツールは、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する機能を備える、記憶媒体。
前記プログラムは、前記座標情報を含む画像解析ツールの出力データを、前記学習データのアノテーションデータに変換するプログラムコードを有し、
前記画像解析ツールは、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する機能を備える、記憶媒体。
【0091】
上記記憶媒体であって、
前記プログラムは、前記座標情報を含む画像解析ツールの出力データと、予め入力されたルール情報とを用いて、前記姿勢推定モデルの骨格構造の定義データを生成するプログラムコードを有し、
前記画像解析ツールは、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する機能を備える、記憶媒体。
前記プログラムは、前記座標情報を含む画像解析ツールの出力データと、予め入力されたルール情報とを用いて、前記姿勢推定モデルの骨格構造の定義データを生成するプログラムコードを有し、
前記画像解析ツールは、ＧＵＩ上で指定された前記画像データの所定箇所間の距離をピクセル演算により算出する機能を備える、記憶媒体。
【0092】
以上においては、本発明の好適な実施例について説明したが、本発明は上記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形しても良い。
【符号の説明】
【0093】
１０ 人物姿勢推定用ネットワークモデル、１５ アドインウィンドウ、２０ ロードボタン、２１ 画像消去ボタン、２２ 倍率セル、２３ 特性新規作成ボタン、２４ 特性ロードボタン、２５ 特性保存ボタン、２６ 計測箇所名称セル、２７ 単位セル、２８ 色セル、２９ 計測箇所生成ボタン、３０ 計測箇所消去ボタン、３１ 計測値リスト、３２ 計測結果保存ボタン、３３ 計測結果ロードボタン、４０ マスク部、４１ 基板部（シリコン基板部）、４２ キーポイント、４３ 計測箇所（ｍａｓｋ ｈｅｉｇｈｔ）、４４ 計測箇所（ｔｒｅｎｃｈ ｄｅｐｔｈ）、４５ 計測箇所（ｌｉｎｅ ｔｏｐ）、４６ 計測箇所（ＣＤ ｎｅｃｋｉｎｇ）、４７ 計測箇所（ｌｉｎｅ ｂｏｔｔｏｍ）、５０ 骨格、５１ キーポイント、５２ キーポイント、５３ 骨格、５４ 骨格、１００ 評価装置、１０１ サーバー、１０２ データベース、１０３ 入出力装置（端末あるいはＰＣ）、１１０ 寸法計測システム、１１１ 処理装置、１１５ インターフェース、１１６ プロセッサ、１１７ ＲＯＭ、１１８ ＲＡＭ、１２４ ＨＰＥモデル部、１２５ 寸法計測部、１２６ ストレージ、１２７ 画像解析ツール、１２８ 寸法計測ソフトウェア、１２９ 入力データ、１３０ 自動計測結果、１３１ 伝達データ、１３２ 入力データ、１３３ 入力データ、２００ 学習タブ、２０１ 計測タブ、２０２ 変換モジュール実行ボタン、２０３ 骨格自動設計モジュール実行ボタン、２０４ 学習開始ボタン、２０５ 状態セル、２０６ ターミナルウィンドウ、２１０ 学習データ格納フォルダ指定ボタン、２１１ 学習済みモデル格納フォルダ指定ボタン、２１２ クリアボタン、２１３ 学習データ格納フォルダ名セル、２１４ 学習済みモデル格納フォルダ名セル、３４１ マニュアルボタン（個別計測ボタン）、３４２ バッチボタン（一括計測ボタン）、３４３ 計測開始ボタン、３４４ クリアボタン、３４５ 入力パネル、３４６ フォルダ名セル、３４７ ファイル名セル、３４９ 計測箇所定義リスト、３５０ 入力画像パネル、３５１ 計測結果ロードボタン、３５２ 計測結果表示クリアボタン、３５３ 出力パネル、３５４ フォルダ名セル、３５５ ファイル名セル、３５６ 姿勢検出画面（姿勢推定結果表示パネル）、３５７ 寸法計測結果表示パネル、３５８ 寸法計測結果セル、４００ ダッシュボード、４０１ 計測状況表示パネル、４０２ 計測結果一覧パネル、４０３ モデル改変履歴表示パネル、４０４ 計測進捗状況パネル、４０５ 進捗状況パネル、４０６ 標準偏差推移表示パネル、２０００ 荷電粒子線装置、２００１ 撮像装置、２００２ 操作端末、２００３ 公衆回線網（ネットワーク）
【要約】
画像データから、当該画像データのパターンの所望箇所の寸法を計測するための基点の座標情報を抽出し、当該基点の座標情報を用いて前記寸法を計測する機能を提供するコンピュータシステムであって、学習器に用いる学習データセットにおいて、基点の座標をすべて記載しているサンプルと一部の基点の座標しか記載していないサンプルが混在する場合でも、一部の基点の座標値しか記載していないサンプルに対しては、アノテーションデータにおいて不足する当該基点を不足計測箇所とし、画像データに対しては当該不足計測箇所を遮蔽することにより、全サンプルを合わせて学習させることができる前処理部を備え、前記前処理部は、少なくとも２つの前記基点の座標情報を学習結果として出力する姿勢推定モデルが実装された前記学習器を備え、前記学習器は、前記画像データを入力とし、前記少なくとも２つの基点の座標情報を出力とする学習データを用いてあらかじめ学習が実施されており、前記前処理部は、前記学習器に対して入力された新規画像データに対し、前記少なくとも２つの基点の座標情報及び前記寸法を抽出する、コンピュータシステムを提供する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】