IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社キーエンスの特許一覧

特開2025-4273拡大観察装置および拡大観察装置用の画像処理装置
<>
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図1
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図2
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図3
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図4
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図5
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図6
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図7
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図8
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図9
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図10
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図11
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図12
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図13
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図14
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図15
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図16
  • 特開-拡大観察装置および拡大観察装置用の画像処理装置 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025004273
(43)【公開日】2025-01-15
(54)【発明の名称】拡大観察装置および拡大観察装置用の画像処理装置
(51)【国際特許分類】
   G02B 21/36 20060101AFI20250107BHJP
   G06T 7/11 20170101ALI20250107BHJP
   H04N 23/60 20230101ALI20250107BHJP
【FI】
G02B21/36
G06T7/11
H04N23/60 500
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023103828
(22)【出願日】2023-06-26
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001298
【氏名又は名称】弁理士法人森本国際特許事務所
(72)【発明者】
【氏名】近藤 亮介
【テーマコード(参考)】
2H052
5C122
5L096
【Fターム(参考)】
2H052AC04
2H052AC17
2H052AD04
2H052AD16
2H052AD21
2H052AD33
2H052AF14
2H052AF21
2H052AF25
5C122DA13
5C122DA30
5C122DA35
5C122EA42
5C122FA05
5C122FC01
5C122FC02
5C122FH01
5C122FH04
5C122FH07
5C122FH10
5C122FH11
5C122FK24
5C122FK34
5C122FK37
5C122FK40
5C122FL08
5C122GA24
5C122HA82
5C122HA88
5C122HB01
5C122HB05
5L096BA03
5L096CA18
5L096CA24
5L096CA25
5L096DA02
5L096EA43
5L096GA51
5L096JA11
(57)【要約】
【課題】利便性の高い拡大観察装置および拡大観察装置用の画像処理装置を提供する。
【解決手段】拡大観察装置10の解析処理部302は、画像解析処理の対象となる観察画像を指定する指定処理と、条件を満たす塊領域を抽出する二値化処理と、抽出された塊領域の整形を行う整形処理と、整形された塊領域の特徴量を測定する測定処理とを行う。表示制御部303は、指定処理、二値化処理、整形処理のそれぞれに対応する設定画面と、測定処理に対応する結果表示画面とを生成する。表示制御部303は、解析処理に対応する設定画面として、解析処理部が実行中の処理に応じて受け付け可能となる設定項目が順次遷移する画面を生成し、結果表示画面として、解析処理部302が実行した測定処理によって測定された特徴量を、測定結果として表示する結果表示画面を生成する。
【選択図】図5
【特許請求の範囲】
【請求項1】
観察対象物を撮像する撮像素子と、
前記撮像素子を制御して観察画像を生成する画像生成部と、
前記観察対象物が載置される載置台と、
前記載置台を水平方向に移動させる載置台制御部と、
前記載置台制御部による前記載置台の移動を制御する移動制御部と、
前記観察画像に対する画像解析処理を実行する解析処理部と、
前記観察画像に基づいて表示画面を生成する表示制御部と、を備え、
前記解析処理部が実行する前記画像解析処理は、指定処理と、二値化処理と、整形処理と、測定処理とを含み、
前記表示制御部は、前記指定処理、前記二値化処理、前記整形処理のそれぞれに対応する設定画面と、前記測定処理に対応する結果表示画面とを生成し、
前記指定処理において、前記解析処理部は、前記画像解析処理の対象となる前記観察画像を指定し、
前記二値化処理において、前記解析処理部は、設定された条件に基づいて前記観察画像を二値化することで、前記条件を満たす塊領域を抽出し、
前記整形処理において、前記解析処理部は、前記二値化処理により抽出された前記塊領域の整形を行い、
前記測定処理において、前記解析処理部は、前記整形処理により整形された前記塊領域の特徴量を測定し、
前記表示制御部は、前記指定処理、前記二値化処理、前記整形処理のそれぞれに対応する前記設定画面として、前記解析処理部が実行中の処理に応じて受け付け可能となる設定項目が順次遷移する画面を生成し、
前記表示制御部は、前記結果表示画面として、前記解析処理部の前記測定処理によって測定された特徴量を、測定結果として表示する画面を生成する、拡大観察装置。
【請求項2】
前記表示制御部は、前記設定画面として、前記指定処理、前記二値化処理、前記整形処理のそれぞれに対応する前記設定項目を受け付け可能な複数の設定画面を生成し、前記解析処理部が実行中の処理に応じて前記設定画面を順次遷移させる、請求項1に記載の拡大観察装置。
【請求項3】
前記指定処理に対応する前記設定画面は、前記観察対象物のうち前記撮像素子によって撮像される撮像範囲の指定、および、予め撮像された前記観察画像の指定、のうち少なくとも一方を受け付け可能な、請求項1に記載の拡大観察装置。
【請求項4】
前記指定処理に対応する前記設定画面は、前記解析処理部が実行する前記画像解析処理の方法を特定する情報を受け付け可能な、請求項1に記載の拡大観察装置。
【請求項5】
前記二値化処理に対応する前記設定画面は、前記観察画像を二値化するための閾値を受け付け、前記表示制御部は、前記観察画像に含まれる各画素のデータと受け付けた前記閾値との比較に基づいて、抽出される前記塊領域を強調して前記表示画面に表示する、請求項1に記載の拡大観察装置。
【請求項6】
前記二値化処理に対応する前記設定画面は、前記測定処理における測定の対象となる範囲の設定を受け付ける、請求項1に記載の拡大観察装置。
【請求項7】
前記解析処理部が前記整形処理を実行した際に、前記表示制御部は、前記表示画面に表示される前記塊領域の形状を、前記整形処理による整形後の形状に更新する、請求項1に記載の拡大観察装置。
【請求項8】
前記表示制御部は、前記解析処理部が測定処理を実行する際に、前記表示画面において、設定された除去基準を満たす前記塊領域の表示を除去する、請求項1に記載の拡大観察装置。
【請求項9】
前記表示制御部は、前記解析処理部が測定処理を実行する際に、前記除去基準を満たす前記塊領域を除去することに関する確認メッセージを表示する、請求項8に記載の拡大観察装置。
【請求項10】
前記解析処理部は、実行した前記画像解析処理において設定された前記設定項目の内容を含む動作条件を測定履歴として記憶可能であり、
前記解析処理部は、前記測定履歴を読み込むことで、記憶された前記動作条件と同じ条件で前記画像解析処理を再実行することが可能な、請求項1に記載の拡大観察装置。
【請求項11】
観察対象物を撮像する撮像素子と、前記観察対象物が載置される載置台と、前記載置台を水平方向に移動させる載置台制御部とを含む拡大観察装置用の、画像処理装置であって、
前記画像処理装置は、
前記撮像素子を制御して観察画像を生成する画像生成部と、
前記載置台制御部による移動を制御する移動制御部と、
前記観察画像に対する画像解析処理を実行する解析処理部と、
前記観察画像に基づいて表示画面を生成する表示制御部と、を備え、
前記解析処理部が実行する前記画像解析処理は、指定処理と、二値化処理と、整形処理と、測定処理とを含み、
前記表示制御部は、前記指定処理、前記二値化処理、前記整形処理のそれぞれに対応する設定画面と、前記測定処理に対応する結果表示画面とを生成し、
前記指定処理において、前記解析処理部は、前記画像解析処理の対象となる前記観察画像を指定し、
前記二値化処理において、前記解析処理部は、設定された条件に基づいて前記観察画像を二値化することで、前記条件を満たす塊領域を抽出し、
前記整形処理において、前記解析処理部は、前記二値化処理により抽出された前記塊領域の整形を行い、
前記測定処理において、前記解析処理部は、前記整形処理により整形された前記塊領域の特徴量を測定し、
前記表示制御部は、前記指定処理、前記二値化処理、前記整形処理のそれぞれに対応する前記設定画面として、前記解析処理部が実行中の処理に応じて受け付け可能となる設定項目が順次遷移する画面を生成し、
前記表示制御部は、前記結果表示画面として、前記設定画面のそれぞれを介して受け付けられた前記設定項目に基づいて前記解析処理部が実行した前記測定処理によって測定された特徴量を、測定結果として表示する画面を生成する、拡大観察装置用の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡大観察装置および拡大観察装置用の画像処理装置に関する。
【背景技術】
【0002】
観察対象物を拡大して観察するために、拡大観察装置が用いられることがある。特許文献1の拡大観察装置では、顕微鏡から与えられる画像データに基づく画像が表示部に表示される。表示部に表示された画像が輝度の閾値(しきい値)を用いて二値化されることにより、画像から複数の領域が抽出される。そして抽出された領域に対して、その領域の状態を変化させる加工処理が行われる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013-88997号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら特許文献1の拡大観察装置では、閾値の再設定が行われる際には、領域の抽出が解除される。したがって使用者が加工処理を行った後で、閾値の再設定を行うと、加工処理が施された領域の抽出も解除されるため、使用者にとっては、閾値の再設定の後で、以前に行った加工処理を再度行う手間がかかり、利便性に課題がある。
【0005】
上記の問題に鑑み、本発明は、利便性の高い拡大観察装置および拡大観察装置用の画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る実施形態の一例としての拡大観察装置は、観察対象物を撮像する撮像素子と、撮像素子を制御して観察画像を生成する画像生成部と、観察対象物が載置される載置台と、載置台を水平方向に移動させる載置台制御部と、載置台制御部による移動を制御する移動制御部と、観察画像に対する画像解析処理を実行する解析処理部と、観察画像に基づいて表示画面を生成する表示制御部と、を備え、解析処理部が実行する画像解析処理は、指定処理と、二値化処理と、整形処理と、測定処理とを含み、表示制御部は、指定処理、二値化処理、整形処理のそれぞれに対応する設定画面と、測定処理に対応する結果表示画面とを生成し、指定処理において、解析処理部は、画像解析処理の対象となる観察画像を指定し、二値化処理において、解析処理部は、設定された条件に基づいて観察画像を二値化することで、条件を満たす塊領域を抽出し、整形処理において、解析処理部は、二値化処理により抽出された塊領域の整形を行い、測定処理において、解析処理部は、整形処理により整形された塊領域の特徴量を測定し、表示制御部は、指定処理、二値化処理、整形処理のそれぞれに対応する設定画面として、解析処理部が実行中の処理に応じて受け付け可能となる設定項目が順次遷移する画面を生成し、表示制御部は、結果表示画面として、解析処理部の測定処理によって測定された特徴量を、測定結果として表示する画面を生成する。
【0007】
また、本発明に係る実施形態の別例としての、拡大観察装置用の画像処理装置は、観察対象物を撮像する撮像素子と、観察対象物が載置される載置台と、載置台を水平方向に移動させる載置台制御部とを含む拡大観察装置用の、画像処理装置であって、画像処理装置は、撮像素子を制御して観察画像を生成する画像生成部と、載置台制御部による移動を制御する移動制御部と、観察画像に対する画像解析処理を実行する解析処理部と、観察画像に基づいて表示画面を生成する表示制御部と、を備え、解析処理部が実行する画像解析処理は、指定処理と、二値化処理と、整形処理と、測定処理とを含み、表示制御部は、指定処理、二値化処理、整形処理のそれぞれに対応する設定画面と、測定処理に対応する結果表示画面とを生成し、指定処理において、解析処理部は、画像解析処理の対象となる観察画像を指定し、二値化処理において、解析処理部は、設定された条件に基づいて観察画像を二値化することで、条件を満たす塊領域を抽出し、整形処理において、解析処理部は、二値化処理により抽出された塊領域の整形を行い、測定処理において、解析処理部は、整形処理により整形された塊領域の特徴量を測定し、表示制御部は、指定処理、二値化処理、整形処理のそれぞれに対応する設定画面として、解析処理部が実行中の処理に応じて受け付け可能となる設定項目が順次遷移する画面を生成し、表示制御部は、結果表示画面として、設定画面のそれぞれを介して受け付けられた設定項目に基づいて解析処理部が実行した測定処理によって測定された特徴量を、測定結果として表示する画面を生成する。
【発明の効果】
【0008】
本発明によれば、二値化処理に関する設定画面と、整形処理に関する設定画面とで、受け付け可能となる設定項目が順次遷移するため、二値化処理と整形処理とが互いに独立した処理となり、拡大観察装置および拡大観察装置用の画像処理装置の利便性が高くなる。
【図面の簡単な説明】
【0009】
図1】拡大観察装置の撮像部の前上方からの斜視図。
図2】撮像部の後上方からの斜視図。
図3】撮像部の右側面図。
図4】撮像部の正面図。
図5】拡大観察装置の構成を概略的に示すブロック図。
図6】指定処理における表示画面を示す図。
図7】二値化処理における表示画面を示す図。
図8】整形処理における表示画面を示す図。
図9】整形処理による整形が適用された表示画面を示す図。
図10】除去確認メッセージを示す図。
図11】測定処理における表示画面を示す図。
図12】測定結果ウィンドウを示す図。
図13】ヒストグラムウィンドウを示す図。
図14】指定処理の流れを示すフロー図。
図15】二値化処理の流れを示すフロー図。
図16】整形処理の流れを示すフロー図。
図17】測定処理の流れを示すフロー図。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明に係る実施形態の一例としての拡大観察装置10について説明する。なお、図中、同一又は相当部分については、同一の参照符号を付することで、説明を繰り返さない。また、以下の説明において、前、後、左、右、上、下等の位置又は方向を意味する用語が用いられることがあるが、これらの用語は、実施形態の理解を容易にするために便宜上用いられるものである。これらの用語は、特に明確な言及がない限り、幾何学的に厳密な意味での前、後、左、右、上、下等に限定されない。
【0011】
図1は、本実施形態の拡大観察装置10の撮像部1の前上方からの斜視図である。図1に示されているように、拡大観察装置10は、撮像部1と、情報処理部71と、表示部72と、操作部73とを備える。撮像部1は、通信ケーブル9によって情報処理部71と接続されている。情報処理部71は、通信ケーブル9によって表示部72および操作部73と接続されている。
【0012】
ここで、通信ケーブル9は、拡大観察装置10の構成要素同士の間、すなわち撮像部1、情報処理部71、表示部72、操作部73の間で信号を送受信するためのケーブルである。通信ケーブル9としては例えば、USBケーブル(USB:Universal Serial Bus)、LANケーブル(LAN:Local Area Network)、HDMIケーブル(HDMI:登録商標、High-Definition Multimedia Interface)等の、電気信号を送受信するケーブルが用いられる。なお接続される構成要素に応じて異なる規格のケーブルが用いられてもよい。撮像部1、情報処理部71、表示部72、操作部73の間で信号の送受信が可能となっていればよく、通信ケーブル9は光信号を送受信する光学ケーブルであってもよい。また通信ケーブル9に代えて、電磁波による無線通信によって構成要素同士の間で信号が送受信されてもよい。
【0013】
情報処理部71は、CPU(Central Processing Unit)等のプロセッサおよびRAM(Random Access Memory)等の記憶装置を含むユニットであり、拡大観察装置10における各種の情報処理を実行する。なお情報処理部71は、拡大観察装置10用の画像処理装置としても機能する。
【0014】
表示部72は、LCD(Liquid Crystal Display)等の画像表示装置を含むユニットであり、拡大観察装置10のユーザーに対して画像を表示する。操作部73は、拡大観察装置10のユーザーからの操作を受け付けるユニットである。操作部73は例えば、キーボード、マウス、ジョイスティック等のユーザーインターフェース機器を含む。また操作部73は、拡大観察装置10のために専用に設計されたコントローラーを含んでいてもよい。
【0015】
拡大観察装置10は観察対象物OBを拡大して観察するための装置である。まず撮像部1が備える撮像素子7によって観察対象物OBが撮像されて観察画像が生成される。そして情報処理部71によって、観察画像に基づく表示画面が生成され、その表示画面が表示部72に表示される。表示部72に表示される表示画面には、観察対象物OBが拡大されて表示された画像が含まれる。観察装置10のユーザーは、表示部72の表示画面を観察することにより、観察対象物OBを拡大して観察することができる。
【0016】
図1図2図3図4を参照して、撮像部1について説明する。図2は、撮像部1の後上方からの斜視図である。図3は、撮像部1の右側面図である。図4は、撮像部1の正面図である。図2図3図4では情報処理部71、表示部72、操作部73の図示は省略されている。図1図2図3図4の撮像部1は、載置台2と、観察ヘッド4と、支持柱5と、Z方向ステージ6と、撮像素子7とを備える。
【0017】
また図1図2図3図4において、載置台2の上面20には回転プレート100が載置されている。そして、回転プレート100の上面107に観察対象物OBが載置されている。回転プレート100の上面107は平面視で円形状の形状であり、その中心に観察対象物OBが載置されている。また回転プレート100の円周上には、放射ピン109が放射状に配置されている。拡大観察装置10のユーザーは、放射ピン109を把持して回転プレート100を回転させることにより、上面107の中心に載置された観察対象物OBの配置角度を変更することができる。
【0018】
載置台2は載置台制御部23に支持されている。載置台制御部23は、載置台2をX方向およびY方向(水平方向)に移動させる。図中の載置台制御部23は、移動載置部21および台座部22を含む。台座部22は固定されており、台座部22の上に移動載置部21が支持されている。移動載置部21は台座部22に対してX方向およびY方向に移動可能である。移動載置部21がX方向およびY方向に移動することで、載置台2がX方向およびY方向に動かされる。載置台制御部23は、載置台2をX方向およびY方向に移動させることで、観察対象物OBが撮像素子7によって撮影される範囲を変更することができる。
【0019】
観察ヘッド4は載置台2の上方に配置されている。観察ヘッド4には、観察対象物OBを撮像するための撮像素子7が含まれている。撮像素子7は観察対象物OBからの反射光又は透過光を電気信号に変換する素子であり、例えばCCD(Charge Coupled Device、電荷結合素子)を用いたイメージセンサ、あるいはCMOS(Complementary Metal Oxide Semiconductor、相補型金属酸化膜半導体)を用いたイメージセンサ等が用いられる。
【0020】
観察ヘッド4は、Z方向ステージ6に取り付けられている。Z方向ステージ6は、Z方向(鉛直方向)に沿って、観察ヘッド4を載置台2の上面20に対して移動させる。そして観察ヘッド4は、Z方向ステージ6を通ってY方向(水平方向)に延びる第一回転軸11を中心に回転可能である。
【0021】
観察ヘッド4の下部には、複数の対物レンズ40と、レボルバー41が設けられている。複数の対物レンズ40はそれぞれ倍率が異なる。複数の対物レンズ40のうちいずれか1つが観察対象物OBの観察のためのレンズとして選択されて、観察対象物OBへと向けられている。レボルバー41が回転することにより、観察対象物OBに向けられている対物レンズ40が切り替えられる。
【0022】
Z方向ステージ6は回転保持体8に取り付けられている。そして回転保持体8は、第一回転軸11を中心として回転可能なように支持柱5に接続されている。支持柱5はZ方向に延びており、回転保持体8、Z方向ステージ6、観察ヘッド4を支持している。また、回転保持体8には外部に突き出る棒状ハンドル81が設けられている。拡大観察装置10のユーザーは、棒状ハンドル81を操作することにより、観察ヘッド4を、Z方向ステージ6および回転保持体8と共に、第一回転軸11周りに回転させることができる。ユーザーは、観察ヘッド4を回転させることにより、観察対象物OBを垂直方向からだけではなく、斜め方向からも観察することができる。
【0023】
図5を参照して、拡大観察装置10の構成について説明する。図5は、拡大観察装置10の構成の一例を概略的に示すブロック図である。図5に示されているように、撮像部1の観察ヘッド4は、撮像素子7およびレボルバー41の他に、レボルバー制御部45と、結像レンズ240と、レンズ制御部241と、照明部250と、絞り制御部260を備える。
【0024】
レボルバー制御部45は、レボルバー41を回転させて、複数の対物レンズ40のうちいずれか1つを、観察対象物OBへと向けて観察のためのレンズとして選択する。結像レンズ240は、レボルバー41の対物レンズ40を通った光を撮像素子7で撮像される像として結ぶ。
【0025】
レンズ制御部241は、結像レンズ240を移動させて対物レンズ40との相対位置を変更し、拡大倍率や焦点距離などの光学的条件を変化させる。なお対物レンズ40と結像レンズ240との間の光路には、さらなるレンズおよびハーフミラー等の各種光学素子が配置されていてもよい。
【0026】
照明部250は、観察対象物OBからの反射光又は透過光を得るために、観察対象物OBに対して光を照射する。照明部250には例えばリング照明および同軸落射照明などが含まれる。絞り制御部260は、対物レンズ40と結像レンズ240との間の光路に設けられた絞り(図示せず)を制御して絞り量を調節する。
【0027】
情報処理部71は、演算部300と、記憶部311とを備える。演算部300は、画像生成部301と、移動制御部302と、解析処理部303と、表示制御部304と、照明制御部305と、入出力制御部306とを備える。
【0028】
演算部300は、CPU等のプロセッサを含むユニットである。記憶部311は、RAM等の記憶装置を含むユニットである。演算部300が記憶部311に記憶されているプログラムを実行することにより、画像生成部301、移動制御部302、解析処理部303、表示制御部304、照明制御部305、入出力制御部306の機能が実現される。
【0029】
画像生成部301は、撮像素子7を制御して、観察対象物OBからの反射光又は透過光に基づく観察画像を生成する。移動制御部302は、撮像部1の載置台制御部23に指令を送信して、載置台制御部23による載置台2の移動を制御する。
【0030】
解析処理部303は、画像生成部301が生成した観察画像に対する画像解析処理を実行する。この画像解析処理には、後述の指定処理、二値化処理、整形処理、測定処理が含まれる。
【0031】
表示制御部304は、観察画像に基づいて、表示部72に表示させる表示画面を生成する。特に表示制御部304は、解析処理部303による指定処理、二値化処理、整形処理のそれぞれに対応する設定画面と、測定処理に対応する結果表示画面とを生成する。
【0032】
照明制御部305は、照明部250を制御して、観察対象物OBに照射される光を調節する。入出力制御部306は、通信インターフェースユニットであり、情報処理部71が撮像部1、表示部72、操作部73等の外部の機器と通信できるように、情報処理部71に入力される信号および情報処理部71から出力される信号を、各種の通信規格に応じて制御する。
【0033】
拡大観察装置10の大まかな動作を説明すると、まず操作部73に対するユーザーの操作に応じて、撮像部1の撮像素子7が観察対象物OBを拡大して撮像する。撮像により得られた観察画像に対して情報処理部71の解析処理部303が画像解析処理を行う。観察画像と、画像解析処理の結果とに基づいて表示制御部304が表示画像を生成する。生成された表示画像が表示部72に表示される。表示部72に表示された表示画像を確認することにより、ユーザーは、観察対象物OBを拡大して観察することができる。
【0034】
拡大観察装置10は、画像解析によって、ユーザーが観察対象物OBに対して行う測定作業を補助することができる。一例として以下においては、黒鉛鋳鉄に対する測定、特に球状黒鉛鋳鉄における球状化率の測定について説明するが、拡大観察装置10はこの他にも様々な作業に用いることができる。例えば鉄鋼に関する作業では、非金属介在物含有量の測定、結晶粒度の測定、DAS(Dendrite Arm Spacing、樹枝状晶二次枝間隔)の測定等にも、拡大観察装置10を用いることができる。
【0035】
球状黒鉛鋳鉄に対する測定においては、鋳鉄内に黒鉛が分布する割合(黒鉛球状化率)、および黒鉛の球状の程度(丸さ係数)等が測定される。具体的には、測定対象となる鋳鉄の断面が拡大観察装置10で観察されることで、球状に近い形状の黒鉛が鋳鉄の組織内にどれだけ存在するか、またその黒鉛は球状にどの程度まで近いのか、等が測定される。
【0036】
黒鉛鋳鉄に対する測定が行われる場合、測定対象の黒鉛鋳鉄を切り出した試料が、観察対象物OBとして図1の載置台2に載置され、その観察対象物OBの表面を拡大して示す画像が表示部72に表示される。
【0037】
以下、解析処理部303による画像解析処理に含まれる、指定処理、二値化処理、整形処理、測定処理について説明する。指定処理、二値化処理、整形処理、測定処理は、ユーザーの操作に応じてこの順に遷移する。またユーザーの操作によっては、前の処理に戻ることも可能である。
【0038】
指定処理において、解析処理部303は、画像解析処理の対象となる観察画像を指定する。二値化処理において、解析処理部303は、設定された条件(ユーザーが指定した条件)に基づいて観察画像を二値化することで、条件を満たす塊領域を抽出する。整形処理において、解析処理部303は、二値化処理により抽出された塊領域の整形を行う。測定処理において、解析処理部303は、整形処理により整形された塊領域の特徴量(球状化率、丸さ係数等)を測定する。
【0039】
表示部72に表示される表示画面400について説明する。図6は、指定処理における表示画面400を示す図である。図6の表示画面400は、観察画像画面411と、第1設定画面421を含む。観察画像画面411には、画像生成部301が生成した観察画像に基づいて、観察対象物OBを拡大して示す画像が表示される。
【0040】
指定処理において、観察画像画面411には、その時点で撮像素子7が観察対象物OBを撮像することによって撮像された観察画像が表示される。指定処理の間は、ユーザーが操作部73を用いて載置台2を水平方向(X方向、Y方向)に動かすことで、観察対象物OBのうち撮像素子7によって撮像される撮像範囲を指定することが可能である。撮像範囲の指定に応じて、観察画像画面411に表示される画像も変化する。
【0041】
第1設定画面421は、表示制御部304が指定処理に対応する設定画面として生成した画面である。第1設定画面421には、指定処理において解析処理部30が受け付け可能な設定項目が表示される。表示制御部304は指定処理において、第1設定画面421を生成し、画像生成部301が生成した観察画像に基づく観察画像画面411と第1設定画面421とを組み合わせた画面を、表示画面400として表示部72に表示させる。
【0042】
図6の観察画像画面411には、15個の塊領域A1-A15と、3個の領域B1-B3が示されている。塊領域A1-A15は、観察対象物OBに含まれる黒鉛の組織であり、黒い(輝度が低い)領域として表示される。図6において塊領域A1-A15は、濃いドットパターンで示されている。領域B1-B3は、黒鉛の組織ではなく、塊領域A1-A15よりも薄いドットパターンで示されている。
【0043】
塊領域A1-A15のうち、塊領域A2と塊領域A3は近接して存在している。これらを合わせて塊領域A4と呼ぶ。塊領域A5の内部には、白い(輝度が高い)穴領域A5aが含まれている。塊領域A6には、塊領域A6の外側から内側へ延びる欠け領域A6aが含まれている。塊領域A8には、塊領域A8の外側へ突き出るバリ領域A8aが含まれている。塊領域A12と塊領域A13はひと繋がりに結合している。これらを合わせて塊領域A14と呼ぶ。
【0044】
第1設定画面421には、進行指標430、取り込みボタン440、指定済み画像表示部445、ファイル指定ボタン449、規格選択部450、「次へ」ボタン462が表示されている。
【0045】
第1設定画面421の上部には、画像解析処理の進行状況を示す進行指標430が表示されている。進行指標430は左から第1の部分431、第2の部分432、第3の部分433、第4の部分434、に分かれている。これらのいずれかの部分が強調して表示されることにより、画像解析処理の進行状況が視覚的にわかりやすく表示される。図6では左端の第1の部分431が強調表示されている。具体的には、第1の部分431に、現在は指定処理が実行されていることを示す「指定」の文字が表示されている。
【0046】
ユーザーが操作部73に含まれるポインティングデバイス(マウス等)を用いて取り込みボタン440を押すと、その時点で観察画像画面411に表示されている観察画像が、以後の画像解析処理の対象として取り込まれる。取り込まれた観察画像は、以後の画像解析処理の対象として指定される。ユーザーは、操作部73を操作することで、移動制御部302、載置台制御部23を通じて載置台2を水平方向に移動させて、観察対象物OBのどの部分を撮像するかについての撮像範囲を変更することができる。観察対象物OBの複数の部分について撮像された観察画像が必要な場合は、ユーザーは撮像範囲を変更しながら観察対象物OBのそれぞれ異なる複数の部分における観察画像の取り込みを行うことで、複数の観察画像を画像解析処理の対象として指定する。
【0047】
指定済み画像表示部445には、既にユーザーが指定した撮像範囲の観察画像のサムネイルが表示される。図6には、4つの指定済み画像(第1の観察画像441、第2の観察画像442、第3の観察画像443、第4の観察画像444)のサムネイルが表示されている。
【0048】
またユーザーがファイル指定ボタン449を押すと、図示しないファイル選択ダイアログが開く。予め撮像された観察画像が用意されている場合、ユーザーは、ファイル指定ボタン449を用いて、予め撮像された観察画像を画像解析処理の対象として指定することが可能である。
【0049】
指定処理に対応する第1設定画面421において、撮像素子7によって撮像される撮像範囲の指定と、予め撮像された観察画像の指定は、両方とも受け付け可能であってもよいし、どちらか一方のみが受け付け可能であってもよい。
【0050】
規格選択部450は、以後の画像解析処理の方法を特定する情報を受け付け可能なインターフェースである。図6においては、規格選択部450に「規格A」の文字が表示されている。これは、以後の画像解析処理が「規格A」という名前の規格で定められた条件に従って実行されることを示している。
【0051】
図6の規格選択部450はプルダウンメニューとなっており、ユーザーは複数の選択肢の中から、以後の画像解析処理の方法を特定することができる。例えば球状黒鉛鋳鉄における球状化率の測定では、ASTM(アメリカ)、JIS(日本)、GB-T(中国)、ISO(国際標準)等の、各国の規格を選択することができる。また、予め用意された規格の他に、ユーザーが独自の画像解析処理の方法を規定してもよい。例えばプルダウンメニューの中に「カスタマイズ」の選択肢が用意されているとよい。「カスタマイズ」を選択したユーザーは続いて、以後の画像解析処理をどのような基準で行うかの情報を入力する。「カスタマイズ」で入力される情報には例えば、測定対象となる撮像範囲の大きさ(視野面積)、測定に用いられる観察画像の枚数、キャリブレーション情報(画素1つ分と実距離との対応情報)、測定の種類(非金属介在物含有量の測定、結晶粒度の測定、DAS測定等)の情報が含まれる。
【0052】
ユーザーは、画像解析処理の対象となる観察画像の指定と、規格の選択(画像解析処理の方法の特定)が終了したら、「次へ」ボタン462を押す。すると、解析処理部303の画像解析処理は、指定処理から二値化処理に遷移する。
【0053】
図7を参照して、二値化処理について説明する。図7は、二値化処理における表示画面400を示す図である。図7の表示画面400は観察画像画面411と第2設定画面422を含む。画像解析処理が指定処理から二値化処理に遷移すると、表示制御部304は、二値化処理に対応する設定画面として、第2設定画面422を生成する。また二値化処理に遷移すると、画像解析処理の対象となる観察画像は、指定処理で指定された観察画像に固定され、ユーザーが載置台2を動かしても観察画像画面411の表示は変化しなくなる。あるいは、二値化処理以降では載置台2を動かすことができなくなってもよい。
【0054】
二値化処理の第2設定画面422は、解析処理部303が二値化処理において受け付け可能な設定項目を受け付ける画面である。第2設定画面422は、指定処理の第1設定画面421とは異なる設定項目を受け付ける。表示制御部304は二値化処理において、指定処理で指定された観察画像に基づく観察画像画面411と第2設定画面422とを組み合わせた画面を、表示画面400として表示部72に表示させる。
【0055】
図7の第2設定画面422には、進行指標430と、閾値設定部452と、測定範囲設定部453と、「戻る」ボタン461と、「次へ」ボタン462が含まれる。二値化処理においては、進行指標430の第2の部分432が強調表示されている。具体的には、左から2番目の第2の部分432に、現在は塊領域の抽出を行う二値化処理が実行されていることを示す「抽出」の文字が表示される。
【0056】
閾値設定部452は、第2設定画面422において観察画像を二値化するための閾値をユーザーから受け付けるためのインターフェースである。具体的には、ユーザーは輝度の閾値を設定する。図7の閾値設定部452には、閾値スライダ452sが含まれている。この閾値スライダ452sを左右に動かすことで、ユーザーは輝度の閾値を設定することができる。輝度の閾値は例えば、0から255の範囲で設定可能である。
【0057】
閾値設定部452の近く(図7では下方)には、現在設定中の閾値の数値が表示される。図7において閾値は「97」となっている。ユーザーは、閾値設定部452の右側に配置されている「+」ボタンを押すことで、閾値を「1」ずつ増加させることができる。また閾値設定部452の右側に配置されている「-」ボタンを押すことで、閾値を「1」ずつ減少させることができる。
【0058】
表示制御部304は、観察画像に含まれる画素のデータ(ここでは輝度)と、ユーザーが閾値設定部452を用いて設定した閾値との比較に基づいて、抽出される塊領域を強調して表示する。図7では具体的には、輝度が閾値の「97」より低い(黒色に近い)塊領域が強調表示される。
【0059】
図7では、輝度が低い塊領域A1-A15が強調表示される。一方、輝度が高い領域B1-B3は強調表示されない。図7において塊領域A1-A15は、図6よりも濃いドットパターンによって強調表示される。なお表示部72がカラーディスプレイであれば、塊領域A1-A15は、有彩色(例えば赤色)に着色されることで強調表示されてもよい。例えば、表示制御部が塊領域A1-A15のそれぞれと同じ形状の強調表示用の図形を生成して、観察画像画面411において、強調表示用の図形が塊領域A1-A15の位置に重ね合わせて表示されることで強調表示が行われてもよい。
【0060】
二値化処理においては、観察画像の各画素に対して、閾値の条件を満たすか否かによって「0」又は「1」の二値化値が割り当てられる(観察画像が二値化される)。例えば、閾値よりも輝度が低い塊領域A1-A15の画素には「1」の二値化値が割り当てられ、それ以外の領域(領域B1-B3を含む)の画素には「0」の二値化値が割り当てられる。そして、「1」の二値化値が割り当てられた領域が強調表示されて、以後の整形処理および測定処理の対象となる領域として抽出される。
【0061】
二値化処理においては、観察画像のうち、どの範囲が以後の測定処理における測定の対象となるかについての設定も受け付けることが可能である。図7の第2設定画面422では、測定範囲設定部453が、測定処理において測定の対象となる範囲(測定範囲)の設定を受け付ける。
【0062】
図7の測定範囲設定部453は、二つのチェックボックスを含んでおり、ユーザーは、これらのどちらを選択するかによって、測定範囲の設定方法として、長方形(矩形)で設定するか、円で設定するか選択することができる。図7では、測定範囲を長方形で選択するための、上側のチェックボックスが選択されている。上側のチェックボックスが選択されると、上側のチェックボックスに対応する数値入力欄に入力された数値に応じた測定範囲枠401が観察画像画面411に表示される。この測定範囲枠401は、観察画像画面411の中心(視野中心)を中心とする長方形である。
【0063】
図7では、上側のチェックボックスに対応する数値入力欄に、0.6mm×0.4mmの数値が入力されている。この数値は観察対象物OB上の実寸法で幅(X方向)0.6mm、長さ(Y方向)0.4mmの範囲を測定範囲とすることを表している。したがって観察画像画面411に表示されている測定範囲枠401の幅(X方向)は0.6mm、長さ(Y方向)は0.4mmにそれぞれ対応する。
【0064】
なお、測定範囲設定部453の下側のチェックボックスが選択された場合は、下側の数値入力欄に入力された寸法を直径とする円(円の中心は観察画像画面411の中心)が測定範囲枠401として設定される。
【0065】
なおユーザーは、数値を測定範囲設定部453に入力するのではなく、操作部73のポインティングデバイスで観察画像画面411内の範囲を指定することで測定範囲を指定することもできる。その場合、測定範囲設定部453の数値欄には、ユーザーが指定した測定範囲に対応する実寸法が表示される。
【0066】
ユーザーは、閾値の設定と、測定範囲(測定の対象となる範囲)の設定が終了したら、「次へ」ボタン462を押す。すると、解析処理部303の画像解析処理は、二値化処理から整形処理に遷移する。一方、ユーザーが「戻る」ボタン261を押すと、解析処理部303の画像解析処理は、二値化処理から指定処理に戻る。
【0067】
なお二値化処理から指定処理に戻る際、ユーザーが二値化処理において設定した閾値の数値は記憶されたままであることが好ましい。閾値の数値が記憶されたままであれば、画像解析処理が再び二値化処理に遷移した際、ユーザーは閾値を改めて設定し直す必要がなくなるため、ユーザーにとっての利便性が高くなる。
【0068】
図8を参照して、整形処理について説明する。図8は、整形処理における表示画面400を示す図である。画像解析処理が二値化処理から整形処理に遷移すると、表示制御部304は、整形処理に対応する設定画面として、第3設定画面423を生成する。
【0069】
また整形処理に遷移するとき、二値化処理で設定された閾値の条件を満たす塊領域(ここでは輝度の低い塊領域)に、それぞれを区別するための識別番号が付与される(ラベリングが行われる)。例えば、二値化処理において閾値を基準として「1」の二値化値が割り当てられた画素がひと繋がりとなっている領域を1つの塊領域とし、1つ1つの塊領域に、互いに区別するための識別番号が付与される。この識別番号は、ユーザーには知らされず、解析処理部303が各種処理を実行するためにのみ使用される。なお識別番号の付与(ラベリング)は二値化処理から整形処理に遷移するときに一括で行われるものとは限らず、適宜実行されてもよい。例えば二値化処理において、閾値が変更されるたびにラベリングが適宜実行されてもよい。
【0070】
整形処理の第3設定画面423は、解析処理部303が整形処理において受け付け可能な設定項目を受け付ける画面である。第3設定画面423は、第1設定画面421、第2設定画面422とは異なる設定項目を受け付ける。表示制御部304は整形処理において、指定処理で指定された観察画像に基づく観察画像画面411と第3設定画面423とを組み合わせた画面を、表示画面400として表示部72に表示させる。
【0071】
図8の第3設定画面423には、進行指標430と、整形ツール部470と、リセットボタン465と、「戻る」ボタン461と、「次へ」ボタン462が含まれる。二値化処理においては、進行指標430の第3の部分433が強調表示されている。具体的には、左から3番目の第3の部分433に、現在は塊領域の整形を行う整形処理が実行されていることを示す「整形」の文字が表示される。
【0072】
整形ツール部470は、塊領域の形状を様々な方法で整形するための、複数の整形ツールを含んでいる。図8においては、整形ツール部470は、穴埋めツール471、粒除去ツール472、結合ツール473、分離ツール474、バリ取りツール475、欠け埋めツール476、縮小ツール477、膨張ツール478を含む。
【0073】
これらの整形ツールは、ユーザーが選択した塊領域に対して、整形ツールのそれぞれに対応した種類の整形を実行する。例えばユーザーが、整形対象となる塊領域を選択してから、実行したい種類の整形に対応する整形ツールを選択することで、選択された塊領域に対して、選択された整形ツールの整形が実行される。なお、整形ツールが先に選択されてから整形対象の塊領域が選択されてもよい。またユーザーが複数の塊領域をまとめて選択して、選択された複数の塊領域に対してまとめて整形を施すことが可能になっていてもよい。また、整形ツールは、測定範囲枠401内の塊領域の全てに対して一括で整形を施すことが可能であってもよい。例えば整形対象となる塊領域が選択されていない状態で整形ツールが選択された場合には、塊領域の全てに対して一括で整形が施されてもよい。
【0074】
表示制御部304は、整形ツールのそれぞれによって整形が施された塊領域の形状を、整形後の形状に更新して表示画面400に表示する。例えば表示制御部304は、観察画像画面411において塊領域に重ね合わせて表示している強調表示用の図形を、整形後の形状に更新することで、表示画面400に表示される塊領域の形状を、整形後の形状に更新するとよい。
【0075】
リセットボタン465は、整形ツール部470によって実行された整形による形状の変化を元に戻すためのボタンである。リセットボタン465は、整形された塊領域の形状を1つずつ元に戻すこともできるし、複数の塊領域の形状をまとめて元に戻すこともできる。
【0076】
図8図9を参照して、整形処理による整形について説明する。図9は、整形処理による整形が適用された表示画面400を示す図である。
【0077】
整形処理において穴埋めツール471が選択されると、塊領域の穴埋めが実行される。穴埋めとは、例えば図8の塊領域A5のように、塊領域A5の内部の一部に、閾値の条件を満たさない穴領域A5a(ここでは輝度が高い領域)が含まれている場合に、その穴領域A5aを埋める処理である。
【0078】
例えば穴埋めが図8の塊領域A5に対して実行されると、穴領域A5aが埋められて、塊領域A5の形状は、図9に示されているように、穴領域A5aを含まない形状の塊領域A5として更新される。
【0079】
穴埋めを行う際、解析処理部303は例えば、穴領域A5aのサイズを確認し、そのサイズが基準値(例えば直径10μm)未満であれば、「0」の二値化値が割り当てられている穴領域A5aの画素に「1」の二値化値を割り当て直すことで、穴領域A5aを埋める。このように穴領域A5aのサイズが基準値未満の場合に二値化値を割り当て直すという方法であれば、観察画像内の全ての塊領域に対して一括で処理を行うことも可能である。
【0080】
なお穴埋めは、上記したような、穴領域A5aに割り当てられている二値化値を割り当て直すという方法の他にも、様々な方法で実現可能である。例えば、後述の膨張と縮小を組み合わせることでも穴埋めを実現することができる。塊領域A5に対して膨張が何度か(例えば2回)行われると、穴領域A5aが埋まる。このままでは塊領域A5のサイズが元より大きくなっているので、その後、膨張と同じ回数だけ縮小が行われることで、穴領域A5aの埋まった塊領域A5のサイズが元に戻される。このようにして穴埋めを実現することも可能である。
【0081】
粒除去ツール472が選択されると、塊領域の粒除去が実行される。粒除去とは、ユーザーに指定された塊領域、又は、予め設定された基準値(例えば直径10μm)未満のサイズの塊領域を除去(強調表示を解除)する処理である。
【0082】
ユーザーに指定された塊領域に対して粒除去が実行される場合、解析処理部303は、その指定された塊領域の画素に割り当てられている二値化値を「1」から「0」に変更することで、塊領域の強調表示を解除する。また、観察画像内の全体に対して一括で粒除去が行われる場合には、解析処理部303は、塊領域のそれぞれのサイズを確認する。そして、基準値未満のサイズの塊領域があれば、その塊領域の画素に割り当てられている二値化値を「1」から「0」に変更することで、塊領域の強調表示を解除する。
【0083】
結合ツール473が選択されると、塊領域の結合が実行される。結合とは、隣接した2つの塊領域を1つの塊領域にまとめる処理である。結合が実行される対象となる2つの塊領域は、ユーザーによって指定されてもよいし、予め設定された基準(例えば2つの塊領域間の距離が5μm未満)に従って自動的に選択されてもよい。
【0084】
例えば結合が図8の塊領域A2および塊領域A3に対して実行されると、塊領域A2と塊領域A3とが結合されて、これらの形状は図9に示されているように、1つの塊領域A4として更新される。
【0085】
分離ツール474が選択されると、塊領域の分離が実行される。分離とは、1つの塊領域を2つ以上の塊領域に分ける処理である。分離が実行される対象となる塊領域は、ユーザーによって指定されてもよいし、予め設定された基準(例えば、塊領域内に5μm未満の幅の部分が含まれる)に従って自動的に選択されてもよい。ユーザーが分離対象の塊領域を指定する場合は、塊領域内のどの部分で分離するかについてもユーザーによって指定されてもよい。
【0086】
例えば分離が図8の塊領域A14に対して実行されると、塊領域A14は塊領域A12と塊領域A13とに分離されて、塊領域A14の形状は図9に示されているように、2つの塊領域A12と塊領域A13として更新される。
【0087】
バリ取りツール475が選択されると、塊領域のバリ取りが実行される。バリ取りとは、塊領域から外部に突き出た部分(バリ)を除去する処理である。バリ取りが実行される対象となる塊領域は、ユーザーによって指定されてもよいし、予め設定された基準(例えば、塊領域から5μm未満の幅のバリが突き出ている)に従って自動的に選択されてもよい。
【0088】
例えばバリ取りが図8の塊領域A8に対して実行されると、塊領域A8に含まれるバリ領域A8aが除去されて、塊領域A8の形状は図9に示されているように、バリ領域A8aを含まない形状として更新される。
【0089】
バリ取りを行う際、解析処理部303は例えば、後述の縮小と膨張を組み合わせることでもバリ取りを実現することができる。塊領域A5に対して縮小が何度か(例えば2回)行われると、幅の小さいバリ領域A8aが消失する。このままでは塊領域A8のサイズが元より小さくなっているので、その後、縮小と同じ回数だけ膨張が行われることで、バリ領域A8aの消失した塊領域A8のサイズが元に戻される。縮小と膨張の繰り返し回数は、ユーザーが設定することも可能である。
【0090】
欠け埋めツール476が選択されると、塊領域の欠け埋めが実行される。欠け埋めとは、塊領域の内側に欠けた部分がある場合に、その欠けた部分を埋める処理である。欠け埋めが実行される対象となる塊領域は、ユーザーによって指定されてもよいし、予め設定された基準(例えば、塊領域の内側に5μm未満の幅の欠けがある)に従って自動的に選択されてもよい。
【0091】
例えば欠け埋めが図8の塊領域A6に対して実行されると、塊領域A6に含まれる欠け領域A6aが埋められて、塊領域A6の形状は図9に示されているように、欠け領域A6aの埋まった形状として更新される。
【0092】
欠け埋めを行う際、解析処理部303は例えば、後述の膨張と縮小を組み合わせることでも欠け埋めを実現することができる。塊領域A6に対して膨張が何度か(例えば2回)行われると、幅の小さい欠け領域A6aが埋まる。このままでは塊領域A6のサイズが元より大きくなっているので、その後、膨張と同じ回数だけ縮小が行われることで、欠け領域A6aの埋まった塊領域A6のサイズが元に戻される。膨張と縮小の繰り返し回数は、ユーザーが設定することも可能である。
【0093】
縮小ツール477が選択されると、塊領域の縮小が実行される。縮小とは、塊領域を縮小して小さくする処理である。縮小を行う際、解析処理部303は例えば、塊領域の外周部分の画素に対して割り当てられている二値化値「1」を「0」に変更することで、塊領域のサイズを縮小する。
【0094】
膨張ツール478が選択されると、塊領域の膨張が実行される。膨張とは、塊領域を膨張させて大きくする処理である。膨張を行う際、解析処理部303は例えば、塊領域の外周部分に隣接している画素に対して割り当てられている二値化値「0」を「1」に変更することで、塊領域のサイズを膨張する。
【0095】
整形ツール部470にはこの他、塊領域の幅を画素1つ分(1ピクセル)まで縮小させる細線化ツール、塊領域に割り当てられている二値化値を入れ替える(二値化処理での抽出結果を反転させる)反転ツール等の、他の方法での整形を行う整形ツールが含まれていてもよい。
【0096】
ユーザーは、塊領域に対する整形が終了したら、「次へ」ボタン462を押す。すると、解析処理部303の画像解析処理は、整形処理から測定処理に遷移する。一方、ユーザーが「戻る」ボタン461を押すと、解析処理部303の画像解析処理は、整形処理から二値化処理に戻る。
【0097】
なお整形処理から二値化処理に戻る際、ユーザーが整形処理において各塊領域に対して施した整形の結果は記憶されたままであることが好ましい。整形の結果が記憶されたままであれば、画像解析処理が再び整形処理に遷移した際、ユーザーは各塊領域に対して改めて整形を施す必要がなくなるため、ユーザーにとっての利便性が高くなる。
【0098】
画像解析処理が整形処理から測定処理に遷移する際に、解析処理部303は、形状フィルタリングを実行する。形状フィルタリングとは、測定処理において実行される測定の対象とならない塊領域の表示を表示画面400から除去する処理である。例えば測定処理において実行される測定が、直径10μm以上の塊領域のみを対象とするものである場合、直径10μm未満の塊領域の表示は除去される。どのような塊領域が除去されるかの除去基準は、ユーザーが設定することができる。例えば指定処理において選択された規格(画像解析処理の方法)に、形状フィルタリングにおける除去基準が含まれていてもよい。形状フィルタリングでは、塊領域の大きさ(サイズ)だけではなく、塊領域の幾何学的形状に基づいて除去が行われることもある。例えば円形から大きく外れた形状(例えば細長い形状)の塊領域が除去されてもよい。
【0099】
解析処理部303は測定処理に遷移する際、まず測定範囲内の全ての塊領域について画像解析処理によって特徴量(丸み係数、面積、直径等)を測定した上で、形状フィルタリングにより、除去基準を満たす塊領域の表示を表示画面400から除去する。形状フィルタリングが実行される際には、除去基準を満たす塊領域が表示画面400から除去されることが、ユーザーに対して表示されることが好ましい。図10は、確認メッセージ412を示す図である。
【0100】
画像解析処理が整形処理から測定処理に遷移する際、形状フィルタリングが実行される前に、表示画面400に確認メッセージ412が表示される。図10の確認メッセージ412では「基準値より小さい粒子は除去されます」と表示されている。
【0101】
例えば除去基準が直径10μm未満の塊領域(粒子)を除去する、というものであったとする。そして、塊領域A11の直径が10μm未満であるならば、形状フィルタリングで塊領域A11が除去されるため、表示画面400に確認メッセージ412が表示される。
【0102】
ユーザーが確認メッセージ412を確認したら(例えば、確認メッセージ412内の「OK」ボタンを押す)、画像解析処理は測定処理に遷移する。測定処理において塊領域の特徴量が測定され、除去基準を満たす塊領域は表示画面400から除去される。
【0103】
図11図12図13を参照して、測定処理における表示画面400について説明する。図11は、測定処理における表示画面400を示す図である。図12は、測定結果ウィンドウ413を示す図である。図13は、ヒストグラムウィンドウ414を示す図である。
【0104】
画像解析処理が測定処理に遷移すると、表示制御部304は、測定処理に対応する結果表示画面として、測定結果ウィンドウ413およびヒストグラムウィンドウ414を生成する。また表示制御部304は、結果表示画面の表示形式を選択するための表示形式選択画面424を生成する。
【0105】
表示制御部304は測定処理において、指定処理で指定された観察画像に基づく観察画像画面411と、測定結果ウィンドウ413およびヒストグラムウィンドウ414と、表示形式選択画面424とを組み合わせた画面を、表示画面400として表示部72に表示させる。
【0106】
測定結果ウィンドウ413には、測定処理によって測定される塊領域の特徴量の数値が表示される。ヒストグラムウィンドウ414には、塊領域の特徴量の分布図(ヒストグラム418)が表示される。
【0107】
測定結果ウィンドウ413およびヒストグラムウィンドウ414は、観察画像画面411に重ねて表示される。ユーザーは、操作部73に含まれるポインティングデバイスを用いて、表示画面400内での測定結果ウィンドウ413およびヒストグラムウィンドウ414の位置を変更することもできる。
【0108】
表示形式選択画面424には、進行指標430と、測定結果ボタン481と、ヒストグラムボタン482と、「戻る」ボタン461と、リプレイボタン463と、境界処理切換部483と、表示切換部484と、保存ボタン485と、レポートボタン486が含まれる。
【0109】
測定処理においては、進行指標430の第4の部分434が強調表示されている。具体的には、一番右側の第4の部分434に、現在は特徴量の測定とその結果表示を行う測定処理が実行されていることを示す「結果」の文字が表示される。
【0110】
測定結果ボタン481は、測定結果ウィンドウ413の表示の有無を切り換えるボタンである。ユーザーが測定結果ボタン481を押すごとに、測定結果ウィンドウ413が表示される状態と、表示されない状態とが切り換わる。
【0111】
測定結果ウィンドウ413は図12に示されているように、塊領域の特徴量の測定結果の数値を表示する画面である。塊領域の特徴量としては例えば丸み係数が挙げられる。丸み係数は、塊領域がどの程度円形に近いかを示す係数であり、例えば塊領域の最大径(長軸)をL、面積をS、最大径を直径とする円をDとし、Sの面積をDの面積で割ることで計算される(丸み係数=S/D=4S/(L×π))。
【0112】
図12の測定結果ウィンドウ413には、測定対象に含まれる塊領域の統計データが表示されている。例えば粒子(塊領域)の数および単位面積あたりの粒子数、丸み係数の平均値、サイズの最小値、最大値等が表示されている。また測定結果ウィンドウ413には測定処理における測定条件も表示される。例えば指定処理で選択された測定方法の規格(画像解析処理の方法を特定する情報)の種類、視野数(測定対象となる観察画像の枚数)、キャリブレーション(画像内の1画素と、実距離との関係)、評価面積(観察対象物OBのうち、測定対象となった範囲の面積)等が表示される。なお複数の観察画像に対して画像解析処理が実行される場合には、それら複数の観察画像のそれぞれに対する測定結果の統計データが表示されてもよい。
【0113】
測定結果ウィンドウ413にはデータ保存ボタン415が含まれており、ユーザーがデータ保存ボタン415を押すことにより、測定結果ウィンドウ413に表示されている測定結果のデータが保存される。測定結果のデータは情報処理部71の記憶部311に記憶されてもよいし、外部の記憶装置に送信されてもよい。
【0114】
ヒストグラムボタン482は、ヒストグラムウィンドウ414の表示の有無を切り換えるボタンである。ユーザーがヒストグラムボタン482を押すごとに、ヒストグラムウィンドウ414が表示される状態と、表示されない状態とが切り換わる。
【0115】
測定結果ウィンドウ413は図13に示されているように、塊領域の特徴量(例えば丸み係数)の分布図(ヒストグラム418)を表示する画面である。塊領域の特徴量は丸み係数の他にも、面積等、様々な種類がある。ヒストグラムウィンドウ414の左上に設けられた表示条件部419には、現在表示されているヒストグラム418が、塊領域のどの特徴量に着目して生成されたものであるかが表示されている。
【0116】
図13では、塊領域の丸み係数に着目したヒストグラム418が表示されている。図13において丸み係数は百分率(%)で表示されている。図13のヒストグラム418からは、丸み係数が1%(0.01)以下の塊粒子が3500個程度存在することが読み取れる。
【0117】
測定処理における「戻る」ボタン461は、解析処理部303の画像解析処理を、測定処理から整形処理に遷移させる(戻す)ためのボタンである。ユーザーは、整形処理においてやり残した作業がある場合には、「戻る」ボタン461を押すことで、解析処理部303の画像解析処理を、測定処理から整形処理に戻すことができる。測定処理から整形処理に戻る際、ユーザーが前回の整形処理において各塊領域に対して施した整形の結果は記憶されたままであることが好ましい。整形の結果が記憶されたままであれば、整形処理に戻った際、ユーザーは既に整形を施した塊領域に対して改めて整形を施す必要がなくなるため、ユーザーにとっての利便性が高くなる。
【0118】
リプレイボタン463は、解析処理部303が今回実行した一連の画像解析処理、すなわち指定処理、二値化処理、整形処理、測定処理を、今回と同様の条件によって再度実行する(リプレイする)ためのボタンである。
【0119】
解析処理部303は、実行した画像解析処理において設定された設定項目の内容(ユーザーが第1設定画面421、第2設定画面422、第3設定画面423で設定した条件)を含む動作条件を、測定履歴として記憶部311に記憶させることが可能である。ユーザーがリプレイボタン463を押すと、解析処理部303は記憶された測定履歴を読み込むことで、測定履歴として記憶された動作条件と同じ条件で画像解析処理を再実行することが可能である。
【0120】
なお指定処理において複数の観察画像が指定される場合には、その複数の観察画像の指定方法も測定履歴として記憶される。リプレイが行われる場合には、観察画像の指定も、測定履歴として記憶された指定方法と同様の条件によって再現される。すなわち、指定処理においてユーザーが操作部73を用いて載置台2を水平方向(X方向、Y方向)に動かして、観察対象物OBの撮像範囲を指定した場合には、その載置台2の動きも再現される。また、指定処理において複数の観察画像が撮像された場合には、複数の観察画像同士の位置関係も再現される。すなわち、複数の観察画像の撮像範囲をそれぞれどの程度の距離だけ離して、何枚の観察画像を撮像するか、といった条件も再現される。
【0121】
リプレイが実行される場合には、指定処理、二値化処理、整形処理はユーザーからの操作を受けずに自動的に実行され、画像解析処理は測定処理まで遷移する。ユーザーは、リプレイ時に指定処理、二値化処理、整形処理について修正したい設定項目があれば、測定処理から目的の設定項目を含む処理へ戻る(例えば、「戻る」ボタン461を用いる)ことで、設定項目の修正を行うことができる。
【0122】
境界処理切換部483は、測定範囲枠401の境界に重なっている塊領域の取り扱いを切り換えるための部分である。境界処理切換部483にはチェックボックスが設けられており、ユーザーがこのチェックボックスを選択するか否かによって、測定範囲枠401の境界に重なっている塊領域の取り扱いが切り換わる。
【0123】
指定処理で選択された、測定方法の規格(画像解析処理の方法を特定する情報)の種類によって、測定範囲枠401の境界に重なっている塊領域の取り扱いが異なっていることがある。例えば、測定範囲枠401の境界に重なっている塊領域を測定対象として扱う規格と、測定対象として扱わない規格がある。また規格によっては、測定範囲枠401の左辺と上辺に重なっている塊領域は測定対象として扱わないが、右辺と下辺に重なっている塊領域は測定対象として扱うという場合もある。
【0124】
このように、測定範囲枠401の境界に重なっている塊領域の取り扱いは規格によって異なる。ユーザーは、規格で定められた取り扱いを、測定処理において適用するか、適用しないかを、境界処理切換部483のチェックボックスで切り換えることができる。チェックボックスがONの状態では、規格で定められた取り扱いを、測定範囲枠401の境界に重なっている塊領域に適用する。チェックボックスがOFFの状態では、測定範囲枠401の境界に重なっている塊領域を全て測定対象として取り扱う。なお境界処理切換部483のチェックボックスが切り換えられると、測定対象に含まれる塊領域の数が変化するため、塊領域の特徴量の統計データが再計算される。
【0125】
表示切換部484は、結果表示画面、特にヒストグラムウィンドウ414の表示形式を切り換えるための部分である。表示切換部484にはプルダウンメニューが設けられており、ユーザーはプルダウンメニューによって、塊領域の特徴量の種類(丸み係数、面積等)のうち、着目する特徴量を選択することができる。ヒストグラムウィンドウ414の表示条件部419には、表示切換部484によって選択された特徴量の名称が表示される。そして表示切換部484によって選択された特徴量が切り換えられた場合には、ヒストグラムウィンドウ414に表示されるヒストグラム418として、選択された特徴量に着目したヒストグラム418が再生成されて、ヒストグラムウィンドウ414の表示が更新される。
【0126】
保存ボタン485は、測定結果のデータを保存するためのボタンである。ユーザーが保存ボタン485を押すと、測定対象として指定された複数の観察画像と、観察画像のそれぞれに対応する測定結果のデータとが保存される。ここで、測定結果のデータが保存される際には、前述のリプレイを実行するための測定履歴のデータも合わせて保存されるとよい。測定履歴のデータは、観察画像および測定結果のデータとは独立したデータとして記録されてもよいし、観察画像および測定結果のデータに埋め込まれて記録されてもよい。例えば、測定履歴のデータが、観察画像のメタデータ内に記録されてもよい。
【0127】
レポートボタン486は、測定結果のレポートを出力するためのボタンである。ユーザーがレポートボタン486を押すと、測定結果のデータが、予め定められた形式のレポートにまとめられて出力される。レポートは、紙に印刷されることで出力されてもよいし、テキストデータなど、予め定められた形式の電子データとして出力されてもよい。
【0128】
以上の実施形態によれば、解析処理部303が実行中の処理(具体的には指定処理、二値化処理、整形処理)に応じて、受け付け可能となる設定項目が順次遷移する画面(第1設定画面421、第2設定画面422、第3設定画面423)が生成される。すなわち、解析処理部303が何らかの処理を実行している間、その処理において解析処理部303が受け付け可能な設定項目のみをユーザーから受け付けるようにしているため、ユーザーによって設定の変更が行われても、その変更が他の処理に影響を及ぼすことがない。
【0129】
特に、二値化処理に関する第2設定画面422と、整形処理に関する第3設定画面423とで、受け付け可能となる設定項目が順次遷移するため、二値化処理と整形処理とが互いに独立した処理となる。具体例としては、二値化のための閾値条件(例えば輝度の閾値)の設定は二値化処理においてのみ受け付けられる。したがって、閾値条件の設定が変更されることによる二値化処理の再実行は、第2設定画面422においてのみ発生する。
【0130】
したがって例えば、整形処理中に閾値条件が変更されることで、整形処理と二値化処理をそれぞれ再実行するような事態が発生しないため、拡大観察装置10の利便性が高くなる。
【0131】
なお、以上に説明した拡大観察装置10では、解析処理部303が実行中の指定処理、二値化処理、整形処理に応じて、それぞれ異なる設定画面(第1設定画面421、第2設定画面422、第3設定画面423)が生成されて、設定画面自体が順次遷移するが、設定画面は遷移せずに、受け付け可能となる設定項目のみが遷移するようになっていてもよい。
【0132】
例えば、全ての設定項目が1つの設定画面の中に列挙されており、解析処理部303が実行中の処理に応じて、受け付け可能となる設定項目が順次遷移するようになっていてもよい。すなわち、解析処理部303が実行中の処理において受け付け可能となる設定項目のみが有効化され、それ以外の設定項目は無効化される(例えばグレーアウトされる)ようになっているとよい。そして、解析処理部303が実行する処理が別の処理に遷移した際には、解析処理部303が実行する処理に応じて、有効化される設定項目および無効化される設定項目が遷移するとよい。
【0133】
次に、図14図15図16図17を参照して、拡大観察装置10による処理の流れについて説明する。図14は、指定処理の流れを示すフロー図である。図15は、二値化処理の流れを示すフロー図である。図16は、整形処理の流れを示すフロー図である。図17は、測定処理の流れを示すフロー図である。
【0134】
拡大観察装置10が起動されると、まず、図14の指定処理が開始される(START)。情報処理部71の表示制御部304は、ステップS11において、第1設定画面421を生成し、撮像素子7と画像生成部301によって生成される観察画像と、第1設定画面421を合成した表示画面400を表示部72に表示させる。
【0135】
次にステップS12において、操作部73に対するユーザーの操作に従って、移動制御部302によって載置台2の移動制御が行われる。載置台2の移動制御後(載置台2が静止したとき)、ステップS13において、ユーザーから撮影画像の取り込み指示が行われたか否かが確認される。ユーザーは例えば第1設定画面42の取り込みボタン440を押すことで取り込み指示を行うことができる。なお操作部73に、取り込み指示を行うボタン(撮影ボタン)等が設けられていてもよい。またユーザーは、取り込み指示に代えて、予め撮像された画像を、測定対象となる観察画像として指定してもよい。
【0136】
取り込み指示が行われていない場合(ステップS13でNO)には、拡大観察装置10の処理は後述のステップS16に進む。取り込み指示が行われた場合(ステップS13でYES)には、拡大観察装置10の処理はステップS14に進み、撮像素子7による撮像および画像生成部301による観察画像の生成(取り込み)が行われる。そしてステップS15において、ステップS14で生成された観察画像、または予め撮像された画像(ユーザーが指定したもの)が、測定対象となる観察画像として記憶部311に記憶される(指定される)。
【0137】
観察画像が記憶された後、ステップS16において、第1設定画面421の「次へ」ボタン462が押されたか否かが確認される。「次へ」ボタン462が押されていない場合(ステップS16でNO)には、拡大観察装置10の処理はステップS12に戻り、ユーザーの指示に応じた移動制御が繰り返される。
【0138】
「次へ」ボタン462が押された場合(ステップS16でYES)には、指定処理は終了(END)し、解析処理部303の画像解析処理が図15の二値化処理に遷移する。
【0139】
画像解析処理が二値化処理に遷移する(START)と、表示制御部304は、ステップS21において、第2設定画面422を生成し、指定処理で指定された観察画像と、第2設定画面422を合成した表示画面400を表示部72に表示させる。
【0140】
そして解析処理部303はステップS22において、ユーザーが指定した閾値に応じて、塊領域を抽出する。具体的には、ユーザーが指定した閾値より低い輝度を持つ画素の集団が、塊領域として抽出される。このとき、抽出された塊領域のそれぞれに識別番号の付与(ラベリング)が行われてもよい。
【0141】
表示制御部304はステップS23において、抽出された塊領域を強調表示する。具体的には、観察画像画面411において、塊領域の形状と同じ形状をした強調表示用の図形(例えば赤色の図形)が、塊領域の位置に重ね合わせて表示される。
【0142】
そしてステップS24において、第2設定画面422の「次へ」ボタン462が押されたか否かが確認される。「次へ」ボタン462が押されていない場合(ステップS24でNO)には、解析処理部303の処理はステップS22に戻り、ユーザーの指示に応じた塊領域の抽出が繰り返される。
【0143】
「次へ」ボタン462が押された場合(ステップS24でYES)には、二値化処理は終了(END)し、解析処理部303の画像解析処理が図16の整形処理に遷移する。
【0144】
画像解析処理が整形処理に遷移する(START)と、表示制御部304は、ステップS31において、第3設定画面423を生成し、二値化処理で強調表示を行った観察画像と、第3設定画面423を合成した表示画面400を表示部72に表示させる。
【0145】
そしてステップS32において、ユーザーの指示に応じて整形方法(分離、結合等)が選択される。続いてステップS33において、整形対象となる塊領域が選択される。なお、ステップS32の整形方法の選択より先に、ステップS33の整形対象の選択が行われてもよい。また整形対象はユーザーの指示に依らず、予め定められた基準に応じて自動的に選択されてもよい。
【0146】
整形方法および整形対象が選択されると、選択された塊領域に対して、選択された方法で整形が実行され、塊領域の形状が更新される。具体的には、表示制御部304が観察画像内の塊領域の位置に重ね合わせて表示させている、強調表示用の図形の形状が更新される。
【0147】
整形が完了すると、ステップS35において、第3設定画面423の「次へ」ボタン462が押されたか否かが確認される。「次へ」ボタン462が押されていない場合(ステップS35でNO)には、解析処理部303の処理はステップS32に戻り、ユーザーの指示に応じた塊領域の整形が繰り返される。
【0148】
「次へ」ボタン462が押された場合(ステップS35でYES)には、整形処理は終了(END)し、解析処理部303の画像解析処理が図17の測定処理に遷移する。
【0149】
画像解析処理が測定処理に遷移する(START)と、表示制御部304は、ステップS41において、基準値より小さい粒子(塊領域)の表示が除去されることに関する確認メッセージ412を表示部72に表示させる。
【0150】
ユーザーが確認メッセージを確認した後、解析処理部303によって、測定対象となる塊領域の特徴量が測定される。そしてステップS42において形状フィルタリングが実行され、基準値より小さい粒子(塊領域)の表示が除去される。
【0151】
そして表示制御部304は、ステップS43において、解析処理部303による測定結果に基づいて、結果表示画面(具体的には測定結果ウィンドウ413およびヒストグラムウィンドウ414)を生成する。また表示制御部304は、表示形式選択画面424も生成する。そして表示制御部304は、整形処理で整形が施された観察画像と、結果表示画面と、表示形式選択画面424を合成した表示画面400を表示部72に表示させる。
【0152】
結果表示画面が表示されている間、ステップS44において、ヒストグラムウィンドウ414で着目される特徴量の表示切換が行われたか否かが確認される。表示切換が行われていない場合(ステップS44でNO)には、拡大観察装置10の処理は後述のステップS46に進む。
【0153】
表示切換が行われた場合(ステップS44でYES)、表示制御部304は、ステップS45において、結果表示画面(ここではヒストグラムウィンドウ414)の表示を、切換後の特徴量に着目した内容に更新する。
【0154】
そしてステップS46において、表示形式選択画面424のリプレイボタン463が押されたか否かが確認される。リプレイボタン463が押されていない場合(ステップS46でNO)には、解析処理部303および表示制御部304は待機状態となる(END)。
【0155】
リプレイボタン463が押された場合(ステップS46でYES)には、ステップS47において、記憶部311から測定履歴のデータが読み込まれて、指定処理、二値化処理、整形処理、測定処理が、測定履歴に記憶されている条件に従って再実行される。
【0156】
なお、図14図15図16図17には図示されていないが、各処理において「戻る」ボタン461が押された場合には、解析処理部303が実行中の処理においてユーザーからの指示により設定された設定情報は記憶されたまま、解析処理部303の処理は1つ前の処理に遷移する。設定情報は記憶されたままであるので、解析処理部303の処理が以前に実行した処理へと再び遷移した場合には、ユーザーは以前に指定した設定情報(例えば、輝度の閾値)を再び指定し直す必要がなく、ユーザーにとって利便性が高い。
【0157】
以上の実施形態は、全ての点で例示であって制限的なものではない。本発明の範囲は、前述した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。前記実施形態で説明した構成のうち「課題を解決するための手段」で本発明の一局面として記載した構成以外については、任意の構成であり、適宜削除および変更することが可能である。
【産業上の利用可能性】
【0158】
本発明は、拡大観察装置および拡大観察装置用の画像処理装置を提供するものであり、産業上の利用可能性を有する。
【符号の説明】
【0159】
1 撮像部
2 載置台
4 観察ヘッド
6 Z方向ステージ
7 撮像素子
10 拡大観察装置
71 情報処理部
72 表示部
73 操作部
300 演算部
301 画像生成部
302 移動制御部
303 解析処理部
304 表示制御部
305 照明制御部
306 入出力制御部
311 記憶部
400 表示画面
401 測定範囲枠
411 観察画像画面
412 確認メッセージ
413 測定結果ウィンドウ
414 ヒストグラムウィンドウ
421 第1設定画面
422 第2設定画面
423 第3設定画面
424 表示形式選択画面
470 整形ツール部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17