(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-02
(45)【発行日】2023-05-15
(54)【発明の名称】顕微鏡検査装置およびナビゲーション方法
(51)【国際特許分類】
G02B 21/36 20060101AFI20230508BHJP
G06T 11/80 20060101ALI20230508BHJP
【FI】
G02B21/36
G06T11/80 F
(21)【出願番号】P 2021563579
(86)(22)【出願日】2019-12-13
(86)【国際出願番号】 JP2019049050
(87)【国際公開番号】W WO2021117244
(87)【国際公開日】2021-06-17
【審査請求日】2022-05-16
(73)【特許権者】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100118913
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】阿部 洋子
【審査官】堀井 康司
(56)【参考文献】
【文献】特開2019-191306(JP,A)
【文献】特表2005-530225(JP,A)
【文献】特開2010-134374(JP,A)
【文献】特開2015-82099(JP,A)
【文献】特開2019-74667(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00-21/00
G02B 21/06-21/36
G06T 11/80
(57)【特許請求の範囲】
【請求項1】
顕微鏡装置によって観察される検査対象の観察領域を撮像し該観察領域の画像を取得する撮像部と、
基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像である、位置合わせ部と、
前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成するナビゲーションマップ生成部と、
前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域である、アクセス算出部と、
前記移動方向に基づいて前記未観察領域へのアクセス方法を提示するナビゲーション提示部と、を備える顕微鏡検査装置。
【請求項2】
前記アクセス算出部が、前記未観察領域への移動量をさらに算出し、
前記ナビゲーション提示部が、前記移動方向および前記移動量に基づいて前記アクセス方法を提示する、請求項1に記載の顕微鏡検査装置。
【請求項3】
前記顕微鏡装置に取り付けられ、該顕微鏡装置のステージの位置を検出するエンコーダを備え、
前記位置合わせ部が、前記エンコーダによって検出された前記ステージの位置に基づいて、前記基準画像内の前記観察領域の画像と対応する領域の位置を算出する、請求項1または請求項2に記載の顕微鏡検査装置。
【請求項4】
2以上の前記未観察領域のアクセス順序を決定するアクセス順序決定部を備え、
前記ナビゲーション提示部が、前記アクセス順序に従って前記2以上の未観察領域にアクセスするための前記アクセス方法を提示する、請求項1から請求項3のいずれかに記載の顕微鏡検査装置。
【請求項5】
前記未観察領域に向かって移動中の前記観察領域の位置を検出する位置検出部を備え、
前記ナビゲーション提示部が、前記位置検出部によって検出された前記観察領域の位置に基づいてアクセス速度を提示し、該アクセス速度は、前記検出された観察領域の位置から前記未観察領域までの距離に応じて変化する、請求項1から請求項4のいずれかに記載の顕微鏡検査装置。
【請求項6】
前記ナビゲーション提示部が、前記アクセス速度の大きさを表す表示を前記ナビゲーションマップ上に表示する、請求項5に記載の顕微鏡検査装置。
【請求項7】
前記ナビゲーション提示部が、前記顕微鏡装置のステージを手動操作するハンドルに設けられたハプティックデバイスを備え、該ハプティックデバイスが、前記ハンドルを操作する作業者の手に前記アクセス速度の大きさに応じた触覚を提示する、請求項5に記載の顕微鏡検査装置。
【請求項8】
顕微鏡装置によって観察される検査対象の観察領域を誘導するナビゲーション方法であって、
前記観察領域を撮像し該観察領域の画像を取得し、
基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像であり、
前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成し、
前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域であり、
前記移動方向に基づいて前記未観察領域へのアクセス方法を提示する、ナビゲーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡検査装置およびナビゲーション方法に関するものである。
【背景技術】
【0002】
電子部品、自動車および医療機器等の工業製品の製造工程において、傷、欠陥、不純物および汚れ等の異常の目視検査が行われている。技術革新のスピードおよび顧客ニーズの変化のペースが速まるのに伴い、製品のライフサイクルが短期化し、少量多品種対応への需要が増大している。センシング能力の高い熟練の技能者が顕微鏡を手動操作して行う目視検査は、自動光学検査装置と比較して、コスト、フレキシビリティ、品質保証の観点等において有利である。
【0003】
目視検査において、作業者は、検査対象または顕微鏡のステージを手動で移動させることによって顕微鏡による検査対象の観察領域を移動させ、検査対象の全体を観察する。一般的に、作業者は、検査対象内の特定位置を目印として観察領域を移動させることによって、観察領域のおおよその位置を確認する。しかし、観察領域を手動で移動させる場合、検査対象の全体を確実に観察することは難しい。未観察領域が確認された場合、作業者は、対物レンズを高倍率のものから低倍率のものに切り替え、広い視野内で未観察領域の位置を確認して視野の中心に未観察領域を移動させ、対物レンズを高倍率のものに戻して未観察領域を観察する。このように、観察対象を手動で移動させる目視検査は、手間および時間がかかる。また、観察領域は非常に狭いため、作業者は、観察が済んだ領域および未観察領域の位置が分からなくなり、検査対象の全体を観察できたか否かの判断が難しい。
【0004】
一方、マルチウェルプレートの観察において、1つのウェルの全体を含むナビゲーション画像に顕微鏡の現在の視野範囲を重ねて表示する顕微鏡システムが知られている(例えば、特許文献1参照。)。作業者は、ナビゲーション画像上の視野範囲の位置に基づいて、現在の観察位置を把握することができる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の顕微鏡システムは、位置の自動制御が可能な電動ステージを備え、ステージの位置に基づいて現在の観察位置を取得している。すなわち、特許文献1の顕微鏡システムは、観察領域を手動で移動させる目視検査には適用することができない。
また、作業者は、特許文献1のナビゲーション画像から現在の観察領域の位置を知ることはできるが、未観察領域が存在するのか否か、および、未観察領域へどのようにアクセスすればよいかを知ることはできない。
【0007】
本発明は、上述した事情に鑑みてなされたものであって、手動操作による顕微鏡検査において、検査対象の未観察領域へのアクセス方法を作業者に容易に認識させることができる顕微鏡検査装置およびナビゲーション方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、顕微鏡装置によって観察される検査対象の観察領域を撮像し該観察領域の画像を取得する撮像部と、基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像である、位置合わせ部と、前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成するナビゲーションマップ生成部と、前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域である、アクセス算出部と、前記移動方向に基づいて前記未観察領域へのアクセス方法を提示するナビゲーション提示部と、を備える顕微鏡検査装置である。
【0009】
本態様によれば、顕微鏡装置を使用した作業者による検査対象の目視検査と並行して、顕微鏡検査装置によって検査対象の観察領域の画像の取得およびナビゲーションマップの生成が行われる。すなわち、撮像部によって観察領域の画像が取得され、位置合わせ部によって観察領域の画像が基準画像に対して位置合わせされる。そして、ナビゲーションマップ生成部によって、基準画像に観察領域の画像の位置が記録される。
【0010】
作業者は、検査対象または検査対象が載置された顕微鏡装置のステージを手動で移動させることによって観察領域を移動させ、検査対象の全体を目視検査する。観察領域の移動に伴い、検査対象の異なる位置の観察領域の画像が撮像部によって取得され、基準画像に観察領域の位置が追加される。これにより、基準画像に作業者が観察した領域の位置が順番に記録され、基準画像からナビゲーションマップが生成される。検査対象内に、作業者が未だ観察していない未観察領域が残っている場合、ナビゲーションマップは、観察領域の画像の位置が記録されていない未観察領域を含む。次に、ナビゲーションマップ内の未観察領域への移動方向がアクセス算出部によって算出され、未観察領域へのアクセス方法がナビゲーション提示部によって提示される。
【0011】
作業者は、ナビゲーションマップに基づいて、検査対象内に未観察領域が存在するか否かを容易に認識することができる。また、未観察領域が存在する場合、作業者は、ナビゲーション提示部が提示するアクセス方法に基づいて、顕微鏡装置による観察領域を未観察領域へ移動させるための方法を容易に認識することができる。また、基準画像と観察領域の画像との位置合わせを利用することによって、手動で移動させられる観察領域の位置を検出することができる。
【0012】
上記態様において、前記アクセス算出部が、前記未観察領域への移動量をさらに算出し、前記ナビゲーション提示部が、前記移動方向および前記移動量に基づいて前記アクセス方法を提示してもよい。
この構成によれば、未観察領域までのより具体的なアクセス方法を提示することができる。
【0013】
上記態様において、前記顕微鏡装置に取り付けられ、該顕微鏡装置のステージの位置を検出するエンコーダを備え、前記位置合わせ部が、前記エンコーダによって検出された前記ステージの位置に基づいて、前記基準画像内の前記観察領域の画像と対応する領域の位置を算出してもよい。
この構成によれば、観察領域の画像を位置合わせすべき基準画像内の位置を少ない計算量で算出することができ、基準画像に対する観察領域の画像の位置合わせの所要時間を短縮することができる。また、基準画像に対する観察領域の画像の位置合わせ精度を向上することができる。
【0014】
上記態様において、2以上の前記未観察領域のアクセス順序を決定するアクセス順序決定部を備え、前記ナビゲーション提示部が、前記アクセス順序に従って前記2以上の未観察領域にアクセスするための前記アクセス方法を提示してもよい。
この構成によれば、ナビゲーションマップに2以上の未観察領域が存在する場合、2以上の未観察領域にアクセスする順序を作業者に指示することができる。
【0015】
上記態様において、前記未観察領域に向かって移動中の前記観察領域の位置を検出する位置検出部を備え、前記ナビゲーション提示部が、前記位置検出部によって検出された前記観察領域の位置に基づいてアクセス速度を提示し、該アクセス速度は、前記検出された観察領域の位置から前記未観察領域までの距離に応じて変化してもよい。
アクセス速度は、未観察領域への観察領域の移動速度、すなわち検査対象またはステージの移動速度である。この構成によれば、未観察領域までの距離に応じた適切なアクセス速度を作業者に提示することができる。
【0016】
上記態様において、前記ナビゲーション提示部が、前記アクセス速度の大きさを表す表示を前記ナビゲーションマップ上に表示してもよい。あるいは、前記ナビゲーション提示部が、前記顕微鏡装置のステージを手動操作するハンドルに設けられたハプティックデバイスを備え、該ハプティックデバイスが、前記ハンドルを操作する作業者の手に前記アクセス速度の大きさに応じた触覚を提示してもよい。
この構成によれば、アクセス速度が視覚的に、または触覚的に、作業者に提示される。これにより、作業者は、アクセス速度をより直感的に認識することができる。
【0017】
本発明の他の態様は、顕微鏡装置によって観察される検査対象の観察領域を誘導するナビゲーション方法であって、前記観察領域を撮像し該観察領域の画像を取得し、基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像であり、前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成し、前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域であり、前記移動方向に基づいて前記未観察領域へのアクセス方法を提示する、ナビゲーション方法である。
【発明の効果】
【0018】
本発明によれば、手動操作による顕微鏡検査において、検査対象の未観察領域へのアクセス方法を作業者に容易に認識させることができるという効果を奏する。
【図面の簡単な説明】
【0019】
【
図1】本発明の第1実施形態に係る顕微鏡検査装置および顕微鏡検査システムの全体構成図である。
【
図3A】ナビゲーションマップ用の基準画像の一例である。
【
図3B】
図3Aの基準画像から生成されたナビゲーションマップの一例を示す図である。
【
図4A】ナビゲーションマップ上の未観察領域へのアクセス方法の表示の一例を示す図である。
【
図4B】ナビゲーションマップ上の未観察領域へのアクセス方法の表示の他の例を示す図である。
【
図5A】
図1の顕微鏡検査装置の動作を示すフローチャートである。
【
図5B】
図5Aの基準画像に対する観察画像の位置合わせ処理を示すフローチャートである。
【
図5C】
図5Aのナビゲーションマップの生成処理を示すフローチャートである。
【
図6】
図1の顕微鏡検査装置および顕微鏡検査システムの変形例の全体構成図である。
【
図7A】
図6の顕微鏡検査装置の動作を示すフローチャートである。
【
図7B】
図7Aの未観察領域のアクセス順序決定処理を示すフローチャートである。
【
図8】未観察領域のアクセス順序の決定方法の一例を説明する図である。
【
図9】本発明の第2の実施形態に係る顕微鏡検査装置の動作を示すフローチャートである。
【
図10A】アクセス速度の表示の一例を示す図である。
【
図10B】アクセス速度の表示の一例を示す図である。
【
図11A】アクセス速度の表示の他の例を示す図である。
【
図11B】アクセス速度の表示の他の例を示す図である。
【
図12】本発明の第3の実施形態に係る顕微鏡検査装置および顕微鏡検査システムの全体構成図である。
【
図13B】
図13Aの基準画像に対する観察画像の位置合わせ処理を示すフローチャートである。
【発明を実施するための形態】
【0020】
(第1の実施形態)
本発明の第1の実施形態に係る顕微鏡検査装置1について図面を参照して説明する。
図1は、顕微鏡検査装置1を備える顕微鏡検査システム100の全体構成を示している。顕微鏡検査システム100は、顕微鏡装置20および表示装置30を備え、顕微鏡検査装置1は、顕微鏡装置20および表示装置30と接続されている。
【0021】
顕微鏡装置20は、対物レンズによる検査対象Sの観察領域を作業者が手動で移動させる方式の光学顕微鏡装置であり、検査対象Sの目視検査に使用される。検査対象Sは、例えば、回路基板のような電子部品や、自動車、航空機または医療機器等の工業製品の部品である。顕微鏡検査装置1は、顕微鏡装置20を使用した目視検査において、観察領域を検査対象Sの未観察領域に誘導するためのナビゲーションマップ(
図3Bから
図4B参照。)を生成し、ナビゲーションマップを表示装置30に表示させる。
【0022】
図2は、顕微鏡装置20の一例を示している。
図2の顕微鏡装置20は、検査対象Sが載置されるステージ21と、ステージ21上の検査対象Sを観察する対物レンズ22と、作業者がステージ21を手動操作するためのハンドル23a,23bと、接眼レンズ24とを備える。ハンドル23aは、対物レンズ22の光軸に直交するX方向およびY方向にステージ21を移動させるためのものであり、ハンドル23bは、対物レンズ22の光軸に沿うZ方向にステージ21を移動させるためのものである。作業者は、接眼レンズ24を通して、対物レンズ22によって形成された検査対象Sの観察領域の光学像を観察することができる。
顕微鏡装置20は、作業者が検査対象Sを手で持って移動させる実体顕微鏡装置であってもよい。
【0023】
表示装置30は、顕微鏡装置20の外部に配置された液晶ディスプレイ等の任意の種類の表示装置である。あるいは、表示装置30は、接眼レンズ24の視野内に配置されたディスプレイ、または、顕微鏡装置20と接続され接眼レンズ24の視野に画像を投影させるディスプレイであってもよい。
【0024】
接眼レンズ24の視野のデジタル画像が、顕微鏡装置20の外部の表示装置30に表示されてもよい。この場合、作業者は、接眼レンズ24を通して検査対象Sの光学像を観察することに代えて、表示装置30に表示されたデジタル画像を観察してもよい。作業者がデジタル画像とナビゲーションマップとを相互に比較し易いように、表示装置30は、デジタル画像およびナビゲーションマップを並列表示してもよい。
【0025】
顕微鏡検査装置1は、
図1に示されるように、撮像部2と、撮像制御部3と、記憶部4と、基準画像入力部5と、位置合わせ部7、ナビゲーションマップ生成部8およびアクセス算出部9を含む処理部6と、ナビゲーション提示部10とを備える。
【0026】
撮像部2は、撮像素子およびメモリを有するデジタルカメラであり、顕微鏡装置20のカメラポートに接続されている。撮像部2は、対物レンズ22によって形成された検査対象Sの観察領域の光学像を撮像し、観察領域のデジタル画像である観察画像を取得する。観察画像は、撮像部2から処理部6に入力される。
【0027】
撮像制御部3は、観察領域の移動および撮影条件に基づいて、撮像部2にライブ画像または観察画像である静止画像の取得を実行させる。例えば、撮像制御部3は、撮像部2によって取得されるライブ画像に基づいて観察領域が移動しているか、または静止しているかを検出し、観察領域が静止したタイミングで、作業者によって予め設定された撮影条件で、撮像部2に静止画像の取得を実行させる。あるいは、撮像制御部3は、ライブ画像を撮影している撮像部2に所定の時間間隔で静止画像の取得を実行させてもよい。観察領域が静止したタイミングでの静止画像の取得と、所定の時間間隔での静止画像の取得の両方を併用してもよい。また、同一視野の複数の静止画像が取得されることを防止し静止画像を効率良く取得するために、撮像制御部3は、ライブ画像に基づいて視野の切り替わりを検知し、視野が切り替わったときに静止画像の取得を実行させてもよい。
【0028】
記憶部4は、検査対象Sの基準画像およびプログラムを予め記憶している。
基準画像は、検査対象Sの全体を含む画像である。例えば、基準画像は検査対象Sの設計図面であり、記憶部4は、設計図面のCADデータを記憶している。
プログラムは、撮像制御部3、基準画像入力部5、処理部6およびナビゲーション提示部10による処理をプロセッサに実行させるための顕微鏡検査プログラムである。すなわち、撮像制御部3、基準画像入力部5、処理部6およびナビゲーション提示部10の後述の機能は、プロセッサによって実現される。
【0029】
基準画像入力部5は、記憶部4から検査対象Sの基準画像を取得し、基準画像を処理部6に入力する。基準画像入力部5は、他の方法で基準画像を取得してもよい。例えば、基準画像入力部5は、検査開始前に任意の撮影装置によって取得された基準画像を顕微鏡検査装置1の外部の装置から取得してもよい。
【0030】
処理部6は、撮像部2からの観察画像および基準画像入力部5からの基準画像を使用してナビゲーションマップを生成するとともに、未観察領域への誘導に必要な情報をナビゲーションマップに基づいて算出する。
【0031】
位置合わせ部7は、基準画像内の観察画像と対応する領域に当該観察画像を位置合わせする。位置合わせには、既存の技術が使用される。
一例において、位置合わせ部7は、基準画像入力部5から基準画像を受け取る。また、位置合わせ部7は、撮像部2から観察画像を読み込み、観察画像から、位置合わせ用の観察画像として設計画像を作成する。設計画像は、観察画像の観察領域の設計図面に相当する線図であり、機械学習によって生成された学習モデルを用いて観察画像から作成される。次に、位置合わせ部7は、基準画像の一部領域と設計画像との間の類似度を算出し、基準画像内の最も類似度が高い領域に設計画像を位置合わせする。
【0032】
一例において、設計画像の作成には、予め構築された学習済みネットワークが使用される。例えば、pix2pix等の画像生成技術を用いて観察画像と設計画像との対を学習することによって、観察画像から設計画像を生成する設計画像生成ネットワークが構築される。設計画像生成ネットワークに観察画像を入力することによって、設計画像が得られる。
【0033】
一般に、学習データに含まれる偏りをなくすことによって、汎化性能および学習速度の向上を期待することができる。そのため、正規化、標準化、無相関化、白色化等の前処理が施された観察画像および設計画像が学習に使用されてもよい。
学習済みネットワークは、作業者が、検査対象Sを指定し学習を実行させることによって検査開始直前に作成されてもよい。
【0034】
基準画像に対する設計画像の位置合わせには、既存のマッチングアルゴリズムが使用される。例えば、観察画像または基準画像に対して所定サイズ(m画素×n画素)のカーネルを移動および回転させ、画素値の差分の絶対値和であるSAD(Sum of Absolute Difference)を算出し、SADが最小となる位置に基づいて観察画像を位置合わせする。カーネルの拡大または縮小が必要である場合、顕微鏡装置20の光学系の倍率から得られる観察画像のサイズと、設計画像の実寸情報とに基づいて、カーネルのサイズ調整が行われる。
【0035】
設計画像の作成および位置合わせには、他の方法を使用してもよい。例えば、観察画像のエッジ検出によって観察画像から設計画像としてエッジ画像を作成し、基準画像に対してエッジ画像を位置合わせしてもよい。エッジ検出には、古典的なフィルタ処理または深層学習によるエッジ推定(Ruohui Wang、Edge Detection Using Convolutional Neural Network、Advances in Neural Network - ISNN2016、13th International Symposium on Neural Network、pp12-20、2016)等が使用される。
【0036】
ナビゲーションマップ生成部8は、
図3Aに示されるように、基準画像から、ナビゲーションマップ用の基準画像Aを作成する。例えば、ナビゲーション用の基準画像Aは、基準画像のコピーである。以下、ナビゲーション用の基準画像Aをコピー基準画像という。
図3Aの例において、コピー基準画像Aは、電子回路が形成される2つの領域S1,S2を含む。
次に、ナビゲーションマップ生成部8は、位置合わせ部7による基準画像に対する設計画像の位置合わせ結果に基づき、コピー基準画像Aに、設計画像が位置合わせされた基準画像内の領域と対応する領域の位置を記録する。位置の記録は、例えば、コピー基準画像A内の、設計画像が位置合わせされた基準画像内の領域と対応する領域に設計画像を配置し登録することによって行われる。設計画像の登録は、対応する領域を塗りつぶすことによって行われてもよい。
【0037】
位置合わせ部7およびナビゲーションマップ生成部8は、検査完了通知を受け取るまで、設計画像の位置合わせおよびコピー基準画像Aへの位置の記録を繰り返す。これにより、
図3Bに示されるように、ナビゲーションマップ生成部8によって、コピー基準画像Aから、作業者によって既に観察された観察領域の位置が記録されたナビゲーションマップBが生成される。
図3Bにおいて、破線の矩形が、観察画像または設計画像の位置が記録された領域を示し、ハッチングが掛けられた矩形が、観察画像または設計画像の位置が最後に記録された領域Dを示している。図面が煩雑になることを避けるために、
図3B以降の図において、領域S1,S2内の詳細な構造の図示は省略している。検査完了通知は、作業者による顕微鏡検査装置1への入力に基づいて処理部6に入力される。例えば、検査対象Sの目視検査が完了したときに、顕微鏡検査装置1に設けられた操作部を作業者が操作することによって、検査完了通知が操作部から処理部6に送信される。
【0038】
ナビゲーションマップ生成部8は、検査完了通知を受け取ったときに、ナビゲーションマップBの生成を終了する。検査対象S内に作業者が観察していない未観察領域が存在する場合、生成されたナビゲーションマップBは、設計画像の位置が記録されていない未観察領域を含む。
【0039】
アクセス算出部9は、
図4Aに示されるように、ナビゲーションマップBから未観察領域Eを検出する。観察領域の移動は作業者によって手動で行われるため、未観察領域のサイズは一定にはならない。アクセス算出部9は、対物レンズ22の視野である観察領域のサイズと同等のサイズの領域を1つの未観察領域Eとして検出してもよい。
図4Aにおいて、ナビゲーションマップB内に存在する複数の未観察領域の内、1つのみが実線の矩形で示されている。
【0040】
次に、アクセス算出部9は、ナビゲーションマップB内の現在の観察領域Dと未観察領域Eとの相対位置に基づいて、現在の観察領域Dから未観察領域Eへの移動方向および移動量を算出する。例えば、アクセス算出部9は、ナビゲーションマップ生成部8によってナビゲーションマップBに最後に記録された設計画像の領域を、現在の観察領域Dとして用いる。移動方向および移動量は、例えば、ナビゲーションマップB上での現在の観察領域Dの中心と未観察領域Eの中心との間の画素数に基づいて、方向ベクトルとして算出される。
【0041】
ナビゲーション提示部10は、アクセス算出部9によって算出された移動方向および移動量、例えば方向ベクトルに基づいて、ナビゲーションマップB上に未観察領域Eへのアクセス方法Cを表示することによって、アクセス方法Cを作業者に提示する。
図4Aおよび
図4Bは、アクセス方法Cの表示態様の例を示している。
図4Aにおいて、アクセス方法Cの表示は、現在の観察領域Dから未観察領域Eまでの方向ベクトルを表す矢印である。すなわち、矢印の始点が現在の観察領域Dの位置を表し、矢印の終点が未観察領域Eの位置を表す。
図4Bにおいて、アクセス方法Cの表示は、方向ベクトルのX成分およびY成分をそれぞれ表す2つの矢印である。
アクセス方法Cの表示は、ステージ21のX方向およびY方向のハンドル23aの回転方向および回転量を指示するハンドル23aのアニメーションであってもよい。
【0042】
アクセス方法Cが表示されたナビゲーションマップBは、ナビゲーション提示部10から表示装置30に出力され、表示装置30に表示される。生成途中のナビゲーションマップBが表示装置30に表示され、表示されるナビゲーションマップBが逐次更新されてもよい。
【0043】
次に、顕微鏡検査装置1の作用であって、顕微鏡装置20による検査対象Sの観察領域を未だ観察されていない領域へ誘導するナビゲーション方法について
図5Aから
図5Cを参照して説明する。
作業者は、接眼レンズ24を通した検査対象Sの観察領域の観察および観察領域の移動を繰り返し、検査対象Sの全体を目視検査する。
【0044】
作業者による目視検査と並行して、観察領域の撮像およびナビゲーションマップBの生成が顕微鏡検査装置1によって行われる。
具体的には、
図5Aに示されるように、まず、基準画像入力部5によって基準画像が取得され(ステップS1)、ナビゲーションマップ作成用のコピー基準画像Aが基準画像から作成される(ステップS2)。また、作業者が観察している観察領域の画像である観察画像が撮像部2によって取得される(ステップS3)。
基準画像は基準画像入力部5から処理部6に入力され、観察画像は撮像部2から処理部6に入力される。
【0045】
次に、位置合わせ部7によって、観察画像が基準画像内の対応する領域に位置合わせされる(ステップS4)。具体的には、
図5Bに示されるように、基準画像および観察画像が読み込まれ(ステップS41,S42)、観察画像から、位置合わせ用の観察画像である設計画像が作成される(ステップS43)。次に、基準画像と設計画像との間の類似度が算出され(ステップS44)、基準画像内の類似度が最も高い領域に設計画像が位置合わせされる(ステップS45)。
【0046】
次に、ナビゲーションマップ生成部8によって、基準画像からナビゲーションマップBが生成される(ステップS5)。具体的には、
図5Cに示されるように、基準画像からナビゲーション用の基準画像であるコピー基準画像Aが作成される(ステップS51)。次に、ステップS4での位置合わせ結果に基づいて、コピー基準画像Aに設計画像の位置が記録される(ステップS52)。
作業者による検査対象Sの目視検査が完了するまでステップS3からS5が繰り返されることによって、コピー基準画像Aに設計画像の位置が追加されナビゲーションマップBが生成される。
【0047】
作業者による目視検査が完了後(ステップS6のYES)、アクセス算出部9によって、ナビゲーションマップB内の未観察領域Eが検出され、現在の観察領域Dから未観察領域Eへの移動方向および移動量が算出される(ステップS7)。次に、ナビゲーション提示部10によって、移動方向および移動量を表すアクセス方法CがナビゲーションマップB上に表示され(ステップS8)、アクセス方法Cが表示されたナビゲーションマップBが表示装置30に表示される。
【0048】
作業者は、表示装置30に表示されたナビゲーションマップBに基づいて、検査対象S内の既に観察した領域を容易に認識することができる。また、作業者は、ナビゲーションマップB上に表示されたアクセス方法に基づいて、未観察領域Eが存在するか否か、および、未観察領域Eが存在する場合には、現在の観察領域Dから未観察領域Eへのアクセス方法を容易に認識することができる。特に、アクセス方法Cの表示態様として、未観察領域Eへの移動方向および移動量を表すグラフィック、例えば矢印またはハンドル23aのアニメーションを用いることによって、作業者は、未観察領域Eが存在するか否か、および、未観察領域Eへのアクセス方法を直感的により容易に認識することができる。
【0049】
図6は、本実施形態の変形例を示している。
顕微鏡検査装置101は、
図6に示されるように、アクセス順序決定部11をさらに備えていてもよい。
図7Aに示されるように、ナビゲーションマップ生成部8によるナビゲーションマップBの生成終了後、アクセス順序決定部11は、ナビゲーションマップBに2以上の未観察領域が存在する場合、ナビゲートする未観察領域の順序を決定する(ステップS9)。
【0050】
図7Bは、アクセス順序の決定方法の一例を示している。
図7Bの例において、アクセス順序決定部11は、ナビゲーションマップBから未観察領域を検出する(ステップS91)。次に、アクセス順序決定部11は、現在の観察領域Dと各未観察領域との間の相対位置を算出するために、ナビゲーションマップB内での現在の観察領域Dから各未観察領域までの移動方向および移動量を算出する(ステップS92)。移動方向および移動量を算出する方法は、アクセス算出部9による移動方向および移動量の算出方法と同じである。次に、アクセス順序決定部11は、未観察領域の隣接状態を検出し(ステップS93)、現在の観察領域Dから未観察領域までの距離および未観察領域の隣接状態に基づいて、未観察領域のアクセス順序を決定する(ステップS94)。
【0051】
図8は、アクセス順序の決定方法の具体例を説明している。
この例において、N個の未観察領域に、現在の観察領域Dからの距離に従って距離順位(1位からN位)を付ける。
図8において、ナビゲーションマップB内の実線の矩形が、未観察領域を示している。距離が最も短い未観察領域の距離順位が1位であり、距離が最も遠い未観察領域の距離順位がN位である。
【0052】
次に、距離順位が1位の未観察領域の他の未観察領域との隣接状態を検出し、1位の未観察領域および隣接未観察領域にアクセス順位を付与する。隣接未観察領域は、ある未観察領域の8近傍に存在する未観察領域である。具体的には、距離順位が1位の未観察領域にアクセス順位1-0を付与し、1位の未観察領域の8近傍に存在する隣接未観察領域に、アクセス順位として近傍順位を割り当てる。
図8の例において、1位の未観察領域に隣接する2つの隣接未観察領域に、近傍順位として、1-1位および1-2位がそれぞれ割り当てられる。近傍順位は、例えば、時計回りに順番に割り当てられる。近傍順位が割り当てられた隣接未観察領域には、割り当て済みのラベルを付与する。
【0053】
次に、割り当て済みのラベルが付与された未観察領域を対象外とし、距離順位が次点の未観察領域の隣接状態を検出し、次点の未観察領域およびその隣接未観察領域にアクセス順位を付与する。以降、全ての未観察領域にアクセス順位が付されるまで、同じ手順を繰り返す。アクセス順位がアクセス順序となる。
上記のアクセス順序の決定方法は、一例であって、アクセス順序は、他の方法に従って決定されてもよい。例えば、現在の観察領域Dからの移動方向が直線的である未観察領域、例えば、現在の観察領域Dと上下方向または左右方向に並ぶ未観察領域が上位となるように、アクセス順序が決定されてもよい。
【0054】
ナビゲーション提示部10は、アクセス順序に従って2以上の未観察領域にアクセスするためのアクセス方法をナビゲーションマップB上に表示する。
本変形例によれば、現在の観察領域Dから近い未観察領域から順に効率的にアクセスするための検査対象Sの移動経路を作業者に提示することができ、検査の効率の向上を図ることができる。
【0055】
(第2の実施形態)
次に、本発明の第2の実施形態に係る顕微鏡検査装置および顕微鏡検査システムについて図面を参照して説明する。
本実施形態に係る顕微鏡検査装置および顕微鏡検査システムは、装置構成において
図6の顕微鏡検査装置101および顕微鏡検査システム102と同一であるが、ナビゲーション提示部10の処理において、顕微鏡検査装置101および顕微鏡検査システム102と異なる。
【0056】
図9に示されるように、未観察領域Eまでの観察領域の移動中、ナビゲーション提示部10は、現在の観察領域から未観察領域Eまでのアクセス方法Cに加えて、現在の観察領域から未観察領域Eまでの距離に応じて変化するアクセス速度をナビゲーションマップB上に提示する(ステップS11)。
したがって、観察領域の移動中、観察領域の位置および観察領域から未観察領域Eまでの距離が検出され監視される(ステップS10)。
【0057】
移動中の観察領域の位置は、位置合わせ部(位置検出部)7によって検出される。すなわち、観察領域の移動中、撮像部2によって観察画像が所定のタイミングで取得される。位置合わせ部7は、基準画像に対して観察画像を位置合わせし、基準画像内での観察画像の位置を現在の観察領域の位置として検出する。
位置合わせ部7によって検出された観察領域の位置から未観察領域Eまでの距離は、アクセス算出部9によって検出される。アクセス算出部9は、第1の実施形態において説明した現在の観察領域Dから未観察領域Eまでの移動量の算出方法と同じ方法で、現在の観察領域から未観察領域Eまでの距離を算出する。
【0058】
ナビゲーション提示部10は、観察領域から未観察領域Eまでの距離に基づいて、アクセス速度を示唆する速度表示をナビゲーションマップB上に表示させる。観察領域から未観察領域Eまでの距離が短い程、速度表示は、アクセス速度を遅くするように示唆する。例えば、
図10Aおよび
図10Bに示されるように、移動方向および移動量を表す矢印Cが速度表示であり、矢印Cの太さが、アクセス速度の大きさを表す。この場合、観察領域から未観察領域Eまでの距離が短い程、矢印Cがより細くなる。あるいは、
図11Aおよび
図11Bに示されるように、移動方向および移動量を表す矢印C内の記号「<」の数によって、アクセス速度の大きさを示唆してもよい。この場合、示唆すべきアクセス速度が遅い程、記号の数は少なくなる。
【0059】
本実施形態によれば、第1の実施形態の効果に加えて、以下の効果を奏する。すなわち、未観察領域Eへのアクセス中、観察領域から未観察領域Eまでの距離の変化に応じてナビゲーションマップB上の速度表示が変化するので、作業者は、速度表示に基づいて適切なアクセス速度を直感的に容易に認識することができる。
【0060】
例えば、観察領域が未観察領域Eから遠くに位置するときには対物レンズ22に対して検査対象Sを速く移動させ、観察領域が未観察領域Eの近傍に位置するときには対物レンズ22に対して検査対象Sをゆっくり移動させる等、検査対象Sの移動速度を適切に調整することができる。
【0061】
ナビゲーション提示部10が、ハンドル23aに設けられたハプティックデバイスを備え、ハプティックデバイスが、ハンドル23aを操作する作業者の手にアクセス速度の大きさに応じた触覚を提示してもよい。
例えば、ハプティックデバイスが、作業者によるハンドル23aの操作に対する反力を発生させ、アクセス速度が速い程、反力が小さくなってもよい。
【0062】
(第3の実施形態)
次に、本発明の第3の実施形態に係る顕微鏡検査装置103および顕微鏡検査システム300について図面を参照して説明する。
本実施形態に係る顕微鏡検査装置103は、ステージ21を備える顕微鏡装置20に適用される。顕微鏡検査装置103は、
図12に示されるように、顕微鏡装置20に取り付けられ、ステージ21の位置を検出するエンコーダ12をさらに備える。顕微鏡検査装置103および顕微鏡検査システム300のその他の構成は、
図6の顕微鏡検査装置101および顕微鏡検査システム102と同一である。
エンコーダ12は、目視検査中および目視検査後にステージ21の位置を検出する。エンコーダ12によって検出されるステージ21の位置は、検査開始位置に対する相対位置である。
【0063】
図13Aに示されるように、目視検査の開始前、作業者は、観察領域を検査開始位置に移動させ、検査開始位置での観察画像の取得を撮像部2に実行させる(ステップS12)。検査開始位置は、検査対象S内の予め決められた位置である。
作業者は、観察領域を手動で移動させるので、観察領域の位置が所定の検査開始位置からずれる可能性がある。検査開始位置が、作業者が設定した観察領域の位置に自動補正されてもよい。例えば、検査開始位置での観察画像を基準画像に対して位置合わせすることによって基準画像内での観察領域の位置を検出し、検査開始位置を検出された位置に変更してもよい。
次に、エンコーダ12の設定が初期化される(ステップS13)。その後、目視検査が開始され、観察領域の移動に基づいて撮像部2によって観察画像が取得される(ステップS3)。
【0064】
ステップS4において、位置合わせ部7は、エンコーダ12によって検出されたステージ21の位置に基づいて、基準画像に対して観察画像を位置合わせする。
具体的には、
図13Bに示されるように、位置合わせ部7は、検査開始位置と、エンコーダ12によって検出されたステージ21の位置とに基づいて、基準画像内の設計画像の位置を算出し(ステップS46)、算出された位置に設計画像を位置合わせする(ステップS45)。
【0065】
基準画像に対して設計画像が回転している場合もある。位置合わせ部7は、設計画像を一度位置合わせした後に、基準画像に対して設計画像を回転させ、異なる回転角度における基準画像と設計画像との間の類似度を算出し(ステップS44)、類似度が最も高い回転角度で設計画像を基準画像に対して最終的に位置合わせしてもよい(ステップS45)。
ステップS10においても、位置合わせ部7は、検査開始位置およびエンコーダ12によって検出されたステージ21の位置に基づいて、移動中の観察領域の位置を検出する。
【0066】
本実施形態によれば、エンコーダ12によって検出されたステージ21の位置を利用することによって、基準画像内の観察画像と対応する領域の探索に要する時間を短縮することができる。また、基準画像に対する観察画像の位置合わせの精度および移動中の観察領域の位置検出の精度を向上し、未観察領域Eへのナビゲート精度を向上することができる。これにより、位置合わせ誤差等による未観察領域Eの見落としを回避することができる。
【0067】
上記各実施形態において、アクセス算出部9が、未観察領域Eへの移動方向および移動量を算出することとしたが、これに代えて、未観察領域Eへの移動方向のみを算出してもよい。この場合、ナビゲーション提示部10は、移動方向のみに基づいてアクセス方法を提示する。例えば、ナビゲーション提示部10は、現在の観察領域Dから未観察領域Eに向かう任意の長さの矢印をナビゲーションマップBに表示させる。作業者は、矢印が指す方向に観察領域を移動させることによって、未観察領域Eに到達することができる。
【符号の説明】
【0068】
1,101,103 顕微鏡検査装置
2 撮像部
3 撮像制御部
4 記憶部
5 基準画像入力部
6 処理部
7 位置合わせ部、位置検出部
8 ナビゲーションマップ生成部
9 アクセス算出部
10 ナビゲーション提示部
11 アクセス順序決定部
12 エンコーダ
20 顕微鏡装置
21 ステージ
30 表示装置
100,102,300 顕微鏡検査システム
B ナビゲーションマップ
S 検査対象