特開2024-154080拡大観察装置、観察画像生成方法、観察画像生成プログラムおよび記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154080
(43)【公開日】2024-10-30
(54)【発明の名称】拡大観察装置、観察画像生成方法、観察画像生成プログラムおよび記録媒体
(51)【国際特許分類】
G02B 21/06 20060101AFI20241023BHJP
G02B 21/24 20060101ALI20241023BHJP
G06T 5/50 20060101ALI20241023BHJP
G02B 21/36 20060101ALI20241023BHJP
【ＦＩ】
G02B21/06
G02B21/24
G06T5/50
G02B21/36
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023067698
(22)【出願日】2023-04-18
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】100105935
【弁理士】
【氏名又は名称】振角 正一
(74)【代理人】
【識別番号】100136836
【弁理士】
【氏名又は名称】大西 一正
(72)【発明者】
【氏名】近藤 亮介
【テーマコード（参考）】
2H052
5B057
【Ｆターム（参考）】
2H052AA13
2H052AB01
2H052AC04
2H052AC14
2H052AD16
2H052AD20
2H052AF25
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA13
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB13
5B057CB16
5B057CE03
5B057CE08
5B057CE17
(57)【要約】
【課題】観察対象物の表面の凹凸の向きに依らずに凹凸を強調した観察画像を取得可能とする。
【解決手段】照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された２つの画像（差分絶対値画像Ｉｄ１、Ｉｄ２）が取得される。そして、ワーク１１の画像である観察画像Ｉｏを生成するために、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。これによって、照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された観察画像Ｉｏを取得することができる。
【選択図】図７
【解決手段】照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された２つの画像（差分絶対値画像Ｉｄ１、Ｉｄ２）が取得される。そして、ワーク１１の画像である観察画像Ｉｏを生成するために、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。これによって、照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された観察画像Ｉｏを取得することができる。
【選択図】図７
【特許請求の範囲】
【請求項1】
対物レンズと結像レンズとを含む光学系と、
第１照明方向の正方向、前記第１照明方向の正方向とは逆向きの負方向、前記第１照明方向とは異なる第２照明方向の正方向および前記第２照明方向の正方向とは逆向きの負方向のそれぞれから、前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記照明部および前記撮像部を制御する制御部と、
前記観察対象物の画像である観察画像を生成する表示画像生成部と、
を備え、
前記表示画像生成部は、
前記制御部により前記照明部を制御することで前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、
前記第１輝度画像と前記第２輝度画像との差の絶対値に基づいて前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、
前記第３輝度画像と前記第４輝度画像との差の絶対値に基づいて前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、
前記観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成することを特徴とする、拡大観察装置。
第１照明方向の正方向、前記第１照明方向の正方向とは逆向きの負方向、前記第１照明方向とは異なる第２照明方向の正方向および前記第２照明方向の正方向とは逆向きの負方向のそれぞれから、前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記照明部および前記撮像部を制御する制御部と、
前記観察対象物の画像である観察画像を生成する表示画像生成部と、
を備え、
前記表示画像生成部は、
前記制御部により前記照明部を制御することで前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、
前記第１輝度画像と前記第２輝度画像との差の絶対値に基づいて前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、
前記第３輝度画像と前記第４輝度画像との差の絶対値に基づいて前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、
前記観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成することを特徴とする、拡大観察装置。
【請求項2】
対物レンズと結像レンズとを含む光学系と、
第１照明方向の正方向、前記第１照明方向の正方向とは逆向きの負方向、前記第１照明方向とは異なる第２照明方向の正方向および前記第２照明方向の正方向とは逆向きの負方向のそれぞれから、前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記照明部および前記撮像部を制御する制御部と、
前記観察対象物の画像である観察画像を生成する表示画像生成部と、
を備え、
前記表示画像生成部は、
前記制御部により前記照明部を制御することで前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、
前記第１輝度画像と前記第２輝度画像とに基づいて、前記第１照明方向の正方向について前記観察対象物の表面の凹凸が強調された第１合成画像と、前記第１照明方向の負方向について前記観察対象物の表面の凹凸が強調された第２合成画像とを生成し、
前記第３輝度画像と前記第４輝度画像とに基づいて、前記第２照明方向の正方向について前記観察対象物の表面の凹凸が強調された第３合成画像と、前記第２照明方向の負方向について前記観察対象物の表面の凹凸が強調された第４合成画像とを生成し、
前記第１合成画像と前記第２合成画像との差の絶対値に基づいて、前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、
前記第３合成画像と前記第４合成画像との差の絶対値に基づいて、前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、
前記観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成することを特徴とする、拡大観察装置。
第１照明方向の正方向、前記第１照明方向の正方向とは逆向きの負方向、前記第１照明方向とは異なる第２照明方向の正方向および前記第２照明方向の正方向とは逆向きの負方向のそれぞれから、前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記照明部および前記撮像部を制御する制御部と、
前記観察対象物の画像である観察画像を生成する表示画像生成部と、
を備え、
前記表示画像生成部は、
前記制御部により前記照明部を制御することで前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、
前記制御部により前記照明部を制御することで前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、
前記第１輝度画像と前記第２輝度画像とに基づいて、前記第１照明方向の正方向について前記観察対象物の表面の凹凸が強調された第１合成画像と、前記第１照明方向の負方向について前記観察対象物の表面の凹凸が強調された第２合成画像とを生成し、
前記第３輝度画像と前記第４輝度画像とに基づいて、前記第２照明方向の正方向について前記観察対象物の表面の凹凸が強調された第３合成画像と、前記第２照明方向の負方向について前記観察対象物の表面の凹凸が強調された第４合成画像とを生成し、
前記第１合成画像と前記第２合成画像との差の絶対値に基づいて、前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、
前記第３合成画像と前記第４合成画像との差の絶対値に基づいて、前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、
前記観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成することを特徴とする、拡大観察装置。
【請求項3】
ユーザーに対して画像を表示する画像表示部と、
ユーザーの操作を受け付けるユーザー操作部と、
をさらに備え、
前記表示画像生成部は、前記第１合成画像、前記第２合成画像、前記第３合成画像、前記第４合成画像および前記観察画像のうち、前記ユーザー操作部が受け付けたユーザーの操作に応じた画像を前記画像表示部に表示する、請求項２に記載の拡大観察装置。
ユーザーの操作を受け付けるユーザー操作部と、
をさらに備え、
前記表示画像生成部は、前記第１合成画像、前記第２合成画像、前記第３合成画像、前記第４合成画像および前記観察画像のうち、前記ユーザー操作部が受け付けたユーザーの操作に応じた画像を前記画像表示部に表示する、請求項２に記載の拡大観察装置。
【請求項4】
前記表示画像生成部は、前記画像表示部に前記観察画像を表示中に、前記ユーザー操作部が受け付けたユーザーの操作に応じて、前記画像表示部に表示する前記観察画像の色を反転させるネガポジ反転処理を実行する、請求項３に記載の拡大観察装置。
【請求項5】
前記表示画像生成部は、
前記第１輝度画像から前記第２輝度画像を減算した差に基づいて前記第１合成画像を生成し、
前記第２輝度画像から前記第１輝度画像を減算した差に基づいて前記第２合成画像を生成し、
前記第３輝度画像から前記第４輝度画像を減算した差に基づいて前記第３合成画像を生成し、
前記第４輝度画像から前記第３輝度画像を減算した差に基づいて前記第４合成画像を生成する、請求項２に記載の拡大観察装置。
前記第１輝度画像から前記第２輝度画像を減算した差に基づいて前記第１合成画像を生成し、
前記第２輝度画像から前記第１輝度画像を減算した差に基づいて前記第２合成画像を生成し、
前記第３輝度画像から前記第４輝度画像を減算した差に基づいて前記第３合成画像を生成し、
前記第４輝度画像から前記第３輝度画像を減算した差に基づいて前記第４合成画像を生成する、請求項２に記載の拡大観察装置。
【請求項6】
前記表示画像生成部は、
前記第１輝度画像から前記第２輝度画像を減算した差を、前記第１輝度画像と前記第２輝度画像とを加算した和で除することで規格化したデータに基づいて前記第１合成画像を生成し、
前記第２輝度画像から前記第１輝度画像を減算した差を、前記第２輝度画像と前記第１輝度画像とを加算した和で除することで規格化したデータに基づいて前記第２合成画像を生成し、
前記第３輝度画像から前記第４輝度画像を減算した差を、前記第３輝度画像と前記第４輝度画像とを加算した和で除することで規格化したデータに基づいて前記第３合成画像を生成し、
前記第４輝度画像から前記第３輝度画像を減算した差を、前記第４輝度画像と前記第３輝度画像とを加算した和で除することで規格化したデータに基づいて前記第４合成画像を生成する、請求項５に記載の拡大観察装置。
前記第１輝度画像から前記第２輝度画像を減算した差を、前記第１輝度画像と前記第２輝度画像とを加算した和で除することで規格化したデータに基づいて前記第１合成画像を生成し、
前記第２輝度画像から前記第１輝度画像を減算した差を、前記第２輝度画像と前記第１輝度画像とを加算した和で除することで規格化したデータに基づいて前記第２合成画像を生成し、
前記第３輝度画像から前記第４輝度画像を減算した差を、前記第３輝度画像と前記第４輝度画像とを加算した和で除することで規格化したデータに基づいて前記第３合成画像を生成し、
前記第４輝度画像から前記第３輝度画像を減算した差を、前記第４輝度画像と前記第３輝度画像とを加算した和で除することで規格化したデータに基づいて前記第４合成画像を生成する、請求項５に記載の拡大観察装置。
【請求項7】
ユーザーに対して画像を表示する画像表示部と、
ユーザーの操作を受け付けるユーザー操作部と、
をさらに備え、
前記表示画像生成部は、前記ユーザー操作部が受け付けたユーザーの操作に応じて、前記画像表示部に表示する前記観察画像の色を反転させるネガポジ反転処理を実行する、請求項１または２に記載の拡大観察装置。
ユーザーの操作を受け付けるユーザー操作部と、
をさらに備え、
前記表示画像生成部は、前記ユーザー操作部が受け付けたユーザーの操作に応じて、前記画像表示部に表示する前記観察画像の色を反転させるネガポジ反転処理を実行する、請求項１または２に記載の拡大観察装置。
【請求項8】
前記観察対象物に対して前記光学系の焦点を相対的に移動させる駆動部をさらに備え、
前記表示画像生成部は、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第１撮像画像を取得して、前記複数の第１撮像画像それぞれの合焦した部分を合成する深度合成によって前記第１輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第２撮像画像を取得して、前記複数の第２撮像画像それぞれの合焦した部分を合成する深度合成によって前記第２輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第３撮像画像を取得して、前記複数の第３撮像画像それぞれの合焦した部分を合成する深度合成によって前記第３輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第４撮像画像を取得して、前記複数の第４撮像画像それぞれの合焦した部分を合成する深度合成によって前記第４輝度画像を生成する、請求項１または２に記載の拡大観察装置。
前記表示画像生成部は、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第１照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第１撮像画像を取得して、前記複数の第１撮像画像それぞれの合焦した部分を合成する深度合成によって前記第１輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第１照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第２撮像画像を取得して、前記複数の第２撮像画像それぞれの合焦した部分を合成する深度合成によって前記第２輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第３撮像画像を取得して、前記複数の第３撮像画像それぞれの合焦した部分を合成する深度合成によって前記第３輝度画像を生成し、
前記制御部により前記駆動部を制御することで前記観察対象物と前記光学系の焦点とを変化させつつ前記第２照明方向の負方向から照明光を前記観察対象物に対して照射して当該観察対象物を複数回撮像することで複数の第４撮像画像を取得して、前記複数の第４撮像画像それぞれの合焦した部分を合成する深度合成によって前記第４輝度画像を生成する、請求項１または２に記載の拡大観察装置。
【請求項9】
前記照明部は、前記光学系に向けて照明光を射出する照明光源を有し、前記照明光源から射出されて前記光学系により集光された照明光を前記観察対象物に照射し、
前記表示画像生成部は、前記制御部により前記照明光源を制御して、前記照明光源のうち照明光を射出する領域を変化させることで、前記第１照明方向の正方向、前記第１照明方向の負方向、前記第２照明方向の正方向および前記第２照明方向の正方向の間で、前記観察対象物に対して照明光を照射する方向を切り換える、請求項１または２に記載の拡大観察装置。
前記表示画像生成部は、前記制御部により前記照明光源を制御して、前記照明光源のうち照明光を射出する領域を変化させることで、前記第１照明方向の正方向、前記第１照明方向の負方向、前記第２照明方向の正方向および前記第２照明方向の正方向の間で、前記観察対象物に対して照明光を照射する方向を切り換える、請求項１または２に記載の拡大観察装置。
【請求項10】
第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得する工程と、
前記第１照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、
前記第１照明方向とは異なる第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、
前記第２照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、
前記第１輝度画像と前記第２輝度画像との差の絶対値に基づいて前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、
前記第３輝度画像と前記第４輝度画像との差の絶対値に基づいて前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、
前記観察対象物の画像である観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成する工程と、
を備えることを特徴とする、観察画像生成方法。
前記第１照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、
前記第１照明方向とは異なる第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、
前記第２照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、
前記第１輝度画像と前記第２輝度画像との差の絶対値に基づいて前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、
前記第３輝度画像と前記第４輝度画像との差の絶対値に基づいて前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、
前記観察対象物の画像である観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成する工程と、
を備えることを特徴とする、観察画像生成方法。
【請求項11】
第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得する工程と、
前記第１照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、
前記第１照明方向とは異なる第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、
前記第２照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、
前記第１輝度画像と前記第２輝度画像とに基づいて、前記第１照明方向の正方向について前記観察対象物の表面の凹凸が強調された第１合成画像と、前記第１照明方向の負方向について前記観察対象物の表面の凹凸が強調された第２合成画像とを生成する工程と、
前記第３輝度画像と前記第４輝度画像とに基づいて、前記第２照明方向の正方向について前記観察対象物の表面の凹凸が強調された第３合成画像と、前記第２照明方向の負方向について前記観察対象物の表面の凹凸が強調された第４合成画像とを生成する工程と、
前記第１合成画像と前記第２合成画像との差の絶対値に基づいて、前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、
前記第３合成画像と前記第４合成画像との差の絶対値に基づいて、前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、
前記観察対象物の画像である観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成する工程と、
を備えることを特徴とする、観察画像生成方法。
前記第１照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、
前記第１照明方向とは異なる第２照明方向の正方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、
前記第２照明方向の正方向とは逆向きの負方向から照明光を前記観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、
前記第１輝度画像と前記第２輝度画像とに基づいて、前記第１照明方向の正方向について前記観察対象物の表面の凹凸が強調された第１合成画像と、前記第１照明方向の負方向について前記観察対象物の表面の凹凸が強調された第２合成画像とを生成する工程と、
前記第３輝度画像と前記第４輝度画像とに基づいて、前記第２照明方向の正方向について前記観察対象物の表面の凹凸が強調された第３合成画像と、前記第２照明方向の負方向について前記観察対象物の表面の凹凸が強調された第４合成画像とを生成する工程と、
前記第１合成画像と前記第２合成画像との差の絶対値に基づいて、前記第１照明方向について前記観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、
前記第３合成画像と前記第４合成画像との差の絶対値に基づいて、前記第２照明方向について前記観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、
前記観察対象物の画像である観察画像を生成するために、前記第１凹凸強調画像と前記第２凹凸強調画像とを合成する工程と、
を備えることを特徴とする、観察画像生成方法。
【請求項12】
請求項１０または１１に記載の観察画像生成方法の各工程をコンピューターに実行させることを特徴とする、観察画像生成プログラム。
【請求項13】
請求項１２に記載の観察画像生成プログラムをコンピューターにより読み出し可能に記憶することを特徴とする、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、観察対象物を撮像することで観察対象物を観察するための画像である観察画像を生成する技術に関する。
【背景技術】
【0002】
特許文献１には、観察対象物を撮像することで当該観察対象物の観察画像を生成する拡大観察装置が記載されている。観察画像として、深度合成された凹凸強調画像が生成され、こうして生成された観察画像は、ディスプレイに表示される。したがって、ユーザーは、観察画像を目視によって確認することで、観察対象物を観察することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０８６２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、観察対象物の表面の凹凸の目視による確認を容易とするために、所定の照明方向から照明を観察対象物に照射しつつ観察対象物を撮像して、凹凸が強調された観察画像を生成することができる。ただし、凹凸の向きによっては、凹凸を強調することが難しい場合があった。直線状に延設された段差を例とすると、照明方向に対して段差が直交する場合には、照明方向からの照明光によって段差に明確な陰影を生じさせることができる。一方、照明方向に対して段差が平行である場合には、照明方向からの照明光によって段差に明確な陰影を生じさせることが難しい。
【0005】
この発明は上記課題に鑑みなされたものであり、観察対象物の表面の凹凸の向きに依らずに凹凸を強調した観察画像を取得可能とすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１態様に係る拡大観察装置は、対物レンズと結像レンズとを含む光学系と、第１照明方向の正方向、第１照明方向の正方向とは逆向きの負方向、第１照明方向とは異なる第２照明方向の正方向および第２照明方向の正方向とは逆向きの負方向のそれぞれから、光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、光学系を介して観察対象物からの光を受光して観察対象物の輝度画像を生成する撮像部と、照明部および撮像部を制御する制御部と、観察対象物の画像である観察画像を生成する表示画像生成部と、を備え、表示画像生成部は、制御部により照明部を制御することで第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、制御部により照明部を制御することで第１照明方向の負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、制御部により照明部を制御することで第２照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、制御部により照明部を制御することで第２照明方向の負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、第１輝度画像と第２輝度画像との差の絶対値に基づいて第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、第３輝度画像と第４輝度画像との差の絶対値に基づいて第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とを合成することを特徴とする。
【0007】
本発明の第１態様に係る観察画像生成方法は、第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得する工程と、第１照明方向の正方向とは逆向きの負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、第１照明方向とは異なる第２照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、第２照明方向の正方向とは逆向きの負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、第１輝度画像と第２輝度画像との差の絶対値に基づいて第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、第３輝度画像と第４輝度画像との差の絶対値に基づいて第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、観察対象物の画像である観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とを合成する工程と、を備えることを特徴とする。
【0008】
本発明の第１態様に係る観察画像生成プログラムは、当該観察画像生成方法の各工程をコンピューターに実行させることを特徴とする。
【0009】
本発明の第１態様に係る記録媒体は、当該観察画像生成プログラムをコンピューターにより読み出し可能に記憶することを特徴とする。
【0010】
このように構成された本発明の第１態様では、第１照明方向の正方向から照明光を照射しつつ観察対象物を撮像した第１輝度画像と、第１照明方向の負方向から照明光を照射しつつ観察対象物を撮像した第２輝度画像とが取得される。そして、第１輝度画像と第２輝度画像との差の絶対値に基づいて第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像が生成される。さらに、第２照明方向の正方向から照明光を照射しつつ観察対象物を撮像した第３輝度画像と、第２照明方向の負方向から照明光を照射しつつ観察対象物を撮像した第４輝度画像とが取得される。そして、第３輝度画像と第４輝度画像との差の絶対値に基づいて第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像が生成される。こうして、第１および第２照明方向の２方向について観察対象物の表面の凹凸が強調された画像（第１および第２凹凸強調画像）が取得される。そして、観察対象物の画像である観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とが合成される。これによって、第１および第２照明方向の２方向について観察対象物の表面の凹凸が強調された観察画像を取得することができる。その結果、観察対象物の表面の凹凸の向きに依らずに凹凸を強調した観察画像を取得することが可能となっている。
【0011】
本発明の第２態様に係る拡大観察装置は、対物レンズと結像レンズとを含む光学系と、第１照明方向の正方向、第１照明方向の正方向とは逆向きの負方向、第１照明方向とは異なる第２照明方向の正方向および第２照明方向の正方向とは逆向きの負方向のそれぞれから、光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、光学系を介して観察対象物からの光を受光して観察対象物の輝度画像を生成する撮像部と、照明部および撮像部を制御する制御部と、観察対象物の画像である観察画像を生成する表示画像生成部と、を備え、表示画像生成部は、制御部により照明部を制御することで第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得し、制御部により照明部を制御することで第１照明方向の負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得し、制御部により照明部を制御することで第２照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得し、制御部により照明部を制御することで第２照明方向の負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得し、第１輝度画像と第２輝度画像とに基づいて、第１照明方向の正方向について観察対象物の表面の凹凸が強調された第１合成画像と、第１照明方向の負方向について観察対象物の表面の凹凸が強調された第２合成画像とを生成し、第３輝度画像と第４輝度画像とに基づいて、第２照明方向の正方向について観察対象物の表面の凹凸が強調された第３合成画像と、第２照明方向の負方向について観察対象物の表面の凹凸が強調された第４合成画像とを生成し、第１合成画像と第２合成画像との差の絶対値に基づいて、第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成し、第３合成画像と第４合成画像との差の絶対値に基づいて、第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成し、観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とを合成することを特徴とする。
【0012】
本発明の第２態様に係る観察画像生成方法は、第１照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第１輝度画像を取得する工程と、第１照明方向の正方向とは逆向きの負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第２輝度画像を取得する工程と、第１照明方向とは異なる第２照明方向の正方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第３輝度画像を取得する工程と、第２照明方向の正方向とは逆向きの負方向から照明光を観察対象物に対して照射して当該観察対象物を撮像することで第４輝度画像を取得する工程と、第１輝度画像と第２輝度画像とに基づいて、第１照明方向の正方向について観察対象物の表面の凹凸が強調された第１合成画像と、第１照明方向の負方向について観察対象物の表面の凹凸が強調された第２合成画像とを生成する工程と、第３輝度画像と第４輝度画像とに基づいて、第２照明方向の正方向について観察対象物の表面の凹凸が強調された第３合成画像と、第２照明方向の負方向について観察対象物の表面の凹凸が強調された第４合成画像とを生成する工程と、第１合成画像と第２合成画像との差の絶対値に基づいて、第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像を生成する工程と、第３合成画像と第４合成画像との差の絶対値に基づいて、第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像を生成する工程と、観察対象物の画像である観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とを合成する工程と、を備えることを特徴とする。
【0013】
本発明の第２態様に係る観察画像生成プログラムは、当該観察画像生成方法の各工程をコンピューターに実行させることを特徴とする。
【0014】
本発明の第２態様に係る記録媒体は、当該観察画像生成プログラムをコンピューターにより読み出し可能に記憶することを特徴とする。
【0015】
このように構成された本発明の第２態様では、第１照明方向の正方向から照明光を照射しつつ観察対象物を撮像した第１輝度画像と、第１照明方向の負方向から照明光を照射しつつ観察対象物を撮像した第２輝度画像とが取得される。また、第１輝度画像と第２輝度画像とに基づいて、第１照明方向の正方向について観察対象物の表面の凹凸が強調された第１合成画像と、第１照明方向の負方向について観察対象物の表面の凹凸が強調された第２合成画像とが生成される。そして、第１合成画像と第２合成画像との差の絶対値に基づいて、第１照明方向について観察対象物の表面の凹凸が強調された第１凹凸強調画像が生成される。さらに、第２照明方向の正方向から照明光を照射しつつ観察対象物を撮像した第３輝度画像と、第２照明方向の負方向から照明光を照射しつつ観察対象物を撮像した第４輝度画像とが取得される。また、第３輝度画像と第４輝度画像とに基づいて、第２照明方向の正方向について観察対象物の表面の凹凸が強調された第３合成画像と、第２照明方向の負方向について観察対象物の表面の凹凸が強調された第４合成画像とが生成される。そして、第３合成画像と第４合成画像との差の絶対値に基づいて、第２照明方向について観察対象物の表面の凹凸が強調された第２凹凸強調画像が生成される。こうして、第１および第２照明方向の２方向について観察対象物の表面の凹凸が強調された画像（第１および第２凹凸強調画像）が取得される。そして、観察対象物の画像である観察画像を生成するために、第１凹凸強調画像と第２凹凸強調画像とが合成される。これによって、第１および第２照明方向の２方向について観察対象物の表面の凹凸が強調された観察画像を取得することができる。その結果、観察対象物の表面の凹凸の向きに依らずに凹凸を強調した観察画像を取得することが可能となっている。
【発明の効果】
【0016】
以上のように、本発明によれば、観察対象物の表面の凹凸の向きに依らずに凹凸を強調した観察画像を取得することが可能となっている。
【図面の簡単な説明】
【0017】
【図1】本発明に係る拡大観察装置の構成を模式的に示す図。
【図3】リング照明の構成を模式的に示す底面図。
【図5】画像処理部によって実行される観察画像生成の一例を示すフローチャート。
【図8】ディスプレイに表示される操作画面の一例を模式的に示す図。
【図9】深度合成＆３Ｄで実行される動作の一例を示すフローチャート。
【図10】画像処理部によって実行される観察画像生成の別の例を示すフローチャート。
【発明を実施するための形態】
【0018】
図１は本発明に係る拡大観察装置の構成を模式的に示す図であり、図２は図１の拡大観察装置が具備する電気的構成を示すブロック図である。なお、図１および以下の図では、水平方向であるＸ方向、Ｘ方向に直交する水平方向であるＹ方向および鉛直方向であるＺ方向を適宜示す。図１に示す拡大観察装置１は、観察対象物であるワーク１１を拡大した観察画像をユーザーに表示する。この拡大観察装置１は、ワーク１１を拡大した観察画像を取得するマイクロスコープ２と、マイクロスコープ２を制御する制御システム９とを備える。
【0019】
図２に示すように、制御システム９はコントローラー９１備え、コントローラー９１は演算部９３および記憶部９５を有する。演算部９３はＣＰＵ(Central Processing Unit)等のプロセッサーであり、記憶部９５はＨＤＤ(Hard Disk Drive)あるいはＳＳＤ(Solid State Drive)等の記憶装置である。記憶部９５には、マイクロスコープ２が撮像した撮像画像Ｉｍを保存する。さらに、記憶部９５は観察画像生成プログラム１９を保存し、演算部９３は、記憶部９５から読み出した観察画像生成プログラム１９を実行することで、ステージ駆動制御部９３１、ヘッド駆動制御部９３２、照明制御部９３３、画像取得部９３４、画像処理部９３５、表示制御部９４１および操作受付部９４２を構築する。これらの機能部９３１～９３５、９４１～９４２の詳細は後述する。なお、観察画像生成プログラム１９は、例えば外部のサーバーコンピューター（記録媒体）からダウンロードされて記憶部９５に保存される。
【0020】
さらに、制御システム９は、ワーク１１の観察画像をユーザーに表示するディスプレイ９７と、拡大観察装置１に対するユーザーの操作が実行される操作部９９とを備える。ディスプレイ９７は、表示制御部９４１の制御に応じた表示を行う。操作部９９は、キーボード９９１、マウス９９２あるいはジョイスティック９９３といった入力機器を有し、ユーザーは、これらを操作することで、拡大観察装置１に指令を入力することができる。これに対して、操作受付部９４２は、操作部９９に対するユーザーの操作に応じた指令を操作部９９から受信することで、当該操作が示す指令を受け付ける。
【0021】
図１に示すように、マイクロスコープ２は、当該マイクロスコープ２の設置面に載置される基台２１と、基台２１の上に配置されたステージ駆動機構２２と、ステージ駆動機構２２によって支持されるステージ２３とを備える。ステージ２３は、水平なサンプル支持平面２３１を有し、サンプル支持平面２３１の上にワーク１１が載置される。ステージ駆動機構２２は、図２に示すＸ軸ステージ駆動部２２ｘ、Ｙ軸ステージ駆動部２２ｙおよびＺ軸ステージ駆動部２２ｚを有する。Ｘ軸ステージ駆動部２２ｘは、ステージ駆動制御部９３１の指令に応じてステージ２３をＸ方向に駆動するモーターを有し、Ｙ軸ステージ駆動部２２ｙは、ステージ駆動制御部９３１の指令に応じてステージ２３をＹ方向に駆動するモーターを有し、Ｚ軸ステージ駆動部２２ｚは、ステージ駆動制御部９３１の指令に応じてステージ２３をＺ方向に駆動するモーターを有する。これらのモーターとしては、例えばステッピングモーターを用いることができる。
【0022】
そして、ステージ駆動制御部９３１は、Ｘ軸ステージ駆動部２２ｘ、Ｙ軸ステージ駆動部２２ｙおよびＺ軸ステージ駆動部２２ｚを制御することで、Ｘ方向、Ｙ方向およびＺ方向にステージ２３を移動させる。例えば、操作受付部９４２がジョイスティック９９３に対する操作に応じた指令を受け付けると、ステージ駆動制御部９３１は、当該指令に応じてＸ軸ステージ駆動部２２ｘおよびＹ軸ステージ駆動部２２ｙを制御することで、ステージ２３をＸ方向およびＹ方向に移動させる。
【0023】
また、マイクロスコープ２は、ステージ２３のサンプル支持平面２３１に上側から対向する観察ヘッド３を備える。観察ヘッド３は観察視野Ｖを有し、サンプル支持平面２３１上のワーク１１のうち、観察視野Ｖに重なる部分を撮像することで撮像画像Ｉｍを取得する。この観察ヘッド３は、Ｚ方向に延設された筒状のハウジング３１と、ハウジング３１の下端に設けられたレンズホルダー３２と、レンズホルダー３２に取り付けられた対物レンズ３３１とを有する。さらに、観察ヘッド３は、ハウジング３１内に配置されたハーフミラー３４および固体撮像素子３５を有し、ハーフミラー３４は、ハウジング３１内のレンズホルダー３２と固体撮像素子３５との間に位置する。対物レンズ３３１は、サンプル支持平面２３１上のワーク１１に上側から対向し、ワーク１１から射出されて対物レンズ３３１に入射する光Ｌｓは、ハーフミラー３４を通過した後に、固体撮像素子３５に結像される。なお、光Ｌｓの結像は、対物レンズ３３１の他に設けられた図示を省略するレンズ（結像レンズ）と対物レンズ３３１とで構成される結像光学系３３によって実行される。固体撮像素子３５は、ＣＣＤイメージセンサーあるいはＣＭＯＳイメージセンサー等であり、当該固体撮像素子３５に結像された光Ｌｓを検出することで、ワーク１１の撮像画像Ｉｍを取得する。固体撮像素子３５によって取得された撮像画像Ｉｍは、固体撮像素子３５から画像取得部９３４に送信される。こうして画像取得部９３４は、観察視野Ｖ内におけるワーク１１の撮像画像Ｉｍを取得する。
【0024】
なお、レンズホルダー３２としては、互いに異なる倍率を有する複数の対物レンズ３３１が取り付けられたリボルバー式のレンズホルダー３２を用いてもよい。この場合、レンズホルダー３２を回転させることで、複数の対物レンズ３３１のうちからワーク１１に対向する一の対物レンズ３３１を切り換えることができる。すなわち、撮像画像Ｉｍを取得する際の倍率を切り換えることができる。
【0025】
マイクロスコープ２は、観察ヘッド３のハウジング３１に取り付けられた落射照明４１を備える。落射照明４１は、ハウジング３１内のハーフミラー３４に側方から対向するようにハウジング３１の側面に取り付けられる。落射照明４１から射出された照明光Ｌｆは、ハーフミラー３４によって対物レンズ３３１に向けて反射されて、対物レンズ３３１を介してワーク１１に照射される。こうしてワーク１１に照射された照明光Ｌｆは、当該ワーク１１によって反射されて、上記の光Ｌｓとして対物レンズ３３１に入射する。
【0026】
また、マイクロスコープ２は、観察ヘッド３のハウジング３１に取り付けられたリング照明４３（図３）を備える。ここで、図３はリング照明の構成を模式的に示す底面図である。リング照明４３は、底面視において対物レンズ３３１を囲むようにハウジング３１の外側に取り付けられる。リング照明４３から射出された照明光Ｌｒは、Ｚ方向に対して傾きつつワーク１１に照射される。また、図３に示すように、円周状に配列された複数の光射出部４３１、４３２、４３３、４３４を有し、複数の光射出部４３１、４３２、４３３、４３４は互いに独立して点灯および消灯する。したがって、複数の光射出部４３１、４３２、４３３、４３４のうち、点灯する一の光射出部を変更することで、ワーク１１に照明光Ｌｒを照射する方向を切り換えることができる。つまり、照明方向Ｄ１に配列された光射出部４３１、４３２のうち、一方の光射出部４３１を点灯させることで、照明方向Ｄ１の正方向Ｄ１(+)から観察視野Ｖに照明光Ｌｒを照射でき、他方の光射出部４３２を点灯させることで、照明方向Ｄ１の負方向Ｄ１(-)から観察視野Ｖに照明光Ｌｒを照射できる。ここで、正方向Ｄ１(+)と負方向Ｄ１(-)とは互いに逆側を向く。また、照明方向Ｄ１に直交する照明方向Ｄ２に配列された光射出部４３３、４３４のうち、一方の光射出部４３３を点灯させることで、照明方向Ｄ２の正方向Ｄ２(+)から観察視野Ｖに照明光Ｌｒを照射でき、他方の光射出部４３４を点灯させることで、照明方向Ｄ２の負方向Ｄ２(-)から観察視野Ｖに照明光Ｌｒを照射できる。ここで、正方向Ｄ２(+)と負方向Ｄ２(-)とは互いに逆側を向く。こうして観察視野Ｖに照射された照明光Ｌｒは、観察視野Ｖ内のワーク１１によって反射されて、上記の光Ｌｓとして対物レンズ３３１に入射する。
【0027】
さらに、マイクロスコープ２は、観察ヘッド３をＺ方向に移動可能に支持するヘッド支持部２４を備える。ヘッド支持部２４は、Ｚ方向に平行に基台２１から立設されたＺ軸ガイド２４１と、Ｚ軸ガイド２４１によってＺ方向に案内されるＺ軸可動部材２４２とを有し、Ｚ軸可動部材２４２に観察ヘッド３のハウジング３１が取り付けられている。また、ヘッド支持部２４は、図２に示すＺ軸ヘッド駆動部２４ｚを有する。Ｚ軸ヘッド駆動部２４ｚは、ヘッド駆動制御部９３２の指令に応じてＺ軸可動部材２４２をＺ方向に駆動することで、観察ヘッド３をＺ方向に移動させるモーター（例えば、ステッピングモーター）を有する。また、観察ヘッド３のＺ方向への移動に伴って、落射照明４１およびリング照明４３もＺ方向に移動する。
【0028】
なお、ヘッド支持部２４は、水平方向（例えばＹ方向）に平行な回転軸を中心に、観察ヘッド３を回転可能に支持する。したがって、ユーザーは、ヘッド支持部２４に対して観察ヘッド３を回転させることで、Ｚ方向に対する観察ヘッド３の角度を変更できる。つまり、観察ヘッド３は、Ｚ方向に平行となる正対姿勢（図１の姿勢）と、Ｚ方向に傾斜する傾斜姿勢との両方を取ることができ、さらに傾斜姿勢における観察ヘッド３の傾斜角度８Ｚ方向に対する角度）を調整することができる。
【0029】
図４は図１の拡大観察装置において実行される輝度画像取得の一例を示すフローチャートである。ステップＳ１０１では、照明制御部９３３は、リング照明４３を制御することで、リング照明４３の光射出部４３１～４３４のうち、光射出部４３１のみを点灯させる。これによって光射出部４３１から照明方向Ｄ１の正方向Ｄ１(+)に照明光Ｌｒが照射される。ステップＳ１０２では、画像取得部９３４は、固体撮像素子３５を制御して、正方向Ｄ１(+)からの照明光Ｌｒが照射された観察視野Ｖ内のワーク１１の表面を固体撮像素子３５に撮像させることで撮像画像Ｉｍを取得し、当該撮像画像Ｉｍを輝度画像Ｉｉ１(+)として記憶部９５に保存する。
【0030】
ステップＳ１０３では、照明制御部９３３は、リング照明４３を制御することで、リング照明４３の光射出部４３１～４３４のうち、光射出部４３２のみを点灯させる。これによって光射出部４３２から照明方向Ｄ１の負方向Ｄ１(-)に照明光Ｌｒが照射される。ステップＳ１０４では、画像取得部９３４は、固体撮像素子３５を制御して、負方向Ｄ１(-)からの照明光Ｌｒが照射された観察視野Ｖ内のワーク１１の表面を固体撮像素子３５に撮像させることで撮像画像Ｉｍを取得し、当該撮像画像Ｉｍを輝度画像Ｉｉ１(-)として記憶部９５に保存する。
【0031】
ステップＳ１０５では、照明制御部９３３は、リング照明４３を制御することで、リング照明４３の光射出部４３１～４３４のうち、光射出部４３３のみを点灯させる。これによって光射出部４３３から照明方向Ｄ２の正方向Ｄ２(+)に照明光Ｌｒが照射される。ステップＳ１０６では、画像取得部９３４は、固体撮像素子３５を制御して、正方向Ｄ２(+)からの照明光Ｌｒが照射された観察視野Ｖ内のワーク１１の表面を固体撮像素子３５に撮像させることで撮像画像Ｉｍを取得し、当該撮像画像Ｉｍを輝度画像Ｉｉ２(+)として記憶部９５に保存する。
【0032】
ステップＳ１０７では、照明制御部９３３は、リング照明４３を制御することで、リング照明４３の光射出部４３１～４３４のうち、光射出部４３４のみを点灯させる。これによって光射出部４３４から照明方向Ｄ２の負方向Ｄ２(-)に照明光Ｌｒが照射される。ステップＳ１０８では、画像取得部９３４は、固体撮像素子３５を制御して、負方向Ｄ２(-)からの照明光Ｌｒが照射された観察視野Ｖ内のワーク１１の表面を固体撮像素子３５に撮像させることで撮像画像Ｉｍを取得し、当該撮像画像Ｉｍを輝度画像Ｉｉ２(-)として記憶部９５に保存する。
【0033】
このように互いに異なる方向から照明光Ｌｒが照射されたワーク１１の表面を撮像した４枚の輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)を用いて画像処理部９３５は、ユーザーの観察のための観察画像Ｉｏを生成する。この点について次に説明する。
【0034】
図５は画像処理部によって実行される観察画像生成の一例を示すフローチャートであり、図６Ａおよび図６Ｂは図５の観察画像生成によって観察画像を生成する対象となるワークの表面を部分的に示す模式図であり、図７は図５の観察画像生成において画像処理部が実行する画像処理を模式的に示す図である。図５の観察画像生成は観察画像生成プログラム１９によって規定されており、画像処理部９３５は観察画像生成プログラム１９に従って図５の観察画像生成を実行する。
【0035】
観察画像生成の対象となるワーク１１の表面には、図６Ａの斜視図および図６Ｂの平面図に示すような凸部１２が存在するものとする。図６Ａおよび図６Ｂでは、凸部１２は四角錐台形状で示されている。図５の観察画像生成に先立って、図４の輝度画像取得が凸部１２に対して実行されており、凸部１２を撮像した４枚の輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)が記憶部９５に保存されている（図７の「輝度画像Ｉｉ」の欄）。この凸部１２は４個の斜面１２１、１２２、１２３、１２４と、上面１２５とを有する。
【0036】
図７に示すように、照明方向Ｄ１の正方向Ｄ１(+)から凸部１２に照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(+)においては、照明方向Ｄ１の正方向Ｄ１(+)を向く斜面１２１は明るく写り、照明方向Ｄ１の負方向Ｄ１(-)を向く斜面１２２は斜面１２１よりも暗く写る。照明方向Ｄ２を向く斜面１２３、１２４は、斜面１２１と斜面１２２との間の明るさで映る。また、上面１２５は、斜面１２１と斜面１２３、１２４との間の明るさで映る。
【0037】
また、照明方向Ｄ１の負方向Ｄ１(-)から凸部１２に照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(-)においては、照明方向Ｄ１の負方向Ｄ１(-)を向く斜面１２２は明るく写り、照明方向Ｄ１の正方向Ｄ１(+)を向く斜面１２１は斜面１２２よりも暗く写る。照明方向Ｄ２を向く斜面１２３、１２４は、斜面１２２と斜面１２１との間の明るさで映る。また、上面１２５は、斜面１２２と斜面１２３、１２４との間の明るさで映る。
【0038】
また、照明方向Ｄ２の正方向Ｄ２(+)から凸部１２に照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(+)においては、照明方向Ｄ２の正方向Ｄ２(+)を向く斜面１２３は明るく写り、照明方向Ｄ２の負方向Ｄ２(-)を向く斜面１２４は斜面１２３よりも暗く写る。照明方向Ｄ１を向く斜面１２１、１２２は、斜面１２３と斜面１２４との間の明るさで映る。また、上面１２５は、斜面１２３と斜面１２１、１２２との間の明るさで映る。
【0039】
また、照明方向Ｄ２の負方向Ｄ２(-)から凸部１２に照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(-)においては、照明方向Ｄ２の負方向Ｄ２(-)を向く斜面１２４は明るく写り、照明方向Ｄ２の正方向Ｄ２(+)を向く斜面１２３は斜面１２４よりも暗く写る。照明方向Ｄ１を向く斜面１２１、１２２は、斜面１２４と斜面１２３との間の明るさで映る。また、上面１２５は、斜面１２４と斜面１２１、１２２との間の明るさで映る。
【0040】
観察画像生成（図５）のステップＳ２０１では、画像処理部９３５は、照明方向Ｄ１の正方向Ｄ１(+)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(+)と、照明方向Ｄ１の負方向Ｄ１(-)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(-)とを画像処理部９３５から読み出す。
【0041】
ステップＳ２０２では、画像処理部９３５は、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)とに基づき方向性凹凸強調画像Ｉｅ１(+)を生成して、記憶部９５に保存する。この方向性凹凸強調画像Ｉｅ１(+)は、次式
Ｉｅ１(+)＝（Ｉｉ１(+)－Ｉｉ１(-)）／（Ｉｉ１(+)＋Ｉｉ１(-)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ１(+)は、輝度画像Ｉｉ１(+)から輝度画像Ｉｉ１(-)を減算した差を、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)との和で正規化することで得られる。
Ｉｅ１(+)＝（Ｉｉ１(+)－Ｉｉ１(-)）／（Ｉｉ１(+)＋Ｉｉ１(-)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ１(+)は、輝度画像Ｉｉ１(+)から輝度画像Ｉｉ１(-)を減算した差を、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)との和で正規化することで得られる。
【0042】
斜面１２１は正方向Ｄ１(+)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ１(+)における斜面１２１は明るい。一方、斜面１２１は負方向Ｄ１(-)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ１(-)における斜面１２１は暗い。また、斜面１２２は正方向Ｄ１(+)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ１(+)における斜面１２２は暗い。一方、斜面１２２は負方向Ｄ１(-)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ１(-)における斜面１２２は明るい。したがって、輝度画像Ｉｉ１(+)から輝度画像Ｉｉ１(-)を減算した差によって与えられる方向性凹凸強調画像Ｉｅ１(+)においては、明るい斜面１２１と暗い斜面１２２とのコントラストが強調される。換言すれば、方向性凹凸強調画像Ｉｅ１(+)では、正方向Ｄ１(+)においてコントラストを強調することで、凹凸が強調されている。また、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)との和で正規化することで、ワーク１１の表面の色の違いによるコントラストへの影響が抑えられている。
【0043】
なお、輝度画像Ｉｉ１(+)における斜面１２３の明るさと、輝度画像Ｉｉ１(-)における斜面１２３の明るさとは同程度である。また、輝度画像Ｉｉ１(+)における斜面１２４の明るさと、輝度画像Ｉｉ１(-)における斜面１２４の明るさとは同程度である。したがって、方向性凹凸強調画像Ｉｅ１(+)では、斜面１２３、１２４についてはコントラストの強調は行われない。上面１２５についても同様である。
【0044】
ステップＳ２０３では、画像処理部９３５は、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)とに基づき方向性凹凸強調画像Ｉｅ１(-)を生成して、記憶部９５に保存する。この方向性凹凸強調画像Ｉｅ１(-)は、次式
Ｉｅ１(-)＝（Ｉｉ１(-)－Ｉｉ１(+)）／（Ｉｉ１(-)＋Ｉｉ１(+)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ１(-)は、輝度画像Ｉｉ１(-)から輝度画像Ｉｉ１(+)を減算した差を、輝度画像Ｉｉ１(-)と輝度画像Ｉｉ１(+)との和で正規化することで得られる。
Ｉｅ１(-)＝（Ｉｉ１(-)－Ｉｉ１(+)）／（Ｉｉ１(-)＋Ｉｉ１(+)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ１(-)は、輝度画像Ｉｉ１(-)から輝度画像Ｉｉ１(+)を減算した差を、輝度画像Ｉｉ１(-)と輝度画像Ｉｉ１(+)との和で正規化することで得られる。
【0045】
斜面１２２は負方向Ｄ１(-)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ１(-)における斜面１２２は明るい。一方、斜面１２２は正方向Ｄ１(+)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ１(+)における斜面１２２は暗い。また、斜面１２１は負方向Ｄ１(-)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ１(-)における斜面１２１は暗い。一方、斜面１２１は正方向Ｄ１(+)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ１(+)における斜面１２１は明るい。したがって、輝度画像Ｉｉ１(-)から輝度画像Ｉｉ１(+)を減算した差によって与えられる方向性凹凸強調画像Ｉｅ１(-)においては、明るい斜面１２２と暗い斜面１２１とのコントラストが強調される。換言すれば、方向性凹凸強調画像Ｉｅ１(-)では、正方向Ｄ１(-)においてコントラストを強調することで、凹凸が強調されている。また、輝度画像Ｉｉ１(-)と輝度画像Ｉｉ１(+)との和で正規化することで、ワーク１１の表面の色の違いによるコントラストへの影響が抑えられている。
【0046】
なお、輝度画像Ｉｉ１(-)における斜面１２３の明るさと、輝度画像Ｉｉ１(+)における斜面１２３の明るさとは同程度である。また、輝度画像Ｉｉ１(-)における斜面１２４の明るさと、輝度画像Ｉｉ１(+)における斜面１２４の明るさとは同程度である。したがって、方向性凹凸強調画像Ｉｅ１(-)では、斜面１２３、１２４についてはコントラストの強調は行われない。上面１２５についても同様である。
【0047】
ステップＳ２０４では、画像処理部９３５は、照明方向Ｄ２の正方向Ｄ２(+)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(+)と、照明方向Ｄ２の負方向Ｄ２(-)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(-)とを画像処理部９３５から読み出す。
【0048】
ステップＳ２０５では、画像処理部９３５は、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)とに基づき方向性凹凸強調画像Ｉｅ２(+)を生成して、記憶部９５に保存する。この方向性凹凸強調画像Ｉｅ２(+)は、次式
Ｉｅ２(+)＝（Ｉｉ２(+)－Ｉｉ２(-)）／（Ｉｉ２(+)＋Ｉｉ２(-)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ２(+)は、輝度画像Ｉｉ２(+)から輝度画像Ｉｉ２(-)を減算した差を、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)との和で正規化することで得られる。
Ｉｅ２(+)＝（Ｉｉ２(+)－Ｉｉ２(-)）／（Ｉｉ２(+)＋Ｉｉ２(-)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ２(+)は、輝度画像Ｉｉ２(+)から輝度画像Ｉｉ２(-)を減算した差を、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)との和で正規化することで得られる。
【0049】
斜面１２３は正方向Ｄ２(+)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ２(+)における斜面１２３は明るい。一方、斜面１２３は負方向Ｄ３(-)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ２(-)における斜面１２３は暗い。また、斜面１２４は正方向Ｄ２(+)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ２(+)における斜面１２４は暗い。一方、斜面１２４は負方向Ｄ２(-)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ２(-)における斜面１２４は明るい。したがって、輝度画像Ｉｉ２(+)から輝度画像Ｉｉ２(-)を減算した差によって与えられる方向性凹凸強調画像Ｉｅ２(+)においては、明るい斜面１２３と暗い斜面１２４とのコントラストが強調される。換言すれば、方向性凹凸強調画像Ｉｅ２(+)では、正方向Ｄ２(+)においてコントラストを強調することで、凹凸が強調されている。また、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)との和で正規化することで、ワーク１１の表面の色の違いによるコントラストへの影響が抑えられている。
【0050】
なお、輝度画像Ｉｉ２(+)における斜面１２１の明るさと、輝度画像Ｉｉ２(-)における斜面１２１の明るさとは同程度である。また、輝度画像Ｉｉ２(+)における斜面１２２の明るさと、輝度画像Ｉｉ２(-)における斜面１２２の明るさとは同程度である。したがって、方向性凹凸強調画像Ｉｅ２(+)では、斜面１２１、１２２についてはコントラストの強調は行われない。上面１２５についても同様である。
【0051】
ステップＳ２０６では、画像処理部９３５は、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)とに基づき方向性凹凸強調画像Ｉｅ２(-)を生成して、記憶部９５に保存する。この方向性凹凸強調画像Ｉｅ２(-)は、次式
Ｉｅ２(-)＝（Ｉｉ２(-)－Ｉｉ２(+)）／（Ｉｉ２(-)＋Ｉｉ２(+)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ２(-)は、輝度画像Ｉｉ２(-)から輝度画像Ｉｉ２(+)を減算した差を、輝度画像Ｉｉ２(-)と輝度画像Ｉｉ２(+)との和で正規化することで得られる。
Ｉｅ２(-)＝（Ｉｉ２(-)－Ｉｉ２(+)）／（Ｉｉ２(-)＋Ｉｉ２(+)）
により算出される。つまり、方向性凹凸強調画像Ｉｅ２(-)は、輝度画像Ｉｉ２(-)から輝度画像Ｉｉ２(+)を減算した差を、輝度画像Ｉｉ２(-)と輝度画像Ｉｉ２(+)との和で正規化することで得られる。
【0052】
斜面１２４は負方向Ｄ２(-)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ２(-)における斜面１２４は明るい。一方、斜面１２４は正方向Ｄ２(+)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ２(+)における斜面１２４は暗い。また、斜面１２３は負方向Ｄ２(-)からの照明光Ｌｆの影になるため、輝度画像Ｉｉ２(-)における斜面１２３は暗い。一方、斜面１２３は正方向Ｄ２(+)からの照明光Ｌｆを受けるため、輝度画像Ｉｉ２(+)における斜面１２３は明るい。したがって、輝度画像Ｉｉ２(-)から輝度画像Ｉｉ２(+)を減算した差によって与えられる方向性凹凸強調画像Ｉｅ２(-)においては、明るい斜面１２４と暗い斜面１２３とのコントラストが強調される。換言すれば、方向性凹凸強調画像Ｉｅ２(-)では、正方向Ｄ１(-)においてコントラストを強調することで、凹凸が強調されている。また、輝度画像Ｉｉ２(-)と輝度画像Ｉｉ２(+)との和で正規化することで、ワーク１１の表面の色の違いによるコントラストへの影響が抑えられている。
【0053】
なお、輝度画像Ｉｉ２(-)における斜面１２１の明るさと、輝度画像Ｉｉ２(+)における斜面１２１の明るさとは同程度である。また、輝度画像Ｉｉ２(-)における斜面１２２の明るさと、輝度画像Ｉｉ２(+)における斜面１２２の明るさとは同程度である。したがって、方向性凹凸強調画像Ｉｅ２(-)では、斜面１２１、１２２についてはコントラストの強調は行われない。上面１２５についても同様である。
【0054】
ステップＳ２０７では、画像処理部９３５は、方向性凹凸強調画像Ｉｅ１(+)と方向性凹凸強調画像Ｉｅ１(-)とに基づき差分絶対値画像Ｉｄ１を生成して、記憶部９５に保存する。この差分絶対値画像Ｉｄ１は、次式
Ｉｄ１＝｜Ｉｅ１(+)－Ｉｅ１(-)｜
により算出される。つまり、正方向Ｄ１(+)について凹凸が強調された方向性凹凸強調画像Ｉｅ１(+)と、負方向Ｄ１(-)について凹凸が強調された方向性凹凸強調画像Ｉｅ１(-)との差の絶対値で与えられる差分絶対値画像Ｉｄ１が算出される。これによって、照明方向Ｄ１について凹凸が強調された差分絶対値画像Ｉｄ１が得られる。
Ｉｄ１＝｜Ｉｅ１(+)－Ｉｅ１(-)｜
により算出される。つまり、正方向Ｄ１(+)について凹凸が強調された方向性凹凸強調画像Ｉｅ１(+)と、負方向Ｄ１(-)について凹凸が強調された方向性凹凸強調画像Ｉｅ１(-)との差の絶対値で与えられる差分絶対値画像Ｉｄ１が算出される。これによって、照明方向Ｄ１について凹凸が強調された差分絶対値画像Ｉｄ１が得られる。
【0055】
ステップＳ２０８では、画像処理部９３５は、方向性凹凸強調画像Ｉｅ２(+)と方向性凹凸強調画像Ｉｅ２(-)とに基づき差分絶対値画像Ｉｄ２を生成して、記憶部９５に保存する。この差分絶対値画像Ｉｄ２は、次式
Ｉｄ２＝｜Ｉｅ２(+)－Ｉｅ２(-)｜
により算出される。つまり、正方向Ｄ２(+)について凹凸が強調された方向性凹凸強調画像Ｉｅ２(+)と、負方向Ｄ２(-)について凹凸が強調された方向性凹凸強調画像Ｉｅ２(-)との差の絶対値で与えられる差分絶対値画像Ｉｄ２が算出される。これによって、照明方向Ｄ２について凹凸が強調された差分絶対値画像Ｉｄ２が得られる。
Ｉｄ２＝｜Ｉｅ２(+)－Ｉｅ２(-)｜
により算出される。つまり、正方向Ｄ２(+)について凹凸が強調された方向性凹凸強調画像Ｉｅ２(+)と、負方向Ｄ２(-)について凹凸が強調された方向性凹凸強調画像Ｉｅ２(-)との差の絶対値で与えられる差分絶対値画像Ｉｄ２が算出される。これによって、照明方向Ｄ２について凹凸が強調された差分絶対値画像Ｉｄ２が得られる。
【0056】
ステップＳ２０９では、画像処理部９３５は、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とに基づき観察画像Ｉｏを生成して、記憶部９５に保存する。この観察画像Ｉｏは、次式
Ｉｏ＝（Ｉｄ１２＋Ｉｄ２２）１／２
で与えられる、つまり、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２との二乗和平方向で与えられる観察画像Ｉｏが算出される。このように差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とを合成することで、照明方向Ｄ１および照明方向Ｄ２の両方において凹凸が強調された観察画像Ｉｏが得られる。
Ｉｏ＝（Ｉｄ１２＋Ｉｄ２２）１／２
で与えられる、つまり、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２との二乗和平方向で与えられる観察画像Ｉｏが算出される。このように差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とを合成することで、照明方向Ｄ１および照明方向Ｄ２の両方において凹凸が強調された観察画像Ｉｏが得られる。
【0057】
図８はディスプレイに表示される操作画面の一例を模式的に示す図である。図８の操作画面５は表示制御部９４１によってディスプレイ９７に表示される。これに対して、ユーザーは、ディスプレイ９７に表示された操作画面５に対して、操作部９９によって操作することができる。操作受付部９４２は、操作部９９に対する操作に応じた指令を操作部９９から受信して、演算部９３は操作受付部９４２が受信した指令に応じて、以下に説明する処理を実行する。
【0058】
操作画面５は、図５の観察画像生成を実行するためのオプトセムボタン５１１を有する。オプトセムボタン５１１をクリックする操作を示す指令を操作受付部９４２が操作部９９から受信すると、画像処理部９３５は図５の観察画像生成（ステップＳ２０１～Ｓ２０９）を実行する。これによって、方向性凹凸強調画像Ｉｅ１(+)、方向性凹凸強調画像Ｉｅ１(-)、方向性凹凸強調画像Ｉｅ２(+)、方向性凹凸強調画像Ｉｅ２(-)、差分絶対値画像Ｉｄ１、差分絶対値画像Ｉｄ２および観察画像Ｉｏが生成されて、記憶部９５に保存される。
【0059】
操作画面５は、ＨＤＲ(High Dynamic Range)機能の実行の有無を示すチェックボックス５１２を有する。ＨＤＲ機能は、図４の輝度画像取得において輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)を高階調で取得する機能である。操作受付部９４２がチェックボックス５１２を選択する指令を受信した場合には、画像取得部９３４は、高階調（１６ビット）で輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)を取得する（ＨＤＲ機能）。一方、操作受付部９４２がチェックボックス５１２を選択しない指令を受信した場合には、画像取得部９３４は、当該高階調より低い低階調（８ビット）で輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)を取得する。ＨＤＲ機能は、固体撮像素子３５の露光時間（シャッタースピード）を変更しつつ明るさの異なる複数の画像データを撮像して高階調の輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)を取得することで実現できる。
【0060】
操作画面５は、図４の輝度画像取得に使用する照明を、落射照明４１（同軸照明）とリング照明４３との間で選択するためのプルダウンメニュー５１３を有する。プルダウンメニュー５１３によりリング照明４３を選択する指令を操作受付部９４２が受信した場合には、照明制御部９３３は、上述したようにリング照明４３によってワーク１１に照明光Ｌｆを照射する。一方、プルダウンメニュー５１３により落射照明４１を選択する指令を操作受付部９４２が受信した場合には、照明制御部９３３は、落射照明４１によってワーク１１に照明光Ｌｆを照射する。なお、リング照明４３と同様に、落射照明４１は複数（４個）の光射出部（領域）を有しており、複数の光射出部の間で照明光Ｌｆを射出する一の光射出部を変更することで、ワーク１１に対して照明光Ｌｆを照射する方向を、正方向Ｄ１(+)、負方向Ｄ１(-)、正方向Ｄ２(+)および負方向Ｄ２(-)の間で切り替えることができる。つまり、Ｄ１(+)からの照明光Ｌｆの照射（ステップＳ１０１）、負方向Ｄ１(-)からの照明光Ｌｆの照射（ステップＳ１０３）、正方向Ｄ２(+)からの照明光Ｌｆの照射（ステップＳ１０５）および負方向Ｄ２(-)からの照明光Ｌｆの照射（ステップＳ１０７）が落射照明４１によって実行される。
【0061】
操作画面５は、観察画像選択ボタン５２を有する。観察画像選択ボタン５２を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性の無い観察画像Ｉｏをディスプレイ９７に表示する。方向性の無い観察画像Ｉｏをディスプレイ９７に表示中に、観察画像選択ボタン５２を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、観察画像Ｉｏの色を反転させるネガポジ反転処理が実行された観察画像Ｉｏをディスプレイ９７に表示するようにしてもよい。また、ネガポジ反転処理が実行された観察画像Ｉｏをディスプレイ９７に表示中に、観察画像選択ボタン５２を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、図５の観察画像生成で生成された観察画像Ｉｏをそのままディスプレイ９７に表示するようにしてもよい。この場合、観察画像選択ボタン５２は、観察画像Ｉｏの色を反転させるネガポジ反転処理の実行の有無（ＯＮ／ＯＦＦ）を選択するためのトグルボタンとしても機能する。観察画像選択ボタン５２によりネガポジ反転処理を選択しない指令（ＯＦＦ）を操作受付部９４２が受信した場合には、表示制御部９４１は、図５の観察画像生成で生成された観察画像Ｉｏをそのままディスプレイ９７に表示する。一方、観察画像選択ボタン５２によりネガポジ反転処理を選択する指令（ＯＮ）を操作受付部９４２が受信した場合には、表示制御部９４１は、図５の観察画像生成で生成された観察画像Ｉｏに対してネガポジ反転処理を行って、色が反転された観察画像Ｉｏをディスプレイ９７に表示する。
【0062】
操作画面５は、ディスプレイ９７に表示する方向性凹凸強調画像を選択する画像方向選択部５３を有する。この画像方向選択部５３は、観察画像選択ボタン５２を四方から囲むように配列された複数（４個）の画像方向選択ボタン５３１(+)、５３１(-)、５３２(+)、５３２(-)を有する。
【0063】
画像方向選択ボタン５３１(+)と画像方向選択ボタン５３１(-)とは、照明方向Ｄ１に対応する方向に配列されており、画像方向選択ボタン５３１(+)は画像方向選択ボタン５３１(-)の正方向Ｄ１(+)に対応する側に配置され、画像方向選択ボタン５３１(-)は画像方向選択ボタン５３１(+)の負方向Ｄ１(-)に対応する側に配置されている。画像方向選択ボタン５３１(+)には、正方向Ｄ１(+)からの照明光Ｌｆの照射を示す図柄が付され、画像方向選択ボタン５３１(-)には、負方向Ｄ１(-)からの照明光Ｌｆの照射を示す図柄が付されている。
【0064】
画像方向選択ボタン５３２(+)と画像方向選択ボタン５３２(-)とは、照明方向Ｄ２に対応する方向に配列されており、画像方向選択ボタン５３２(+)は画像方向選択ボタン５３２(-)の正方向Ｄ２(+)に対応する側に配置され、画像方向選択ボタン５３２(-)は画像方向選択ボタン５３１(+)の負方向Ｄ２(-)に対応する側に配置されている。画像方向選択ボタン５３２(+)には、正方向Ｄ２(+)からの照明光Ｌｆの照射を示す図柄が付され、画像方向選択ボタン５３２(-)には、負方向Ｄ２(-)からの照明光Ｌｆの照射を示す図柄が付されている。
【0065】
画像方向選択ボタン５３１(+)を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(+)をディスプレイ９７に表示する。画像方向選択ボタン５３１(-)を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(-)をディスプレイ９７に表示する。画像方向選択ボタン５３２(+)を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ２(+)をディスプレイ９７に表示する。画像方向選択ボタン５３２(-)を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ２(-)をディスプレイ９７に表示する。
【0066】
なお、表示制御部９４１は、正方向Ｄ１(+)、負方向Ｄ１(-)、正方向Ｄ２(+)および負方向Ｄ２(-)のそれぞれについてホワイトバランスを有する。したがって、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(+)、Ｉｅ１(-)、Ｉｅ２(+)あるいはＩｅ２(-)をそれぞれに対応するホワイトバランスで調整してからディスプレイ９７に表示する。
【0067】
操作画面５は、凹凸強調の程度を制御するスライダー５４を有する。スライダー５４が示す凹凸強調の程度（図８の例では「５０」）を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(+)、方向性凹凸強調画像Ｉｅ１(-)、方向性凹凸強調画像Ｉｅ２(+)、方向性凹凸強調画像Ｉｅ２(-)あるいは観察画像Ｉｏといった画像をディスプレイ９７に表示する際のガンマ補正のトーンカーブを変更する。
【0068】
操作画面５は、ディスプレイ９７に表示する画像の種類を選択する画像種類選択部５５を有する。この画像種類選択部５５は、画像の種類として標準（モノクロ）を選択するラジオボタン５５１と、カラーを選択するラジオボタン５５２と、凹凸カラーマップを選択するラジオボタン５５３とを有する。標準のラジオボタン５５１を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(+)、Ｉｅ１(-)、Ｉｅ２(+)、Ｉｅ２(-)、方向性の無い観察画像Ｉｏおよびこの観察画像Ｉｏをネガポジ反転した観察画像Ｉｏうち、上述の画像方向選択ボタン５３１(+)、５３１(-)、５３２(+)、５３２(-)、観察画像選択ボタン５２によって選択されている一つをディスプレイ９７に表示する。カラーのラジオボタン５５２を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、ワーク１１のカラー画像をディスプレイ９７に表示する。このカラー画像は、正方向Ｄ１(+)、負方向Ｄ１(-)、正方向Ｄ２(+)および負方向Ｄ２(-)の全方向から照明光Ｌｆをワーク１１に照射しつつ固体撮像素子３５によってワーク１１を撮像することで取得された画像であって、記憶部９５に保存されている。凹凸カラーマップのラジオボタン５５３を選択する指令を操作受付部９４２が受信した場合には、表示制御部９４１は、フォトメトリックステレオによるワーク１１の画像（凹凸カラーマップ）をディスプレイ９７に表示する。
【0069】
操作画面５は、カラー画像あるいは凹凸カラーマップと方向性凹凸強調画像Ｉｅとを重ねて表示する際の透過率を示すスライダー５６を有する。カラーのラジオボタン５５２を選択する指令と、０％より大きい透過率をスライダー５６により選択する指令とを操作受付部９４２が受信した場合には、表示制御部９４１は、当該指令が示す透過率でカラー画像に対して方向性凹凸強調画像Ｉｅまたは観察画像Ｉｏを透かした画像をディスプレイ９７に表示する。この際、表示制御部９４１は、方向性凹凸強調画像Ｉｅ１(+)、Ｉｅ１(-)、Ｉｅ２(+)、Ｉｅ２(-)、方向性の無い観察画像Ｉｏおよびこの観察画像Ｉｏをネガポジ反転した観察画像Ｉｏのうち、上述の画像方向選択ボタン５３１(+)、５３１(-)、５３２(+)、５３２(-)、観察画像選択ボタン５２によって選択されている一つを、カラー画像に対して透かして表示する。また、凹凸カラーマップのラジオボタン５５３を選択する指令と、０％より大きい透過率をスライダー５６により選択する指令とを操作受付部９４２が受信した場合には、表示制御部９４１は、同様にして、凹凸カラーマップに対して方向性凹凸強調画像Ｉｅを透かした画像をディスプレイ９７に表示する。
【0070】
操作画面５は、深度合成＆３Ｄボタン５７１およびカラー比較表示ボタン５７２を有する。深度合成＆３Ｄボタン５７１を選択する操作を操作受付部９４２が受信した場合には、演算部９３は後述の深度合成＆３Ｄ（図９）を実行する。また、カラー比較表示ボタン５７２を選択する操作を操作受付部９４２が受信した場合には、表示制御部９４１は、カラー画像および凹凸カラーマップを並べてディスプレイ９７に表示する。
【0071】
図９は深度合成＆３Ｄで実行される動作の一例を示すフローチャートである。ステップＳ３０１では、照明制御部９３３は、リング照明４３あるいは落射照明４１を制御することで、照明方向Ｄ１の正方向Ｄ１(+)（所定方向）からワーク１１に照明光Ｌｆを照射する。そして、ヘッド駆動制御部９３２は、Ｚ軸ヘッド駆動部２４ｚを制御することで、観察ヘッド３をホーム高さに位置決めしてから（ステップＳ３０２）、観察ヘッド３のＺ方向への移動を開始する（ステップＳ３０３）。Ｚ方向への移動は、上昇あるいは下降のいずれでもよい。こうして観察ヘッド３がＺ方向に移動する間に、画像取得部９３４は、固体撮像素子３５を制御することで、所定間隔で複数回の撮像を固体撮像素子３５に実行させる（ステップＳ３０４）。
【0072】
ステップＳ３０５では、演算部９３は、４方向Ｄ１(+)、Ｄ１(-)、Ｄ２(+)、Ｄ２(-)の全てについてステップＳ３０２～Ｓ３０４を完了したかを判定する。いずれかの方向について完了していない場合（ステップＳ３０５で「ＮＯ」の場合）には、照明光Ｌｆを照射する方向を変更して、ステップＳ３０２～Ｓ３０４が実行される。
【0073】
これによって、正方向Ｄ１(+)から照明光Ｌｆを照射しつつ互いに異なる高さから撮像した複数の撮像画像Ｉｍ（撮像画像Ｉｍ１(+)）と、負方向Ｄ１(-)から照明光Ｌｆを照射しつつ互いに異なる高さから撮像した複数の撮像画像Ｉｍ（撮像画像Ｉｍ１(-)）と、正方向Ｄ２(+)から照明光Ｌｆを照射しつつ互いに異なる高さから撮像した複数の撮像画像Ｉｍ（撮像画像Ｉｍ２(+)）と、負方向Ｄ２(-)から照明光Ｌｆを照射しつつ互いに異なる高さから撮像した複数の撮像画像Ｉｍ（撮像画像Ｉｍ２(-)）とが取得される。
【0074】
４方向の全てについてステップＳ３０２～Ｓ３０４が完了すると（ステップＳ３０５で「ＹＥＳ」）、照明制御部９３３は、リング照明４３あるいは落射照明４１を制御することで、４方向Ｄ１(+)、Ｄ１(-)、Ｄ２(+)、Ｄ２(-)の全てからワーク１１に照明光Ｌｆを照射する（ステップＳ３０７）。そして、ヘッド駆動制御部９３２は、Ｚ軸ヘッド駆動部２４ｚを制御することで、観察ヘッド３をホーム高さに位置決めしてから（ステップＳ３０８）、観察ヘッド３のＺ方向への移動を開始する（ステップＳ３０９）。こうして観察ヘッド３がＺ方向に移動する間に、画像取得部９３４は、固体撮像素子３５を制御することで、所定間隔で複数回の撮像を固体撮像素子３５に実行させる（ステップＳ３１０）。これによって、４方向Ｄ１(+)、Ｄ１(-)、Ｄ２(+)、Ｄ２(-)の全てから照明光Ｌｆを照射しつつ互いに異なる高さから撮像した複数の撮像画像Ｉｍ（撮像画像Ｉｍａ）が取得される。
【0075】
ステップＳ３１１では、画像処理部９３５は、正方向Ｄ１(+)から照明光Ｌｆを照射しつつ取得した複数の撮像画像Ｉｍ１(+)それぞれの合焦した部分を合成した部分を合成することで、１つの深度合成画像Ｉｆ１(+)を生成する（深度合成）。この深度合成では、画素が有する輝度値のコントラストあるいは最大値が、合焦を判定するための参照値として算出される。コントラストは、対象画素および当該対象画素の周辺画素のそれぞれの輝度値のうち、最大の輝度値と最小の輝度値との差で与えられる。最大値は、対象画素および当該対象画素の周辺画素のそれぞれの輝度値のうち、最大の輝度値で与えられる。複数の撮像画像Ｉｍ１(+)それぞれの対象画素のうち、参照値が最大となる一の撮像画像Ｉｍ１(+)の対象画素の輝度値が、深度合成画像Ｉｆ１(+)の対象画素の輝度値として決定される。全画素の間で対象画素を変更しつつ、対象画素に対するかかる演算を実行することで、撮像画像Ｉｍ１(+)が生成される。
【0076】
ステップＳ３１２～Ｓ３１４では、画像処理部９３５は、負方向Ｄ１(-)、正方向Ｄ２(+)および負方向Ｄ２(-)それぞれに対して同様の演算を行って、深度合成画像Ｉｆ１(-)、深度合成画像Ｉｆ２(+)および深度合成画像Ｉｆ２(-)を生成する。ステップＳ３１５では、画像処理部９３５は、深度合成画像Ｉｆ１(+)を輝度画像Ｉｉ１(+)とし、深度合成画像Ｉｆ１(-)を輝度画像Ｉｉ１(-)とし、深度合成画像Ｉｆ２(+)を輝度画像Ｉｉ２(+)とし、深度合成画像Ｉｆ２(-)を輝度画像Ｉｉ２(-)として、観察画像生成（図５）を実行して、深度合成画像による観察画像Ｉｏを生成する。なお、ステップＳ３１２～３１５の実行順序はこれに限られず、たとえば、画像処理部９３５は、Ｚ方向の各位置にそれぞれ対応する観察画像Ｉｏを生成し、生成した各観察画像Ｉｏについて、それぞれの合焦した部分を合成した部分を合成する深度合成をすることで、１つの深度合成された観察画像Ｉｏを生成するようにしてもよい。
【0077】
ステップＳ３１５では、画像処理部９３５は、４方向Ｄ１(+)、Ｄ１(-)、Ｄ２(+)、Ｄ２(-)の全てからワーク１１に照明光Ｌｆを照射しつつ取得した複数の撮像画像Ｉｍａから、ワーク１１の深度合成画像および三次元形状を示す三次元画像Ｉｔｄ算出する（３Ｄ合成）。具体的には、複数の撮像画像Ｉｍａのうち、合焦した対象画素を含む一の撮像画像Ｉｍａを撮像した際の観察ヘッド３の高さから対象画素の高さを求める演算を、全画素の間で対象画素を変更しつつ実行することで、三次元画像Ｉｔｄが算出される。ステップＳ３１５では、画像処理部９３５は、方向性凹凸強調画像や観察画像Ｉｏについて、ＸＹ方向の異なる位置で撮像した画像を連結する画像連結、ステップＳ３１５の深度合成、および３Ｄ合成を任意に組み合わせて実行してもよい。たとえば、画像処理部９３５は、方向性凹凸強調画像や観察画像Ｉｏについて、連結画像、連結＋深度合成画像、または、連結＋３Ｄ合成画像を生成するようにしてもよい。
【0078】
以上に説明する実施形態では、照明方向Ｄ１（第１照明方向）の正方向Ｄ１(+)から照明光Ｌｆを照射しつつワーク１１（観察対象物）を撮像した輝度画像Ｉｉ１(+)（第１輝度画像）と、照明方向Ｄ１の負方向Ｄ１(-)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ１(-)（第２輝度画像）とが取得される。また、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)とに基づいて、照明方向Ｄ１の正方向Ｄ１(+)についてワーク１１の表面の凹凸が強調された方向性凹凸強調画像Ｉｅ１(+)（第１合成画像）と、照明方向Ｄ１の負方向Ｄ１(-)についてワーク１１の表面の凹凸が強調された方向性凹凸強調画像Ｉｅ１(-)（第２合成画像）とが生成される。そして、方向性凹凸強調画像Ｉｅ１(+)と方向性凹凸強調画像Ｉｅ１(-)との差の絶対値に基づいて、照明方向Ｄ１についてワーク１１の表面の凹凸が強調された差分絶対値画像Ｉｄ１（第１凹凸強調画像）が生成される。さらに、照明方向Ｄ２（第２照明方向）の正方向Ｄ２(+)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ２(+)（第３輝度画像）と、照明方向Ｄ２の負方向Ｄ２(-)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ２(-)（第４輝度画像）とが取得される。また、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)とに基づいて、照明方向Ｄ２の正方向Ｄ２(+)についてワーク１１の表面の凹凸が強調された方向性凹凸強調画像Ｉｅ２(+)（第３合成画像）と、照明方向Ｄ２の負方向Ｄ２(-)についてワーク１１の表面の凹凸が強調された方向性凹凸強調画像Ｉｅ２(-)（第４合成画像）とが生成される。そして、方向性凹凸強調画像Ｉｅ２(+)と方向性凹凸強調画像Ｉｅ２(-)との差の絶対値に基づいて、照明方向Ｄ２についてワーク１１の表面の凹凸が強調された差分絶対値画像Ｉｄ２（第２凹凸強調画像）が生成される。こうして、照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された２つの画像（差分絶対値画像Ｉｄ１、Ｉｄ２）が取得される。そして、ワーク１１の画像である観察画像Ｉｏを生成するために、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。これによって、照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された観察画像Ｉｏを取得することができる。その結果、ワーク１１の表面の凹凸の向きに依らずに凹凸を強調した観察画像Ｉｏを取得することが可能となっている。
【0079】
また、ユーザーに対して画像を表示するディスプレイ９７（画像表示部）と、ユーザーの操作を受け付ける操作部９９（ユーザー操作部）とが具備されている。そして、画像処理部９３５（表示画像生成部）は、方向性凹凸強調画像Ｉｅ１(+)、方向性凹凸強調画像Ｉｅ１(-)、方向性凹凸強調画像Ｉｅ２(+)、方向性凹凸強調画像Ｉｅ２(-)、方向性の無い観察画像Ｉｏおよびこの観察画像Ｉｏをネガポジ反転した観察画像Ｉｏののうち、操作部９９が受け付けたユーザーの操作に応じた画像をディスプレイ９７に表示する。かかる構成では、ユーザーは、方向性凹凸強調画像Ｉｅ１(+)、方向性凹凸強調画像Ｉｅ１(-)、方向性凹凸強調画像Ｉｅ２(+)、方向性凹凸強調画像Ｉｅ２(-)あるいは方向性の無く凹凸強調された観察画像Ｉｏを適宜参照しつつ、ワーク１１の観察を行うことができる。
【0080】
また、画像処理部９３５は、輝度画像Ｉｉ１(+)から輝度画像Ｉｉ１(-)を減算した差に基づいて方向性凹凸強調画像Ｉｅ１(+)を生成し、輝度画像Ｉｉ１(-)から輝度画像Ｉｉ１(+)を減算した差に基づいて方向性凹凸強調画像Ｉｅ１(-)を生成し、輝度画像Ｉｉ２(+)から輝度画像Ｉｉ２(-)を減算した差に基づいて方向性凹凸強調画像Ｉｅ２(+)を生成し、輝度画像Ｉｉ２(-)から輝度画像Ｉｉ２(+)を減算した差に基づいて方向性凹凸強調画像Ｉｅ２(-)を生成する。このような演算によって、正方向Ｄ１(+)、負方向Ｄ１(-)、正方向Ｄ２(+)および負方向Ｄ２(-)についてそれぞれ凹凸が強調された方向性凹凸強調画像Ｉｅ１(+)、Ｉｅ１(-)、Ｉｅ２(+)、Ｉｅ２(-)を生成することができる。
【0081】
また、画像処理部９３５は、輝度画像Ｉｉ１(+)から輝度画像Ｉｉ１(-)を減算した差を、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)とを加算した和で除することで規格化したデータに基づいて方向性凹凸強調画像Ｉｅ１(+)を生成し、輝度画像Ｉｉ１(-)から輝度画像Ｉｉ１(+)を減算した差を、輝度画像Ｉｉ１(-)と輝度画像Ｉｉ１(+)とを加算した和で除することで規格化したデータに基づいて方向性凹凸強調画像Ｉｅ１(-)を生成し、輝度画像Ｉｉ２(+)から輝度画像Ｉｉ２(-)を減算した差を、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)とを加算した和で除することで規格化したデータに基づいて方向性凹凸強調画像Ｉｅ２(+)を生成し、輝度画像Ｉｉ２(-)から輝度画像Ｉｉ２(+)を減算した差を、輝度画像Ｉｉ２(-)と輝度画像Ｉｉ２(+)とを加算した和で除することで規格化したデータに基づいて方向性凹凸強調画像Ｉｅ２(-)を生成する。このような規格化を行うことで、ワーク１１の表面の色による影響を抑えて、凹凸を的確に強調することができる。
【0082】
また、ユーザーに対して画像を表示するディスプレイ９７（画像表示部）と、ユーザーの操作を受け付ける操作部９９（ユーザー操作部）とが具備されている。そして、画像処理部９３５（表示画像生成部）は、操作部９９が受け付けたユーザーの操作に応じて、ディスプレイ９７に表示する観察画像Ｉｏの色を反転させるネガポジ反転処理を実行する。かかる構成では、ユーザーは、ワーク１１の凹凸を目視によって確認しやすい色で観察画像Ｉｏを表示させることができる。
【0083】
また、結像光学系３３（光学系）に向けて照明光Ｌｆを射出する落射照明４１（照明光源）が具備されており、落射照明４１から射出されて結像光学系３３により集光された照明光Ｌｆがワーク１１に照射される。コントローラー９１は、照明制御部９３３（制御部）により落射照明４１を制御して、落射照明４１のうち照明光Ｌｆを射出する領域を変化させることで、照明方向Ｄ１の正方向Ｄ１(+)、照明方向Ｄ１の負方向Ｄ１(-)、照明方向Ｄ２の正方向Ｄ２(+)および照明方向Ｄ２の負方向Ｄ２(-)の間で、ワーク１１に対して照明光Ｌｆを照射する方向を切り換える。かかる構成では、落射照明４１のうち照明光Ｌｆを射出する領域を変化させるといった簡単な制御によって、ワーク１１に照明光Ｌｆを照射する方向を切り換えることができる。
【0084】
以上に説明するように本実施形態では、拡大観察装置１が本発明の「拡大観察装置」の一例に相当し、ワーク１１が本発明の「観察対象物」の一例に相当し、観察画像生成プログラム１９が本発明の「観察画像生成プログラム」の一例に相当し、結像光学系３３が本発明の「光学系」の一例に相当し、固体撮像素子３５が本発明の「撮像部」の一例に相当し、落射照明４１およびリング照明４３が本発明の「照明部」を構成し、照明制御部９３３および画像取得部９３４が本発明の「制御部」を構成し、画像処理部９３５が本発明の「表示画像生成部」の一例に相当し、記憶部９５が本発明の「記録媒体」の一例に相当し、ディスプレイ９７が本発明の「画像表示部」の一例に相当し、操作部９９が本発明の「ユーザー操作部」の一例に相当し、照明方向Ｄ１が本発明の「第１照明方向」の一例に相当し、正方向Ｄ１(+)が本発明の「第１照明方向の正方向」の一例に相当し、負方向Ｄ１(-)が本発明の「第１照明方向の負方向」の一例に相当し、照明方向Ｄ２が本発明の「第２照明方向」の一例に相当し、正方向Ｄ２(+)が本発明の「第２照明方向の正方向」の一例に相当し、負方向Ｄ２(-)が本発明の「第２照明方向の負方向」の一例に相当し、輝度画像Ｉｉ１(+)が本発明の「第１輝度画像」の一例に相当し、輝度画像Ｉｉ１(-)が本発明の「第２輝度画像」の一例に相当し、輝度画像Ｉｉ２(+)が本発明の「第３輝度画像」の一例に相当し、輝度画像Ｉｉ２(-)が本発明の「第４輝度画像」の一例に相当し、方向性凹凸強調画像Ｉｅ１(+)が本発明の「第１合成画像」の一例に相当し、方向性凹凸強調画像Ｉｅ１(-)が本発明の「第２合成画像」の一例に相当し、方向性凹凸強調画像Ｉｅ２(+)が本発明の「第３合成画像」の一例に相当し、方向性凹凸強調画像Ｉｅ２(-)が本発明の「第４合成画像」の一例に相当し、差分絶対値画像Ｉｄ１が本発明の「第１凹凸強調画像」の一例に相当し、差分絶対値画像Ｉｄ２が本発明の「第２凹凸強調画像」の一例に相当し、観察画像Ｉｏが本発明の「観察画像」の一例に相当する。
【0085】
なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)の取得方法を変更することができる。具体的には、上述の深度合成によって深度合成画像Ｉｆ１(+)、Ｉｆ１(-)、Ｉｆ２(+)およびＩｆ２(-)のそれぞれを、輝度画像Ｉｉ１(+)、Ｉｉ１(-)、Ｉｉ２(+)、Ｉｉ２(-)として生成してもよい。かかる構成では、焦点の合った鮮明な深度合成画像Ｉｆ１(+)、Ｉｆ１(-)、Ｉｆ２(+)およびＩｆ２(-)（第１、第２、第３および第４輝度画像）に基づき、照明方向Ｄ１および照明方向Ｄ２のそれぞれについて凹凸を強調した観察画像Ｉｏを生成できる。
【0086】
また、図１０は画像処理部によって実行される観察画像生成の別の例を示すフローチャートであり、図１１は図１０の観察画像生成において画像処理部が実行する画像処理を模式的に示す図である。図１０の観察画像生成は観察画像生成プログラム１９によって規定されており、画像処理部９３５は観察画像生成プログラム１９に従って図１０の観察画像生成を実行する。
【0087】
観察画像生成（図１０）のステップＳ４０１では、画像処理部９３５は、照明方向Ｄ１の正方向Ｄ１(+)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(+)と、照明方向Ｄ１の負方向Ｄ１(-)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ１(-)とを画像処理部９３５から読み出す。
【0088】
ステップＳ４０２では、画像処理部９３５は、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ１(-)とに基づき差分絶対値画像Ｉｄ１を生成して、記憶部９５に保存する。この差分絶対値画像Ｉｄ１は、次式
Ｉｄ１＝｜Ｉｉ１(+)－Ｉｉ１(-)｜
により算出される。これによって、照明方向Ｄ１について凹凸が強調された差分絶対値画像Ｉｄ１が得られる。
Ｉｄ１＝｜Ｉｉ１(+)－Ｉｉ１(-)｜
により算出される。これによって、照明方向Ｄ１について凹凸が強調された差分絶対値画像Ｉｄ１が得られる。
【0089】
ステップＳ４０３では、画像処理部９３５は、照明方向Ｄ２の正方向Ｄ２(+)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(+)と、照明方向Ｄ２の負方向Ｄ２(-)から照明光Ｌｆを照射しつつ取得された輝度画像Ｉｉ２(-)とを画像処理部９３５から読み出す。
【0090】
ステップＳ４０２では、画像処理部９３５は、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)とに基づき差分絶対値画像Ｉｄ２を生成して、記憶部９５に保存する。この差分絶対値画像Ｉｄ２は、次式
Ｉｄ２＝｜Ｉｉ２(+)－Ｉｉ２(-)｜
により算出される。これによって、照明方向Ｄ２について凹凸が強調された差分絶対値画像Ｉｄ２が得られる。
Ｉｄ２＝｜Ｉｉ２(+)－Ｉｉ２(-)｜
により算出される。これによって、照明方向Ｄ２について凹凸が強調された差分絶対値画像Ｉｄ２が得られる。
【0091】
ステップＳ４０５では、画像処理部９３５は、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とに基づき観察画像Ｉｏを生成して、記憶部９５に保存する。この観察画像Ｉｏは、次式
Ｉｏ＝（Ｉｄ１２＋Ｉｄ２２）１／２
で与えられる、つまり、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２との二乗和平方向で与えられる観察画像Ｉｏが算出される。このように差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とを合成することで、照明方向Ｄ１および照明方向Ｄ２の両方において凹凸が強調された観察画像Ｉｏが得られる。
Ｉｏ＝（Ｉｄ１２＋Ｉｄ２２）１／２
で与えられる、つまり、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２との二乗和平方向で与えられる観察画像Ｉｏが算出される。このように差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とを合成することで、照明方向Ｄ１および照明方向Ｄ２の両方において凹凸が強調された観察画像Ｉｏが得られる。
【0092】
このように構成された実施例では、照明方向Ｄ１（第１照明方向）の正方向Ｄ１(+)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ１(+)（第１輝度画像）と、照明方向Ｄ１の負方向Ｄ１(-)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ１(-)（第２輝度画像）とが取得される。そして、輝度画像Ｉｉ１(+)と輝度画像Ｉｉ２(-)との差の絶対値に基づいて照明方向Ｄ１についてワーク１１の表面の凹凸が強調された差分絶対値画像Ｉｄ１（第１凹凸強調画像）が生成される。さらに、照明方向Ｄ２（第２照明方向）の正方向Ｄ２(+)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ２(+)（第３輝度画像）と、照明方向Ｄ２の負方向Ｄ２(-)から照明光Ｌｆを照射しつつワーク１１を撮像した輝度画像Ｉｉ２(-)（第４輝度画像）とが取得される。そして、輝度画像Ｉｉ２(+)と輝度画像Ｉｉ２(-)との差の絶対値に基づいて照明方向Ｄ２についてワーク１１の表面の凹凸が強調された差分絶対値画像Ｉｄ２（第２凹凸強調画像）が生成される。こうして、照明方向Ｄ１および照明方向Ｄ２の２方向について観察対象物の表面の凹凸が強調された画像（差分絶対値画像Ｉｄ１、Ｉｄ２）が取得される。そして、ワーク１１の画像である観察画像Ｉｏを生成するために、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。これによって、照明方向Ｄ１および照明方向Ｄ２の２方向についてワーク１１の表面の凹凸が強調された観察画像Ｉｏを取得することができる。その結果、ワーク１１の表面の凹凸の向きに依らずに凹凸を強調した観察画像Ｉｏを取得することが可能となっている。
【0093】
ところで、図５および図１０のいずれの観察画像生成においても、ワーク１１の画像である観察画像Ｉｏを生成するために、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。上の例では、差分絶対値画像Ｉｄ１の画素値と差分絶対値画像Ｉｄ２の画素値との二乗和平方根を全画素について算出する二乗和平均演算によって、差分絶対値画像Ｉｄ１と差分絶対値画像Ｉｄ２とが合成される。しかしながら、これらを合成する具体的な方法は二乗和平均演算に限られない。したがって、差分絶対値画像Ｉｄ１の画素値と差分絶対値画像Ｉｄ２の画素値との単純平均を全画素について算出する単純平均演算によって合成を行ってもよい。あるいは、差分絶対値画像Ｉｄ１の画素値および差分絶対値画像Ｉｄ２の画素値のうちの最大値を全画素について算出する最大値演算によって合成を行うってもよい。
【0094】
また、照明方向Ｄ１と照明方向Ｄ２が交差する角度は９０度に限られない。さらに、照明光Ｌｆを照射する方向の数は、照明方向Ｄ１、Ｄ２の２に限られない。したがって、３以上の方向から照明光Ｌｆを照射しつつ、各方向の正方向および負方向それぞれについて輝度画像を取得してもよい。
【0095】
上記のフローチャートにおける各ステップの順序は一例に過ぎず、各ステップの順序を適宜変更してもよい。
【0096】
また、拡大観察装置１は、照明部と撮像部が電子光学系により構成され、撮像画像として電子像を得るような構成であってもよい。この場合、照明部である走査電子光学系と撮像部である電子検出器の配置は逆になる。電子検出器は４方向に配置され、リング照明４３の４方向に相当する。
【0097】
また、上述した以外の機能を拡大観察装置１に搭載することができる。例えば、次に説明するようなクイックリプレイ機能を搭載してもよい。このクイックリプレイ機能では、ワーク１１に対して設定された複数の撮像位置のそれぞれについて、当該撮像位置を撮像する際の撮像条件（照明光Ｌｆの光量、固体撮像素子３５の露光時間、結像光学系３３の倍率など）が記憶される。そして、操作受付部９４２がクイックリプレイ機能の実行を示す指令を受け付けた場合には、コントローラー９１は、一の撮像位置に観察ヘッド３を対向させて当該一の撮像位置に対応する撮像条件で当該一の撮像位置を撮像するといった動作を、複数の撮像位置のそれぞれに対して順番に実行する。
【産業上の利用可能性】
【0098】
この発明は、観察対象物を拡大して観察する拡大観察技術の全般に適用可能である。
【符号の説明】
【0099】
１…拡大観察装置
１１…ワーク（観察対象物）
１９…観察画像生成プログラム
３３…結像光学系（光学系）
３５…固体撮像素子（撮像部）
４１…落射照明（照明部）
４３…リング照明（照明部）
９３３…照明制御部（制御部）
９３４…画像取得部（制御部）
９３５…画像処理部（表示画像生成部）
９５…記憶部（記録媒体）
９７…ディスプレイ（画像表示部）
９９…操作部（ユーザー操作部）
Ｄ１…照明方向（第１照明方向）
Ｄ１(+)…正方向（第１照明方向の正方向）
Ｄ１(-)…負方向（第１照明方向の負方向）
Ｄ２…照明方向（第２照明方向）
Ｄ２(+)…正方向（第２照明方向の正方向）
Ｄ２(-)…負方向（第２照明方向の負方向）
Ｉｉ１(+)…輝度画像（第１輝度画像）
Ｉｉ１(-)…輝度画像（第２輝度画像）
Ｉｉ２(+)…輝度画像（第３輝度画像）
Ｉｉ２(-)…輝度画像（第４輝度画像）
Ｉｅ１(+)…方向性凹凸強調画像（第１合成画像）
Ｉｅ１(-)…方向性凹凸強調画像（第２合成画像）
Ｉｅ２(+)…方向性凹凸強調画像（第３合成画像）
Ｉｅ２(-)…方向性凹凸強調画像（第４合成画像）
Ｉｄ１…差分絶対値画像（第１凹凸強調画像）
Ｉｄ２…差分絶対値画像（第２凹凸強調画像）
Ｉｏ…観察画像
１１…ワーク（観察対象物）
１９…観察画像生成プログラム
３３…結像光学系（光学系）
３５…固体撮像素子（撮像部）
４１…落射照明（照明部）
４３…リング照明（照明部）
９３３…照明制御部（制御部）
９３４…画像取得部（制御部）
９３５…画像処理部（表示画像生成部）
９５…記憶部（記録媒体）
９７…ディスプレイ（画像表示部）
９９…操作部（ユーザー操作部）
Ｄ１…照明方向（第１照明方向）
Ｄ１(+)…正方向（第１照明方向の正方向）
Ｄ１(-)…負方向（第１照明方向の負方向）
Ｄ２…照明方向（第２照明方向）
Ｄ２(+)…正方向（第２照明方向の正方向）
Ｄ２(-)…負方向（第２照明方向の負方向）
Ｉｉ１(+)…輝度画像（第１輝度画像）
Ｉｉ１(-)…輝度画像（第２輝度画像）
Ｉｉ２(+)…輝度画像（第３輝度画像）
Ｉｉ２(-)…輝度画像（第４輝度画像）
Ｉｅ１(+)…方向性凹凸強調画像（第１合成画像）
Ｉｅ１(-)…方向性凹凸強調画像（第２合成画像）
Ｉｅ２(+)…方向性凹凸強調画像（第３合成画像）
Ｉｅ２(-)…方向性凹凸強調画像（第４合成画像）
Ｉｄ１…差分絶対値画像（第１凹凸強調画像）
Ｉｄ２…差分絶対値画像（第２凹凸強調画像）
Ｉｏ…観察画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】