特許 7500515 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム

(51)【国際特許分類】

   G01N 21/84 20060101AFI20240610BHJP

   G01B 11/00 20060101ALI20240610BHJP

【ＦＩ】

G01N21/84 B

G01B11/00 H

【請求項の数】 11

(21)【出願番号】P 2021144006

(22)【出願日】2021-09-03

(65)【公開番号】P2023037333

(43)【公開日】2023-03-15

【審査請求日】2023-03-15

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】杉山 暢克

(72)【発明者】

【氏名】大賀 淳一郎

(72)【発明者】

【氏名】石原 義之

(72)【発明者】

【氏名】大明 準治

(72)【発明者】

【氏名】大野 博司

(72)【発明者】

【氏名】岡野 英明

(72)【発明者】

【氏名】加納 宏弥

(72)【発明者】

【氏名】神川 卓大

【審査官】井上 徹

(56)【参考文献】

【文献】特開２０１９－１５８４９９（ＪＰ，Ａ）

【文献】特開２０１７－１３４６１７（ＪＰ，Ａ）

【文献】国際公開第２０２１／０１４７５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

Ｇ０５Ｄ １／００－Ｇ０５Ｄ １／８７

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

可動体に接続され、かつ、前記可動体の動作に対応して位置及び姿勢が変化する撮影部を用いた被検体の検査に関連する処理装置であって、
前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出し、
算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出し、
前記複数の撮影点のそれぞれから前記次の移動先となる前記撮影点までの前記移動コストを、前記撮影部の前記位置の変化、及び前記撮影部の前記姿勢の変化に加えて、前記撮影部への前記可動体の接続部分の位置の変化、前記撮影部への前記可動体の前記接続部分の姿勢の変化、及び前記可動体の制御量の変化のいずれか１つ以上に基づいて、計算する、
プロセッサを具備する、処理装置。

【請求項2】

前記プロセッサは、前記複数の撮影点を１つずつ順次に通過し、かつ、前記複数の撮影点のそれぞれを１回のみ通過することを制約条件として、前記移動コストの前記総和を最小化する前記経路について解析する、請求項１の処理装置。

【請求項3】

前記プロセッサは、前記複数の撮影点の全てを通過し、かつ、前記移動コストの前記総和を最小化する経路についての最適化問題の最適解、局所最適解及び近似解のいずれかを、前記複数の撮影点の間で前記撮影部を移動させる前記経路として算出する、請求項１又は２の処理装置。

【請求項4】

前記プロセッサは、前記複数の撮影点において前記撮影部が撮影した画像を画像処理することにより、前記被検体の前記表面の状態を判定する、請求項１乃至３のいずれか１項の処理装置。

【請求項5】

前記プロセッサは、前記被検体の前記表面に存在すると判定した欠陥を示す画像、及び、前記欠陥についての判定結果を前記形状データに反映させた画像のいずれかを表示させる、請求項４の処理装置。

【請求項6】

前記プロセッサは、算出した前記経路に沿って前記複数の撮影点の間で前記撮影部が移動している状態において、前記撮影部のリアルタイムの位置及び姿勢を再現した画像、前記撮影部がリアルタイムで撮影している画像、及び、前記被検体の前記表面においてリアルタイムで撮影されている範囲の前記法線ベクトルに関する情報を示す画像のいずれかを表示させる、請求項１乃至５のいずれか１項の処理装置。

【請求項7】

請求項１乃至６のいずれか１項の処理装置と、
結像光学系を備え、前記結像光学系を用いて前記被検体を結像することにより、前記被検体を撮影する前記撮影部と、
前記撮影部に接続され、動作することにより、前記撮影部の前記位置及び前記姿勢を変化させ、前記複数の撮影点の間で前記撮影部を移動可能にする可動体と、
を具備する、前記被検体の検査システム。

【請求項8】

前記撮影部は、前記被検体の前記表面に対する前記結像光学系の光軸の角度が所定の角度範囲になる姿勢で、前記複数の撮影点のそれぞれにおいて前記被検体を撮影する、請求項７の検査システム。

【請求項9】

前記撮影部は、
前記結像光学系の結像面を形成し、前記結像光学系を通して入射された光を撮像する撮像素子と、
所定の波長範囲の光を透過させる波長選択領域を備えるとともに、前記結像光学系を通して前記撮像素子に入射される光の光路上に配置され、前記波長選択領域を透過した前記所定の波長範囲の光を前記撮像素子に入射させるカラーフィルタと、
を備える、請求項７又は８の検査システム。

【請求項10】

可動体に接続され、かつ、前記可動体の動作に対応して位置及び姿勢が変化する撮影部を用いた被検体の検査に関連する処理方法であって、
前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出することと、 算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出することと、
前記複数の撮影点のそれぞれから前記次の移動先となる前記撮影点までの前記移動コストを、前記撮影部の前記位置の変化、及び前記撮影部の前記姿勢の変化に加えて、前記撮影部への前記可動体の接続部分の位置の変化、前記撮影部への前記可動体の前記接続部分の姿勢の変化、及び前記可動体の制御量の変化のいずれか１つ以上に基づいて、計算することと、
を具備する、処理方法。

【請求項11】

可動体に接続され、かつ、前記可動体の動作に対応して位置及び姿勢が変化する撮影部を用いた被検体の検査に関連する処理プログラムであって、コンピュータに、
前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出させ、
算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析させ、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出させる、
前記複数の撮影点のそれぞれから前記次の移動先となる前記撮影点までの前記移動コストを、前記撮影部の前記位置の変化、及び前記撮影部の前記姿勢の変化に加えて、前記撮影部への前記可動体の接続部分の位置の変化、前記撮影部への前記可動体の前記接続部分の姿勢の変化、及び前記可動体の制御量の変化のいずれか１つ以上に基づいて、計算させる、
処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラムに関する。

【背景技術】

【0002】

被検体の表面における傷等の欠陥の検査では、目視による検査の代わりに、結像によって撮影を行う撮影装置（光学装置）を用いて検査を行うことがある。撮影装置を用いた検査では、カメラ等の撮影装置（撮影部）にロボットアーム等の可動体を接続することにより、撮影装置の位置及び姿勢を可動体の動作に対応させて変化可能にする。そして、可動体の動作によって複数の撮影点の間で撮影装置を移動させるとともに、複数の撮影点のそれぞれで被検体の表面を撮影する。また、複数の撮影点のそれぞれでは、被検体の表面に対する結像光学系の光軸の角度が直角又は略直角になる姿勢等の被検体の表面に対する結像光学系の光軸の角度が所定の角度範囲になる姿勢に、撮影装置の姿勢が調整され、調整された姿勢で撮影装置は被検体を撮影する。

【0003】

前述のように撮影装置及び可動体を用いた被検体の表面における欠陥の検査では、複数の撮影点の間での撮影装置の移動時間を短縮したり、複数の撮影点のそれぞれでの撮影装置の姿勢の調整時間を短縮したりして、被検体の表面において検査対象となる範囲を検査する検査時間を短縮することが、求められている。すなわち、被検体の表面において検査対象となる範囲を迅速に検査することが、求められている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１９０５０９号公報

【文献】特開２０１９－１２４５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、被検体の表面において検査対象となる範囲を迅速に検査可能にする処理装置、検査システム、処理方法、及び、処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、可動体に接続され、かつ、可動体の動作に対応して位置及び姿勢が変化する撮影部を用いた被検体の検査に関連する処理装置が提供される。処理装置は、プロセッサを備え、プロセッサは、被検体の表面の形状が点群によって示され、かつ、被検体の表面における位置及び法線ベクトルに関する情報が点群を用いて規定される形状データに基づいて、撮影部によって被検体を撮影する位置として複数の撮影点を算出する。プロセッサは、算出した複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、複数の撮影点の間で撮影部を移動させる経路として算出する。プロセッサは、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストを、撮影部の位置の変化、及び撮影部の姿勢の変化に加えて、撮影部への可動体の接続部分の位置の変化、撮影部への可動体の接続部分の姿勢の変化、及び前記可動体の制御量の変化のいずれか１つ以上に基づいて、計算する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る検査システムを示す概略図である。

【図2】図２は、第１の実施形態に係る検査システムの制御系統等を概略的に示すブロック図である。

【図3】図３は、第１の実施形態に係る検査システムにおいて、撮影部の構成の一例を示す概略図である。

【図4】図４は、第１の実施形態に係る処理装置において、データ記憶部に記憶される被検体の表面の形状データの一例を示す概略図である。

【図5】図５は、第１の実施形態に係る処理装置の撮影点算出部によって行われる、複数の撮影点を設定（算出）する処理の一例について説明する概略図である。

【図6】図６は、第１の実施形態に係る処理装置の撮影点算出部によって行われる、角度差微小部分に配置される複数の三角形から形成される１つの多角形に基づいて複数の撮影点の１つ以上を設定（算出）する処理の一例について説明する概略図である。

【図7】図７は、第１の実施形態に係る処理装置の撮影点算出部が、図４の一例の形状データを用いて算出した複数の撮影の一例を示す概略図である。

【図8】図８は、第１の実施形態に係る処理装置の経路算出部による撮影部の移動経路の算出に用いられる、撮影点を通過する順番に関連するパラメータと移動コストの総和に関連するパラメータとの関係の一例を示す概略図である。

【図9】図９は、第１の実施形態に係る処理装置の経路算出部が、図７の一例の複数の撮影点に基づいて算出した撮影部を移動させる経路の一例を示す概略図である。

【図10】図１０は、第１の実施形態に係る処理装置の処理実行部によって実行される、処理の一例を概略的に示すフローチャートである。

【図11】図１１は、ある変形例に係る処理装置において、ユーザインタフェースの表示画面に表示される画像の一例を示す概略図である。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。

【0009】

（第１の実施形態）
図１は、検査システムの一例として、第１の実施形態の検査システム１を概略的に示す。図２は、本実施形態の検査システム１の制御系統等を概略的に示す。図１及び図２に示すように、本実施形態の検査システム１は、検査対象のなる被検体Ｄの検査に用いられる。１回の検査では、検査システム１を用いて、被検体Ｄの表面について検査される。ある一例では、被検体Ｄの表面の全体が１回の検査で検査されてもよく、別のある一例では、被検体の表面において所定の範囲（一部）のみが１回の検査で検査されてもよい。検査システム１は、撮影部（撮影装置）２、可動体３及び処理装置５を備える。処理装置５は、処理実行部６、データ記憶部７及びユーザインタフェース８を備え、処理実行部６は、撮影点算出部１１、経路算出部１２、画像処理部１３及び動作制御部１５を備える。

【0010】

処理装置５は、例えば、コンピュータ等から構成され、プロセッサ（処理回路）及び記憶媒体を備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、マイコン、ＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）等のいずれかを含む。記憶媒体には、メモリ等の主記憶装置に加え、補助記憶装置が含まれ得る。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、及び、半導体メモリ等が挙げられる。

【0011】

処理装置５では、プロセッサ及び記憶媒体のそれぞれは、１つのみ設けられてもよく、複数設けられてもよい。処理装置５では、プロセッサは、記憶媒体等に記憶されるプログラム等を実行することにより、処理を行う。また、処理装置５のプロセッサによって実行されるプログラムは、インターネット等のネットワークを介して処理装置５に接続されたコンピュータ（サーバ）、又は、クラウド環境のサーバ等に格納されてもよい。この場合、プロセッサは、ネットワーク経由でプログラムをダウンロードする。処理装置５では、撮影点算出部１１、経路算出部１２、画像処理部１３及び動作制御部１５を含む処理実行部６による後述の処理は、プロセッサ等によって実行され、記憶媒体が、データ記憶部７として機能する。

【0012】

なお、検査システム１に、互いに対して別体の複数の処理装置（コンピュータ）が設けられてもよい。この場合、複数の処理装置のそれぞれは、プロセッサ及び記憶媒体を備える。そして、処理実行部６による後述の処理は、複数の処理装置のプロセッサによって実行される。ある一例では、撮影点算出部１１及び経路算出部１２による後述の処理が、ある１つの処理装置のプロセッサによって、実行される。そして、画像処理部１３及び動作制御部１５による後述の処理が、撮影点算出部１１及び経路算出部１２による処理を実行する処理装置とは別体の処理装置のプロセッサによって、実行される。

【0013】

また、処理実行部６による処理の少なくとも一部が、クラウド環境に構成されるクラウドサーバによって実行されてもよい。クラウド環境のインフラは、仮想ＣＰＵ等の仮想プロセッサ及びクラウドメモリによって、構成される。ある一例では、撮影点算出部１１及び経路算出部１２による処理が、仮想プロセッサによって実行され、クラウドメモリが、データ記憶部７として機能する。そして、画像処理部１３及び動作制御部１５による処理が、コンピュータ等の処理装置のプロセッサによって実行される。また、データ記憶部７は、処理実行部６が設けられる処理装置５とは別体のコンピュータに設けられてもよい。この場合、処理装置５は、データ記憶部７等が設けられるコンピュータに、ネットワークを介して接続される。

【0014】

また、ユーザインタフェース８は、検査システムを用いた検査において作業者等によって操作指令が入力される操作部、及び、作業者等に検査に関連する情報を告知する告知部を備える。告知部では、例えば、画面表示及び音声等のいずれかによって、情報が告知される。なお、ユーザインタフェース８は、処理装置５とは別体で設けられてもよい。

【0015】

撮影部２は、カメラ等の撮影装置である。可動体３は、例えば、１つ以上の関節を備えるロボットアーム、及び、直動機構等のいずれかである。可動体３は、撮影部２に機械的に接続され、図１等の一例では、可動体３の一端に、撮影部２への接続部分が形成される。可動体３が動作することにより、撮影部２の位置及び姿勢が変化する。したがって、撮影部２の位置及び姿勢は、可動体３の動作に対応して、変化する。ここで、可動体３の位置は、例えば、３次元における位置で示される。

【0016】

図３は、撮影部２の構成の一例を示す。図３等に示すように、撮影部２は、結像光学系２１を備える光学装置であり、結像光学系２１による結像によって、撮影を行う。結像光学系２１は、光軸Ｏを有し、例えば、１つ又は複数のレンズから形成される。そして、撮影部２では、結像光学系の光軸Ｏに沿う光軸方向が規定される。また、撮影部２は、撮像素子２２を備える。被検体Ｄの検査では、撮像素子２２は、光軸方向について、結像光学系２１に対して、被検体Ｄが位置する側とは反対側に配置される。撮像素子２２は、結像光学系２１の結像面２３を形成し、撮像素子２２の結像面２３には、被検体Ｄの表面の像等が結像光学系２１によって結像される。また、撮像素子２２は、結像光学系２１の焦点位置に比べて、結像光学系２１から離れて配置され、撮像素子２２までの結像光学系２１からの距離Ｌは、結像光学系２１の焦点距離ｆに比べて、大きい。

【0017】

結像光学系２１は、被検体Ｄからの光を撮像素子２２に入射させる。結像光学系２１は、レンズ、組レンズ、導光レンズ、屈折率勾配レンズ、反射ミラー等でよく、光を結像するものであればよい。したがって、被検体Ｄの検査では、被検体Ｄから結像光学系２１を通して、撮像素子２２の結像面２３に光が入射される。撮像素子２２は、結像面２３に入射された光を撮像する。これにより、撮像素子２２において、結像された像に関する情報を示す電気信号が生成され、被検体Ｄが撮影される。

【0018】

図３等の一例では、撮影部２は、光源２５及びミラー２６を備え、光源２５からの光が、ミラー２６を介して被検体Ｄに入射される。ただし、ミラー２６のサイズに特に制限はなく、あくまでも図３は一例である。そして、被検体Ｄで反射した光が、結像光学系２１によって撮像素子２２に入射される。また、ある一例では、光源からの光を、１つ以上のレンズから形成される照明光学系を用いて、被検体に入射させ、被検体を透過した光を、結像光学系によって撮像素子に入射させてもよい。被検体を透過した光の撮像素子への入射は、例えば、特許文献２（特開２０１９－１２４５４２号公報）と同様にして実現される。

【0019】

また、撮影部２では、カラーフィルタ２７が、光軸方向について、結像光学系２１と撮像素子２２との間に配置される。したがって、カラーフィルタ２７は、結像光学系２１を通して撮像素子２２に入射される光の光路上に、配置される。カラーフィルタ２７は、光軸方向について、結像光学系２１の焦点位置からずれることなく又はほとんどずれることなく配置され、結像光学系２１からカラーフィルタ２７までの距離は、結像光学系２１の焦点距離ｆと同一又は略同一の大きさになる。

【0020】

カラーフィルタ２７は、１つ以上の波長選択領域を備え、図３の一例では、３つの波長選択領域Ｕ１～Ｕ３を備える。図３の一例では、カラーフィルタ２７は、光軸Ｏを中心として回転対称又は略回転対称に形成される。そして、カラーフィルタ２７では、光軸Ｏが通過する中心領域に波長選択領域（第１の波長選択領域）Ｕ１が形成され、波長選択領域Ｕ１の外周側に隣接して波長選択領域（第２の波長選択領域）Ｕ２が形成され、波長選択領域Ｕ２の外周側に隣接して波長選択領域（第３の波長選択領域）Ｕ３が形成される。図３の一例では、波長選択領域Ｕ３によって、カラーフィルタ２７の最外周が形成される。

【0021】

波長選択領域Ｕ１は、第１の波長範囲（所定の波長範囲）の光のみを透過させる。波長選択領域Ｕ２は、第１の波長範囲とは異なる第２の波長範囲の光を透過させる。また、波長選択領域Ｕ３は、第１の波長範囲及び第２の波長範囲とは異なる第３の波長範囲の光を透過させる。ある一例では、第１の波長範囲は、赤色光の波長範囲と一致又は略一致し、第２の波長範囲は、緑色光の波長範囲と一致又は略一致し、第３の波長範囲は、青色光の波長範囲と一致又は略一致する。

【0022】

撮像素子２２には、カラーフィルタ２７の波長選択領域Ｕ１～Ｕ３のそれぞれを透過した光が、入射する。また、撮像素子２２で生成される電気信号では、結像された像に関する情報として、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報、すなわち、第１の波長範囲乃至第３の波長範囲のそれぞれの光についての撮像素子２２への入射強度に関する情報が、示される。したがって、本実施形態では、撮像素子２２で生成される電気信号において、１つ以上の波長範囲のそれぞれの光についての撮像素子２２への入射強度に関する情報が、示される。

【0023】

また、被検体を透過した光を撮像素子に入射する構成では、前述したように被検体と撮像素子との間に第１のカラーフィルタを設けるとともに、光源と被検体との間に第２のカラーフィルタが設けられてもよい。この場合、特許文献２と同様にして、第１のカラーフィルタ及び第２のカラーフィルタが配置されるとともに、特許文献２と同様にして、２つのカラーフィルタのそれぞれに波長選択領域が形成される。ある一例では、２つのカラーフィルタのそれぞれにおいて、少なくとも中心領域に、波長選択領域が形成される。そして、第１のカラーフィルタの中心領域を透過可能な光は第２のカラーフィルタの中心領域を透過不可能であり、かつ、第２のカラーフィルタの中心領域を透過可能な光は第１のカラーフィルタの中心領域を透過不可能な状態に、２つのカラーフィルタの波長選択領域のそれぞれを透過させる光の波長が、規定される。

【0024】

前述のように、本実施形態では、カラーフィルタ２７又は前述の第１のカラーフィルタを設ける等して、被検体Ｄから撮像素子２２へ入射させる光の光路上に、カラーフィルタが配置される。また、前述の第２のカラーフィルタを設ける等して、光源から被検体に入射させる光の光路上に、カラーフィルタを設けてもよい。そして、本実施形態では、カラーフィルタのそれぞれに、所定の波長範囲の光のみを透過させる波長選択領域が形成される。また、カラーフィルタのいずれか１つ以上では、複数の波長選択領域が形成されてもよい。この場合、複数の波長選択領域では、透過させる光の波長範囲が、互いに対して異なる。ただし、これら複数の波長範囲において、一部互いに重なる部分があってもよい。また、カラーフィルタのいずれか１つ以上では、１つ以上の波長選択領域に加えて、全ての波長の光を透過させる領域、及び、全ての波長の光を透過させない領域の少なくとも一方が形成されてもよい。

【0025】

可動体３は、アクチュエータが作動することにより、動作する。動作制御部１５は、可動体３を動作させるアクチュエータの作動を制御することにより、可動体３の動作を制御する。動作制御部１５によって可動体３の動作が制御されることにより、撮影部２への可動体３の接続部分の位置及び姿勢が調整される。また、撮影部２への可動体３の接続部分の位置及び姿勢が調整されることにより、撮影部２の位置及び姿勢が調整される。撮影部２によって被検体Ｄを撮影している状態では、動作制御部１５は、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度が所定の角度範囲になる状態に、撮影部２の姿勢を制御する。図３等の一例では、被検体Ｄの撮影において、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度が直角又は略直角になる姿勢に、撮影部２の姿勢が調整される。

【0026】

画像処理部１３には、撮像素子２２で生成された電気信号が入力される。このため、撮影部２によって撮影が実行されている状態では、画像処理部１３は、撮像素子２２に結像された像に関する情報を取得し、例えば、被検体Ｄからカラーフィルタ２７の１つ以上の波長選択領域Ｕ１～Ｕ３のそれぞれを通って撮像素子２２に入射した光の強度に関する情報を取得する。また、画像処理部１３は、撮像素子２２からの電気信号に基づいて、撮影部２の撮影範囲の画像として、撮影部２による撮影画像を生成する。そして、画像処理部１３は、撮影部２の撮影した画像を画像処理することにより、撮影画像に基づいた演算及び判定等を実行する。

【0027】

図３等の一例では、画像処理部１３は、電気信号が入力されることにより、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報を取得する。そして、画像処理部１３は、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報に基づいて、被検体Ｄの表面での拡散反射に関する情報を算出する。そして、画像処理部１３は、被検体Ｄの表面での拡散反射に関する情報に基づいて、被検体Ｄの表面の凸凹状態を含む被検体Ｄの表面の形状に関する情報を算出する。また、被検体Ｄの表面での拡散反射に関する情報に基づいて、被検体Ｄにおける光の散乱に関する情報を算出してもよい。図３等の一例では、画像処理部１３は、被検体Ｄの表面の形状に関する情報に基づいて、被検体Ｄの表面の状態を判定する。画像処理部１３は、被検体Ｄの表面の状態の判定において、例えば、被検体Ｄの表面における傷等の欠陥について判定する。これにより、被検体Ｄの表面における欠陥の有無等について、判定される。

【0028】

また、ある一例では、前述したように、第２のカラーフィルタを通して光が被検体に入射され、被検体を透過した光が、第１のカラーフィルタを通して撮像素子２２に入射される。そして、画像処理部１３は、電気信号が入力されることにより、第１のカラーフィルタの１つ以上の波長選択領域のそれぞれから撮像素子２２に入射した光の強度に関する情報を取得する。そして、画像処理部１３は、１つ以上の波長選択領域のそれぞれから撮像素子２２に入射した光の強度に関する情報に基づいて、被検体での光の偏角に関する情報を算出する。被検体での光の偏角に関する情報は、特許文献２と同様にして算出される。そして、画像処理部１３は、被検体での光の偏角に関する情報に基づいて、被検体の表面の形状に関する情報を算出し、被検体の表面における欠陥について判定等を実行する。

【0029】

検査システム１を用いた検査では、被検体Ｄの表面の検査範囲において、互いに対して異なる複数の撮影点（撮影位置）で、撮影部２が撮影を行う。そして、複数の撮影点において撮影した画像を画像処理する等して、画像処理部１３は、被検体Ｄの表面の欠陥等について判定する。また、動作制御部１５は、可動体３の動作を前述のように制御することにより、撮影部２の位置及び姿勢を変化させ、複数の撮影点の間で撮影部２を移動させる。

【0030】

撮影点算出部１１は、検査において撮影部２によって被検体Ｄを撮影する位置として、前述の複数の撮影点を算出する。撮影点算出部１１は、データ記憶部７等に記憶される被検体Ｄの表面の形状データに基づいて、複数の撮影点を算出する。形状データでは、被検体Ｄの表面の３次元形状等の形状が、多数の点から構成される点群によって示される。また、形状データでは、被検体Ｄの表面における位置及び法線ベクトルに関する情報が、点群を用いて規定される。撮影点算出部１１は、例えば、撮影部２によって全ての撮影点で撮影が行われた場合に、被検体Ｄの表面の検査範囲のいずれの部分も撮影点のいずれかで撮影される状態に、複数の撮影点を算出する。また、撮影部２の撮影範囲（画角）は、全ての撮影点で一定でもよく、撮影点ごとに変化させてもよい。

【0031】

図４は、被検体Ｄの表面の形状データの一例を示す。図４の一例では、形状データは、ＳＴＬ（standard triangulated language）形式で示される。図４の一例の形状データでは、被検体Ｄの表面の形状が、多数の点Ｐから構成される点群によって示される。また、図４の一例の形状データでは、点群に基づいて、被検体Ｄの表面が、多数の三角形Ｔに分割される。多数の三角形Ｔのそれぞれでは、点群を構成する点Ｐの対応する３つが、頂点となる。図４の一例の形状データでは、被検体Ｄの表面における位置に関する情報として、点群を構成する点Ｐのそれぞれの３次元位置等の位置が、示される。そして、形状データでは、被検体Ｄの表面における位置に関する情報として、多数の三角形Ｔのそれぞれの法線ベクトルが、示される。

【0032】

ここで、法線ベクトルとは、被検体Ｄの表面に対して直交し、かつ、被検体Ｄの外側を向く。図４では、法線ベクトルは、省略して示す。また、形状データでは、例えば、被検体Ｄの表面が多数の四角形に分割される等、被検体Ｄの表面が三角形以外の複数（多数）の多角形に分割されてもよい。この場合も、多角形のそれぞれの頂点は、点群を構成する点Ｐの対応する４つ以上から形成され、形状データでは、被検体Ｄの表面における位置に関する情報として、複数の多角形のそれぞれの法線ベクトルが、示される。

【0033】

撮影点算出部１１は、データ記憶部７から前述の形状データを読出す。そして、撮影点算出部１１は、形状データに基づいて、検査範囲における被検体Ｄの表面の形状に関する情報を取得する。また、撮影点算出部１１は、データ記憶部７に記憶された情報、及び、ユーザインタフェース８で設定された情報等に基づいて、撮影部２が撮影可能な面積、撮影部２と被検体Ｄとの間の距離、撮影部２の解像度、及び、撮影部２及び可動体３を配置可能な位置等を含む、撮影部２及び可動体３に関する情報を取得する。撮影点算出部１１は、形状データ、及び、撮影部２及び可動体３に関する情報に基づいて、検査範囲において撮影を行う複数の撮影点を算出する。

【0034】

例えば、前述のように、形状データにおいて被検体Ｄの表面が、点群に基づいて複数の三角形Ｔ等の複数の多角形に分割されているものとする。この場合、被検体Ｄの表面の検査範囲に配置される多角形（三角形Ｔ）のそれぞれにおいて、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上での撮影範囲に含まれる状態に、複数の撮影点が算出される。すなわち、被検体Ｄの表面の検査範囲に配置される多角形（三角形Ｔ）のそれぞれにおいて、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上で撮影される状態に、複数の撮影点が算出される。なお、複数の撮影点のそれぞれでの撮影範囲の一部は、他の撮影点での撮影範囲の一部と重なってもよい。

【0035】

図５では、複数の撮影点を設定（算出）する処理の一例について、説明する。図５の一例では、予め設定される検査範囲から複数の撮影点Ｆとして、３つの撮影点Ｆａ～Ｆｃが少なくとも算出される。そして、撮影点Ｆａでの撮影範囲Ｒａ、撮影点Ｆｂでの撮影範囲Ｒｂ、及び、撮影点Ｆｃでの撮影範囲Ｒｃが、規定される。また、図５の一例では、検査範囲に配置される三角形Ｔの１つである三角形Ｔａが示され、三角形Ｔａでは、いずれの部分も、撮影範囲Ｒａ～Ｒｃのいずれか１つ以上に含まれる。このため、三角形Ｔａのいずれの部分も撮影点Ｆａ～Ｆｃのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。また、検査範囲に配置される三角形Ｔａ以外の三角形Ｔのそれぞれについても、その三角形Ｔのいずれの部分も複数の撮影点Ｆのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。

【0036】

また、図５の一例では、撮影点Ｆａ～Ｆｃの算出において、三角形Ｔａを３つの多角形に分割する。そして、３つの多角形のそれぞれに撮影点Ｆａ～Ｆｃの対応する１つが含まれる状態に、三角形Ｔａが分割される。また、３つの多角形のそれぞれの重心が撮影点Ｆａ～Ｆｃの対応する１つと一致又は略一致する状態に、三角形Ｔａが分割される。これにより、撮影点Ｆａ～Ｆｃのそれぞれとして、三角形Ｔａから分割された３つの多角形の対応する１つの重心が、算出される。分割された多角形のそれぞれの重心を撮影点の対応する１つとして算出する場合、重心ボロノイ分割（centroidal Voronoi tessellation）法又は周知の長方形分割（rectangle partition）法等を用いて、撮影点のそれぞれが算出される。

【0037】

また、被検体Ｄの検査範囲では、互いに対して隣接する複数の三角形Ｔの間での被検体Ｄの表面の角度差が微小又はゼロになる角度差微小部分が、存在することがある。ここで、撮影部２によって被検体Ｄを撮影している状態では、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度は、前述のように所定の角度範囲において調整される。角度差微小部分での隣接する複数の三角形Ｔの間の角度差は、前述の所定の角度範囲の角度幅以下となる。角度差微小部分では、隣接する複数の三角形Ｔの間の角度差は、ゼロでない場合でも、例えば、数度程度である。このような場合、角度差微小部分では、例えば、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度についての前述の所定の角度範囲の大きさに比べて、隣接する三角形Ｔの間での被検体Ｄの表面の角度差が小さい。また、検査範囲に角度差微小部分が存在する場合は、角度差微小部分に配置される複数の三角形Ｔ（多角形）が互いに対して同一の平面上に位置するものとして、複数の算出点を算出される。ある一例では、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形に基づいて、複数の撮影点の１つ以上が算出及び設定される。そして、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形において、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上での撮影範囲に含まれる状態に、複数の撮影点が算出される。

【0038】

図６では、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形に基づいて複数の撮影点の１つ以上を設定（算出）する処理の一例について、説明する。図６の一例では、４つの三角形Ｔｂ～Ｔｅが角度差微小部分に配置され、三角形Ｔｂ～Ｔｅの間での互いに対する被検体Ｄの表面の角度差は、微小又はゼロである。そして、角度差微小部分に配置される三角形Ｔｂ～Ｔｅから、多角形αが形成される。また、図６の一例では、複数の撮影点Ｆとして、２つの撮影点Ｆｄ，Ｆｅが少なくとも算出され、撮影点算出部１１は、多角形αに基づいて、撮影点Ｆｄ，Ｆｅを設定する。そして、撮影点Ｆｄでの撮影範囲Ｒｄ、及び、撮影点Ｆｅでの撮影範囲Ｒｅが、規定される。

【0039】

図６の一例では、三角形Ｔｂ～Ｔｅから形成される多角形αのいずれの部分も、撮影範囲Ｒｄ，Ｒｅのいずれか１つ以上に含まれる。このため、多角形αのいずれの部分も撮影点Ｆｄ，Ｆｅのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。また、図６の一例では、撮影点Ｆｄ，Ｆｅの算出において、多角形αを２つの多角形に分割する。そして、２つの多角形のそれぞれに撮影点Ｆｄ，Ｆｅの対応する１つが含まれる状態に、多角形αが分割される。そして、前述した撮影点Ｆａ～Ｆｃの算出と同様にして、撮影点Ｆｄ，Ｆｅのそれぞれとして、多角形αから分割された２つの多角形の対応する１つの重心が、算出される。

【0040】

撮影点算出部１１は、複数の撮影点のそれぞれについて、被検体Ｄの表面における位置を算出する。また、撮影点算出部１１は、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向を算出する。複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向（結像光学系２１の光軸Ｏの姿勢）は、被検体Ｄの表面の角度、及び、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度についての所定の角度範囲に基づいて、算出される。

【0041】

図７は、図４の一例の形状データを用いて算出した複数の撮影点Ｆの一例を示す。図７の一例では、被検体Ｄの表面が多数の三角形Ｔに分割された形状データを用いて、前述のようにして、複数の撮影点Ｆが算出される。そして、撮影点Ｆのそれぞれについて、被検体Ｄの表面における位置、及び、被検体Ｄを撮影する方向が、算出される。

【0042】

経路算出部１２は、撮影点算出部１１によって算出された複数の撮影点Ｆに関する情報を取得する。経路算出部１２は、複数の撮影点Ｆのそれぞれについて、被検体Ｄの表面における位置、及び、被検体Ｄを撮影する方向に基づいて、撮影部２の位置及び姿勢を算出する。また、経路算出部１２は、複数の撮影点Ｆのそれぞれについて、算出した撮影部２の位置及び姿勢等に基づいて、撮影部２への可動体３の接続部分の位置及び姿勢、及び、可動体３の制御量を算出する。ここで、１つ以上関節を備えるロボットアームが可動体３となる場合は、可動体３の制御量として、関節のそれぞれの角度等が挙げられる。また、直動機構が可動体３となる場合は、可動体３の制御量として直動機構の動作による移動量が挙げられる。

【0043】

経路算出部１２は、検査範囲での被検体Ｄの検査において複数の撮影点Ｆの間で撮影部２を移動させる経路を、算出する。撮影部２の移動経路の算出では、検査範囲の撮影点Ｆの全てを通過する経路が算出される。そして、複数の撮影点Ｆを１つずつ順次に通過し、かつ、複数の撮影点Ｆのそれぞれを１回のみ通過する経路が、撮影部２の移動経路として算出される。また、経路算出部１２は、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃに基づいて、撮影部２の移動経路を算出する。なお、算出される撮影部２の移動経路は、始点となる撮影点と終点となる撮影点とが同一の巡回路（閉路）であってもよく、始点となる撮影点と終点となる撮影点とが異なる経路であってもよい。

【0044】

撮影部２の移動経路の算出では、経路算出部１２は、複数の撮影点Ｆの全てを通過し、かつ、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃの総和を最小化する経路について、解析する。すなわち、経路算出部１２は、複数の撮影点Ｆの全てを通過し、かつ、移動コストｃの総和を最小化する経路についての最適化問題を、解析する。そして、経路算出部１２は、最適化問題の解析結果に対応する経路を、複数の撮影点Ｆの間で撮影部２を移動させる経路として算出する。

【0045】

また、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃは、撮影部２の位置、撮影部２の姿勢、撮影部２への可動体３の接続部分の位置、撮影部２への可動体３の接続部分の姿勢、及び、可動体３の制御量のいずれか１つ以上の対象となる２つの撮影点Ｆの間での変化に基づいて、算出される。移動コストｃの算出では、前述したパラメータの全ての対象となる２つの撮影点Ｆの間での変化を用いてもよく、前述したパラメータの一部の対象となる２つの撮影点Ｆの間での変化を用いてもよい。また、前述したパラメータごとに重要度に対応する重み付けをして、移動コストｃを算出してもよい。

【0046】

ある一例では、経路算出部１２は、算出されたｎ個の撮影点Ｆ１～Ｆｎの全てを通る撮影部２の経路を算出する。そして、経路算出部１２は、撮影部２の経路の算出において、式（１）で示されるパラメータＨを最小化させる最適化問題（最小化問題）を解析する。そして、最適化問題では、式（２）で示される条件、及び、式（３）で示される条件が、制約条件となる。そして、最適化問題の解析結果に対応する経路が、複数の撮影点Ｆ１～Ｆｎの間で撮影部２を移動させる経路として、算出される。

【0047】

【数1】

【0048】

ここで、式（１）～（３）において、ｃ_ijは、撮影点Ｆｉ，Ｆｊの間での移動コストを示す。また、ｎ_ｋ，iは、経路の順番を示すパラメータであり、全ての撮影点Ｆ１～Ｆｎの中でｋ番目に撮影点Ｆｉを通る場合は１となり、それ以外の場合は０となる。また、式（２）で示される条件では、ｋが１～ｎのそれぞれになる場合において、パラメータｎ_ｋ，iが１となる撮影点が１つのみであることが、制約される。すなわち、撮影部２の移動経路においてｋ番目に通過する撮影点は１つのみであることが、制約され、撮影部２は複数の撮影点Ｆ１～Ｆｎを１つずつ順次に通過することが、制約される。

【0049】

また、式（３）で示される条件では、ｉが１～ｎのそれぞれになる場合において、パラメータｎ_ｋ，iが１となる順番は１つのみであることが、制約される。すなわち、複数の撮影点Ｆ１～Ｆｎのそれぞれを１回のみ通過することが、制約される。なお、始点となる撮影点と終点となる撮影点が同一の巡回路が撮影部２の移動経路として算出される場合は、ｎ_０，ｉ＝ｎ_ｎ，ｉを満たすとともに、ｎ_１，ｉ＝ｎ_{ｎ＋１，ｉ}を満たす。また、始点となる撮影点と終点となる撮影点とが異なる経路が撮影部２の移動経路として算出される場合は、ｎ_０，ｉ＝０を満たすとともに、ｎ_{ｎ＋１，ｉ}＝０を満たす。

【0050】

また、ある一例では、撮影部２の経路の算出において、式（１）で示されるパラメータＨの代わりに、パラメータＨに式（２）及び式（３）で示される制約条件の要素を含めたパラメータＨａを用いてもよい。この場合、パラメータＨａは、式（４）のようにして算出される。式（４）で示されるパラメータＨａを算出する評価関数では、式（２）及び式（３）で示す制約条件が、ペナルティ関数として含まれる。また、式（４）では、Ａ_１，Ａ_２は、重みを示すパラメータである。本一例では、経路算出部１２は、撮影部２の経路の算出において、式（４）で示されるパラメータＨａを最小化させる最適化問題（最小化問題）を解析する。そして、最適化問題の解析結果に対応する経路が、複数の撮影点Ｆ１～Ｆｎの間で撮影部２を移動させる経路として、算出される。

【0051】

【数2】

【0052】

また、ある一例では、撮影点Ｆｉ，Ｆｊの間での移動コストc_ｉｊは、式（５）のようにして算出される。式（５）では、撮影点Ｆｉについてパラメータには、ｉの添え字が付され、撮影点Ｆｊについてのパラメータには、ｊの添え字が付される。そして、式（５）では、撮影点Ｆｉ，Ｆｊのそれぞれについて、撮影部２の位置を示すベクトル（位置ベクトル）がｐ、撮影部２の姿勢（光軸Ｏの姿勢）を示すベクトルがａ、撮影部２への可動体３の接続部分の位置を示すベクトル（位置ベクトル）がｙ、撮影部２への可動体３の接続部分の姿勢を示すベクトルがｂ、可動体３の制御量を示すベクトルがｑとなる。

【0053】

【数3】

【0054】

また、式（５）では、ｚ_１～ｚ_５のそれぞれは、重みを示すパラメータであり、０以上の実数である。２つの撮影点Ｆｉ，Ｆｊの間でのベクトルｐ，ａ，ｖ，ｂ，ｑのそれぞれの差分量は、パラメータｚ_１～ｚ_５の対応する１つによって重み付けされる。また、パラメータｚ_１～ｚ_５の一部が０である場合は、０となるパラメータ（ｚ_１～ｚ_５のいずれか）に対応するベクトル（ｐ，ａ，ｖ，ｂ，ｑのいずれか）については、撮影点Ｆｉ，Ｆｊの間での差分量を無視して、移動コストｃ_ｉｊが算出される。

【0055】

また、ある一例では、移動コストの総和を最小化させる前述した最適化問題（最小化問題）の解析において、撮影点を通過する順番に関連するパラメータβが設定され、前述したパラメータＨ，Ｈａのいずれかがパラメータβの関数として示される。この場合、最適化問題の解析では、例えば、関数Ｈ（β）を最小化させるパラメータβの値について解析される。

【0056】

また、撮影部２の移動において通過する撮影点Ｆの数が多くなると、すなわち、式（１）等で示されるｎが大きくなると、移動コストの総和を最小化させる前述した最適化問題の最適解を、多項式時間（polynomial time）では導出できない可能性がある。このため、複数の撮影点の間で撮影部２を移動させる経路としては、移動コストの総和を最小化させる前述した最適化問題の最適解を必ずしも算出する必要はなく、最適化問題の局所最適解及び近似解のいずれかが算出されてもよい。

【0057】

図８は、撮影点を通過する順番に関連するパラメータβと移動コストの総和に関連する前述のパラメータＨとの関係の一例を示す。図８の一例では、パラメータＨは、パラメータβを変数とする関数Ｈ（β）として示される。また、図８では、横軸にパラメータβを示し、縦軸にパラメータＨを示す。図８の一例では、移動コストの総和を最小化させる前述の最適化問題として、関数Ｈ（β）を最小化させる最適化問題が解析される。そして、値βａが、最適化問題の最適解となる。また、値βｂが、最適化問題の局所最適化となる。そして、値βａから僅かにずれた値が、最適化問題の近似解となり、例えば、値βｃ，βｄのそれぞれが、最適化問題の近似解となる。図８の一例では、撮影部２を移動させる経路として、値βａに対応する経路が算出されてもよく、値βｂ，βｃ，βｄのいずれかに対応する経路が算出されてもよい。

【0058】

また、移動コストの総和を最小化させる経路についての最適化問題をイジングモデルに変換して、撮影部２を移動させる経路についての解析及び算出が行われてもよい。この場合、イジングモデルでは、スピン系のエネルギーを最小化させるスピンのそれぞれの向きについて、解析される。また、移動コストの総和を最小化させる経路についての最適化問題の解析では、遺伝的アルゴリズム（ＧＡ：genetic algorithm）及びシミュレーテッドアニーリング（ＳＡ：simulated annealing）等のヒューリスティックなアルゴリズムが用いられてもよい。

【0059】

図９は、図７の一例の複数の撮影点Ｆに基づいて算出した撮影部２を移動させる経路γの一例を示す。図９の一例では、全ての撮影点Ｆを１つずつ順次に通過し、かつ、全ての撮影点Ｆのそれぞれを１回のみ通過する経路として、経路γが算出される。また、図９の一例でも、移動コストの総和を最小化させる経路について前述のように解析され、解析結果に対応する経路として、経路γが算出される。

【0060】

動作制御部１６は、撮影部２を移動させる経路として経路算出部１２によって算出された経路を取得する。そして、動作制御部１６は、算出された経路に基づいて可動体３の動作を制御し、算出された経路に沿って撮影部を移動させる。また、動作制御部１６は、可動体３の動作を制御することにより、撮影点のそれぞれにおいて、撮影点算出部１１によって算出された姿勢に撮影部２を調整する。そして、撮影部２は、撮影点のそれぞれにおいて、調整された姿勢で被検体Ｄの表面を撮影する。そして、画像処理部１３は、複数の撮影点のそれぞれで撮影された画像を画像処理するとともに、撮影された画像に基づいて、前述した被検体Ｄの表面の欠陥についての判定等を実行する。

【0061】

ある一例では、画像処理部１３によって被検体Ｄの表面に欠陥が存在すると判定された場合、画像処理部１３を含む処理実行部６は、被検体Ｄの表面に存在すると判定した欠陥を示す画像を、ユーザインタフェース８に設けられる表示画面等に表示させる。また、ある一例では、画像処理部１３等は、被検体Ｄの表面の欠陥についての判定結果を形状データに反映させ、欠陥についての判定結果を形状データに反映させた画像が、ユーザインタフェース８の表示画面等に表示させる。この場合、被検体Ｄの表面に存在すると判定された欠陥が形状データの対応する位置に示された状態で、欠陥を形状データに反映した画像が表示される。

【0062】

図１０は、本実施形態において処理装置５の処理実行部６によって実行される処理の一例を示す。図１０の処理は、被検体Ｄ等について検査を１回実行するたびに、実行される。図１０の処理を開始すると、撮影点算出部１１は、被検体Ｄの形状データに基づいて、前述のようにして複数の撮影点Ｆを算出する（Ｓ１０１）。そして、経路算出部１２は、算出した複数の撮影点Ｆの全てを通過し、かつ、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃの総和を最小化する経路について、前述のようにして解析する（Ｓ１０２）。そして、経路算出部１２は、移動コストｃの総和を最小化する経路についての解析結果に対応する経路を、複数の撮影点Ｆの間で撮影部２を移動させる経路として算出する（Ｓ１０３）。

【0063】

そして、動作制御部１５は、複数の撮影点Ｆ及び撮影部２を移動させる経路についての算出結果に基づいて、可動体３の動作を制御する（Ｓ１０４）。これにより、算出した経路に沿って撮影部２が移動するとともに、撮影点Ｆのそれぞれにおいて、撮影部２の姿勢等が調整される。また、画像処理部１３等を含む処理実行部６は、撮影部２が算出した経路に沿って移動している状態において、複数の撮影点Ｆのそれぞれで、撮影部２によって被検体Ｄの表面を撮影させる（Ｓ１０４）。そして、画像処理部１３は、複数の撮影点Ｆのそれぞれで撮影された画像を画像処理する（Ｓ１０５）。そして、画像処理部１３は、撮影点Ｆのそれぞれで撮影された画像等に基づいて、被検体Ｄの表面の欠陥等について、前述のようにして判定する（Ｓ１０６）。

【0064】

ある一例では、Ｓ１０４～Ｓ１０６の処理は、１つの撮影点Ｆでの撮影の度に、繰返し実行される。また、別のある一例では、全ての撮影点Ｆで撮影が行われた後、Ｓ１０５の画像処理、及び、Ｓ１０６の判定処理が実行される。

【0065】

前述のように本実施形態では、複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストｃの総和を最小化する経路について、解析が実行される。そして、経路についての解析結果に対応する経路が、複数の撮影点の間で撮影部２を移動させる経路として算出される。このため、複数の撮影点で撮影された画像に基づいて被検体Ｄの表面の欠陥等を検査する検査では、前述のように算出された経路に沿って撮影部２を移動させることにより、被検体Ｄの表面において検査対象となる範囲を迅速に検査可能になる。

【0066】

また、前述のように撮影部２を移動させる経路が算出されるため、検査において、撮影部２の移動についての指令を作業者等がユーザインタフェース８等で入力する必要がない。また、本実施形態では、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向が算出される。そして、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向に基づいて、撮影部２の姿勢が算出される。被検体Ｄの検査では、撮影点のそれぞれにおいて、算出された姿勢に撮影部２が調整された状態で、被検体Ｄの表面が撮影される。したがって、被検体Ｄの表面が平面状の場合に加えて被検体Ｄの表面が曲面状の場合も、撮影点のそれぞれで適切に撮影が行われ、適切に検査が行われる。

【0067】

また、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストｃは、撮影部２の位置、撮影部２の姿勢、撮影部２への可動体３の接続部分の位置、撮影部２への可動体３の接続部分の姿勢、及び、可動体の制御量のいずれか１つ以上の変化に基づいて、算出される。このため、移動コストｃの総和に基づいて撮影部２を移動させる経路が算出されることにより、撮影部２の移動経路は、複数の撮影点の間での撮影部２の移動時間に加えて、複数の撮影点のそれぞれでの撮影部２の姿勢の調整時間も考慮して、算出される。したがって、検査において、算出された経路に沿って撮影部２を移動させることにより、撮影点の間での撮影部２の移動時間を短縮可能となるとともに、撮影点のそれぞれでの撮影部２の姿勢の調整時間も短縮可能となる。

【0068】

また、移動コストｃの総和を最小化する経路について前述の解析では、複数の撮影点を１つずつ順次に通過し、かつ、複数の撮影点のそれぞれを１回のみ通過することが、制約条件となる。このため、１つの撮影点を複数回通過する経路等が撮影部２の移動経路として算出されることが、有効に防止され、撮影部２を移動させる経路として適切な経路が算出される。

【0069】

また、本実施形態では、撮影部２を移動させる経路として、複数の撮影点の全てを通過し、かつ、移動コストｃの総和を最小化する経路についての前述の最適化問題の最適解、局所最適解及び近似解のいずれかが、算出される。したがって、最適化問題の解析（移動経路の算出）に必要な処理時間の間に最適解が導出できない場合でも、最適化問題の局所最適解又は近似解が、撮影部２を移動させる経路として算出される。したがって、検査する検査時間を適切に短縮させる撮影部２の移動経路が、演算処理に要する時間を増大させることなく、算出される。

【0070】

（変形例）
ある変形例では、前述のようにして算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態において、画像処理部１３は、ユーザインタフェース８の表示画面３０に、図１１の一例に示す画像を表示させる。画像処理部１３は、図１１に示す画像を表示画面３０に表示させることにより、算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態を、表示画面３０において再現する。

【0071】

本変形例では、表示画面３０の表示領域ε１において、撮影部２のリアルタイムの位置及び姿勢を再現した画像が表示される。また、表示領域ε１では、可動体３のリアルタイムの状態が再現され、撮影部２への可動体３の接続部分のリアルタイムの位置及び姿勢等が、再現される。また、表示領域ε１では、被検体Ｄのリアルタイムの状態が再現される。図１１の一例では、表示領域ε１に示される被検体Ｄにおいて、形状データの点群を構成する多数の点Ｐが示される。また、表示領域ε１に示される被検体Ｄでは、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。

【0072】

また、本変形例では、表示画面３０の表示領域ε２において、撮影部２がリアルタイムで撮影している画像が表示される。すなわち、表示領域ε２には、被検体Ｄの表面においてリアルタイムで撮影されている部分の画像が、表示される。図１１の一例では、表示領域ε２に示される画像おいて、形状データの点群を構成する多数の点Ｐが被検体Ｄの表面に示される。また、表示領域ε２に示される画像では、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。

【0073】

また、本変形例では、表示画面３０の表示領域ε３において、被検体Ｄの表面においてリアルタイムで撮影されている範囲の法線ベクトルに関する情報を示す画像が表示される。リアルタイムで撮影されている範囲の法線ベクトルに関する情報は、リアルタイムで撮影されている撮影画像、及び、形状データに基づいて算出される。表示領域ε３に示される画像では、リアルタイムで撮影されている範囲の複数の箇所のそれぞれについて、被検体Ｄの表面に対する法線ベクトルＮが示される。また、図１１の一例では、表示領域ε３に示される画像おいて、形状データの点群を構成する多数の点Ｐが被検体Ｄの表面に示される。そして、表示領域ε３に示される画像では、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。

【0074】

本変形例でも前述の実施形態等と同様に、被検体Ｄの表面において検査対象となる範囲を迅速に検査可能にする経路が、撮影部２を移動させる経路として適切に算出される。また、本変形例では、表示画面３０に表示される画像によって、算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態が、適切に再現される。

【0075】

また、前述の実施形態等では、可動体３を動作させることにより、撮影部２の位置及び姿勢が変化するが、ある変形例では、経路算出部１２で算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に、撮影部２に対して被検体Ｄを移動させてもよい。この場合、可動体３を動作させることにより、撮影部２の姿勢が変化する。また、算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に被検体Ｄを移動させながら、複数のそれぞれの撮影点で撮影部２は被検体を撮影する。また、ある変形例は、経路算出部１２で算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に、撮影部２及び被検体Ｄの両方を移動させてもよい。

【0076】

これらの少なくとも一つの実施形態又は実施例によれば、算出した複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、複数の撮影点の間で撮影部を移動させる経路として算出する。これにより、被検体の表面において検査対象となる範囲を迅速に検査可能にする処理装置、検査システム、処理方法、及び、処理プログラムを提供することができる。

【0077】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、付記を記載する。
［１］撮影部を用いた被検体の検査に関連する処理装置であって、
前記被検体の表面の形状が点群によって示され、かつ前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出し、
算出した前記複数の撮影点の全てを通過し、かつ前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出する、
プロセッサを具備する、処理装置。
［２］前記撮影部は、可動体に接続されるとともに、可動体の動作に対応して位置及び姿勢が変化し、
前記プロセッサは、前記複数の撮影点のそれぞれから前記次の移動先となる前記撮影点までの移動コストを、前記撮影部の前記位置、前記撮影部の前記姿勢、前記撮影部への前記可動体の接続部分の位置、前記撮影部への前記可動体の前記接続部分の姿勢、及び、前記可動体の制御量のいずれか１つ以上の変化に基づいて算出する、
［１］の処理装置。
［３］前記プロセッサは、前記複数の撮影点を１つずつ順次に通過し、かつ、前記複数の撮影点のそれぞれを１回のみ通過することを制約条件として、前記移動コストの前記総和を最小化する前記経路について解析する、［１］又は［２］の処理装置。
［４］前記プロセッサは、前記複数の撮影点の全てを通過し、かつ前記移動コストの前記総和を最小化する経路についての最適化問題の最適解、局所最適解及び近似解のいずれかを、前記複数の撮影点の間で前記撮影部を移動させる前記経路として算出する、［１］乃至［３］のいずれか１つの処理装置。
［５］前記プロセッサは、前記複数の撮影点において前記撮影部が撮影した画像を画像処理することにより、前記被検体の前記表面の状態を判定する、［１］乃至［４］のいずれか１つの処理装置。
［６］前記プロセッサは、前記被検体の前記表面に存在すると判定した欠陥を示す画像、及び、前記欠陥についての判定結果を前記形状データに反映させた画像のいずれかを表示させる、［５］の処理装置。
［７］前記プロセッサは、算出した前記経路に沿って前記複数の撮影点の間で前記撮影部が移動している状態において、前記撮影部のリアルタイムの位置及び姿勢を再現した画像、前記撮影部がリアルタイムで撮影している画像、及び、前記被検体の前記表面においてリアルタイムで撮影されている範囲の前記法線ベクトルに関する情報を示す画像のいずれかを表示させる、［１］乃至［６］のいずれか１つの処理装置。
［８］［１］乃至［７］のいずれか１つの処理装置と、
結像光学系を備え、前記結像光学系を用いて前記被検体を結像することにより、前記被検体を撮影する前記撮影部と、
前記撮影部に接続され、動作することにより、前記撮影部の位置及び姿勢を変化させ、前記複数の撮影点の間で前記撮影部を移動可能にする可動体と、
を具備する、前記被検体の検査システム。
［９］前記撮影部は、前記被検体の前記表面に対する前記結像光学系の光軸の角度が所定の角度範囲になる姿勢で、前記複数の撮影点のそれぞれにおいて前記被検体を撮影する、［８］の検査システム。
［１０］前記撮影部は、
前記結像光学系の結像面を形成し、前記結像光学系を通して入射された光を撮像する撮像素子と、
所定の波長範囲の光を透過させる波長選択領域を備えるとともに、前記結像光学系を通して前記撮像素子に入射される光の光路上に配置され、前記波長選択領域を透過した前記所定の波長範囲の光を前記撮像素子に入射させるカラーフィルタと、
を備える、［８］又は［９］の検査システム。
［１１］撮影部を用いた被検体の検査に関連する処理方法であって、
前記被検体の表面の形状が点群によって示され、かつ前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出することと、
算出した前記複数の撮影点の全てを通過し、かつ前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出することと、
を具備する、処理方法。
［１２］撮影部を用いた被検体の検査に関連する処理プログラムであって、コンピュータに、
前記被検体の表面の形状が点群によって示され、かつ前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出させ、
算出した前記複数の撮影点の全てを通過し、かつ前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析させ、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出させる、
処理プログラム。

【符号の説明】

【0078】

１…検査システム、２…撮影部（撮影装置）、３…可動体、５…処理装置、６…処理実行部、７…データ記憶部、８…ユーザインタフェース、１１…撮影点算出部、１２…経路算出部、１３…画像処理部、１５…動作制御部、２１…結像光学系、２２…撮像素子、２７…カラーフィルタ、Ｄ…被検体、Ｕ１～Ｕ３…波長選択領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】