知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018389
(43)【公開日】2024-02-08
(54)【発明の名称】計測装置、検査システムおよび計測方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20240201BHJP
【ＦＩ】
G01B11/25 H
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022121706
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000232302
【氏名又は名称】ニデック株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】坂口 隆
(72)【発明者】
【氏名】阿路川 雄介
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA53
2F065FF04
2F065FF06
2F065HH06
2F065HH07
2F065HH12
2F065HH14
2F065JJ05
2F065JJ08
2F065QQ21
2F065QQ31
2F065SS04
(57)【要約】 （修正有）
【課題】穴や金属などのように、拡散反射しない部分を有する計測対象については測定誤りを生じやすいため、例えば基板などを計測対象とした計測装置や検査装置では、測定誤りの抑制が求められる。
【解決手段】計測装置は、対象物に特定パターンの光を照射する照射部と、上記照射部により光が照射された上記対象物を撮影する撮影部と、パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、上記照射部と上記撮影部とを用いて上記対象物の３次元形状を計測し、上記第１領域と上記第２領域とでは異なる計測方式を用いる計測部と、を備える。
【選択図】図７
【解決手段】計測装置は、対象物に特定パターンの光を照射する照射部と、上記照射部により光が照射された上記対象物を撮影する撮影部と、パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、上記照射部と上記撮影部とを用いて上記対象物の３次元形状を計測し、上記第１領域と上記第２領域とでは異なる計測方式を用いる計測部と、を備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
対象物に特定パターンの光を照射する照射部と、
前記照射部により光が照射された前記対象物を撮影する撮影部と、
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、
前記照射部と前記撮影部とを用いて前記対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測部と、
を備える計測装置。
前記照射部により光が照射された前記対象物を撮影する撮影部と、
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、
前記照射部と前記撮影部とを用いて前記対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測部と、
を備える計測装置。
【請求項2】
前記第２領域内の３次元形状が計測できなかった箇所について、当該第２領域内で計測できた３次元形状に基づいて形状を補完する補完部を更に備える請求項１に記載の計測装置。
【請求項3】
前記領域区分部は、前記第２領域について更に、穴に対応した領域部分と、穴以外に対応した領域部分とに分け、
前記補完部は、前記穴以外に対応した領域部分について補完を行う請求項２に記載の計測装置。
前記補完部は、前記穴以外に対応した領域部分について補完を行う請求項２に記載の計測装置。
【請求項4】
前記照射部は、前記第１領域と前記第２領域とで異なるパターンの光を照射する請求項１に記載の計測装置。
【請求項5】
前記計測部は、前記第１領域について位相シフト法によって３次元形状を計測し、前記第２領域について光切断法によって３次元形状を計測する請求項１に記載の計測装置。
【請求項6】
前記領域区分部は、カラー画像の前記撮影画像に基づいて前記第１領域と前記第２領域とを分ける請求項１に記載の計測装置。
【請求項7】
前記領域区分部は、ディープラーニングの学習モデルによって前記第１領域と前記第２領域とを分ける請求項１に記載の計測装置。
【請求項8】
前記照射部および前記撮影部は、前記撮影画像の取得にも用いられる請求項１に記載の計測装置。
【請求項9】
前記照射部は、前記撮影画像の取得に際し、前記対象物に対して複数方向から光を照射する請求項８に記載の計測装置。
【請求項10】
請求項１から９のいずれか１項に記載の計測装置と、
前記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、
を備える検査システム。
前記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、
を備える検査システム。
【請求項11】
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分ステップと、
前記対象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測ステップと、
を有する計測装置における計測方法。
前記対象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測ステップと、
を有する計測装置における計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測装置、検査システムおよび計測方法に関する。
【背景技術】
【0002】
従来、計測対象の３次元形状を計測する計測装置として、計測対象に対して特定のパターンで光を照射し、光が照射された箇所などを撮影して３次元形状を計測する計測装置がある。また、計測された形状で計測対象の検査を行う検査システムがある。
例えば特許文献１には、クリームハンダの三次元計測に際し、プリント基板の表面に対し斜め上方から所定の光パターンを照射し、プリント基板上の光パターンの照射された部分を撮影する検査装置について開示がある。
例えば特許文献１には、クリームハンダの三次元計測に際し、プリント基板の表面に対し斜め上方から所定の光パターンを照射し、プリント基板上の光パターンの照射された部分を撮影する検査装置について開示がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２８４２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、穴や金属などのように、拡散反射しない部分を有する計測対象については測定誤りを生じやすいため、例えば基板などを計測対象とした計測装置や検査装置では、測定誤りの抑制が求められる。
そこで、本開示は、計測誤りを抑制することを目的とする。
そこで、本開示は、計測誤りを抑制することを目的とする。
【課題を解決するための手段】
【0005】
本開示に係る計測装置は、対象物に特定パターンの光を照射する照射部と、上記照射部により光が照射された上記対象物を撮影する撮影部と、パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、上記照射部と上記撮影部とを用いて上記対象物の３次元形状を計測し、上記第１領域と上記第２領域とでは異なる計測方式を用いる計測部と、を備える。
本開示に係る検査システムは、上記計測装置と、上記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、を備える。
本開示に係る計測方法は、パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分ステップと、上記象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、上記第１領域と上記第２領域とでは異なる計測方式を用いる計測ステップと、を有する。
本開示に係る検査システムは、上記計測装置と、上記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、を備える。
本開示に係る計測方法は、パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分ステップと、上記象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、上記第１領域と上記第２領域とでは異なる計測方式を用いる計測ステップと、を有する。
【発明の効果】
【0006】
本開示によれば、計測誤りを抑制することができる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、添付の図面を参照しながら、本開示の計測装置、検査システムおよび計測方法の実施形態を詳細に説明する。但し、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするため、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。また、先に説明した図に記載の要素については、後の図の説明において適宜に参照する場合がある。
【0009】
図１は、本実施形態に係る検査システム１のシステム構成を模式的に示す図である。
検査システム１は、パーソナルコンピュータ（ＰＣ）１０と、コントローラ２０と、複数のカメラ３０と、複数のプロジェクタ３５とを備える。
ＰＣ１０はコントローラ２０に、対象物の３次元形状を計測するための投光パターンを指示するとともに当該投光パターンによる投光中の撮影を指示する。
検査システム１は、パーソナルコンピュータ（ＰＣ）１０と、コントローラ２０と、複数のカメラ３０と、複数のプロジェクタ３５とを備える。
ＰＣ１０はコントローラ２０に、対象物の３次元形状を計測するための投光パターンを指示するとともに当該投光パターンによる投光中の撮影を指示する。
【0010】
コントローラ２０は、プロジェクタ３５を制御して、ＰＣ１０によって指示された投光パターンによる対象物への投光を実行させ、カメラ３０を制御して、投光中の対象物の撮影を実行させる。コントローラ２０は、カメラ３０から撮影画像を入手してＰＣ１０へと送る。
【0011】
ＰＣ１０は、コントローラ２０から送られてくる撮影画像に基づいて対象物の３次元形状を計測し、計測した形状に基づいて対象物を検査する。
検査システム１における３次元形状の計測方法としては、複数の計測方法が用意され、それらの計測方法がＰＣ１０によって適宜に使い分けられる。使い分けの詳細については後述する。
検査システム１における３次元形状の計測方法としては、複数の計測方法が用意され、それらの計測方法がＰＣ１０によって適宜に使い分けられる。使い分けの詳細については後述する。
【0012】
図２は、カメラ３０とプロジェクタ３５の配置例を示す図である。
図２には、一例として、４台のカメラ３０と４台のプロジェクタ３５が備えられる場合の配置例が示される。カメラ３０とプロジェクタ３５は、異なる数が備えられてもよい。
図２には、一例として、４台のカメラ３０と４台のプロジェクタ３５が備えられる場合の配置例が示される。カメラ３０とプロジェクタ３５は、異なる数が備えられてもよい。
【0013】
図２に示す例では、ワークと称される対象物Ｗが載置されるステージＳの上方に、４方向それぞれから対象物Ｗに光Ｌを照射する４台のプロジェクタ３５が配備される。プロジェクタ３５は、対象物Ｗの３次元形状の計測方式に応じた特定パターンの光Ｌを対象物Ｗに照射する。そして、４台のプロジェクタ３５の相互間に４台のカメラ３０が配備される。図２では、４台のカメラ３０が、４台のプロジェクタ３５による光Ｌの照射方向とは異なる４方向それぞれから対象物Ｗを撮影する
【0014】
カメラ３０は、プロジェクタ３５により光が照射された対象物Ｗを撮影する。プロジェクタ３５による投光方向は、例えば図２の上下左右それぞれ方向であり、カメラ３０による撮影方向は、例えば図２の右上、右下、左上および左下それぞれの方向である。
カメラ３０は一例としてモノクロカメラであり、プロジェクタ３５は、一例としてＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれの色で投光可能である。また、プロジェクタ３５は、コントローラ２０による制御によって、各計測方式に対応した投光パターンで光Ｌを対象物Ｗに照射することができる。投光パターンとしては、例えば、位相シフト法における空間コード化された位相シフトパターンや、光切断法における白線パターンが用いられる。
カメラ３０は一例としてモノクロカメラであり、プロジェクタ３５は、一例としてＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれの色で投光可能である。また、プロジェクタ３５は、コントローラ２０による制御によって、各計測方式に対応した投光パターンで光Ｌを対象物Ｗに照射することができる。投光パターンとしては、例えば、位相シフト法における空間コード化された位相シフトパターンや、光切断法における白線パターンが用いられる。
【0015】
カメラ３０およびプロジェクタ３５は、３次元形状を計測するための投光および撮影のみならず、対象物Ｗの２次元画像としてのカラー画像の撮影も可能である。カラー画像の撮影に際してプロジェクタ３５は対象物Ｗに、パターン化されていない光を照射する。
対象物Ｗの２次元画像は、３次元形状の計測用とは別のカメラによって撮影されてもよいが、本実施形態では、３次元形状の計測に用いられるカメラ３０およびプロジェクタ３５が２次元画像の取得にも用いられる。カメラ３０およびプロジェクタ３５の兼用により、装置構成の簡素化が図られる。
対象物Ｗの２次元画像は、３次元形状の計測用とは別のカメラによって撮影されてもよいが、本実施形態では、３次元形状の計測に用いられるカメラ３０およびプロジェクタ３５が２次元画像の取得にも用いられる。カメラ３０およびプロジェクタ３５の兼用により、装置構成の簡素化が図られる。
【0016】
図１に示す検査システム１では複数のカメラ３０と複数のプロジェクタ３５が備えられるが、カメラ３０およびプロジェクタ３５は、双方もしくは一方が検査システム１に１台備えられてもよい。
【0017】
図３は、カメラ３０とプロジェクタ３５の配置の変形例を示す図である。
図３には、一例として、１台のカメラ３０と４台のプロジェクタ３５が備えられる場合の配置例が示される。図３に示す例では、４方向それぞれから対象物Ｗに光Ｌを照射する４台のプロジェクタ３５がステージＳの上方に配備され、対象物Ｗを真上から撮影する１台のカメラ３０が配備される。
図３には、一例として、１台のカメラ３０と４台のプロジェクタ３５が備えられる場合の配置例が示される。図３に示す例では、４方向それぞれから対象物Ｗに光Ｌを照射する４台のプロジェクタ３５がステージＳの上方に配備され、対象物Ｗを真上から撮影する１台のカメラ３０が配備される。
【0018】
以下では、図２に示す配置例でカメラ３０とプロジェクタ３５が配備されるものとして説明を続ける。
図４は、図１に示す検査システム１における機能構成を示す図である。
ＰＣ１０は機能構成として、特徴領域検出部１１と、計測方式制御部１２と、高さ算出部１３と、補完部１４と、良否判定部１５とを備える。
図４は、図１に示す検査システム１における機能構成を示す図である。
ＰＣ１０は機能構成として、特徴領域検出部１１と、計測方式制御部１２と、高さ算出部１３と、補完部１４と、良否判定部１５とを備える。
【0019】
特徴領域検出部１１は、対象物Ｗ上で拡散反射しない特徴領域を、対象物Ｗの２次元画像から検出する。特徴領域検出部１１は、コントローラ２０に対して２次元画像の撮影を指示し、コントローラ２０から転送されてくる対象物Ｗの２次元画像を取得して特徴領域を検出する。言い換えると特徴領域検出部１１は、パターン化されていない光が照射された対象物Ｗの撮影画像に基づいて、当該対象物Ｗの領域を、拡散反射する通常領域と、拡散反射しない特徴領域とに分ける。
【0020】
特徴領域検出部１１は、対象物Ｗの撮影画像のうち、カラー画像の撮影画像に基づいて通常領域と特徴領域とを分ける。カラー画像はモノクロ画像よりも対象物Ｗにおける反射の特性が区別しやすいからである。また、特徴領域検出部１１は、ディープラーニングの学習モデルによって通常領域と特徴領域とを分ける。ディープラーニングの学習モデルが用いられることによって通常領域と特徴領域とが精度よく区分される。
【0021】
計測方式制御部１２は、３次元形状の計測方式を対象物Ｗの領域毎に制御し、特徴領域であるか否かによって計測方式を切り替える。そして、計測方式制御部１２は、計測方式に応じた投光パターンをコントローラ２０に指示する。
高さ算出部１３は、対象物Ｗの２次元位置それぞれについて対象物Ｗの高さを算出することで対象物Ｗの３次元形状を計測する。高さ算出部１３は、コントローラ２０から撮影画像の転送を受け、計測方式によっては投光時の空間コードも入手して、撮影画像および空間コードに基づいて対象物Ｗの高さを算出する。
高さ算出部１３は、対象物Ｗの２次元位置それぞれについて対象物Ｗの高さを算出することで対象物Ｗの３次元形状を計測する。高さ算出部１３は、コントローラ２０から撮影画像の転送を受け、計測方式によっては投光時の空間コードも入手して、撮影画像および空間コードに基づいて対象物Ｗの高さを算出する。
【0022】
つまり、計測方式制御部１２および高さ算出部１３は、カメラ３０とプロジェクタ３５とを用いて対象物Ｗの３次元形状を計測し、通常領域と特徴領域とでは異なる計測方式を用いる。
補完部１４は、対象物Ｗの２次元位置のうち、高さ算出部１３で高さが検出できなかった箇所について、当該箇所の周囲で計測された高さに基づいて補完を行う。対象物Ｗに開いている穴が補完によって潰れることの無いように、後述するように補完部１４では、補完対象となる箇所の選択が行われる。
補完部１４は、対象物Ｗの２次元位置のうち、高さ算出部１３で高さが検出できなかった箇所について、当該箇所の周囲で計測された高さに基づいて補完を行う。対象物Ｗに開いている穴が補完によって潰れることの無いように、後述するように補完部１４では、補完対象となる箇所の選択が行われる。
【0023】
良否判定部１５では、対象物Ｗの３次元形状に基づいて対象物Ｗに対する良否判定が行われる。例えば基板の検査においては半田形状の良否などが判定される。判定の具体的な手法については従来周知の任意の手法が採用されるものとして詳細説明は省略する。
検査システム１における３次元形状の計測においては、基板のように穴や金属部分などを有する対象物Ｗについても計測誤りの少ない計測を実現するために、対象物Ｗの各領域における光の反射状態に応じて計測方式が切り替えられる。計測方式の切り換えの準備として、検査システム１では以下説明する前処理が実行される。
検査システム１における３次元形状の計測においては、基板のように穴や金属部分などを有する対象物Ｗについても計測誤りの少ない計測を実現するために、対象物Ｗの各領域における光の反射状態に応じて計測方式が切り替えられる。計測方式の切り換えの準備として、検査システム１では以下説明する前処理が実行される。
【0024】
図５は、検査システム１における前処理を示すフローチャートである。図５に示す前処理は、ＰＣ１０の特徴領域検出部１１によって実行される。
前処理が開始されると、まず、対象物Ｗの２次元画像としてカラー画像が撮影される（Ｓ１０１）。検査システム１のカメラ３０はモノクロカメラなので、検査システム１では、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれの光による撮影が行われる。そして、各撮影画像が組み合わされることにより、疑似的にカラー画像が得られる。また、２次元画像の撮影に際しては、４つのプロジェクタ３５による４つの投光方向全部から同時に光Ｌが対象物Ｗに照射され、４つのカメラ３０それぞれで撮影が行われる。つまり、プロジェクタ３５は、２次元画像の取得に際し、対象物Ｗに対して複数方向から光を照射する。複数方向からの投光により、２次元画像上で、拡散反射か否かの判定や穴の有無の判定が容易となる。
前処理が開始されると、まず、対象物Ｗの２次元画像としてカラー画像が撮影される（Ｓ１０１）。検査システム１のカメラ３０はモノクロカメラなので、検査システム１では、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれの光による撮影が行われる。そして、各撮影画像が組み合わされることにより、疑似的にカラー画像が得られる。また、２次元画像の撮影に際しては、４つのプロジェクタ３５による４つの投光方向全部から同時に光Ｌが対象物Ｗに照射され、４つのカメラ３０それぞれで撮影が行われる。つまり、プロジェクタ３５は、２次元画像の取得に際し、対象物Ｗに対して複数方向から光を照射する。複数方向からの投光により、２次元画像上で、拡散反射か否かの判定や穴の有無の判定が容易となる。
【0025】
次に、４つのプロジェクタ３５による４つの投光方向それぞれの光Ｌによってモノクロ画像が撮影される（Ｓ１０２）。モノクロ画像は、１つの投光方向に対して４つのカメラ３０それぞれで撮影が行われる。このため、モノクロ画像は合計で４×４＝１６個得られる。
【0026】
カラー画像とモノクロ画像が得られると、対象物Ｗ上の特徴領域が検出される（Ｓ１０３）。特徴領域は、対象物Ｗ上で拡散反射しない領域であり、カラー画像に対して周知の画像分析が施されることで特徴領域が検出される。特徴領域を検出する画像分析としては、例えば、深層学習を含む機械学習で得られる学習モデルによる分析や、画像上の特徴量による画像分析などが採用可能である。
【0027】
なお、本実施形態では、特徴領域内の、１６個のモノクロ画像の全てで黒潰れを生じた箇所については、穴領域として処理される。つまり、Ｓ１０３では、特徴領域について更に、穴に対応した領域部分と、穴以外に対応した領域部分とに分けられる。また、カメラ３０とプロジェクタ３５との１６種類の組み合わせのうち、画像中に白飛びを生じていないか白飛びが最も少ない組み合わせが、３次元形状の計測用の組み合わせとして選択される。
【0028】
図５に示す前処理が終了すると、３次元形状の計測が行われる。
図６は、３次元形状の計測処理を示すフローチャートである。
３次元形状の計測処理が開始されると、拡散反射する通常領域に対し、空間コード化された位相シフト法で計測が行われる（Ｓ２０１）。通常領域に対する空間コード化された位相シフト法の適用は、ＰＣ１０の計測方式制御部１２による計測方式の切り換えによって実現される。
図６は、３次元形状の計測処理を示すフローチャートである。
３次元形状の計測処理が開始されると、拡散反射する通常領域に対し、空間コード化された位相シフト法で計測が行われる（Ｓ２０１）。通常領域に対する空間コード化された位相シフト法の適用は、ＰＣ１０の計測方式制御部１２による計測方式の切り換えによって実現される。
【0029】
また、Ｓ２０１で高さ算出部１３は、位相シフト法に従って対象物Ｗの通常領域の各所について高さを算出することで、通常領域における３次元形状を計測する。対象物Ｗの通常領域では、位相シフト法が苦手とする鏡面反射を生じないため、当該領域における３次元形状が位相シフト法によって精度よく計測される。なお、Ｓ２０１では、カメラ３０とプロジェクタ３５との上述した組み合わせが用いられることで白飛びが回避されて精度の良い計測が実現される。
【0030】
Ｓ２０１の計測が終了すると、次に、特徴領域について光切断法で計測が行われる（Ｓ２０２）。特徴領域では鏡面反射などが生じるが、光切断法は鏡面反射による白飛びに強いため、光切断法によって特徴領域における３次元形状が精度よく計測される。
Ｓ２０１における通常領域の計測と、Ｓ２０２における特徴領域の計測とで計測方式が切り替えられることにより、各領域の反射特性に応じた計測方式で精度の良い計測が実現される。
Ｓ２０１における通常領域の計測と、Ｓ２０２における特徴領域の計測とで計測方式が切り替えられることにより、各領域の反射特性に応じた計測方式で精度の良い計測が実現される。
【0031】
Ｓ２０１とＳ２０２に関する上記説明では、領域と計測方式との望ましい組み合わせが例示される。即ち、通常領域について位相シフト法によって３次元形状が計測され、特徴領域について光切断法によって３次元形状が計測される。
但し、領域と計測方式との組み合わせは上記に限定されるものではない。例えば、空間コード化された位相シフトを基本として、領域に応じて投光パターンが変更されてもよい。また、特徴領域については、固定の計測方式や投光パターンに替えて、あらかじめ用意された複数種類の計測方式や投光パターンのうち、特徴領域での反射特性に応じた計測方式や投光パターンが選択されてもよい。例えば、特徴領域の鏡面反射を生じる箇所では、撮影の露光時間が下げられてもよいし、多重反射を生じる箇所では投光パターンにマスクが適用されてもよい。
但し、領域と計測方式との組み合わせは上記に限定されるものではない。例えば、空間コード化された位相シフトを基本として、領域に応じて投光パターンが変更されてもよい。また、特徴領域については、固定の計測方式や投光パターンに替えて、あらかじめ用意された複数種類の計測方式や投光パターンのうち、特徴領域での反射特性に応じた計測方式や投光パターンが選択されてもよい。例えば、特徴領域の鏡面反射を生じる箇所では、撮影の露光時間が下げられてもよいし、多重反射を生じる箇所では投光パターンにマスクが適用されてもよい。
【0032】
Ｓ２０１およびＳ２０２による計測が終了すると、特徴領域内で計測できなかった箇所、即ち高さが算出不能だった箇所について、当該箇所の周囲で算出された高さから当該箇所の高さが補完で求められる（Ｓ２０３）。言い換えると、特徴領域内の３次元形状が計測できなかった箇所について、当該特徴領域内で計測できた３次元形状に基づいて形状が補完される。計測できなかった箇所としては、例えば、鏡面反射の白飛びが避けられなかった箇所などが考えられる。
【0033】
補完により、白飛びなどで計測不能となった箇所についても高さの情報が得られ、対象物Ｗにおける欠けの無い３次元形状が得られる。また、Ｓ２０３の補間では、図５に示す前処理で検出された穴領域については補完対象から除外され、穴以外に対応した領域部分について補完が行われる。これにより、対象物Ｗに開いている穴が補完で塞がってしまう不具合が回避される。
【0034】
図７は、前処理と計測処理の具体例を示す図である。
図７に示す例では、対象物Ｗの一例として電子基板が用いられる。図７の左上には、前処理で得られたカラー画像４０が示される。カラー画像４０の解析により、カラー画像４０上の各領域（即ち対象物Ｗ上の各領域）が、特徴領域４１と通常領域４３とに分けられる。特徴領域４１としては、例えば電子基板上の半田箇所などが該当する。また、カラー画像４０上には、モノクロ画像の解析で得られた穴領域４２も示される。なお、本実施形態では、撮影画像中の、対象物Ｗから外れた領域（例えば図７で通常領域４３の上方に位置する領域）も穴領域４２として処理される。
図７に示す例では、対象物Ｗの一例として電子基板が用いられる。図７の左上には、前処理で得られたカラー画像４０が示される。カラー画像４０の解析により、カラー画像４０上の各領域（即ち対象物Ｗ上の各領域）が、特徴領域４１と通常領域４３とに分けられる。特徴領域４１としては、例えば電子基板上の半田箇所などが該当する。また、カラー画像４０上には、モノクロ画像の解析で得られた穴領域４２も示される。なお、本実施形態では、撮影画像中の、対象物Ｗから外れた領域（例えば図７で通常領域４３の上方に位置する領域）も穴領域４２として処理される。
【0035】
図７の上段中央に示すように、対象物Ｗの計測に際しては、まず、特徴領域４１以外の全領域を対象として、空間コード化された位相シフトパターン５１が投光され、位相シフト法による計測が行われる。次に、図７の右上に示されるように、特徴領域４１の一部について白線パターン５２が投光され、光切断法による計測が行われる。特徴領域４１に対する投光方向と撮影方向との組み合わせについては、鏡面反射をできるだけ避けた組み合わせが用いられる。
【0036】
投光方向と撮影方向との適切な組み合わせが特徴領域４１毎に異なることや、他の特徴領域４１から反射された投光パターンの映り込みを避けることなどから、図７の右下から左下に示すように、特徴領域４１が複数のグループに分けられて順次に計測される。特徴領域４１のグループごとに投光パターンの照度が調整されてもよい。
【0037】
特徴領域４１と通常領域４３とで異なるパターンの光が照射されることにより、特徴領域４１と通常領域４３それぞれにおける反射の特性に応じた投光が可能となり、３次元形状が精度良く計測される。
【0038】
図８は、補完処理の具体例を示す図である。
図８の左上には、対象物Ｗについて計測処理で得られた補間前の形状データ６１が示され、左下には、対象物Ｗについて前処理で得られたカラー画像６２が示される。
補間前の形状データ６１における一部領域４５内には、黒潰れした穴領域４２が含まれる。また、補間前の形状データ６１における特徴領域４１内には、例えばはんだ表面の鏡面反射による非計測個所４６が含まれる。
図８の左上には、対象物Ｗについて計測処理で得られた補間前の形状データ６１が示され、左下には、対象物Ｗについて前処理で得られたカラー画像６２が示される。
補間前の形状データ６１における一部領域４５内には、黒潰れした穴領域４２が含まれる。また、補間前の形状データ６１における特徴領域４１内には、例えばはんだ表面の鏡面反射による非計測個所４６が含まれる。
【0039】
特徴領域４１は、カラー画像６２上で検出され、一部領域４５に含まれた穴領域４２についてはカラー画像６２と上述したモノクロ画像とによって特定される。
図８の右側には補正後の形状データ６３が示され、特徴領域４１内の非計測個所４６が補完されてはんだ４７の正しい形状が得られる。これに対して穴領域４２には補完が行われないため、正しく穴として残ることになる。
図８の右側には補正後の形状データ６３が示され、特徴領域４１内の非計測個所４６が補完されてはんだ４７の正しい形状が得られる。これに対して穴領域４２には補完が行われないため、正しく穴として残ることになる。
【0040】
なお、ここでは、本発明の計測装置および計測方法における使用方法の一例として検査システムが挙げられるが、本発明の計測装置および計測方法は上記に限定されず、３Ｄプリント用の３Ｄスキャンなど広範囲に使用可能である。
上述した実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
なお、本技術は以下のような構成をとることが可能である。
（１）
対象物に特定パターンの光を照射する照射部と、
前記照射部により光が照射された前記対象物を撮影する撮影部と、
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、
前記照射部と前記撮影部とを用いて前記対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測部と、
を備える計測装置。
（２）
前記第２領域内の３次元形状が計測できなかった箇所について、当該第２領域内で計測できた３次元形状に基づいて形状を補完する補完部を更に備える（１）に記載の計測装置。
（３）
前記領域区分部は、前記第２領域について更に、穴に対応した領域部分と、穴以外に対応した領域部分とに分け、
前記補完部は、前記穴以外に対応した領域部分について補完を行う（２）に記載の計測装置。
（４）
前記照射部は、前記第１領域と前記第２領域とで異なるパターンの光を照射する（１）～（３）のいずれかに記載の計測装置。
（５）
前記計測部は、前記第１領域について位相シフト法によって３次元形状を計測し、前記第２領域について光切断法によって３次元形状を計測する（１）～（４）のいずれかに記載の計測装置。
（６）
前記領域区分部は、カラー画像の前記撮影画像に基づいて前記第１領域と前記第２領域とを分ける（１）～（５）のいずれかに記載の計測装置。
（７）
前記領域区分部は、ディープラーニングの学習モデルによって前記第１領域と前記第２領域とを分ける（１）～（６）のいずれかに記載の計測装置。
（８）
前記照射部および前記撮影部は、前記撮影画像の取得にも用いられる（１）～（７）のいずれかに記載の計測装置。
（９）
前記照射部は、前記撮影画像の取得に際し、前記対象物に対して複数方向から光を照射する（８）に記載の計測装置。
（１０）
（１）から（９）のいずれかに記載の計測装置と、
前記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、
を備える検査システム。
（１１）
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分ステップと、
前記対象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測ステップと、
を有する計測装置における計測方法。
上述した実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
なお、本技術は以下のような構成をとることが可能である。
（１）
対象物に特定パターンの光を照射する照射部と、
前記照射部により光が照射された前記対象物を撮影する撮影部と、
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分部と、
前記照射部と前記撮影部とを用いて前記対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測部と、
を備える計測装置。
（２）
前記第２領域内の３次元形状が計測できなかった箇所について、当該第２領域内で計測できた３次元形状に基づいて形状を補完する補完部を更に備える（１）に記載の計測装置。
（３）
前記領域区分部は、前記第２領域について更に、穴に対応した領域部分と、穴以外に対応した領域部分とに分け、
前記補完部は、前記穴以外に対応した領域部分について補完を行う（２）に記載の計測装置。
（４）
前記照射部は、前記第１領域と前記第２領域とで異なるパターンの光を照射する（１）～（３）のいずれかに記載の計測装置。
（５）
前記計測部は、前記第１領域について位相シフト法によって３次元形状を計測し、前記第２領域について光切断法によって３次元形状を計測する（１）～（４）のいずれかに記載の計測装置。
（６）
前記領域区分部は、カラー画像の前記撮影画像に基づいて前記第１領域と前記第２領域とを分ける（１）～（５）のいずれかに記載の計測装置。
（７）
前記領域区分部は、ディープラーニングの学習モデルによって前記第１領域と前記第２領域とを分ける（１）～（６）のいずれかに記載の計測装置。
（８）
前記照射部および前記撮影部は、前記撮影画像の取得にも用いられる（１）～（７）のいずれかに記載の計測装置。
（９）
前記照射部は、前記撮影画像の取得に際し、前記対象物に対して複数方向から光を照射する（８）に記載の計測装置。
（１０）
（１）から（９）のいずれかに記載の計測装置と、
前記計測装置によって計測された３次元形状で前記対象物を検査する検査装置と、
を備える検査システム。
（１１）
パターン化されていない光が照射された対象物の撮影画像に基づいて、当該対象物の領域を、拡散反射する第１領域と、拡散反射しない第２領域とに分ける領域区分ステップと、
前記対象物に特定パターンの光を照射する照射部、および、当該特定パターンの光が照射された当該対象物を撮影する撮影部を用いて当該対象物の３次元形状を計測し、前記第１領域と前記第２領域とでは異なる計測方式を用いる計測ステップと、
を有する計測装置における計測方法。
【符号の説明】
【0041】
１ ：検査システム
１０ ：パーソナルコンピュータ（ＰＣ）
１１ ：特徴領域検出部
１２ ：計測方式制御部
１３ ：高さ算出部
１４ ：補完部
１５ ：良否判定部
２０ ：コントローラ
３０ ：カメラ
３５ ：プロジェクタ
４０ ：カラー画像
４１ ：特徴領域
４２ ：穴領域
４３ ：通常領域
５１ ：位相シフトパターン
５２ ：白線パターン
Ｗ ：対象物
１０ ：パーソナルコンピュータ（ＰＣ）
１１ ：特徴領域検出部
１２ ：計測方式制御部
１３ ：高さ算出部
１４ ：補完部
１５ ：良否判定部
２０ ：コントローラ
３０ ：カメラ
３５ ：プロジェクタ
４０ ：カラー画像
４１ ：特徴領域
４２ ：穴領域
４３ ：通常領域
５１ ：位相シフトパターン
５２ ：白線パターン
Ｗ ：対象物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】