特許 7507125 検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-19

(45)【発行日】2024-06-27

(54)【発明の名称】検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム

(51)【国際特許分類】

   G01N 21/90 20060101AFI20240620BHJP

   G01N 21/88 20060101ALI20240620BHJP

【ＦＩ】

G01N21/90 D

G01N21/88 J

【請求項の数】 7

(21)【出願番号】P 2021095433

(22)【出願日】2021-06-07

(65)【公開番号】P2022187407

(43)【公開日】2022-12-19

【審査請求日】2023-07-13

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】日下 隆浩

(72)【発明者】

【氏名】三沢 博章

(72)【発明者】

【氏名】古川 博基

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２０１１／０７１０３５（ＷＯ，Ａ１）

【文献】特開２０１２－０４９５０３（ＪＰ，Ａ）

【文献】特開２００７－３０３９９２（ＪＰ，Ａ）

【文献】特開２０１５－０２８４３８（ＪＰ，Ａ）

【文献】特表２００９－５１４１９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

(57)【特許請求の範囲】

【請求項1】

２次元画像の画像データと、距離画像の画像データとを取得する入力部と、
取得した前記２次元画像の画像データに対して、検査感度が高く、過去に設定した検査領域から第１の検査領域を算出する高感度領域算出部と、
取得した前記距離画像の画像データから検査対象物の３次元形状を推定し、推定した前記３次元形状に対して、検査感度が前記第１の検査領域よりも低く、当該検査対象物の縁を囲んだ領域、または当該検査対象物の表面の凹凸を囲んだ領域を検出する第２の検査領域を算出する低感度領域算出部と、
前記高感度領域算出部で算出した第１の検査領域と、前記低感度領域算出部で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する検査領域決定部と、
を備えることを特徴とする検査装置用情報処理装置。

【請求項2】

前記２次元画像の画像データと、前記距離画像の画像データは、
容器に充填された医薬品の画像データであって、異物検査に用いられる、
ことを特徴とする請求項１に記載の検査装置用情報処理装置。

【請求項3】

前記検査領域決定部は、
前記第１の検査領域と前記第２の検査領域とを結合する際、重複する検査領域に対して、前記低感度領域算出部で算出した第２の検査領域を優先する、
ことを特徴とする請求項１又は２に記載の検査装置用情報処理装置。

【請求項4】

過去の検査対象物の２次元画像の画像データに、前記過去に設定した検査領域と検査感度とを用いて、機械学習により識別器モデルを生成する学習済み識別器を、更に備え、
前記高感度領域算出部は、
取得した前記２次元画像の画像データに前記識別器モデルを使用して、前記第１の検査領域を算出する、
ことを特徴とする請求項１から３のいずれか１項に記載の検査装置用情報処理装置。

【請求項5】

前記検査領域決定部で決定した、前記検査領域と前記検査感度とを格納する記憶部を、更に備え、
前記学習済み識別器は、
前記記憶部に格納された検査領域と検査感度とを用いて、前記検査対象物の２次元画像の画像データに適用し、前記識別器モデルを生成する、
ことを特徴とする請求項４に記載の検査装置用情報処理装置。

【請求項6】

２次元画像の画像データと、距離画像の画像データとを取得するステップと、
取得した前記２次元画像の画像データに対して、検査感度が高く、過去に設定した検査領域から第１の検査領域を算出するステップと、
取得した前記距離画像の画像データから検査対象物の３次元形状を推定し、推定した前記３次元形状に対して、検査感度が前記第１の検査領域よりも低く、当該検査対象物の縁を囲んだ領域、または当該検査対象物の表面の凹凸を囲んだ領域を検出する第２の検査領域を算出するステップと、
前記第１の検査領域と前記第２の検査領域とを結合して、検査領域と検査感度とを決定するステップと、
を含むことを特徴とする検査装置用情報処理方法。

【請求項7】

２次元画像と距離画像とを撮像する撮像部と、
前記２次元画像の画像データと、前記距離画像の画像データとを取得する入力部と、
取得した前記２次元画像の画像データに対して、検査感度が高く、過去に設定した検査領域から第１の検査領域を算出する高感度領域算出部と、
取得した前記距離画像の画像データから検査対象物の３次元形状を推定し、推定した前記３次元形状に対して、検査感度が前記第１の検査領域よりも低く、当該検査対象物の縁を囲んだ領域、または当該検査対象物の表面の凹凸を囲んだ領域を検出する第２の検査領域を算出する低感度領域算出部と、
前記高感度領域算出部で算出した第１の検査領域と、前記低感度領域算出部で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する検査領域決定部と、
を備えることを特徴とする検査装置システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システムに関する。

【背景技術】

【0002】

従来、部品や製品の表面にある異物、傷、及び欠陥を確認する外観検査では、目視による検査を行っていた。しかしながら、目視による検査では限界があるため、検査対象物をカメラで撮影し、画像処理により異常（異物、傷、及び欠陥）を検出する手法が一般的に行われるようになった。

【0003】

また、従来の画像処理による外観検査では、検査対象物ごとに細かな検査領域の設定している。具体的には、撮像された画像の中において、検査プログラムにより外観検査する領域を設定する。特に、アンプルやバイアル等に充填された医薬品の異物検査では、検査での誤判定を減少させるため、検査領域の設定に加えて検査領域ごとに検査プログラムで異常と判定する閾値（以下、これを検査感度という。）の設定も行っている。

【0004】

例えば、検査対象物の縁や表面の凹凸等は、陰影が深いことやカメラのピントが合わせづらく不鮮明であることから、従来の画像処理では誤判定が生じやすい。そのため、検査対象物の縁や表面の凹凸等には、検査感度を低く設定する。

【0005】

これにより、異物判定を行う画像処理の判定条件を厳しくすることで、異物の検出率と縁や表面の凹凸等の異物に近い特徴をもつ領域の誤判定とを減少させている。また、これらの設定は、画像処理に精通した作業員が、過去の経験や蓄積されたノウハウに基づいて手作業で設定していたため、大きな工数と作業の属人化が問題となっている。

【0006】

この問題に対して、特許文献１の要約書には、「第一の閾値を用いた第一の二値化処理を実行して得られた第一の閉領域の数よりも、第一の閾値と異なる第二の閾値に基づく第二の二値化処理を実行して得られた第二の閉領域の数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補として更新した欠陥候補情報から、画像データにおける欠陥候補を特定する欠陥候補特定部２１を備える」欠陥候補特定装置が開示されている（特許文献１の要約書参照）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１５－２８４３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示された欠陥候補特定装置は、欠陥候補特定部を備えて構成されている。欠陥候補特定部では、対象領域毎に、第一の閉領域の個数と、第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、欠陥候補情報を、新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する。これにより、欠陥候補特定部は、更新された欠陥候補情報から画像データにおける欠陥候補を特定できる。

【0009】

特に、特許文献１に記載の欠陥候補特定装置は、液晶ディスプレイの製造工程におけるパネルの外観を検査する装置であり、他にも、シリコン基板や印刷物に形成された図形や文字等の欠陥を検査対象としている。

【0010】

ここで、特許文献１に開示された技術では、欠陥候補情報を更新することによって検査対象である欠陥候補を特定して検査領域を設定しており、検査対象物において、検査領域のみを設定する。そのため、検査領域の設定についてのみ、工数を削減できる。

【0011】

しかしながら、検査領域を設定できても、検査対象物によっては検査領域ごとに検査感度を設定する必要があるため、別途、検査感度を手動で設定しなくてはならない、という課題が存在する。

【0012】

そこで、本発明は、検査領域の設定に要する工数だけでなく、検査感度の設定に要する工数も削減し、作業の属人化を防止することを課題とする。

【課題を解決するための手段】

【0013】

本発明の検査装置用情報処理装置は、２次元画像の画像データと、距離画像の画像データとを取得する入力部と、取得した前記２次元画像の画像データに対して、検査感度が高く、過去に設定した検査領域から第１の検査領域を算出する高感度領域算出部と、取得した前記距離画像の画像データから検査対象物の３次元形状を推定し、推定した前記３次元形状に対して、検査感度が前記第１の検査領域よりも低く、当該検査対象物の縁を囲んだ領域、または当該検査対象物の表面の凹凸を囲んだ領域を検出する第２の検査領域を算出する低感度領域算出部と、前記高感度領域算出部で算出した第１の検査領域と、前記低感度領域算出部で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する検査領域決定部と、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。

【発明の効果】

【0014】

本発明によれば、検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システムにおいて、検査領域の設定に要する工数だけでなく、検査感度の設定に要する工数も削減し、作業の属人化を防止できる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る検査装置用情報処理装置の機能ブロック図である。

【図2】本実施形態に係る検査装置用情報処理装置の主なハードウエアの構成例を示す説明図である。

【図3】本実施形態に係る検査装置システムの実施例を示す説明図である。

【図4】本実施形態に係る検査装置用情報処理装置のＣＰＵが実行する、検査領域および検査感度の設定処理を示すフローチャートである。

【図5】検査装置用情報処理装置が算出する領域のイメージを示す説明図である。

【図6】高感度領域と低感度領域とが重複しない場合において、そのまま検査領域を結合するイメージを示す説明図である。

【図7】本実施例の検査装置システムのハードウエアの構成例を示した説明図である。

【発明を実施するための形態】

【0016】

以降、本発明を実施するための形態（「本実施形態」という）を、図面を参照しながら説明する。なお、本説明において、同一の構成要素には同一の符号を付し、説明を適宜、省略する。

【0017】

＜本実施形態＞
［検査装置用情報処理装置の機能］
図１は、本実施形態に係る検査装置用情報処理装置１の機能ブロック図である。検査装置用情報処理装置１は、検査装置システムに用いられる情報処理装置である。すなわち、検査装置用情報処理装置１は、パーソナルコンピュータやサーバなどの情報処理装置により構成される。また、検査装置用情報処理装置１は、カメラ２と共に用いられることにより、後述する検査装置システムを構成する。

【0018】

図１に示すように、検査装置用情報処理装置１は、入力部３、高感度領域算出部４、低感度領域６、及び検査領域決定部７を備えて構成されている。なお、入力部３、高感度領域算出部４、低感度領域６、及び検査領域決定部７は、図２において後述するＣＰＵ１１０が、記憶部１２０の制御プログラム１２１を実行することにより、具現化される。

【0019】

入力部３は、図３において後述するカメラ２から、２次元画像の画像データと、距離画像の画像データとを取得する。入力部３は、取得した２次元画像の画像データを、高感度領域算出部４に送出する。また、入力部３は、取得した距離画像の画像データを、低感度領域６に送出する。

【0020】

本実施形態では、２次元画像の画像データと、距離画像の画像データは、例えば、容器に充填された医薬品の画像データであって、異物検査に用いられる画像データを対象とする。また、医薬品は、アンブルやバイアルなどの容器に充填されている。

【0021】

高感度領域算出部４は、入力部３から２次元画像の画像データを取得する。高感度領域算出部４は、取得した２次元画像の画像データに対して、検査感度が高く、微小な特徴を検出する第１の検査領域を算出する。

【0022】

ここで、高感度領域算出部４は、例えば、取得した２次元画像の画像データから、画像処理により検査感度を相対的に高い検査領域を算出する。画像処理には、ディープラーニング（Deep Learning）の機械学習を用いた物体検出手法を使用することができる。また、高感度領域算出部４は、ＨＯＧ（Histogram Of oriented Gradients）特徴量を用いた勾配強度を抽出して、ＳＶＭ（Support Vector Machine）により分類する手法を使用してもよい。

【0023】

低感度領域６は、入力部３から距離画像の画像データを取得する。低感度領域６は、取得した距離画像の画像データから検査対象物の３次元形状を推定し、推定した３次元形状に対して、検査感度が第１の検査領域よりも低く、異物に近似した特徴を検出する第２の検査領域を算出する。

【0024】

検査領域決定部７は、高感度領域算出部４で算出した第１の検査領域と、低感度領域６で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する。これにより、検査領域決定部７は、最終的な検査領域と検査領域ごとの検査感度とを決定できる。特に、検査領域決定部７は、検査対象物の全体に対して、検査領域を決定することができるとともに、検査領域ごとに検査感度を決定できる。

【0025】

また、検査領域決定部７は、第１の検査領域と第２の検査領域とを結合する際、重複する検査領域に対して、低感度領域算出部６で算出した第２の検査領域を優先してもよい。これにより、検査領域決定部７は、重複する検査領域に対して、検査対象物の縁や表面の凹凸を優先することができる。

【0026】

なお、２次元画像と距離画像について、本実施形態では、検査感度を閾値によって設定することができるので、２次元画像は距離画像よりも閾値が高く、距離画像は２次元画像よりも閾値が低く設定される。これにより、２次元画像から検査感度が高く、微小な特徴を検出する第１の検査領域を算出し、一方、距離画像から検査感度が低く、異物に近似した特徴を検出する第２の検査領域を算出する。

【0027】

次に、本実施形態に係る検査装置用情報処理装置１のハードウエアの構成について説明する。

【0028】

［検査装置用情報処理装置のハードウエアの構成］
図２は、本実施形態に係る検査装置用情報処理装置１の主なハードウエアの構成例を示す説明図である。本実施形態に係る検査装置用情報処理装置１は、ＣＰＵ(Central Processing Unit)１１０、記憶部１２０、ＲＯＭ（Read Only Memory）１３０、ＲＡＭ(Random Access Memory)１４０、入力部１５０、表示部１６０、及び通信部１７０を備えて構成されている。

【0029】

ＣＰＵ１１０は、検査装置用情報処理装置１を制御する中央処理装置であり、記憶部１２０又はＲＯＭ１３０に格納されたＯＳ（Operating System）や制御プログラム１２１をＲＡＭ１４０に展開して実行することにより、図１に示す各機能を具現化する。

【0030】

記憶部１２０は、大容量の記憶装置であり、例えば、ハードディスクドライブ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、不揮発性メモリなどで構成される。記憶部１２０は、制御プログラム１２１を格納する。

【0031】

ＲＯＭ１３０は、ＣＰＵ１１０によって実行されるプログラムや、このプログラムの実行に使用されるデータ、パラメータなどを記憶する。

【0032】

ＲＡＭ１４０は、ＯＳや各種プログラムの展開先である。更にＲＡＭ１４０は、ＣＰＵ１１０により実行制御される各種処理において、ＲＯＭ１３０から読み出され、ＣＰＵ１１０で実行可能な各種プログラムや、ＣＰＵ１１０の処理により生じた入力データ、出力データ、及びパラメータ等を一時的に記憶するワークエリアとして機能する。

【0033】

入力部１５０は、カーソルキー、数字入力キー、及び各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成される。入力部１５０は、キーボードで押下操作されたキーの押下信号やマウスによる操作信号を、入力信号としてＣＰＵ１１０に出力する。ＣＰＵ１１０は、入力部１５０からの操作信号に基づいて、各種処理を実行する。

【0034】

表示部１６０は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成される。表示部１６０は、ＣＰＵ１１０から入力される表示信号の指示に従って、各種画面を表示する。表示部１６０および入力部１５０として、タッチパネルディスプレイを採用することもできる。

【0035】

通信部１７０は、通信インタフェースを備え、ネットワーク上の外部装置と通信する。通信部１７０は、例えば、後述する図３のカメラ２と通信する。この場合、ＣＰＵ１１０は、通信部１７０を介して、カメラ２から、２次元画像の画像データ及び距離画像の画像データを取得できる。

【0036】

内部バス１９０は、検査装置用情報処理装置１における各構成要素を相互に接続する。

【0037】

［検査装置用情報処理装置の実施例］
次に、本実施形態に係る検査装置用情報処理装置１の実施例について説明する。
図３は、本実施形態に係る検査装置用情報処理装置１の実施例を示す説明図である。図３では、図１に示す検査装置用情報処理装置１を具体的に示したものであり、同一の構成については同一の符号を付し、説明を適宜、省略する。また、図３では、検査装置用情報処理装置１とカメラ２を備えた検査装置システム１００により説明する。

【0038】

図３に示すように、検査装置システム１００は、検査装置用情報処理装置１、カメラ２、ＤＬ学習部５（学習済み識別器）、高感度領域算出モデル５１（識別器モデル）、及び検査領域ＤＢ８（記憶部）を備えて構成されている。

【0039】

カメラ２は、２次元（２Ｄ（Dimension））画像と、距離画像とを取得する。カメラ２は、例えば、ＲＧＢ－Ｄ（Depth）カメラやステレオカメラなどにより被写体との距離を測定できるカメラにより構成される。カメラ２は、検査対象物を撮像して、２Ｄ画像３１（２次元画像）の画像データと、距離画像３２の画像データとを検査装置用情報処理装置１に送出する。

【0040】

検査装置用情報処理装置１の入力部３は、カメラ２から、２Ｄ画像３１の画像データと、距離画像３２の画像データとを取得できる。

【0041】

検査装置用情報処理装置１の高感度領域算出部４は、高感度領域算出処理部４１を備えて構成されている。高感度領域算出処理部４１は、取得した２Ｄ画像３１の画像データに対して、検査感度が高く、微小な特徴を検出する第１の検査領域を算出する処理を行う。

【0042】

ＤＬ学習部５は、過去の検査対象物の２Ｄ画像の画像データに、過去に設定した検査領域と検査感度とを用いて、機械学習により高感度領域算出モデル５１を生成する。これにより、高感度領域算出部４の高感度領域算出処理部４１は、取得した２Ｄ画像３１の画像データに、高感度領域算出モデル５１を使用して、第１の検査領域を算出できる。

【0043】

具体的には、ＤＬ学習部５は、学習済みのニューラルネットワークで構成される。ＤＬ学習部５は、教師データを使用して機械学習を実行する。ＤＬ学習部５は、２Ｄ画像３１の画像データにおいて第１の検査領域を算出できるように、高感度領域算出モデル５１を生成する。また、ＤＬ学習部５は、過去の検査対象物の２Ｄ画像の画像データに、過去に設定した検査領域と検査感度とを用いることにより、高感度領域算出モデル５１を最適化する。

【0044】

検査装置用情報処理装置１の低感度領域算出部６は、３次元形状推定処理部６１と、低感度領域算出処理部６２とを備えて構成されている。３次元形状推定処理部６１は、取得した距離画像３２の画像データから検査対象物の３次元形状を推定する処理を行う。低感度領域算出処理部６２は、推定した検査対象物の３次元形状に対して、検査感度が第１の検査領域よりも低く、異物に近似した特徴を検出する第２の検査領域を算出する処理を行う。

【0045】

検査装置用情報処理装置１の検査領域決定部７は、検査領域結合処理部７１を備えて構成されている。検査領域結合処理部７１は、高感度領域算出処理部４１で算出した第１の検査領域と、低感度領域算出処理部６２で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する。

【0046】

検査領域ＤＢ８は、検査装置用情報処理装置１の検査領域決定部７の検査領域結合処理部７１で決定した、検査領域と検査感度（すなわち、閾値）とを格納する。これにより、ＤＬ学習部５は、検査領域ＤＢ８に格納された検査領域と検査感度とを用いて、検査対象物の２次元画像の画像データに適用し、高感度領域算出モデル５１を生成できる。なお、検査領域ＤＢ８は、ＲＡＭ１４０（図２参照）で構成されていてもよい。

【0047】

なお、ＤＬ学習部５、及び高感度領域算出モデル５１は、本実施例に限定されず、検査装置用情報処理装置１のＣＰＵ１１０が制御プログラム１２１を実行することにより具現化されるものとして、検査装置用情報処理装置１に含まれていてもよい。

【0048】

［検査装置システムの動作］
次に、本実施形態に係る検査装置用情報処理装置１が実行する検査領域および検査感度の設定処理について、図１から図３を参照しながら、図４に示すフローチャートを用いて説明する。

【0049】

図４は、本実施形態に係る検査装置用情報処理装置１のＣＰＵ１１０が実行する、検査領域および検査感度の設定処理を示すフローチャートである。ＣＰＵ１１０は、記憶部１２０から制御プログラム１２１を読み出して、図１に示す検査装置用情報処理装置１の機能を具現化する。

【0050】

容器に医薬品が充填された検査対象をカメラ２で撮像すると、図４に示すように、検査装置用情報処理装置１のＣＰＵ１１０は、入力部３により、カメラ２から、２Ｄ画像３１の画像データと、距離画像３２の画像データとを取得する（ステップＳ１０１）。入力部３は、取得した２Ｄ画像３１の画像データを、高感度領域算出部４に送出する。また、入力部３は、取得した距離画像３２の画像データを、低感度領域６に送出する。

【0051】

本実施例では、カメラ２で撮像された、２Ｄ画像３１と距離画像３２の画像データは、容器に充填された医薬品の画像データであって、異物検査に用いられる画像データとする。また、医薬品は、アンブルやバイアルなどの容器に充填されている。

【0052】

ＣＰＵ１１０は、高感度領域算出部４において、入力部３から２Ｄ画像３１の画像データを取得する。高感度領域算出部４の高感度領域算出処理部４１は、取得した２Ｄ画像３１の画像データに対して、検査感度が高く、微小な特徴を検出する第１の検査領域を算出する（ステップＳ１０２）。

【0053】

具体的には、ＤＬ学習部５が、過去の検査対象物の２Ｄ画像の画像データに、過去に設定した検査領域および検査感度を用いて事前にディープラーニングによる機械学習を行い、高感度領域算出モデル５１を生成する。高感度領域算出部４は、高感度領域算出処理部４１により、取得した２Ｄ画像３１の画像データに、高感度領域算出モデル５１を適用し、検査感度が高い、第１の検査領域を算出する。

【0054】

図５は、検査装置用情報処理装置１が算出する領域のイメージを示す説明図である。

【0055】

例えば、図５に示す画像Ｉ１０１が、高感度領域算出部４に入力されると、高感度領域算出処理部４１は、高感度領域算出モデル５１を適用し、一例として、画像Ｉ１０２において、高感度領域として領域Ｉ１０２１を算出する。領域Ｉ１０２１は、多角形の領域が算出されている。領域Ｉ１０２１は、第１の検査領域に対応する。

【0056】

図４のフローチャートに戻り、ＣＰＵ１１０は、低感度領域算出部６において、入力部３から距離画像３２の画像データを取得する。ＣＰＵ１１０は、低感度領域算出部６の３次元形状推定処理部６１により、取得した距離画像３２の画像データから検査対象物の３次元形状を推定する（ステップＳ１０３）。

【0057】

例えば、図５に示す画像Ｉ１０３が、低感度領域算出部６に入力されると、低感度領域算出部６の３次元形状推定処理部６１は、画像処理で検査対象物以外の台座や容器などを除外し、色の変化や濃淡などの情報から検査対象物の３次元形状を推定する。

【0058】

図５に示す画像Ｉ１０４は、一例として、３次元形状推定処理部６１により３次元形状が推定された画像を示している。図５に示す画像Ｉ１０４のように、３次元形状推定処理部６１は、検査対象物以外を除外した画像を推定する。

【0059】

図４のフローチャートに戻り、ＣＰＵ１１０は、低感度領域算出部６の低感度領域算出処理部６２により、推定した３次元形状に対して、検査感度が第１の検査領域よりも低く、異物に近似した特徴を検出する第２の検査領域を算出する（ステップＳ１０４）。

【0060】

例えば、図５に示す画像Ｉ１０４が、低感度領域算出部６の低感度領域算出処理部６２に入力されると、低感度領域算出処理部６２は、検査対象物の縁を多角形で囲んだ領域や表面の凹凸を多角形で囲んだ領域を算出する。

【0061】

図５に示す画像Ｉ１０５は、低感度領域算出処理部６２によって、一例として、縁を多角形で囲んだ領域Ｉ１０５１と、表面の凹凸を多角形で囲んだ領域Ｉ１０５２が算出されている。領域Ｉ１０５１および領域Ｉ１０５２は、第２の検査領域に対応する。

【0062】

図４のフローチャートに戻り、ＣＰＵ１１０は、検査領域決定部７の検査領域結合処理部７１により、高感度領域算出部４で算出した領域Ｉ１０２１（第１の検査領域）と、低感度領域６で算出した領域Ｉ１０５１，領域Ｉ１０５２（第２の検査領域）とを結合して、検査領域と検査感度とを決定する。

【0063】

ここで、領域Ｉ１０２１（第１の検査領域）と、領域Ｉ１０５１，領域Ｉ１０５２（第２の検査領域）と結合する際、高感度領域（第１の検査領域）と低感度領域（第２の検査領域）とが重複する場合（ステップＳ１０５のＹｅｓ）、ＣＰＵ１１０の検査領域決定部７は、誤判定が生じないように、低感度領域（第２の検査領域）を優先して結合する（ステップＳ１０６）

【0064】

一方、高感度領域と低感度領域とが重複しない場合（ステップＳ１０５のＮｏ）、ＣＰＵ１１０の検査領域決定部７は、各領域を１つに結合する（ステップＳ１０７）。

【0065】

図５に示す画像Ｉ１０６は、低感度領域（第２の検査領域）を優先して結合した画像を示している。画像Ｉ１０６において、領域Ｉ１０６１は、高感度領域を示し、領域Ｉ１０５１，領域Ｉ１０５２は、低感度領域を示している。

【0066】

画像Ｉ１０５の領域Ｉ１０５１，領域Ｉ１０５２（第２の検査領域）は、画像Ｉ１０２の領域Ｉ１０２１（第１の検査領域）よりも優先されているため、画像Ｉ１０６の領域Ｉ１０５１，領域Ｉ１０５２（第２の検査領域）は、結合前と同一の領域を示している。一方、画像Ｉ１０６の領域Ｉ１０６１（第１の検査領域）は、領域の重複を考慮し、画像Ｉ１０２の領域Ｉ１０２１が変形されて、高感度領域が形成されている。

【0067】

これに対し、図６は、高感度領域と低感度領域とが重複しない場合において、そのまま検査領域を結合するイメージを示している。

【0068】

図６に示す画像Ｉ２０２は、高感度領域算出処理部４１により、一例として、高感度領域として領域Ｉ２０６１が算出されている。領域Ｉ２０６１は、多角形の領域が算出されている。領域Ｉ２０６１は、第１の検査領域に対応する。

【0069】

図６に示す画像Ｉ２０５は、低感度領域算出処理部６２によって、一例として、縁を多角形で囲んだ領域Ｉ２０５１と、表面の凹凸を多角形で囲んだ領域Ｉ２０５２が算出されている。領域Ｉ２０５１および領域Ｉ２０５２は、第２の検査領域に対応する。

【0070】

図６に示す画像Ｉ２０６は、高感度領域（第１の検査領域）と低感度領域（第２の検査領域）とが重複しないため、検査領域決定部７の検査領域結合処理部７１により、画像Ｉ２０２の領域Ｉ２０６１（第１の検査領域）と、画像Ｉ２０５の領域Ｉ２０５１，Ｉ２０５２（第２の検査領域）とが、そのまま結合されている。

【0071】

本実施例では、高感度領域と低感度領域とを結合すると、ＣＰＵ１１０は、検査領域および検査感度の設定処理を終了する。

【0072】

＜本実施例の効果＞
以上説明したように、本実施例の検査装置用情報処理装置１は、ＣＰＵ１１０が、制御プログラム１２１を実行することにより、入力部３、高感度領域算出部４、低感度領域算出部６、及び検査領域決定部７を具現化する。そして、検査領域決定部７は、高感度領域算出部４で算出した第１の検査領域と、低感度領域算出部６で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する。

【0073】

これにより、本実施例の検査装置用情報処理装置１は、検査領域の設定に要する工数だけでなく、検査感度の設定に要する工数も削減し、作業の属人化を防止できる。

【0074】

また、本実施例の検査装置用情報処理装置１は、ＤＬ学習部５、及び検査領域ＤＢ８を備えることができる。検査領域ＤＢ８は、検査装置用情報処理装置１の検査領域決定部７の検査領域結合処理部７１で決定した、検査領域と検査感度とを格納する。

【0075】

これにより、ＤＬ学習部５は、検査領域ＤＢ８に格納された検査領域と検査感度とを用いて、検査対象物の２次元画像の画像データに適用し、高感度領域算出モデル５１を生成できる。この場合、ＤＬ学習部５は、検査対象物の２次元画像の画像データに設定された検査領域と検査感度を教師データとして学習することにより、高感度領域算出モデル５１を最適化することができる。

【0076】

＜検査装置システムの構成＞
本実施例では、検査装置用情報処理装置１の構成を中心に説明したが、上述したように、検査装置用情報処理装置１とカメラ２を備えることにより、検査装置システム１００を構成することができる。

【0077】

図７は、本実施例の検査装置システム１００のハードウエアの構成例を示した説明図である。

【0078】

図７に示すように、図２に示した検査装置用情報処理装置１に、通信部１７０を介してカメラ２が接続される構成を採用することにより、本実施例の検査装置システム１００を構成することができる。

【0079】

検査装置システム１００は、図２に示したように、２Ｄ画像３１と距離画像３２とを撮像するカメラ２（撮像部）と、２Ｄ画像３１の画像データと、距離画像３２の画像データとを取得する入力部３と、取得した２Ｄ画像３１の画像データに対して、検査感度が高く、微小な特徴を検出する第１の検査領域を算出する高感度領域算出部４と、取得した距離画像３２の画像データから検査対象物の３次元形状を推定し、推定した３次元形状に対して、検査感度が第１の検査領域よりも低く、異物に近似した特徴を検出する第２の検査領域を算出する低感度領域算出部６と、高感度領域算出部４で算出した第１の検査領域と、低感度領域算出部６で算出した第２の検査領域とを結合して、検査領域と検査感度とを決定する検査領域決定部７と、を備えて構成される。

【0080】

これにより、本実施例の検査装置システム１００は、検査領域の設定に要する工数だけでなく、検査感度の設定に要する工数も削減し、作業の属人化を防止できる。

【0081】

＜変形例＞
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【0082】

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウエアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの記録媒体に置くことができる。

【符号の説明】

【0083】

１ 検査装置用情報処理装置
２ カメラ（撮像部）
３ 入力部
３１ ２Ｄ画像
３２ 距離画像
４ 高感度領域算出部
４１ 高感度領域算出処理部
５ ＤＬ学習部（学習済み識別器）
５１ 高感度領域算出モデル（識別器モデル）
６ 低感度領域算出部
６１ ３次元形状推定処理部
６２ 低感度領域算出処理部
７ 検査領域決定部
７１ 検査領域結合処理部
１００ 検査装置システム
１１０ ＣＰＵ
１２０ 記憶部
１２１ 制御プログラム
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ 入力部
１６０ 表示部
１７０ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】