特許 7290780 情報処理方法、コンピュータプログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-06-05

(45)【発行日】2023-06-13

(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置

(51)【国際特許分類】

   G01N 21/956 20060101AFI20230606BHJP

【ＦＩ】

G01N21/956 Z

【請求項の数】 12

(21)【出願番号】P 2022139388

(22)【出願日】2022-09-01

【審査請求日】2022-12-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】アブドゥルガニ アブドゥルラーマン

(72)【発明者】

【氏名】アリアガ エンリケ

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１７－０７２５０１（ＪＰ，Ａ）

【文献】特開平１１－２０１９０８（ＪＰ，Ａ）

【文献】特開２０１１－１５８３６７（ＪＰ，Ａ）

【文献】特開２００５－１５６４７５（ＪＰ，Ａ）

【文献】特開平１１－０７３５１３（ＪＰ，Ａ）

【文献】国際公開第２０１１／０９６５４４（ＷＯ，Ａ１）

【文献】特開平１０－０７４８１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｎ ２３／００ － Ｇ０１Ｎ ２３／２２７６

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

Ｈ０１Ｌ ２１／６４ － Ｈ０１Ｌ ２１／６６

(57)【特許請求の範囲】

【請求項1】

情報処理装置が、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する、
情報処理方法。

【請求項2】

抽出した一の部分画像に関して算出した一次元配列の差分値を第１グラフとして出力する、
請求項１に記載の情報処理方法。

【請求項3】

複数の部分画像について、一の部分画像毎に作成した第１グラフを複数連結した第２グラフを出力する、
請求項２に記載の情報処理方法。

【請求項4】

前記差分値との比較により前記検査対象物の良／不良を判定するための閾値を示す基準線を前記第１グラフ又は前記第２グラフに出力する、
請求項３に記載の情報処理方法。

【請求項5】

前記撮影画像、前記第１グラフ及び前記第２グラフを含む画面を出力し、
前記差分値及び前記閾値の比較により不良と判定された部分画像の位置を前記撮影画像に示す、
請求項４に記載の情報処理方法。

【請求項6】

前記画面に出力された前記撮影画像に含まれる複数の図形要素の１つの選択、又は、前記画面に出力された前記第２グラフに対する位置の選択を受け付け、
選択を受け付けた図形要素又は位置に対応する部分画像に関する第１グラフを出力する、
請求項５に記載の情報処理方法。

【請求項7】

前記検査対象物の設計図情報を取得し、
前記設計図情報を基に、前記撮影画像から前記所定の図形要素が写された部分画像を抽出する、
請求項１に記載の情報処理方法。

【請求項8】

前記設計図情報から所定の図形要素が描かれた部分を抽出し、
前記部分に対応する部分画像を前記撮影画像から抽出する、
請求項７に記載の情報処理方法。

【請求項9】

前記設計図情報は、当該設計図情報に描かれた図形要素の種類に係る分類情報を含み、
同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する、
請求項７に記載の情報処理方法。

【請求項10】

第１方向の勾配と前記第１方向に直交する第２方向の勾配とを前記部分画像として抽出する、
請求項１に記載の情報処理方法。

【請求項11】

コンピュータに、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する
処理を実行させる、コンピュータプログラム。

【請求項12】

検査対象物を撮影した撮影画像を取得する取得部と、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出する抽出部と、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成する生成部と、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出する算出部と、
算出した差分値に基づいて前記検査対象物の状態を検出する検出部と
を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に基づく検査対象物の検査を行う情報処理方法、コンピュータプログラム及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１においては、ウェハの領域画像を生成して、これに対応するＣＡＤ（Computer Aided Design）データと共に登録し、登録した画像同士を比較することでウェハ上の欠陥を検出し、欠陥の位置情報をＣＡＤ座標で生成する欠陥検出方法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２００７／０２８０５２７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、検査対象物を撮影した撮影画像を基に、検査対象物の異常検出又は検査対象物の良品／不良品の判定等を行う手法の１つとして、機械学習により予め学習がなされた学習モデルを用いる方法が広く利用されている。しかしながら機械学習を用いる方法では、学習モデルの学習を行うために多くのデータを予め準備する必要がある。学習用のデータには、例えば検査対象物を撮影した複数の撮影画像と、各画像に写された検査対象物が良品／不良品のいずれであるかを示すラベルとが対応付けられたデータが用いられ得る。このようなデータを大量に用意することは容易ではない。

【0005】

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に係る情報処理方法は、情報処理装置が、検査対象物を撮影した撮影画像を取得し、取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、算出した差分値に基づいて前記検査対象物の状態を検出する。

【発明の効果】

【0007】

一実施形態による場合は、機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。

【図面の簡単な説明】

【0008】

【図1】本実施の形態に係る情報処理システムの概要を説明するための模式図である。

【図2】エッチング加工品の一例を示す模式的平面図である。

【図3】本実施の形態に係る検査装置の構成を示すブロック図である。

【図4】本実施の形態に係る検査装置が行う異常検出処理の手順を示すフローチャートである。

【図5】部分画像として抽出する図形要素の一例を示す模式図である。

【図6】部分画像として抽出する図形要素の一例を示す模式図である。

【図7】部分画像の抽出を説明するための模式図である。

【図8】基準画像の生成を説明するための模式図である。

【図9】差分算出を説明するための模式図である。

【図10】検査結果画面の一例を示す模式図である。

【図11】更新された検査結果画面の一例を示す模式図である。

【図12】図１１の検査結果画面の一部を拡大した拡大図である。

【発明を実施するための形態】

【0009】

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0010】

＜システム概要＞
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、製造装置又は生産装置等により製造又は生産等された工業製品等の異常を検知するシステムである。図示の例では、工業製品の一例として、エッチング加工機１００が加工したエッチング加工品１０１が検査対象物として扱われている。エッチング加工機１００は、例えば金属板等の素材の表面に所望のパターンでレジスト処理を施し、化学薬品などの腐食作用を利用してレジスト処理がなされていない部分を溶解又は浸食等することにより、目的の形状への加工を行う装置である。エッチング加工機１００は、例えばＣＡＤデータ１０３に基づいて金属板等の素材を加工し、同形状のエッチング加工品１０１を多数製作することができる。

【0011】

本実施の形態に係る情報処理システムは、エッチング加工機１００が制作したエッチング加工品１０１をカメラ等にて撮影し、複数のエッチング加工品１０１を撮影して得られる複数の撮影画像を基に、検査装置１が各エッチング加工品１０１の異常の有無を判定し、各エッチング加工品１０１の良品／不良品の判定を行う。また検査装置１は、これらの判定処理に、エッチング加工品１０１の設計図情報に相当するＣＡＤデータ１０３を利用してもよい。本実施の形態に係る情報処理システムでは、予め機械学習がなされた学習モデル、いわゆるＡＩ（Artificial Intelligence）を用いて撮影画像から異常等を判定するのではなく、検査対象となるエッチング加工品１０１の撮影画像を基に異常等を判定する。

【0012】

図２は、エッチング加工品１０１の一例を示す模式的平面図である。図示のエッチング加工品１０１は、長方形状の金属板の表面にエッチング加工を施すことにより、凹部（溝）及び孔（穴）等を形成したものである。本例では、金属板の長手方向の一側に、４つの十字型の溝が２×２のマトリクス状の配置で形成されている。また金属板の他側に、４つの鍵穴型の貫通孔が２×２のマトリクス状の配置で形成されている。以下、十字型の溝を十字溝１０１ａと呼び、鍵穴型の貫通孔を鍵穴１０１ｂと呼ぶ。十字溝１０１ａは、縦横に交差した直線状の溝と、この溝の先端部分に設けられた円形の穴とを組み合わせた形状である。十字溝１０１ａは、金属板を貫通していない。これに対して鍵穴１０１ｂは、金属板を貫通して形成されている。鍵穴１０１ｂは、円形の貫通孔と、長方形の貫通孔とを組み合わせた形状である。

【0013】

＜装置構成＞
図３は、本実施の形態に係る検査装置１の構成を示すブロック図である。本実施の形態に係る検査装置１は、処理部１１、記憶部（ストレージ）１２、通信部（トランシーバ）１３、表示部（ディスプレイ）１４及び操作部１５等を備えて構成されている。検査装置１は、例えばエッチング加工品１０１を撮影するカメラ３が接続されたパーソナルコンピュータ等の汎用の情報処理装置を用いて構成され得る。また検査装置１がカメラ３を備えていてもよく、検査装置１はカメラ付きのスマートフォン又はタブレット型端末装置等であってもよい。検査装置１がスマートフォン又はタブレット型端末装置等である場合、処理部１１及び記憶部１２等の機能は、サーバ装置又はクラウド等の遠隔の装置に設けられてもよい。また本実施の形態に係る情報処理システムのカメラ３として、カメラ付きのスマートフォン又はタブレット型端末装置等が用いられてもよい。

【0014】

処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、検査対象物であるエッチング加工品１０１の異常検出に関する種々の処理を行う。

【0015】

記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａを記憶する。また記憶部１２には、エッチング加工機１００が加工したエッチング加工品１０１をカメラ３が撮影した撮影画像を記憶する撮影画像記憶部１２ｂが設けられている。また記憶部１２は、検査対象物であるエッチング加工品１０１の設計図情報であるＣＡＤデータ１０３を記憶する。

【0016】

本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、検査装置１は記録媒体９９からプログラム１２ａを読み出して記憶部１２に記憶する。ただし、プログラム１２ａは、例えば検査装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばプログラム１２ａは、遠隔のサーバ装置等が配信するものを検査装置１が通信にて取得してもよい。例えばプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出して検査装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

【0017】

撮影画像記憶部１２ｂは、カメラ３が撮影したエッチング加工品１０１の撮影画像を記憶する。検査装置１は、カメラ３からエッチング加工品１０１の撮影画像を取得し、各エッチング加工品１０１を識別するＩＤ又は番号等の識別情報と共に撮影画像を撮影画像記憶部１２ｂに記憶する。なお本実施の形態に係る情報処理システムでは、検査対象となる１つのエッチング加工品１０１につき少なくとも１枚の撮影画像が必要であり、例えば検査の対象となるエッチング加工品１０１がＮ個存在する場合、検査装置１は、少なくともＮ枚の撮影画像をカメラ３から撮影画像記憶部１２ｂに記憶する。ただし、１枚の撮影画像に複数個のエッチング加工品１０１が撮影されてもよく、この場合に検査装置１は、１枚の撮影画像をエッチング加工品１０１毎に分割して撮影画像記憶部１２ｂに記憶してよい。

【0018】

通信部１３は、例えば通信ケーブルを介してカメラ３に接続され、カメラ３との通信を行う。通信部１３は、例えばＵＳＢ（Universal Serial Bus）又はＬＡＮ（Local Area Network）等の通信規格に基づいて通信を行ってよい。また通信部１３は、通信ケーブルを介すことなく、無線通信によりカメラ３との通信を行ってもよい。通信部１３は、例えばカメラ３から送信されるエッチング加工品１０１の撮影画像を受信して撮影画像記憶部１２ｂに記憶し、処理部１１から与えられた制御命令等をカメラ３へ送信する。

【0019】

表示部１４は、液晶ディスプレイ等を用いて構成されており、処理部１１の処理に基づいて種々の画像及び文字等を表示する。操作部１５は、ユーザの操作を受け付け、受け付けた操作を処理部１１へ通知する。例えば操作部１５は、機械式のボタン又は表示部１４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部１５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは検査装置１に対して取り外すことが可能な構成であってもよい。

【0020】

また本実施の形態に係る検査装置１には、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、撮影画像取得部１１ａ、部分画像抽出部１１ｂ、基準画像生成部１１ｃ、差分算出部１１ｄ、状態検出部１１ｅ及び表示処理部１１ｆ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、検査対象物の異常検出の処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

【0021】

撮影画像取得部１１ａは、通信部１３にてカメラ３との間でデータの送受信を行うことによって、カメラ３が撮影したエッチング加工品１０１の撮影画像を取得する処理を行う。例えばカメラ３はエッチング加工機１００が加工した複数のエッチング加工品１０１を順に撮影し、撮影により得られた撮影画像を検査装置１へ順に送信する。検査装置１の撮影画像取得部１１ａは、カメラ３から送信される撮影画像を順に受信し、例えば受信順に番号を付すことでエッチング加工品１０１に識別情報を付し、識別情報と撮影画像とを対応付けて撮影画像記憶部１２ｂに記憶する。

【0022】

部分画像抽出部１１ｂは、撮影画像記憶部１２ｂに記憶された各撮影画像について、所定の図形要素が写された部分画像を抽出する処理を行う。本実施の形態において部分画像抽出部１１ｂは、所定の図形要素として「直線」及び「円弧」が写された部分画像を撮影画像から抽出する。１つの撮影画像に所定の図形要素が複数存在する場合、部分画像抽出部１１ｂは、１つの撮影画像から複数の部分画像を抽出する。部分画像抽出部１１ｂによる撮影画像からの部分画像の抽出は、例えば記憶部１２に記憶されたＣＡＤデータ１０３を用いて行われてもよく、また例えばＣＡＤデータ１０３を用いずに、撮影画像のみに基づいて行われてもよい。なお本実施の形態においては、部分画像抽出部１１ｂが抽出する図形要素を「直線」及び「円弧」とするが、これに限るものではない。部分画像抽出部１１ｂは、例えば「円」、「楕円」又は「スプライン曲線」等の曲線で構成される図形要素を抽出してもよく、また例えば「三角形」、「四角形」又は「多角形」等の複数の直線で構成される図形要素を抽出してもよく、また例えば直線及び曲線を組み合わせて構成される図形要素を抽出してもよい。部分画像抽出部１１ｂが部分画像として抽出する図形要素は、どのような図形であってもよい。

【0023】

また本実施の形態に係る部分画像抽出部１１ｂは、撮影画像から所定の図形要素が写された画素の画素値を単に抽出して部分画像とするのではなく、所定の図形要素が写された画素の画素値と、この画素の周辺に存在する画素の画素値との勾配を算出することで、算出した勾配値を画素値として有する部分画像を抽出する。更に本実施の形態に係る部分画像抽出部１１ｂは、撮影画像のｘ方向に関して所定の図形要素が写された画素の勾配値を抽出したｘ方向の部分画像と、撮影画像のｙ方向に関して所定の図形要素が写された画素の勾配値を抽出したｙ方向の部分画像との２種類の部分画像を抽出する。即ち部分画像抽出部１１ｂは、撮影画像に写された所定の図形要素の１つにつき、ｘ方向の部分画像とｙ方向の部分画像との２つの部分画像を抽出する。

【0024】

基準画像生成部１１ｃは、部分画像抽出部１１ｂが抽出した複数の部分画像を基に、所定の図形要素に関する基準画像を生成する処理を行う。部分画像抽出部１１ｂは、１つの撮影画像から所定の図形要素が写された部分画像を複数抽出することができ、複数の撮影画像から更に多くの部分画像を抽出することができる。基準画像生成部１１ｃは、検査対象となる複数の撮影画像の全てから抽出した同種別の図形要素に関する全ての部分画像を基に、この図形要素の基準画像を生成する。基準画像生成部１１ｃは、同種別の図形要素の全ての部分画像について、画素値（勾配値）の平均値又は中央値等の統計値を算出し、この統計値を画素値として有する基準画像を生成する。なお本実施の形態において部分画像抽出部１１ｂはｘ方向の部分画像とｙ方向の部分画像とを抽出するため、基準画像生成部１１ｃは、ｘ方向の部分画像に基づいてｘ方向の基準画像を生成し、ｙ方向の部分画像に基づいてｙ方向の基準画像を生成する。

【0025】

差分算出部１１ｄは、部分画像抽出部１１ｂが抽出した部分画像と、基準画像生成部１１ｃが生成した基準画像との差分値を算出する処理を行う。本実施の形態において部分画像抽出部１１ｂが抽出する直線の図形要素の部分画像は例えば１×Ｍ（Ｍは直線の長さに応じて定まる）のサイズの画像であり、基準画像生成部１１ｃが生成する基準画像は同じく１×Ｍのサイズの画像である。即ち、部分画像及び基準画像は、Ｍ個の画素値（勾配値）を有する１次元配列のデータである。差分算出部１１ｄは、部分画像と基準画像との対応する画素値の差分値をそれぞれ算出し、１×Ｍのサイズの差分値の１次元配列のデータを生成する。また差分算出部１１ｄは、部分画像抽出部１１ｂが抽出した全ての部分画像について、対応する基準画像との差分値を出力する。

【0026】

状態検出部１１ｅは、差分算出部１１ｄが算出した差分値に基づいて、検査対象物であるエッチング加工品１０１の異常を検出する処理を行う。状態検出部１１ｅは、差分算出部１１ｄが算出した差分値と、異常であるか否かを判定するための閾値とを比較し、差分値が閾値を超える部分画像に写された図形要素を異常箇所と検出する。状態検出部１１ｅは、少なくとも１つの異常箇所が検出されたエッチング加工品１０１について異常があると判断し、不良品と判断する。状態検出部１１ｅは、１つも異常箇所が検出されないエッチング加工品１０１を良品と判断する。なお本実施の形態において差分値と比較する閾値は、ユーザにより設定を変更することが可能である。

【0027】

表示処理部１１ｆは、画像及び文字等の種々の情報を表示部１４に表示する処理を行う。本実施の形態において表示処理部１１ｆは、状態検出部１１ｅによる異常の有無の検出結果を表示部１４に表示する。また表示処理部１１ｆは、エッチング加工品１０１の撮影画像と共に、差分算出部１１ｄが算出した差分値のグラフ、部分画像抽出部１１ｂが抽出した部分画像、基準画像生成部１１ｃが生成した基準画像、及び、良品／不良品を判定する閾値等の情報を含む画面を表示部１４に表示する。ユーザは表示されたこの画面に基づいて、エッチング加工品１０１の異常箇所等を検証することができる。

【0028】

＜異常検出処理＞
図４は、本実施の形態に係る検査装置１が行う異常検出処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、エッチング加工機１００により金属板のエッチング加工処理が行われ、複数のエッチング加工品１０１が製造される。カメラ３は、製造されたエッチング加工品１０１を個別に撮影し、各エッチング加工品１０１の撮影画像を検査装置１へ送信する。本実施の形態に係る検査装置１の処理部１１の撮影画像取得部１１ａは、カメラ３から送信されるエッチング加工品１０１の撮影画像を通信部１３にて受信することにより取得し（ステップＳ１）、取得した撮影画像を撮影画像記憶部１２ｂに記憶する。撮影画像取得部１１ａは、検査対象となる全てのエッチング加工品１０１についての撮影画像の取得を完了したか否かを判定する（ステップＳ２）。全ての撮影画像の取得を完了していない場合（Ｓ２：ＮＯ）、撮影画像取得部１１ａは、ステップＳ１へ処理を戻し、撮影画像の取得を繰り返し行う。

【0029】

全ての撮影画像の取得を完了した場合（Ｓ２：ＹＥＳ）、処理部１１の部分画像抽出部１１ｂは、複数の検査対象物の中から１つの検査対象物を選択する（ステップＳ３）。部分画像抽出部１１ｂは、選択した検査対象物の撮影画像を撮影画像記憶部１２ｂから読み出し、この撮影画像から所定の図形要素が写された一又は複数の部分画像を抽出する（ステップＳ４）。部分画像抽出部１１ｂは、全ての検査対象物の撮影画像について部分画像の抽出を完了したか否かを判定する（ステップＳ５）。全ての部分画像の抽出を完了していない場合（Ｓ５：ＮＯ）、部分画像抽出部１１ｂは、ステップＳ３へ処理を戻し、別の検査対象物を選択して撮影画像からの部分画像の抽出を繰り返し行う。

【0030】

図５及び図６は、部分画像として抽出する図形要素の一例を示す模式図である。図５及び図６には、図２に示したエッチング加工品１０１に形成された１つの十字溝１０１ａを拡大して図示している。図５に示すように、本例の十字溝１０１ａには、４種類の直線１１１～１１４が図形要素として含まれている。直線１１１，１１２は、図５において上下方向（垂直方向、ｙ方向）に延びる直線である。直線１１１は、左側に溝の外側の面（金属板の表面）が存在し、右側に溝の内側の面（溝の底面）が存在し、これらの面の境界となる線である。直線１１２は、左側に溝の内側の面が存在し、右側に溝の外側の面が存在し、これらの面の境界となる線である。また、直線１１３，１１４は図５において左右方向（水平方向、ｘ方向）に延びる直線である。直線１１３は、上側に溝の外側の面が存在し、下側に溝の内側の面が存在し、これらの面の境界となる線である。直線１１４は、上側に溝の内側の面が存在し、下側に溝の外側の面が存在し、これらの面の境界となる線である。十字溝１０１ａは上下左右に対称な形状であるため、１つの十字溝１０１ａには４種類の直線１１１～１１４が２つずつ存在する。

【0031】

また図６に示すように、本例の十字溝１０１ａには、４種類の円弧１２１～１２４が図形要素として含まれている。図６において、円弧１２１は十字溝１０１ａの上側端部に形成された円弧であり、円弧１２２は十字溝１０１ａの左側端部に形成された円弧であり、円弧１２３は十字溝１０１ａの下側端部に形成された円弧であり、円弧１２４は十字溝１０１ａの右側端部に形成された円弧である。なお本実施の形態において部分画像抽出部１１ｂは、撮影画像から円弧の写された画素を抽出し、抽出した複数の画素を直線状に並べなおすことで、後続の処理を直線の場合と同じ手順で行っている。

【0032】

図５及び図６に示すように、１つの十字溝１０１ａには、８個の直線１１１～１１４と、４個の円弧１２１～１２４とが含まれている。図３に示すようにエッチング加工品１０１には４つの十字溝１０１ａが形成されているため、エッチング加工品１０１には３２個の直線１１１～１１４と、１６個の円弧１２１～１２４とが含まれている。

【0033】

また図示は省略するが、同様にしてエッチング加工品１０１の１つの鍵穴１０１ｂには、３個の直線と、１個の円弧とが含まれている。図３に示すようにエッチング加工品１０１には４つの鍵穴１０１ｂが形成されているため、エッチング加工品１０１には鍵穴１０１ｂに関して１２個の直線と４個の円弧とが含まれている。なお本実施の形態においては、十字溝１０１ａ及び鍵穴１０１ｂに含まれる直線について、長さ及び向きが同じであれば同じ種類の直線として扱ってよい。円弧についても同様である。

【0034】

部分画像抽出部１１ｂは、エッチング加工品１０１の撮影画像からこれらの図形要素の部分画像を抽出する。このときに部分画像抽出部１１ｂは、例えば記憶部１２に記憶されたＣＡＤデータ１０３を基に、撮影画像のいずれの箇所にこれらの図形要素が配置されているかを把握することができる。部分画像抽出部１１ｂは、ＣＡＤデータ１０３に含まれる図形要素の位置に対応する撮影画像の位置から、この図形要素が写された画素を抽出することで、部分画像を抽出することができる。

【0035】

本実施の形態においてＣＡＤデータ１０３には、エッチング加工品１０１に形成する十字溝１０１ａ及び鍵穴１０１ｂ等を構成する直線及び曲線等の図形要素の位置、向き及びサイズ等の情報が含まれている。部分画像抽出部１１ｂは、ＣＡＤデータ１０３に含まれるこれらの図形要素を抽出し、各図形要素の向き及びサイズ等に基づいて図形要素の種類を分類する。あるいは、ユーザが予めＣＡＤデータ１０３に含まれる図形要素の種類等を分類し、各図形要素にその種類を示す分類情報を付与しておき、部分画像抽出部１１ｂがＣＡＤデータ１０３に含まれる各図形要素の分類情報を取得し、分類情報に基づいて各図形要素の種類を把握してもよい。

【0036】

また部分画像抽出部１１ｂは、ＣＡＤデータ１０３を用いずに部分画像の抽出を行ってもよい。この場合に検査装置１はＣＡＤデータ１０３を記憶部１２に記憶しておかなくてよい。例えば部分画像抽出部１１ｂは、撮影画像に対してエッジを検出する画像処理を行い、エッジとして検出された画素が所定数を超えて連続している箇所を図形要素とみなすことができる。部分画像抽出部１１ｂは、これら検出した図形要素について、向き及びサイズ等に基づいて図形要素の種類を分類する。

【0037】

また例えば部分画像抽出部１１ｂは、図形要素を検出するように予め機械学習がなされた学習モデルを用いて、撮影画像から図形要素を検出してもよい。学習モデルには、例えばＣＮＮ（Convolutional Neural Network）等の構成の学習モデルが用いられ得る。撮影画像から所定の物を検出する学習モデルは、既存の技術であるため、詳細な説明は省略する。学習済の学習モデルは、例えば撮影画像を入力として受け付け、この撮影画像に含まれる図形要素の位置及びサイズ等の情報を出力する。更に学習モデルは図形要素の種類を分類して出力してもよく、部分画像抽出部１１ｂが学習モデルにより検出された図形要素の向き及びサイズ等に基づいて図形要素の種類を分類してもよい。

【0038】

また本実施の形態に係る部分画像抽出部１１ｂは、撮影画像において所定の図形要素が写された画素の画素値を部分画像として抽出するのではなく、図形要素が写された画素とその周辺の画素との勾配を部分画像として抽出する。図７は、部分画像の抽出を説明するための模式図である。図７の左側には、撮影画像に含まれる直線１１１及びその周囲を拡大して図示している。本図において１つの正方形が１つの画素を表しており、ハッチングを付した正方形は直線１１１が写された画素であり、ハッチングを付していない正方形は直線１１１の周辺の画素である。部分画像抽出部１１ｂは、直線１１１が写された複数の画素に対して、例えば３画素×３画素のサイズのフィルタ１３１を用いた勾配値の算出を行うことで、各画素の勾配値を有する部分画像を抽出する。例えば、図形要素の直線１１１の長さがＮ画素分である場合、部分画像抽出部１１ｂが抽出する部分画像は、１画素×Ｎ画素のサイズの画像（１次元配列）となる。

【0039】

フィルタ１３１には、例えばソーベルフィルタが用いられ得る。ソーベルフィルタは、勾配値（１次微分値）を算出するフィルタであり、画像のエッジ抽出等に用いられるフィルタである。ソーベルフィルタには、元の画像に対して横方向（ｘ方向、左右方向）の勾配値を算出するものと、縦方向（ｙ方向、上下方向）の勾配値を算出するものとが存在する。本実施の形態においては、両方向のソーベルフィルタをそれぞれ用いることで、ｘ方向の勾配値を有する部分画像と、ｙ方向の勾配値を有する部分画像との２種類の部分画像を、部分画像抽出部１１ｂは撮影画像から抽出する。

【0040】

なお本実施の形態においては、ｘ方向及びｙ方向の２種類の部分画像を部分画像抽出部１１ｂが抽出しているが、これに限るものではなく、部分画像抽出部１１ｂは１種類又は３種類以上の部分画像を抽出してもよい。部分画像抽出部１１ｂは、例えばラプラシアンフィルタを用いて、ｘ方向及びｙ方向の両方向に関する２次微分値を算出して部分画像としてもよい。また部分画像抽出部１１ｂは、ソーベルフィルタ又はラプラシアンフィルタ以外のフィルタを用いて部分画像を抽出してよい。更に部分画像抽出部１１ｂは、このようなフィルタを用いた演算処理を行わず、図形要素が写された画素の画素値を単に抽出して部分画像としてもよい。

【0041】

図４に示すフローチャートにおいて、全ての部分画像の抽出を完了した場合（Ｓ５：ＹＥＳ）、処理部１１の基準画像生成部１１ｃは、抽出した部分画像を用いて基準画像を生成する（ステップＳ６）。図８は、基準画像の生成を説明するための模式図である。基準画像生成部１１ｃは、撮影画像から抽出された複数の部分画像について、同じ種類の画像要素について抽出された複数の部分画像を取得する。同じ種類の画像要素の部分画像は同じサイズの画像（１次元配列）である。基準画像生成部１１ｃは、同じ種類の画像要素について抽出された全ての部分画像について、対応する画素値（配列の要素）の平均値又は中央値等の統計値を算出し、算出した統計値を画素値として有する基準画像を生成する。生成される基準画像のサイズは、生成に用いられた各部分画像と同じサイズである。

【0042】

また本実施の形態においては、上述のように１つの画像要素についてｘ方向の勾配値を有する部分画像とｙ方向の勾配値を有する部分画像との２つの部分画像が抽出される。基準画像生成部１１ｃは、ｘ方向の部分画像とｙ方向の部分画像とについてそれぞれ別に基準画像を生成する。即ち本実施の形態においては、１つの図形要素について、ｘ方向の基準画像とｙ方向の基準画像との２種類の基準画像が生成される。

【0043】

図４に示すフローチャートのステップＳ６にて基準画像を生成した後、処理部１１の差分算出部１１ｄは、複数の検査対象物の中から１つの検査対象物を選択する（ステップＳ７）。差分算出部１１ｄは、選択した検査対象物の撮影画像から抽出した一又は複数の部分画像と、各部分画像について生成された基準画像との差分値を算出する（ステップＳ８）。図９は、差分算出を説明するための模式図である。図９の左側には部分画像を示し、図９の中央には基準画像を示し、図９の右側には差分値の配列を示している。上述のように、部分画像及び基準画像は同じサイズの画像（一次元配列）である。差分算出部１１ｄは、部分画像の各画素値（勾配値）から基準画像の対応する画素値（勾配値の統計値）を引いた値を差分値としてそれぞれ算出し、得られた複数の差分値を部分画像及び基準画像と同じサイズの一次元配列に格納する。なお差分算出部１１ｄは、基準画像の画素値から部分画像の画素値を引いた差分値を算出してもよい。また本実施の形態においては、上述のようにｘ方向の部分画像及び基準画像と、ｙ方向の部分画像及び基準画像との２種類の部分画像及び基準画像が生成される。差分算出部１１ｄは、ｘ方向の部分画像及び基準画像を基にｘ方向の差分値を算出し、ｙ方向の部分画像及び基準画像を基にｙ方向の差分値を算出する。

【0044】

差分算出部１１ｄが検査対象物の撮影画像に含まれる全ての部分画像について差分値を算出した後、処理部１１の状態検出部１１ｅは、ステップＳ８にて検査対象物について算出した複数の差分値と、予め定められた閾値とを比較し、差分値が閾値を超えるか否かを判定する（ステップＳ９）。少なくとも１つの差分値が閾値を超える場合（Ｓ９：ＹＥＳ）、この検査対象物について異常があると判定し（ステップＳ１０）、ステップＳ１２へ処理を進める。全ての差分値が閾値を超えない場合（Ｓ９：ＮＯ）、状態検出部１１ｅは、この検査対象物について異常がないと判定し（ステップＳ１１）、ステップＳ１２へ処理を進める。処理部１１は、全ての検査対象物について異常の有無の判定を終了したか否かを判定する（ステップＳ１２）。全ての検査対象物について異常の有無の判定を終了していない場合（Ｓ１２：ＮＯ）、処理部１１は、ステップＳ７へ処理を戻し、別の検査対象物を選択して異常の有無の判定を行う。全ての検査対象物について異常の有無の判定を終了した場合（Ｓ１２：ＹＥＳ）、処理部１１は、異常検出処理を終了する。

【0045】

＜情報表示＞
本実施の形態に係る検査装置１は、図４のフローチャートに示した異常検出処理を行った後、この処理の結果等の情報をユーザに提供するための検査結果画面を表示部１４に表示する。図１０は、検査結果画面の一例を示す模式図である。図示の検査結果画面には、検査対象物の撮影画像を表示する撮影画像領域１５１と、１つの図形要素に関する情報を表示する個別情報領域１５２と、検査対象物に含まれる全ての図形要素に関する情報を表示する全体情報領域１５３とが設けられている。例えば、撮影画像領域１５１は検査結果画面の上部左側に設けられ、個別情報領域１５２は検査結果画面の上部右側に設けられ、全体情報領域１５３は検査結果画面の下部に設けられる。

【0046】

検証結果画面の撮影画像領域１５１は、検査対象のエッチング加工品１０１の１つについての撮影画像を表示するための領域である。検査装置１は、例えば複数のエッチング加工品１０１の中からいずれか１つの選択をユーザから受け付け、選択された１つのエッチング加工品１０１について撮影画像を撮影画像領域１５１に表示する。例えば検査装置１は、エッチング加工品１０１に対して付された識別情報の入力を受け付けることで、撮影画像を表示する１つのエッチング加工品１０１の選択を受け付けることができる。また例えば検査装置１は、複数のエッチング加工品１０１の撮影画像のサムネイル画像を一覧表示し、サムネイル画像から１つの選択を受け付けることで、撮影画像を表示する１つのエッチング加工品１０１の選択を受け付けることができる。複数のサムネイル画像の一覧表示は、例えば差分値の最大値の順番、又は、エッチング加工が行われた順番等の適宜の順番で行われてよい。

【0047】

また検査装置１は、撮影画像領域１５１に表示した撮影画像に対し、ユーザが選択した一の図形要素を囲む矩形枠１５１ａを重ねて表示する。図１０に示す例では、エッチング加工品１０１に形成された４つの鍵穴１０１ｂのうちの左下側の１つの鍵穴１０１ｂが有する左側の垂直線が矩形枠１５１ａで囲まれており、この垂直線がユーザにより選択されたことを示している。ユーザは、例えばマウスによるクリック操作等を撮影画像領域１５１に表示された撮影画像に対して行うことにより、クリックした位置に対応する図形領域を選択することができる。

【0048】

また図示は省略するが、検査装置１は、記憶部１２にエッチング加工品１０１のＣＡＤデータ１０３を記憶している場合、撮影画像領域１５１に表示したエッチング加工品１０１の撮影画像に重ねて、ＣＡＤデータ１０３を表示してもよい。ユーザは、例えばメニュー選択又はショートカットキーの操作等により、ＣＡＤデータ１０３の重畳表示の有無を切り替えることができる。

【0049】

また検査装置１は、検証結果画面の個別情報領域１５２の上側に、ユーザにより選択された図形要素について上述の方法で算出された差分値のグラフ１５２ａを表示する。上述のように、差分値は１次元配列のデータとして生成され、本実施の形態においてはｘ方向の差分値とｙ方向の差分値とが算出される。差分値のグラフ１５２ａは、横軸を１次元配列のインデックス番号とし、縦軸を差分値としたグラフであり、本例ではグラフの左半分にｙ方向の差分値を示し、右半分にｘ方向の差分値を示している。

【0050】

また検査装置１は、異常の有無を判定する為に差分値と比較する閾値をグラフ１５２ａに水平線１５２ｂとして重畳して表示する。本例では、閾値がプラス及びマイナスの２つの値で設定され、この２つの閾値の範囲間に差分値が存在すれば異常なし（良品）であり、２つの閾値の範囲外に差分値が存在すれば異常あり（不良品）である。本例のグラフ１５２ａでは、全ての差分値が閾値の範囲内に存在するため、選択されている図形要素に異常がないことがわかる。なお図４に示したフローチャートのステップＳ９において差分値が閾値を超えるか否かを判定しているが、本例の場合には差分値の絶対値が閾値の絶対値を超えるか否かを判定すればよい。

【0051】

また検査装置１は、検証結果画面の個別情報領域１５２の下側に、選択された図形要素に関する一又は複数の画像１５２ｃを並べて表示する。検査装置１は、例えば撮影画像領域１５１に表示した矩形枠１５１ａに囲まれている部分を拡大した画像１５２ｃを、個別情報領域１５２の下側に表示してもよい。また検査装置１は、抽出した部分画像、生成した基本画像、算出した差分値を画像化したもの等の画像１５２ｃを、個別情報領域１５２の下側に表示してもよい。

【0052】

検証結果画面の全体情報領域１５３には、撮影画像領域１５１に撮影画像が表示されたエッチング加工品１０１に含まれる複数（全て）の図形要素について、上述の方法で算出された差分値のグラフが表示される。全体情報領域１５３のグラフは、個別情報領域１５２に表示される１つの図形要素に関するグラフを左右方向に関して圧縮し、複数の図形要素についての圧縮したグラフを横方向に連結したものである。上述のように差分値はｘ方向及びｙ方向についてそれぞれ算出され、本例では全体情報領域１５３の左側にｙ方向の差分値のグラフを連結し、右側にｘ方向の差分値を連結している。

【0053】

また検査装置１は、全体情報領域１５３のグラフ上に、２つの矩形枠１５３ａを重ねて表示する。矩形枠１５３ａは、選択されている１つの図形要素に相当するグラフの部分を囲んで表示される。２つの矩形枠１５３ａのうち、左側の矩形枠１５３ａは選択された図形要素のｙ方向の差分値のグラフを囲み、右側の矩形枠１５３ａは選択された図形要素のｘ方向の差分値のグラフを囲む。この２つの矩形枠１５３ａに囲まれたグラフを抽出して拡大表示したものが、個別情報領域１５２のグラフ１５２ａに相当する。ユーザは、例えば全体情報領域１５３のグラフ上でマウスによるクリック操作等を行うことにより、クリックした位置に表示されたグラフ対応する図形領域を選択することができる。

【0054】

また検査装置１は、全体情報領域１５３のグラフに、異常の有無を判定する為に差分値と比較する閾値を水平線１５３ｂとして重畳して表示する。この閾値は、個別情報領域１５２のグラフに水平線１５２ｂとして示された閾値と同じものである。

【0055】

本実施の形態に係る検査装置１は、図示の検査結果画面において、異常の有無を判定する為に差分値と比較する閾値を変更する操作をユーザから受け付ける。検査装置１は、検査結果画面の個別情報領域１５２のグラフ１５２ａに表示した閾値を示す水平線１５２ｂ、又は、全体情報領域１５３のグラフに表示した閾値を示す水平線１５３ｂに対して、例えばユーザによるマウスを利用したドラッグ操作を受け付ける。検査装置１は、このドラッグ操作に応じてグラフの水平線１５２ｂ及び１５３ｂを上下方向へ移動させると共に、水平線１５２ｂ，１５３ｂの位置に応じて閾値を変更する。なお検査装置１は、いずれか１つの水平線１５２ｂ，１５３ｂに対するドラッグ操作に応じて、４つの水平線１５２ｂ，１５３ｂを連動して移動させる。

【0056】

ユーザにより閾値の変更が行われた場合、検査装置１は、選択されているエッチング加工品１０１のみでなく、選択されていないエッチング加工品１０１を含むすべてのエッチング加工品１０１について、差分値と変更された閾値との比較を行い、異常の有無の判定を行う。図示は省略するが、検査装置１は、更新された閾値を用いて異常の有無を再判定した結果に関する情報、例えば異常と判定されたエッチング加工品１０１の数又は歩留り等の情報を記載したダイアログボックスを検査結果画面に重畳して表示する。

【0057】

また検査装置１は、変更された閾値に基づく再判定を行った結果を、検査結果画面に反映させて更新する。図１１は、更新された検査結果画面の一例を示す模式図である。また図１２は、図１１の検査結果画面の一部を拡大した拡大図である。図１０に示した検査結果画面ではエッチング加工品１０１に異常は検出されていなかったが、ユーザが閾値を下げたことにより検査装置１はエッチング加工品１０１の異常を検出し、図１１に示す検査結果画面にこれを反映させている。図１１の検査結果画面の個別情報領域１５２のグラフ１５２ａに示されているように、ユーザが閾値を下げたことにより、差分値が閾値を超える部分が生じている。検査装置１は、差分値が閾値を超えた箇所を異常箇所とし、検査結果画面の撮影画像領域１５１に表示されたエッチング加工品１０１の撮影画像に、異常箇所に対応する画素を囲む円形枠１６１を重ねて表示する。図１２に示す例では、異常箇所を囲む２つの円形枠１６１が表示されている。

【0058】

＜その他＞
本実施の形態においては、エッチング加工機１００が加工した全てのエッチング加工品１０１の撮影画像を基に基準画像を生成しているが、これに限るものではなく、一部の撮影画像のみを用いて基準画像を生成してもよい。例えば全てのエッチング加工品１０１の中からユーザが良品と判断した複数のエッチング加工品１０１の撮影画像を基に基準画像を生成してもよい。

【0059】

また検査装置１は、生成した基準画像及びユーザが設定した閾値等の情報を記憶しておき、例えばエッチング加工機１００にてエッチング加工品１０１の追加製造などが行われた場合、新たなエッチング加工品１０１の検査を行う際に新たに基準画像を生成せず、記憶しておいた基準画像を用いて検査を行ってもよい。

【0060】

また検査装置１が基準画像等の情報を記憶しておくことにより、追加加工されたエッチング加工品１０１の撮影をカメラ３にて行う際に、ユーザは撮影環境の調整を行うことができる。例えばユーザは、追加加工された複数のエッチング加工品１０１の中から良品と判断し得る１つのエッチング加工品１０１を選んで撮影を行い、得られた撮影画像を記憶しておいた基準画像に基づいて検査装置１に検査を実施させ、図１０に示した検査結果画面を表示させる。ユーザは、例えば検査結果画面の全体情報領域１５３に表示されたグラフを基に、差分値が小さくなるようにエッチング加工品１０１の撮影条件、例えば撮影位置又は明るさ等の条件を調整することができる。エッチング加工品１０１の撮影、撮影画像に基づく検査、及び、検査結果に基づく撮影条件の調整をユーザが繰り返し行うことで、基準画像を生成した際のエッチング加工品１０１の撮影条件に近い条件を再現することができる。

【0061】

＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、検査装置１が、一又は複数の検査対象物（例えばエッチング加工品１０１）を撮影した一又は複数の撮影画像を取得し、取得した撮影画像から直線又は円弧等の所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に図形要素の基準画像を生成し、部分画像と基準画像との差分値を算出し、算出した差分値に基づいて検査対象物の状態（例えば異常の有無）を検出する。検査対象物の撮影画像を基に生成した基準画像に基づいて状態を検出する構成であるため、検査装置１は、状態を検出するよう予め機械学習がなされた学習モデル等を用いることなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。

【0062】

また本実施の形態に係る情報処理システムでは、検査装置１が、検査対象物の設計図情報（例えばＣＡＤデータ１０３等）を取得し、ＣＡＤデータ１０３を基に撮影画像から所定の図形要素が写された部分画像を抽出する。例えば検査装置１は、設計図情報から所定の図形要素が描かれた部分を抽出し、抽出した部分に対応する部分画像を撮影画像から抽出することができる。また例えば検査装置１は、設計図情報に描かれた図形要素の種類の分類情報を基に、同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する。これらにより情報処理システムは、検査対象物の設計図情報を利用して、精度の良い部分画像の抽出及び基準画像の生成等を実現することが期待できる。

【0063】

また本実施の形態に係る情報処理システムでは、検査装置１が、撮影画像において所定の図形要素が写された部分とその周辺部分との勾配値を算出し、この勾配値を部分画像とする。また検査装置１は、撮影画像の第１方向（ｘ方向、水平方向、左右方向）及び第２方向（ｙ方向、垂直方向、上下方向）について勾配値をそれぞれ算出して部分画像とする。これらにより情報処理システムは、図形要素の特徴をより強調した部分画像を用いて状態検出を行うことが期待できる。

【0064】

また本実施の形態に係る情報処理システムでは、検査装置１が、図形要素のサイズ（例えば直線の長さ等）に応じた要素数の勾配値を格納した一次元配列を部分画像とし、複数の部分画像について要素毎の勾配値の統計値（例えば平均値又は中央値等）を格納した一次元配列を基準画像とし、部分画像の一次元配列と基準画像の一次元配列との要素毎の差分値を算出する。これにより情報処理システムは、図形要素が写された複数の画素について、基準画像との差分値を画素毎に算出して状態検出を行うことができる。

【0065】

また本実施の形態に係る情報処理システムでは、検査装置１が、一の部分画像に関して算出した一次元配列の差分値を、第１グラフ（検査結果画面の個別情報領域１５２のグラフ１５２ａ）として表示する。また検査装置１は、複数の部分画像について作成した第１グラフを複数連結した第２グラフ（検査結果画面の全体情報領域１５３のグラフ）を表示する。また検査装置１は、第１グラフ又は第２グラフに検査対象物の良／不良（異常なし／異常あり）を判定する為の閾値を示す基準線（水平線１５２ｂ、１５３ｂ）を表示する。また検査装置１は、撮影画像、第１グラフ及び第２グラフを含む検査結果画面を表示し、差分値及び閾値の比較により不良（異常）と判定された部分画像の位置を撮影画像に示す。これにより情報処理システムは、検査対象物の検査結果に関する情報をユーザに対して提示することができる。

【0066】

なお本実施の形態においては、検査対象物をエッチング加工品１０１としたが、これに限るものではなく、情報処理システムは様々な加工品又は製造品等を検査対象物として状態検出を行ってよい。また本実施の形態においては、図形要素として直線及び円弧を例に説明を行ったが、図形要素は直線及び円弧以外の種々のものであってよい。また図１０～図１２に示した検査結果画面の構成は一例であってこれに限るものではなく、検査装置１はどのような構成の画面で検査結果をユーザに提示してもよい。

【0067】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0068】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも１つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0069】

１ 検査装置
３ カメラ
１１ 処理部
１１ａ 撮影画像取得部
１１ｂ 部分画像抽出部
１１ｃ 基準画像生成部
１１ｄ 差分算出部
１１ｅ 状態検出部
１１ｆ 表示処理部
１２ 記憶部
１２ａ プログラム
１２ｂ 撮影画像記憶部
１３ 通信部
１４ 表示部
１５ 操作部
９９ 記録媒体
１００ エッチング加工機
１０１ エッチング加工品
１０１ａ 十字溝
１０１ｂ 鍵穴
１０２ 撮影画像
１０３ ＣＡＤデータ
１１１～１１４ 直線
１２１～１２４ 円弧
１３１ フィルタ
１５１ 撮影画像領域
１５１ａ 矩形枠
１５２ 個別情報領域
１５２ａ グラフ
１５２ｂ 水平線
１５２ｃ 画像
１５３ 全体情報領域
１５３ａ 矩形枠
１５３ｂ 水平線
１６１ 円形枠

【要約】

【課題】機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供する。
【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、検査対象物を撮影した撮影画像を取得し、取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成し、前記部分画像と前記基準画像との差分値を算出し、算出した差分値に基づいて前記検査対象物の状態を検出する。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】