ホーム > 特許ランキング > ＪＦＥスチール株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081243
(43)【公開日】2024-06-18
(54)【発明の名称】対象物の検査装置及び、対象物の検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240611BHJP
【ＦＩ】
G01N21/88 J
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022194718
(22)【出願日】2022-12-06
(71)【出願人】
【識別番号】000001258
【氏名又は名称】ＪＦＥスチール株式会社
(74)【代理人】
【識別番号】100184859
【弁理士】
【氏名又は名称】磯村 哲朗
(74)【代理人】
【識別番号】100123386
【弁理士】
【氏名又は名称】熊坂 晃
(74)【代理人】
【識別番号】100196667
【弁理士】
【氏名又は名称】坂井 哲也
(74)【代理人】
【識別番号】100130834
【弁理士】
【氏名又は名称】森 和弘
(72)【発明者】
【氏名】吉田 圭佑
(72)【発明者】
【氏名】▲高▼田 英紀
【テーマコード（参考）】
2G051
【Ｆターム（参考）】
2G051AA07
2G051AA37
2G051AB02
2G051AC21
2G051CA04
2G051DA06
2G051EB01
2G051EB05
2G051ED01
(57)【要約】
【課題】 製品が撮像された画像の視野が適切な状態にあることを確認することが可能な対象物の検査装置を提供することを目的とする。
【解決手段】
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査装置である。検査装置は、基準画像及び、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、前記領域設定部により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成部と、前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、を含む。
【選択図】図１
【解決手段】
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査装置である。検査装置は、基準画像及び、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、前記領域設定部により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成部と、前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査装置であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、
前記領域設定部により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成部と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査部と、
を含む、対象物の検査装置。
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、
前記領域設定部により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成部と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査部と、
を含む、対象物の検査装置。
【請求項2】
前記抽出画像生成部によって生成された前記第１の抽出データと、前記第２の抽出データと、を参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定部を有する、請求項１に記載の対象物の検査装置。
【請求項3】
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、請求項１又は２に記載の対象物の検査装置。
【請求項4】
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項１又は２に記載の対象物の検査装置。
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項１又は２に記載の対象物の検査装置。
【請求項5】
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項３に記載の対象物の検査装置。
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項３に記載の対象物の検査装置。
【請求項6】
前記判定部は、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、請求項２に記載の対象物の検査装置。
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、請求項２に記載の対象物の検査装置。
【請求項7】
前記判定部は、ディープラーニングによる学習結果を用いて判定する、請求項２に記載の対象物の検査装置。
【請求項8】
前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で前記表示部に表示される、請求項１又は２に記載の対象物の検査装置。
【請求項9】
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査方法であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データ、を取得する画像取得工程と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得工程と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定工程と、
前記領域設定工程により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成工程と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示工程と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査工程と、
を含む、対象物の検査方法。
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データ、を取得する画像取得工程と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得工程と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定工程と、
前記領域設定工程により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成工程と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示工程と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査工程と、
を含む、対象物の検査方法。
【請求項10】
前記抽出画像生成工程によって生成された前記第１の抽出データと、前記第２の抽出データとを参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定工程を有する、請求項９に記載の対象物の検査方法。
【請求項11】
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、請求項９又は１０に記載の対象物の検査方法。
【請求項12】
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項９又は１０に記載の対象物の検査方法。
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項９又は１０に記載の対象物の検査方法。
【請求項13】
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項１１に記載の対象物の検査方法。
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、請求項１１に記載の対象物の検査方法。
【請求項14】
前記判定工程においては、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、請求項１０に記載の対象物の検査方法。
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、請求項１０に記載の対象物の検査方法。
【請求項15】
前記判定工程において、ディープラーニングによる学習結果を用いて判定する、請求項１０に記載の対象物の検査方法。
【請求項16】
前記表示工程において、前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で表示される、請求項９又は１０に記載の対象物の検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、鉄鋼製品等の対象物の外観を検査する対象物の検査装置及び、対象物の検査方法に関する。
【背景技術】
【0002】
従来、製品を撮像した画像を用いてその外観を検査することが行われている。このような画像を用いた製品の外観の検査においては、検査精度を保つために画像の視野が一定であることが望ましい。
【0003】
当該検査においては、検査対象となる製品の撮像領域を画像から抽出し、製品の外観に異常がないか判定される。画像から撮像領域を抽出する方法としては、例えば、背景及び、抽出対象となる製品を含む抽出対象画像から、背景を取り除くことにより行われている。
【0004】
このような画像抽出処理としては、例えば、抽出対象となる対象物が映っている画像と、当該対象物が映っていない画像と、を位置合わせし、両画像の差分によって背景を取り除く撮像装置が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１１－７２０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に記載された撮像装置を用いて、その対象物を抽出しても当該画像の視野が適切な状態にあるかどうかを確認することができない。このため、従来ではユーザが過去に撮像された画像と、直近にされた画像と、を目視することにより視野の確認を行っており、撮像された画像の視野が適切であることを確認する装置等の開発が望まれている。
【0007】
本発明は、上記問題に鑑みてなされたものであり、製品を撮像した画像を用いてその外観を検査する際に、当該画像の視野が適切な状態にあることを確認することが可能な対象物の検査装置及び、対象物の検査方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
［１］
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査装置であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、
前記領域設定部により設定された前記領域を用いて前記撮像データを抽出して第１の抽出データ及び、前記領域を用いて前記基準画像を抽出して第２の抽出データを生成する抽出画像生成部と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査部と、
を含む、対象物の検査装置。
［２］
前記抽出画像生成部によって生成された前記第１の抽出データと、前記第２の抽出データとを参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定部を有する、［１］に記載の対象物の検査装置。
［３］
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、［１］又は［２］に記載の対象物の検査装置。
［４］
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、［１］～［３］のいずれかに記載の対象物の検査装置。
［５］
前記判定部は、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、［２］～［４］のいずれかに記載の対象物の検査装置。
［６］
前記判定部は、ディープラーニングによる学習結果を用いて判定する、［２］～［５］のいずれかに記載の対象物の検査装置。
［７］
前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で前記表示部に表示される、［１］～［６］のいずれかに記載の対象物の検査装置。
［８］
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査方法であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データ、を取得する画像取得工程と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得工程と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定工程と、
前記領域設定工程により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成工程と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示工程と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査工程と、
を含む、対象物の検査方法。
［９］
前記抽出画像生成工程によって生成された前記第１の抽出データと、前記第２の抽出データとを参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定工程を有する、［８］に記載の対象物の検査方法。
［１０］
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、［８］又は［９］に記載の対象物の検査方法。
［１１］
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、［８］～［１０］のいずれかに記載の対象物の検査方法。
［１２］
前記判定工程においては、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、［９］に記載の対象物の検査方法。
［１３］
前記判定工程において、ディープラーニングによる学習結果を用いて判定される、［９］～［１１］のいずれかに記載の対象物の検査方法。
［１４］
前記表示工程において、前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で表示される、［８］～［１３］のいずれかに記載の対象物の検査方法。
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査装置であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データを取得する画像取得部と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得部と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定部と、
前記領域設定部により設定された前記領域を用いて前記撮像データを抽出して第１の抽出データ及び、前記領域を用いて前記基準画像を抽出して第２の抽出データを生成する抽出画像生成部と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示部と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査部と、
を含む、対象物の検査装置。
［２］
前記抽出画像生成部によって生成された前記第１の抽出データと、前記第２の抽出データとを参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定部を有する、［１］に記載の対象物の検査装置。
［３］
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、［１］又は［２］に記載の対象物の検査装置。
［４］
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得部は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、［１］～［３］のいずれかに記載の対象物の検査装置。
［５］
前記判定部は、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、［２］～［４］のいずれかに記載の対象物の検査装置。
［６］
前記判定部は、ディープラーニングによる学習結果を用いて判定する、［２］～［５］のいずれかに記載の対象物の検査装置。
［７］
前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で前記表示部に表示される、［１］～［６］のいずれかに記載の対象物の検査装置。
［８］
対象物が撮像された撮像データを用いて、対象物の外観を検査する検査方法であって、
前記対象物の周囲に配された背景を含む基準画像並びに、前記対象物及び、前記背景を含みかつ、前記基準画像が撮像された撮像部の光軸に沿った位置から撮像された撮像データ、を取得する画像取得工程と、
前記撮像データに対応する画像領域における画素ごとの前記対象物の存在確率を示した確率マップデータを取得する確率マップデータ取得工程と、
前記確率マップデータに基づいて、前記撮像データ及び、前記基準画像における画像領域のうちの前記背景を含む特定の領域を設定する領域設定工程と、
前記領域設定工程により設定された前記領域を用いて前記撮像データから第１の抽出データを抽出し及び、前記領域を用いて前記基準画像から第２の抽出データを抽出する抽出画像生成工程と、
前記第１の抽出データ及び、前記第２の抽出データを表示する表示工程と、
前記撮像データのうちの前記対象物を含む他方の抽出データを用いて、前記対象物の外観を検査する検査工程と、
を含む、対象物の検査方法。
［９］
前記抽出画像生成工程によって生成された前記第１の抽出データと、前記第２の抽出データとを参照して、前記撮像データの視野と前記基準画像の視野との一致度を判定する判定工程を有する、［８］に記載の対象物の検査方法。
［１０］
前記確率マップデータは、前記撮像データの視野と前記基準画像の視野との一致度の判定結果を用いて生成される、［８］又は［９］に記載の対象物の検査方法。
［１１］
前記基準画像は、互いに異なる環境で撮像され、
前記画像取得工程は、前記撮像データが撮像された環境に類似する環境で撮像された前記基準画像を選択して取得する、［８］～［１０］のいずれかに記載の対象物の検査方法。
［１２］
前記判定工程においては、前記第１の抽出データ及び、前記第２の抽出データのうちの一方の抽出データにおいて設定された特徴点と、当該特徴点に対応する他方の抽出データにおける特徴点とを対応づけ、
前記特徴点は前記一方の抽出データの各画素の周辺に対する変化量を基準として設定される、［９］に記載の対象物の検査方法。
［１３］
前記判定工程において、ディープラーニングによる学習結果を用いて判定される、［９］～［１１］のいずれかに記載の対象物の検査方法。
［１４］
前記表示工程において、前記第１の抽出データ及び、前記第２の抽出データは、互いに重なり合った状態で表示される、［８］～［１３］のいずれかに記載の対象物の検査方法。
【発明の効果】
【0009】
本発明によれば、対象物の存在確率を示した確率マップデータに基づいて、撮像データ及び基準画像の画像領域のうちの抽出対象となる特定の領域が設定され、当該領域を用いて撮像データから第１の抽出データが抽出され及び、基準画像から第２の抽出データが抽出される。ユーザは、表示部に表示された第１の抽出データ及び、第２の抽出データを視認することによって、容易に撮像データの視野が適切な状態であるかを容易に判断することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（第１実施形態）
図１は、対象物の検査装置（以下、検査装置とも称する）の構成を示すブロック図である。図１に示すように、検査装置１００は、対象物を撮像する撮像部１０と、撮像部１０が撮像した撮像データを記憶する画像データベース（以下、データベースをＤＢと称する）２０と、撮像データを表示する表示部３０と、を有する。検査装置１００は、検査装置１００の全体を制御する制御部４０を有する。撮像部１０、画像ＤＢ２０、表示部３０及び、制御部４０の各々は、バス５０を介してデータ通信可能に接続されている。
図１は、対象物の検査装置（以下、検査装置とも称する）の構成を示すブロック図である。図１に示すように、検査装置１００は、対象物を撮像する撮像部１０と、撮像部１０が撮像した撮像データを記憶する画像データベース（以下、データベースをＤＢと称する）２０と、撮像データを表示する表示部３０と、を有する。検査装置１００は、検査装置１００の全体を制御する制御部４０を有する。撮像部１０、画像ＤＢ２０、表示部３０及び、制御部４０の各々は、バス５０を介してデータ通信可能に接続されている。
【0012】
撮像部１０は、例えば、レンズ（図示せず）を介して入光した光を画像データとして変換する撮像素子（図示せず）を有するカメラを用いることができる。撮像部１０は、静止画像を撮像データとして生成する。
【0013】
撮像部１０は、２次元画像を生成することができるものであれば特には限定されない。撮像部１０は、ラインスキャナー、走査型の光センサ又は、光以外の信号（例えば、磁気信号）を検出するセンサを用いて構成することもできる。
【0014】
例えば、磁気センサは、金属材料の内部の磁力線の変化を利用して異物を検出するために用いられている。磁気センサを用いて撮像部１０を構成した場合には、磁気センサによって生成された磁気信号の強度変化に基づいて、その強度を色又は、明度等の成分に変換して画像を生成することで、当該画像を撮像データとして用いることができる。
【0015】
画像ＤＢ２０は、特には限定されないが、ＨＤＤ（hard disk drive）、ＳＳＤ(solid state drive)等の公知の記憶手段を用いることができる。画像ＤＢ２０には、撮像部１０が撮像した撮像データが記憶されている。
【0016】
具体的には、画像ＤＢ２０には、外観検査の対象となる対象物の周囲に配された背景を含む基準画像並びに、当該対象物及び、背景を含みかつ、基準画像が撮像された撮像部１０の光軸に沿った位置から撮像された撮像データが記憶されている。また、画像ＤＢ２０には、撮像データ及び、基準画像に対応する画像領域における画素ごとの対象物の存在確率を示した確率マップデータが記憶されている。
【0017】
基準画像は、背景のみが撮像されている画像データであってもよいし、過去の検査に用いられた画像であって、背景が抽出された画像データであってもよい。
【0018】
確率マップデータは、画素ごとの対象物の存在確率を示したデータである。確率マップデータは、例えば、各々の画素において百分率や、百分率に対応した数値が入力されている。確率マップデータは、例えば、百分率に応じた色彩で各画素が表されたものであってもよい。
【0019】
確率マップデータは、例えば、過去の検査データに基づいて作成される。具体的には、特定の画素において対象物が存在する場合を「１」としてカウントし、対象物が存在しない場合を「０」としてカウントする。Ｎ枚の画像データに対してこのカウントを行い、当該カウントの合計値を画像データの数Ｎで割って百分率を算出することができる。この百分率を各画素において算出することにより、確率マップデータを作成することができる。
【0020】
尚、画像ＤＢ２０は、検査装置１００と一体に構成されるものに限られず、例えば、検査装置１００とデータ通信可能なサーバ装置（図示せず）等に格納されているものであってもよい。
【0021】
表示部３０は、画像データ表示することができるものであればよく、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等を用いることができる。表示部３０は、この他にもＶＲ（Virtual Reality）ヘッドセット、投影機、複数の色の出射光を出射可能なＬＥＤ（Light Emitting Diode）素子が配列されたＬＥＤビジョン等を用いることができる。
【0022】
制御部４０は、ＣＰＵ，ＲＯＭ，ＲＡＭからなるコンピュータである。制御部４０は、基準画像及び、撮像データを取得する画像取得部４１と、確率マップデータを取得する確率マップデータ取得部４２と、を有する。制御部４０は、撮像データ及び、基準画像における特定の領域を設定する領域設定部４３と、当該領域を用いて第１の抽出データ及び、第２の抽出データを生成する抽出画像生成部４４と、対象物の外観を検査する検査部４５と、を有する。
【0023】
制御部４０の各部４１～４５は、ＲＯＭに格納されているデータ及び、プログラム（コンピュータソフトウェア）を読み取り、当該データに基づき、当該プログラムにしたがって演算処理を実行することにより実現する。
【0024】
領域設定部４３は、確率マップデータの値に対して閾値を設定する。領域設定部４３は、当該閾値を越える画素によって構成される領域を対象物が存在する対象物領域として設定する。領域設定部４３は、当該閾値以下の画素によって構成される領域を対象物が存在しない背景領域として設定する。
【0025】
抽出画像生成部４４は、領域設定部４３によって設定された対象物領域及び、背景領域を用いて、撮像データにおける対象物領域及び、背景領域を抽出する。具体的には、抽出画像生成部４４は、撮像データの背景領域となる特定の画素に「１」を乗じ、撮像データの対象物領域となる特定の画素に「０」を乗じる。抽出画像生成部４４は、このような処理を行うことで、背景領域をそのままの画素値としつつ、対象物領域を黒くすることができる。抽出画像生成部４４は、このように背景領域及び、対象物領域を区分けして抽出することで、第１の抽出データを生成することができる。生成された第１の抽出データは、画像ＤＢ２０に格納される。
【0026】
抽出画像生成部４４は、領域設定部４３によって設定された対象物領域及び、背景領域を用いて、基準画像における対象物領域及び、背景領域を抽出する。抽出画像生成部４４は、第１の抽出データの抽出処理と同様の処理を行い、背景領域及び、対象物領域を区分けして抽出することで、第２の抽出データを生成することができる。生成された第２の抽出データは、画像ＤＢ２０に格納される。
【0027】
抽出画像生成部４４は、このような処理を行うことによって、撮像データと、基準画像と、の両画像について、あたかも背景領域が切り抜かれたような抽出画像を生成することができる。
【0028】
検査部４５は、撮像データのうちの対象物を含む他方の抽出データを用いて、対象物の外観を検査する。ここで、他方の抽出データは、検査部４５による検査が行われる前に、抽出画像生成部４４によって当該データが復元されたものが用いられるようにするとよい。他方の抽出データは、このようなデータに限られず、例えば、抽出画像生成部４４によって背景領域と対象物領域とに対して行われた処理を逆転した再処理が行われることで、あたかも対象物領域が切り抜かれたようなものが用いられるようにしてもよい。
【0029】
検査部４５は、具体的には、画像ＤＢ２０に格納されている検査用に作成された検査画像と、他方の抽出データと、を対比して、対象物の外観に異常がないかを画像処理によって検査する。
【0030】
図２は、対象物の検査態様を示している。外観の検査対象となる対象物ＯＢ１、ＯＢ２、ＯＢ３は、同一の外観を有するものであってもよいし、互いに異なる外観を有するものであってもよい。図２においては、対象物ＯＢ１、ＯＢ２、ＯＢ３は、互いに異なる外観を有している。
【0031】
対象物ＯＢ１、ＯＢ２、ＯＢ３としては、特には限定されないが、例えば、薄板、厚板、形鋼、鋼管、電磁鋼板等の鉄鋼製品が挙げられる。
【0032】
対象物ＯＢ１、ＯＢ２、ＯＢ３は、台車等の搬送装置６０によって、図中の矢印の方向に搬送される。搬送装置６０の下流側には、撮像部１０が配置されている。
【0033】
撮像部１０は、搬送装置６０上に載置された対象物ＯＢ１、ＯＢ２、ＯＢ３の各々を個別に撮像可能な視野となる位置に配される。撮像部１０は、対象物ＯＢ１、ＯＢ２、ＯＢ３の各々のうちの１の対象物の周囲に配される背景も撮像可能な視野となる位置に配される。尚、視野は、撮像部１０の配置位置、撮像部１０のレンズの光軸が搬送装置６０に対する角度、レンズの倍率等によって調整することができる。
【0034】
撮像部１０は、基準画像を撮像するものと、撮像データを撮像するものと、を同一の位置に配されたものを用いることができる。撮像部１０は、このような位置関係に配されたものに限られず、基準画像の視野と実質的に同一な視野を得られる位置に配されたものであればよい。
【0035】
例えば、撮像データを撮像する撮像部１０は、基準画像を撮像する撮像部１０の光軸に沿った位置に配されるものであればよい。具体的には、基準画像を撮像する撮像部１０の光軸の軸方向において、当該撮像部１０よりも搬送装置６０から離れた位置に撮像データを撮像する撮像部１０を設けることができる。この場合、レンズのズームを調整することにより視野を調整するか、撮像データのうち、基準画像に相当する画像領域のみを用いるようにするとよい。
【0036】
図３は、確率マップデータが生成される態様を示している。図３の上方において、対象物ＯＢ１が撮像された撮像データＤ１、対象物ＯＢ２が撮像された撮像データＤ２、対象物ＯＢ３が撮像された撮像データＤ３が示されている。
【0037】
撮像データＤ１～Ｄ３は、本実施形態においては、同一の視野で撮像されたデータである。対象物ＯＢ１～ＯＢ３は、例えば、薄板コイルである。撮像データＤ１～Ｄ３において示されているように、対象物ＯＢ２は、対象物ＯＢ１よりも径が大きい。また、対象物ＯＢ３は、対象物ＯＢ１及び、対象物ＯＢ２よりも径が小さい。
【0038】
図３の中央には、撮像データＤ１～Ｄ３を用いて生成された確率マップデータＭＤが示されている。確率マップデータＭＤの中央近傍に位置する領域Ｒ１は、撮像データＤ１～Ｄ３において対象物ＯＢ１～ＯＢ３が映り込んでいる領域であるため、対象物の存在確率が他の領域Ｒ２～Ｒ４よりも高い。
【0039】
領域Ｒ２は、領域Ｒ１を囲むようにして形成されている。領域Ｒ２は、撮像データＤ１～Ｄ２において、対象物ＯＢ１、ＯＢ２が映り込んでいる領域であるため、対象物の存在確率が他の領域Ｒ３，Ｒ４よりも高い。
【0040】
領域Ｒ３は、領域Ｒ１及び、領域Ｒ２を囲むようにして形成されている。領域Ｒ３は、撮像データＤ２において、対象物ＯＢ２が映り込んでいる領域であるため、対象物の存在確率が他の領域Ｒ４よりも高い。
【0041】
領域Ｒ４は、領域Ｒ１～領域Ｒ３を囲むようにして形成されている。領域Ｒ４は、撮像データＤ１～Ｄ３において、対象物ＯＢ１～ＯＢ３が映り込んでいない背景領域に相当するため、対象物の存在確率が他の領域Ｒ１～Ｒ３よりも低い。このように、領域１～４は、確率マップデータＭＤが生成される際の対象物ＯＢ１～ＯＢ３の形状に応じた存在確率となる。
【0042】
図４は、対象物の検査方法を示す処理フローを示している。対象物の検査方法の処理は、例えば、対象物の検査装置１００の電源がＯＮにされると開始される。図３に示されているように、画像取得部４１は、画像ＤＢ２０に格納されている撮像データ及び、基準画像を取得する（ステップＳ１０１）。
【0043】
確率マップデータ取得部４２は、画像ＤＢ２０に格納されている確率マップデータＭＤを取得する（ステップＳ１０２）。
【0044】
領域設定部４３は、確率マップデータＭＤの各々の画素の値に対して閾値を設定し、当該閾値に基づいて、対象物領域と、背景領域と、を設定する（ステップＳ１０３）。
【0045】
抽出画像生成部４４は、ステップＳ１０３の領域設定工程において領域設定部４３によって設定された対象物領域及び、背景領域を用いて、撮像データから第１の抽出データを抽出し及び、基準画像から第２の抽出データを抽出して生成する（ステップＳ１０４）。尚、生成された第１の抽出データ及び、第２の抽出データは、画像ＤＢ２０に格納される。
【0046】
制御部４０は、画像ＤＢ２０から第１の抽出データ及び、第２の抽出データを読み出して表示部３０に表示させる（ステップＳ１０５）。
【0047】
検査部４５は、ステップＳ１０３において生成された撮像データのうちの対象物を含む他方の第１の抽出データを用いて、対象物の外観を検査する（ステップＳ１０６）。
【0048】
図５は、ステップＳ１０４の抽出画像生成工程において、第１の抽出データが生成される態様を示す。図５においては、第１の抽出データＤＡの一例が示されている。第１の抽出データＤＡの中央に配されている対象物領域ＯＲは、ステップＳ１０４の抽出画像生成処理によって黒く着色されている。これに対して対象物領域ＯＲの周囲に配されている背景領域ＢＲは、ステップＳ１０４の抽出画像生成処理によって配色が維持されている。
【0049】
図６は、図４のステップＳ１０５の表示工程における表示態様を示している。図６においては、表示部３０の表示面３１において第１の抽出データＤＡが実線で示されている。また、表示部３０の表示面３１において第２の抽出データＤＢが破線で示されている。第１の抽出データＤＡ及び、第２の抽出データＤＢは、同じサイズの画像領域であるが、図６においては説明のため、第２の抽出データＤＢが第１の抽出データＤＡよりも小さく示されている。
【0050】
第１の抽出データＤＡ及び、第２の抽出データＤＢは、表示面３１に垂直な方向において、重なり合うように表示されている。図６に示す例では、第１の抽出データＤＡ上に第２の抽出データＤＢが示されている。また、第２の抽出データＤＢは、透過性がある色彩で示される。
【0051】
したがって、第１の抽出データＤＡ及び、第２の抽出データＤＢが互いに一致する視野であれば、ユーザは、違和感なく第１の抽出データＤＡ及び、第２の抽出データＤＢの背景領域ＢＲを視認することができる。
【0052】
これに対して、第１の抽出データＤＡ及び、第２の抽出データＤＢが互いに一致しない視野であれば、ユーザは、第１の抽出データＤＡ及び、第２の抽出データＤＢの背景領域ＢＲにズレが生じるため、背景領域ＢＲがぼやけて見える。また、第１の抽出データＤＡ及び、第２の抽出データＤＢが互いに一致しない視野であれば、背景領域ＢＲに対象物が映り込んでいる場合もある。ユーザは、このような差異を視認することにより、第１の抽出データＤＡ及び、第２の抽出データＤＢの視野が互いに異なることを認識することができる。
【0053】
尚、表示部３０の表示面３１に第１の抽出データＤＡ及び、第２の抽出データを表示する態様は、このような態様に限られず、例えば、表示面３１の左右方向又は、上下方向に並置して表示してもよい。
【0054】
以上のように、本発明によれば、対象物ＯＢ１～ＯＢ３の存在確率を示した確率マップデータＭＤに基づいて、撮像データ及び、基準画像の画像領域のうちの抽出対象となる特定の領域が設定される。また、当該領域を用いて生成された第１の抽出データＤＡ及び、第２の抽出データＤＢが生成される。ユーザは、表示部３０に表示された第１の抽出データＤＡ及び、第２の抽出データＤＢを視認することによって、撮像データの視野が適切な状態であるかを容易に判断することができる。
【0055】
尚、ステップＳ１０３の領域設定工程において、確率マップデータＭＤの各々の画素の値に対して閾値を設定し、当該閾値に基づいて、対象物領域と、背景領域と、を設定した。しかし、抽出画像生成部４４による領域設定工程は、このような態様に限られず、確率マップデータＭＤの各画素の百分率の値の大きさ応じた重みづけによって対象物領域と、背景領域と、を設定してもよい。具体的には、抽出画像生成部４４は、基準画像及び、撮像データの各々の画素値に対して、対応する確率マップデータＭＤの画素の百分率に応じた数値を乗じることによって、対象物領域と、背景領域と、を設定してもよい。
【0056】
（第２実施形態）
上述の実施形態においては、ユーザは、表示部３０に表示された第１の抽出データＤＡ及び、第２の抽出データＤＢを視認することによって、撮像データの視野が適切な状態であるかを判断した。撮像データの視野は、ユーザ以外が一致しているか否かを判定してもよい。
上述の実施形態においては、ユーザは、表示部３０に表示された第１の抽出データＤＡ及び、第２の抽出データＤＢを視認することによって、撮像データの視野が適切な状態であるかを判断した。撮像データの視野は、ユーザ以外が一致しているか否かを判定してもよい。
【0057】
図７は、第２実施形態の検査装置２００の構成を示すブロック図である。図７に示すように、第２実施形態の検査装置２００は、第１実施形態の検査装置１００とは、制御部４０に判定部４６を備える点で異なる。その余の点については、第１実施形態の検査装置１００と同一の構成であるので、同一の箇所に同一の符号を付して説明を省略する。
【0058】
図７に示すように、制御部４０の判定部４６は、第１の抽出データＤＡ及び、第２の抽出データＤＢを参照し、これらに基づいて、撮像データの視野と基準画像の視野との一致度を判定する。
【0059】
判定部４６は、例えば、第１の抽出データＤＡの特徴点と、第２の抽出データＤＢの特徴点と、を対応付け、その類似性に応じて一致度を判定する。特徴点は、一方の抽出データの各画素の周辺に対する変化量を基準として設定される。具体的には、特徴点としては、特定の画素の値が当該特定画素の周辺の画素の値よりも変化量が大きい画素を用いることができる。
【0060】
特徴点の抽出は、例えばＳＩＦＴ（Scale Invariant Feature Transform）等のアルゴリズムを用いることができる。判定部４６は、グレースケール化された例えば、第１の抽出データＤＡの特徴点を抽出し、当該特徴点に対応する第２の抽出データＤＢの特徴点を抽出する。
【0061】
判定部４６は、第１の抽出データＤＡの特徴点と、第２の抽出データＤＢの特徴点と、の距離及び、ベクトルを求める。判定部４６は、求めたベクトルの距離に応じて、両者の視野の一致度を判定する。判定部４６は、例えば、求めたベクトルの距離が予め定めた閾値以下の場合、両者の視野の一致度が高いと判定する。判定部４６は、例えば、求めたベクトルの距離が予め定めた閾値を越える場合、両者の視野の一致度が低いと判定する。
【0062】
判定部４６は、第１の抽出データＤＡの特徴点と、第２の抽出データＤＢの特徴点と、を複数個所抽出する。また、判定部４６は、複数個所の特徴点同士についてベクトルを求める。判定部４６は、複数のベクトルの各々の方向が揃っている場合、特定の方向（ベクトルの方向）に視野がずれていると判定する。また、判定部４６は、複数のベクトルの各々の方向が互いに放射状に異なった方向である場合、ズームの倍率が異なる要因や、撮像部１０の光軸方向の設置位置が異なる要因で視野がずれていると判定する。
【0063】
さらに、判定部４６は、複数のベクトルの各々の方向が全く揃っていない場合、撮像部１０の設置位置、ズームの倍率等の複数の要因で視野がずれていると判定する。この場合、判定部４６は、視野のずれ幅が非常に大きいと判定する。
【0064】
尚、判定部４６による撮像データの視野と基準画像の視野との一致度を判定は、このような態様に限られず、例えば、ディープラーニングにより、撮像データの視野と基準画像の視野との一致度を学習させ、当該学習結果を用いて行ってもよい。このようにすることで、判定部４６による判定をＡＩによって行うことができる。
【0065】
図８は、第２実施形態に係る対象物の検査方法を示す処理フローを示している。対象物の検査方法の処理は、図４に示した第１実施形態の対象物の検査方法を示す処理フローとは、抽出画像生成工程（ステップＳ２０４）と、表示工程（ステップＳ２０６）との間に判定工程（ステップＳ２０５）を備える点で異なる。その余の点については、図４に示した第１実施形態の対象物の検査方法を示す処理フローと同一であるので説明を省略する。
【0066】
判定部４６は、ステップＳ２０５の判定工程において、第１の抽出データＤＡの特徴点と、第２の抽出データＤＢの特徴点と、を複数個所抽出する。判定部４６は、第１の抽出データＤＡの特徴点と、第２の抽出データＤＢの特徴点と、の距離及び、ベクトルを求める。判定部４６は、距離及び、ベクトルのうち、少なくとも一方の情報を用いて、撮像データの視野と基準画像の視野との一致度を判定する。
【0067】
以上のように、本実施形態の検査装置２００によれば、判定部４６が撮像データの視野と基準画像の視野との一致度を判定することにより、当該判定を迅速に行うことが可能となる。
【0068】
尚、撮像データは、撮像された時間、撮像された際の天候等の環境により対象物や背景の映り方が異なる。このため、基準画像は、撮像データが撮像された環境に近い環境で撮像されたものが用いられることが好ましい。
【0069】
ここで、環境は、特には限定されないが、例えば、撮像された時間（昼、夜などの時間帯）、撮像された際の天候、撮像された際の照度、撮像装置の設定値（ＩＳＯ感度、絞り値、シャッタースピード、ホワイトバランス等）が挙げられる。
【0070】
基準画像は、互いに異なる環境で撮像され、当該環境を示す情報である環境情報と紐づけられて画像ＤＢ２０に格納されていることが好ましい。また、撮像データも環境情報と紐づけられて画像ＤＢ２０に格納されていることが好ましい。
【0071】
画像取得部４１は、ステップＳ２０１の画像取得工程においては、撮像データが撮像された環境に類似する環境で撮像された基準画像を選択して取得するとよい。具体的には、画像取得部４１は、撮像データが撮像された時刻に近い基準画像を選択して取得する。
【0072】
画像取得部４１による基準画像の取得は、このような態様に限られず、例えば、画像ＤＢ２０に格納されている全ての基準画像を読み出して、撮像データが撮像された環境に類似する環境で撮像された基準画像を選択して取得するようにしてもよい。
【0073】
このように、撮像データが撮像された環境に類似する環境で撮像された基準画像を用いることにより、より背景の画素の値を撮像データに近づけることができ、誤判定の発生を抑制することができる。
【0074】
また、抽出画像生成部４４は、ステップＳ２０４の抽出画像生成工程において、例えば、背景の対象として好ましくない物体や人物等が撮像データや基準画像に映り込んでいる場合、これらを除外して第１の抽出画像及び、第２の抽出画像を生成するとよい。このようにして、第１の抽出画像及び、第２の抽出画像を生成することで、判定部４６による判定の精度を高めることができる。
【0075】
さらに、抽出画像生成部４４は、ステップＳ２０４の抽出画像生成工程において、背景の特徴点の認定に適したマーク等が撮像データや基準画像に映り込んでいる場合、当該物体が映り込んでいる範囲を含む第１の抽出画像及び、第２の抽出画像を生成するとよい。
【0076】
このようにして、第１の抽出画像及び、第２の抽出画像を生成することで、判定部４６は、例えば、当該物体が映り込んでいる範囲に限定して特徴点の抽出を行うことにより、容易にかつ、迅速に処理を行うことができ、判定の精度を高めることができる。
【0077】
さらにまた、上述の実施形態においては、確率マップデータＭＤは、対象物ＯＢ１が撮像された撮像データＤ１、対象物ＯＢ２が撮像された撮像データＤ２、対象物ＯＢ３が撮像された撮像データＤ３に基づいて生成される例を説明した。
【0078】
確率マップデータＭＤは、ステップＳ２０４の抽出画像生成工程の結果が反映されたもの、すなわち、第１の抽出データＤＡ又は、第２の抽出データＤＢが生成された際の抽出結果が反映されるようにしてもよい。
【0079】
例えば、第１の抽出データＤＡが生成された際に、背景領域ＢＲに対象物ＯＢ１～ＯＢ３が含まれていない場合、その結果を統計量に応じた割合で加算される。これに対して、第１の抽出データＤＡが生成された際に、背景領域ＢＲに対象物ＯＢ１～ＯＢ３が含まれている場合、その結果を統計量に応じた割合で減算される。確率マップデータＭＤは、このようにして算出されたデータを平均値として各画素について求めることができる。このように確率マップデータＭＤが随時更新されることで、背景領域ＢＲ及び、対象物領域ＯＲの抽出精度をより高めることができる。
【0080】
尚、例えば、撮像データに映り込んでいる対象物が、検査頻度が低い形状である場合、確率マップデータＭＤの更新に用いるデータとしては不適切である。このような場合には、その撮像データを確率マップデータＭＤの更新に用いないようにするとよい。このような検査頻度が低いケースを確率マップデータＭＤの更新に用いないようにすることで、背景領域ＢＲ及び、対象物領域ＯＲの抽出精度を高めることが可能となる。
【0081】
また、判定部４６による視野の一致度の判定結果として、一致度が低いと判断された撮像データについても確率マップデータＭＤの更新に用いないようにするとよい。視野の一致度が低いデータは、確率マップデータＭＤとの整合性が低い。このため、視野の一致度が低いデータを確率マップデータＭＤの更新に用いると、確率マップデータＭＤの精度が低下する恐れがあるためである。
【符号の説明】
【0082】
１００、２００ 対象物の検査装置
１０ 撮像部
２０ 画像データベース
３０ 表示部
４０ 制御部
４１ 画像取得部
４２ 確率マップデータ取得部
４３ 領域設定部
４４ 抽出画像生成部
４５ 検査部
４６ 判定部
ＯＢ１～ＯＢ３ 対象物
ＭＤ 確率マップデータ
ＤＡ 第１の抽出データ
ＤＢ 第２の抽出データ
ＢＲ 背景領域
１０ 撮像部
２０ 画像データベース
３０ 表示部
４０ 制御部
４１ 画像取得部
４２ 確率マップデータ取得部
４３ 領域設定部
４４ 抽出画像生成部
４５ 検査部
４６ 判定部
ＯＢ１～ＯＢ３ 対象物
ＭＤ 確率マップデータ
ＤＡ 第１の抽出データ
ＤＢ 第２の抽出データ
ＢＲ 背景領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】