特開 2022-48904 異常検出装置、異常検出プログラム、および異常検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022048904

(43)【公開日】2022-03-28

(54)【発明の名称】異常検出装置、異常検出プログラム、および異常検出システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220318BHJP

   G01N 21/88 20060101ALI20220318BHJP

【ＦＩ】

G06T7/00 610B

G06T7/00 350B

G01N21/88 J

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020154964

(22)【出願日】2020-09-15

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】チュオン ヴィン チュオン ズイ

(72)【発明者】

【氏名】名取 直毅

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CB01

2G051DA08

2G051ED08

2G051ED21

5L096AA09

5L096BA03

5L096CA04

5L096FA32

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA02

5L096HA08

5L096KA04

5L096KA15

(57)【要約】

【課題】過検出を抑制する。
【解決手段】本開示の一例としての異常検出装置は、対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置と対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得処理部と、複数の撮像画像から、対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出処理部と、複数の異常候補画像の間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象の表面に対する深度を推定する推定処理部と、複数の異常候補画像の各々の異常候補の深度に基づいて、異常候補が異常に該当するか否かを検出する検出処理部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における前記撮像装置と前記対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得処理部と、
前記複数の撮像画像から、前記対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出処理部と、
前記複数の異常候補画像の間における前記異常候補の変化に基づいて、前記複数の異常候補画像の各々の前記異常候補の前記対象の表面に対する深度を推定する推定処理部と、
前記複数の異常候補画像の各々の前記異常候補の前記深度に基づいて、前記異常候補が前記異常に該当するか否かを検出する検出処理部と、
を備える、異常検出装置。

【請求項2】

前記抽出処理部は、前記複数の撮像画像の入力に応じて前記複数の異常候補画像を出力するように機械学習によりトレーニングされた抽出モデルを用いて、前記複数の撮像画像から前記複数の異常候補画像を抽出し、
前記推定処理部は、前記複数の異常候補画像の入力に応じて前記複数の異常候補画像の各々の前記異常候補の前記深度を出力するように機械学習によりトレーニングされた推定モデルを用いて、前記複数の異常候補画像の各々の前記異常候補の前記深度を推定する、
請求項１に記載の異常検出装置。

【請求項3】

前記推定処理部は、前記異常候補の前記深度として、前記異常候補の内側の第１領域の前記対象の表面に対する深度を示す第１深度を取得し、
前記検出処理部は、前記複数の異常候補画像の各々の前記第１深度に基づいて、前記異常候補が前記異常に該当するか否かを検出する、
請求項１または２に記載の異常検出装置。

【請求項4】

前記検出処理部は、前記第１深度と所定の閾値との比較に基づいて、前記異常候補が前記異常に該当するか否かを検出する、
請求項３に記載の異常検出装置。

【請求項5】

前記推定処理部は、前記異常候補の前記深度として、前記異常候補の内側の第１領域の前記対象の表面に対する深度を示す第１深度と、前記異常候補の周囲の第２領域の前記対象の表面に対する深度を示す第２深度と、を取得し、
前記検出処理部は、前記第１深度と前記第２深度とに基づいて、前記異常候補が前記異常に該当するか否かを検出する、
請求項１～４のうちいずれか１項に記載の異常検出装置。

【請求項6】

前記検出処理部は、前記第１深度と前記第２深度との差分に基づいて、前記異常候補が前記異常に該当するか否かを検出する、
請求項５に記載の異常検出装置。

【請求項7】

前記検出処理部は、前記第１深度と前記第２深度との差分の平均値または積分値に基づいて、前記異常候補が前記異常に該当するか否かを検出する、
請求項６に記載の異常検出装置。

【請求項8】

前記取得処理部は、前記撮像装置および前記対象のうち少なくとも一方の位置または姿勢が一定の速度で連続的に変化している中で一定の時間間隔で前記対象を撮像した前記撮像装置から前記複数の撮像画像を取得する、
請求項１～７のうちいずれか１項に記載の異常検出装置。

【請求項9】

対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における前記撮像装置と前記対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得ステップと、
前記複数の撮像画像から、前記対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出ステップと、
前記複数の異常候補画像の間における前記異常候補の変化に基づいて、前記複数の異常候補画像の各々の前記異常候補の前記対象の表面に対する深度を推定する推定ステップと、
前記複数の異常候補画像の各々の前記異常候補の前記深度に基づいて、前記異常候補が前記異常に該当するか否かを検出する検出ステップと、
をコンピュータに実行させるための、異常検出プログラム。

【請求項10】

対象を撮像する撮像装置と、
前記対象がそれぞれ異なる位置または姿勢で写りこむように前記撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における前記撮像装置と前記対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得処理部と、前記複数の撮像画像から、前記対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出処理部と、前記複数の異常候補画像の間における前記異常候補の変化に基づいて、前記複数の異常候補画像の各々の前記異常候補の前記対象の表面に対する深度を推定する推定処理部と、前記複数の異常候補画像の各々の前記異常候補の前記深度に基づいて、前記異常候補が前記異常に該当するか否かを検出する検出処理部と、を含む異常検出装置と、
を備える、異常検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、異常検出装置、異常検出プログラム、および異常検出システムに関する。

【背景技術】

【0002】

従来、対象を撮像することで得られる撮像画像から算出される２次元的な特徴に基づいて、対象の異常を検出する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６２８７２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、２次元的な特徴のみでは、異常と検出すべき欠陥と、異常と検出すべきでない単なる汚損と、を区別しにくい場合がある。このため、上記のような従来の技術では、単なる汚損まで異常と検出される過検出が発生しやすい。

【0005】

そこで、本開示の課題の一つは、過検出を抑制することが可能な異常検出装置、異常検出プログラム、および異常検出システムを提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての異常検出装置は、対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置と対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得処理部と、複数の撮像画像から、対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出処理部と、複数の異常候補画像の間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象の表面に対する深度を推定する推定処理部と、複数の異常候補画像の各々の異常候補の深度に基づいて、異常候補が異常に該当するか否かを検出する検出処理部と、を備える。

【0007】

上述した異常検出装置によれば、深度という３次元的な特徴も考慮して、異常と検出すべき欠陥と、異常と検出すべきでない単なる汚損と、を区別しながら、異常の検出を実行することができる。したがって、過検出を抑制することができる。

【0008】

上述した異常検出装置において、抽出処理部は、複数の撮像画像の入力に応じて複数の異常候補画像を出力するように機械学習によりトレーニングされた抽出モデルを用いて、複数の撮像画像から複数の異常候補画像を抽出し、推定処理部は、複数の異常候補画像の入力に応じて複数の異常候補画像の各々の異常候補の深度を出力するように機械学習によりトレーニングされた推定モデルを用いて、複数の異常候補画像の各々の異常候補の深度を推定する。このような構成によれば、抽出モデルおよび推定モデルを用いた簡単な処理により、異常候補画像の抽出および深度の推定を実行することができる。

【0009】

また、上述した異常検出装置において、推定処理部は、異常候補の深度として、異常候補の内側の第１領域の対象の表面に対する深度を示す第１深度を取得し、検出処理部は、複数の異常候補画像の各々の第１深度に基づいて、異常候補が異常に該当するか否かを検出する。このような構成によれば、異常候補の内側を考慮して、異常の検出を適切に実行することができる。

【0010】

この場合において、検出処理部は、第１深度と所定の閾値との比較に基づいて、異常候補が異常に該当するか否かを検出する。このような構成によれば、閾値を用いた簡単な処理により、異常の検出を実行することができる。

【0011】

また、上述した異常検出装置において、推定処理部は、異常候補の深度として、異常候補の内側の第１領域の対象の表面に対する深度を示す第１深度と、異常候補の周囲の第２領域の対象の表面に対する深度を示す第２深度と、を取得し、検出処理部は、第１深度と第２深度とに基づいて、異常候補が異常に該当するか否かを検出する。このような構成によれば、異常候補の内側と外側とを考慮して、異常の検出を適切に実行することができる。

【0012】

この場合において、検出処理部は、第１深度と第２深度との差分に基づいて、異常候補が異常に該当するか否かを検出する。このような構成によれば、異常候補の内側と外側との差分を考慮して、異常の検出を容易に実行することができる。

【0013】

また、この場合において、検出処理部は、第１深度と第２深度との差分の平均値または積分値に基づいて、異常候補が異常に該当するか否かを検出する。このような構成によれば、差分の平均値または積分値を考慮して、異常の検出を容易にかつ適切に実行することができる。

【0014】

また、上述した異常検出装置において、取得処理部は、撮像装置および対象のうち少なくとも一方の位置または姿勢が一定の速度で連続的に変化している中で一定の時間間隔で対象を撮像した撮像装置から複数の撮像画像を取得する。このような構成によれば、撮像装置と対象との相対的な位置または姿勢の関係を特定可能な態様の撮像画像を容易に取得することができる。

【0015】

また、本開示の他の一例としての異常検出プログラムは、対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置と対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得ステップと、複数の撮像画像から、対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出ステップと、複数の異常候補画像の間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象の表面に対する深度を推定する推定ステップと、複数の異常候補画像の各々の異常候補の深度に基づいて、異常候補が異常に該当するか否かを検出する検出ステップと、をコンピュータに実行させるためのプログラムである。

【0016】

上述した異常検出プログラムによれば、深度という３次元的な特徴も考慮して、異常と検出すべき欠陥と、異常と検出すべきでない単なる汚損と、を区別しながら、異常の検出を実行することができる。したがって、過検出を抑制することができる。

【0017】

また、本開示のさらに他の一例としての異常検出システムは、対象を撮像する撮像装置と、対象がそれぞれ異なる位置または姿勢で写りこむように撮像装置により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置と対象との相対的な位置または姿勢の関係を特定可能な態様で取得する取得処理部と、複数の撮像画像から、対象の表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する抽出処理部と、複数の異常候補画像の間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象の表面に対する深度を推定する推定処理部と、複数の異常候補画像の各々の異常候補の深度に基づいて、異常候補が異常に該当するか否かを検出する検出処理部と、を含む異常検出装置と、を備える。

【0018】

上述した異常検出システムによれば、深度という３次元的な特徴も考慮して、異常と検出すべき欠陥と、異常と検出すべきでない単なる汚損と、を区別しながら、異常の検出を実行することができる。したがって、過検出を抑制することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施形態にかかる異常検出システムの全体構成を示した例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる対象およびステージを示した例示的かつ模式的な図である。

【図3】図３は、実施形態にかかる異常検出装置の機能を示した例示的かつ模式的なブロック図である。

【図4】図４は、実施形態にかかる抽出モデルを示した例示的かつ模式的な図である。

【図5】図５は、実施形態にかかる推定モデルを示した例示的かつ模式的な図である。

【図6】図６は、実施形態において利用されうる２種類の深度を説明するための例示的かつ模式的な図である。

【図7】図７は、実施形態にかかる深度の特徴を説明するための例示的かつ模式的な図である。

【図8】図８は、実施形態にかかる異常検出装置が実行する一連の処理を示した例示的なフローチャートである。

【図9】図９は、実施形態にかかる異常検出装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的な図である。

【図10】図１０は、実施形態の変形例にかかる対象の撮像方法を示した例示的かつ模式的な図である。

【発明を実施するための形態】

【0020】

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0021】

＜実施形態＞
実施形態の技術は、たとえば車両のパーツのような各種の対象の外観検査に利用される。外観検査のための技術の一つとして、従来、対象を撮像することで得られる撮像画像から算出される２次元的な特徴に基づいて、対象の異常を検出する技術が知られている。

【0022】

しかしながら、２次元的な特徴のみでは、異常と検出すべき欠陥と、異常と検出すべきでない単なる汚損と、を区別しにくい場合がある。このため、上記のような従来の技術では、単なる汚損まで異常と検出される過検出が発生しやすい。

【0023】

そこで、実施形態は、以下に説明するような構成および処理に基づき、過検出の抑制を実現する。

【0024】

図１は、実施形態にかかる異常検出システムの全体構成を示した例示的かつ模式的なブロック図である。

【0025】

図１に示されるように、実施形態にかかる異常検出システムは、ステージ１０と、撮像装置２０と、異常検出装置３０と、を備えている。

【0026】

ステージ１０は、対象Ｘを支持する。ステージ１０は、次の図２に示されるように、撮像装置２０から見た対象Ｘの姿勢、すなわち撮像装置２０に対する対象Ｘの向きを変更することが可能なように構成されている。

【0027】

図２は、実施形態にかかる対象Ｘおよびステージ１０を示した例示的かつ模式的な図である。

【0028】

図２に示されるように、ステージ１０は、いわゆる１軸回転ステージとして構成される。つまり、ステージ１０は、対象Ｘを矢印Ａ１方向に回転可能に支持する回転台１１を備えている。回転台１１は、アクチュエータ（不図示）により駆動される。これにより、ステージ１０は、撮像装置２０から見た対象Ｘの姿勢を連続的に変更し、撮像装置２０から見た対象Ｘの表面の欠陥Ｄ１および汚損Ｄ２の位置を連続的に変更することが可能である。

【0029】

対象Ｘは、たとえば鋳造部品である。この場合、欠陥Ｄ１は、たとえば打痕などのような、異常と検出すべき検出ターゲットであり、汚損Ｄ２は、たとえば汚れ、切粉、または油などのような、異常と検出すべきではない非検出ターゲットである。

【0030】

なお、図２に示される例では、対象Ｘに欠陥Ｄ１および汚損Ｄ２の両方が設けられているが、実際には、対象Ｘに欠陥Ｄ１および汚損Ｄ２のうち一方のみが設けられている場合も、対象Ｘに欠陥Ｄ１および汚損Ｄ２のいずれも設けられていない場合もありうる。

【0031】

また、図２に示される例において、対象Ｘは、円柱として図視されているが、これはあくまで説明の便宜のためである。実際には、対象Ｘは、様々な形状を有しうる。

【0032】

図１に戻り、撮像装置２０は、対象Ｘの表面を撮像するカメラとして構成されている。撮像装置２０は、ステージ１０により動かされている対象Ｘを複数のタイミングで連続的に撮像することで、様々な姿勢の対象Ｘが写っている複数の撮像画像を取得する。なお、実施形態において、撮像装置２０は、ステージ１０上の対象Ｘを撮像可能な位置に固定的に設置されている。

【0033】

ここで、実施形態では、各撮像画像が、撮像装置２０と対象Ｘとの相対的な姿勢の関係を特定可能な態様で撮像される。たとえば、実施形態において、撮像装置２０は、対象Ｘの姿勢が一定の速度で変化しているという条件のもとで、一定の時間間隔で撮像を行う。このような撮像によれば、各撮像画像における撮像装置２０と対象Ｘとの相対的な姿勢の関係を特定し、撮像画像間における対象Ｘの写り方の変化、たとえば欠陥Ｄ１および汚損Ｄ２が写りこむ位置の変化をトレースすることが可能である。

【0034】

なお、実施形態では、回転台１１の回転角度を検出するエンコーダ（不図示）を用いて、各撮像タイミングにおける対象Ｘの姿勢を特定する構成が採用されてもよい。このような構成によれば、対象Ｘの姿勢の変化の速度が一定であり、かつ撮像装置２０が撮像を行う時間間隔が一定でなくても、各撮像画像における撮像装置２０と対象Ｘとの相対的な姿勢の関係を特定することが可能である。

【0035】

異常検出装置３０は、入力装置３１を介したユーザの操作入力を受け付け可能に構成されているとともに、出力装置３２に画像などの情報を出力可能に構成されている。異常検出装置３０は、次の図３に示されるような機能に基づき、対象Ｘの異常を検出する。

【0036】

図３は、実施形態にかかる異常検出装置３０の機能を示した例示的かつ模式的なブロック図である。

【0037】

図３に示されるように、実施形態にかかる異常検出装置３０は、機能モジュールとして、取得処理部３１０と、抽出処理部３２０と、推定処理部３３０と、検出処理部３４０と、を備えている。

【0038】

取得処理部３１０は、撮像装置２０から撮像画像を取得する。つまり、取得処理部３１０は、前述した構成に基づき、対象Ｘがそれぞれ異なる位置または姿勢で写りこむように撮像装置２０により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置２０と対象Ｘとの相対的な姿勢の関係を特定可能な態様で取得する。なお、取得処理部３１０は、対象Ｘの表面の３次元的な形状を表すデータも取得しうる。

【0039】

抽出処理部３２０は、取得処理部３１０により取得された複数の撮像画像から、対象Ｘの表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する。実施形態では、欠陥Ｄ１および汚損Ｄ２の両方が、異常候補に該当する。

【0040】

抽出処理部３２０は、予め構築された抽出モデル３２１を用いて、撮像画像から異常候補画像を抽出する。抽出モデル３２１とは、複数の撮像画像の入力に応じて複数の異常候補画像を出力するように、実施形態と同様の条件のもとで取得された撮像画像および異常候補画像のサンプルに基づく機械学習によりトレーニングされた、次の図４に示されるような学習済モデルである。

【0041】

図４は、実施形態にかかる抽出モデル３２１を示した例示的かつ模式的な図である。

【0042】

図４に示される例では、対象Ｘが矢印Ａ１方向に回転する様を示すＮフレーム分の画像４００が、撮像画像として抽出モデル３２１に入力されている。画像４００は、欠陥Ｄ１および汚損Ｄ２が写りこんでいるＭ（＜Ｎ）フレーム分の画像４０１と、欠陥Ｄ１および汚損Ｄ２が写りこんでいないその他の画像４０２と、を含んでいる。

【0043】

実施形態にかかる抽出モデル３２１は、撮像画像としての画像４００の入力に応じて、欠陥Ｄ１および汚損Ｄ２が異常候補として写りこんでいる画像４０１を、異常候補画像として出力する。このとき、抽出モデル３２１は、欠陥Ｄ１および汚損Ｄ２が写りこんでいる領域Ｒ１、すなわち異常候補の位置を特定した状態で、異常候補画像を出力する。これにより、異常候補画像間における異常候補の変化をトレースすることが可能になる。

【0044】

図３に戻り、推定処理部３３０は、抽出処理部３２０により抽出された複数の異常候補画像間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象Ｘの表面に対する深度を推定する。なお、深度は、高さとも表現することができる。

【0045】

推定処理部３３０は、予め構築された推定モデル３３１を用いて、たとえば異常候補画像間における異常候補の位置および輝度の変化をトレースした結果に基づいて、各異常候補画像の異常候補の深度を推定する。推定モデル３３１とは、複数の異常候補画像の入力に応じて当該複数の異常候補画像の各々の異常候補の深度を出力するように、実施形態と同様の条件のもとで取得された異常候補画像のサンプルおよび当該サンプルに対応した異常候補の深度の実測値に基づく機械学習によりトレーニングされた、次の図５に示されるような学習済モデルである。

【0046】

図５は、実施形態にかかる推定モデル３３１を示した例示的かつ模式的な図である。

【0047】

図５に示される例では、図４に示される抽出モデル３２１からの出力としてのＭフレーム分の画像４０１が、異常候補画像として推定モデル３３１に入力されている。前述したように、画像４０１においては、異常候補としての欠陥Ｄ１および汚損Ｄ２が写りこんでいる領域Ｒ１が特定されている。そして、画像４０１からは、領域Ｒ１の位置の変化をトレースすることが可能である。

【0048】

実施形態にかかる推定モデル３３１は、異常候補画像としての画像４０１の入力に応じて、各画像４０１における欠陥Ｄ１および汚損Ｄ２の深度（の推定結果）を出力する。実施形態では、次の図６に示されるような２種類の深度が利用されうる。

【0049】

図６は、実施形態において利用されうる２種類の深度を説明するための例示的かつ模式的な図である。

【0050】

図６に示されるように、実施形態では、異常候補の内側の第１領域としての領域Ｒ１の深度である第１深度と、異常候補の周囲の第２領域としての領域Ｒ２の深度である第２深度と、の２種類の深度が利用されうる。領域Ｒ２は、たとえば領域Ｒ１を２倍に病徴させた領域と領域Ｒ１との差分として構成される。

【0051】

第１深度は、対象Ｘの異常候補そのものの特徴に対応し、第２深度は、対象Ｘの異常候補の周囲の表面の特徴に対応する。このため、これら２種類の深度を利用すれば、異常候補とその周囲の表面との差異を明確に評価することが可能になる。

【0052】

図３に戻り、検出処理部３４０は、推定処理部３３０により推定された深度に基づいて、抽出処理部３２０により抽出された異常候補画像の異常候補が異常に該当するか否かを検出する。より具体的に、検出処理部２４０は、深度が示す次の図７に示されるような特徴に基づいて、異常候補が、異常として検出すべき欠陥Ｄ１に該当するか、または異常として検出すべきでない汚損Ｄ２に該当するかを判定する。

【0053】

図７は、実施形態にかかる深度の特徴を説明するための例示的かつ模式的な図である。

【0054】

図７に示される例において、実線Ｌ７１１および破線Ｌ７１２は、それぞれ、１～Ｍフレームの異常候補画像の異常候補が欠陥Ｄ１に該当する場合における第１深度および第２深度に対応している。また、一点鎖線Ｌ７２１および二点鎖線Ｌ７２２は、それぞれ、１～Ｍフレームの異常候補画像の異常候補が汚損Ｄ２に該当する場合における第１深度および第２深度に対応している。

【0055】

図７に示されるように、第２深度は、異常候補が欠陥Ｄ１に該当する場合と、異常候補が汚損Ｄ２に該当する場合とでほとんど差がない（破線Ｌ７１２および二点鎖線Ｌ７２２参照）。しかしながら、第１深度は、異常候補が欠陥Ｄ１に該当する場合と、異常候補が汚損Ｄ２に該当する場合とで大きく異なる（実線Ｌ７１１および一点鎖線Ｌ７２１参照）。

【0056】

より具体的に、異常候補が欠陥Ｄ１に該当する場合における第１深度は、異常候補が汚損Ｄ２に該当する場合における第１深度よりも全体として大きい。また、異常候補が欠陥Ｄ１に該当する場合における第１深度は、欠陥Ｄ１と撮像装置２０とが相対するタイミングに対応したあるフレームの異常候補画像においてピークを持つ一方、異常候補が汚損Ｄ２に該当する場合における第１深度は、そのようなピークを持たない。

【0057】

したがって、第１深度そのもの、または第１深度と第２深度との差分に着目すれば、異常候補が欠陥Ｄ１に該当するか汚損Ｄ２に該当するかを検出することができると見込まれる。

【0058】

上記を踏まえて、実施形態において、検出処理部３４０は、第１深度そのもの、または第１深度と第２深度との差分に基づいて、異常候補が検出すべき異常に該当するか否かを検出する。

【0059】

たとえば、検出処理部３４０は、第１深度と閾値との比較結果に基づいて、異常候補が検出すべき異常に該当するか否かを検出しうる。この場合、閾値は、図７に示される例における実線Ｌ７１１と一点鎖線Ｌ７２１との間の深度に対応した値として予め設定される。

【0060】

また、検出処理部３４０は、第１深度と第２深度との差分の平均値または積分値に基づいて、異常候補が検出すべき異常に該当するか否かを検出しうる。この場合、平均値（積分値も同様）は、１～Ｍフレームの異常候補画像に基づくＭ個の値から算出される。

【0061】

なお、実施形態において、異常の検出に閾値を用いる手法は、第１深度と第２深度との差分を対象にしても実施することが可能であるし、異常の検出に差分の平均値または積分値を用いる手法は、第１閾値を対象にしても実施することが可能である。また、実施形態において、異常の検出に閾値を用いる手法と、異常の検出に差分の平均値または積分値を用いる手法とは、単独で実施しても、併用で実施しても、効果を発揮する。

【0062】

以上の構成に基づき、実施形態にかかる異常検出装置３０は、次の図８に示される一連の処理を実行することで、対象Ｘの異常を検出する。次の図８に示される一連の処理は、たとえば入力装置３１を介したユーザの操作入力に応じて開始する。

【0063】

図８は、実施形態にかかる異常検出装置３０が実行する一連の処理を示した例示的なフローチャートである。

【0064】

図８に示されるように、実施形態では、まず、Ｓ８０１において、異常検出装置３０の取得処理部３１０は、撮像装置２０により撮像された複数の撮像画像を取得する。

【0065】

そして、Ｓ８０２において、異常検出装置３０の抽出処理部３２０は、抽出モデル３２１を用いて、Ｓ８０１で取得された複数の撮像画像から、複数の異常候補画像を抽出する。このとき、異常候補画像における異常候補も特定される。

【0066】

そして、Ｓ８０３において、異常検出装置３０の推定処理部３３０は、推定モデル３３１を用いて、Ｓ８０２で抽出された複数の異常候補画像間における異常候補の変化に基づいて、異常候補の深度を推定する。

【0067】

そして、Ｓ８０４において、異常検出装置３０の検出処理部３４０は、Ｓ８０３で推定された深度に基づいて、対象Ｘの異常を検出する。すなわち、検出処理部３４０は、異常候補が、検出すべき異常としての欠陥Ｄ１に該当するか、または検出すべきではない異常としての汚損Ｄ２に該当するかを検出する。異常の検出結果は、たとえば出力装置３２を介して異常検出装置３０のオペレータに通知される。そして、処理が終了する。

【0068】

最後に、実施形態にかかる異常検出装置３０のハードウェア構成について説明する。実施形態にかかる異常検出装置３０は、たとえば次の図９に示されるようなハードウェア構成を有するコンピュータ９００として構成されている。

【0069】

図９は、実施形態にかかる異常検出装置３０を構成するコンピュータ９００のハードウェア構成を示した例示的かつ模式的な図である。

【0070】

図９に示されるように、コンピュータ９００は、プロセッサ９１０と、メモリ９２０と、ストレージ９３０と、入出力インターフェース（Ｉ／Ｆ）９４０と、通信インターフェース（Ｉ／Ｆ）９５０と、を備えている。これらのハードウェアは、バス９６０に接続されている。

【0071】

プロセッサ９１０は、たとえばＣＰＵ（Central Processing Unit）として構成され、コンピュータ９００の各部の動作を統括的に制御する。

【0072】

メモリ９２０は、たとえばＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、プロセッサ９１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ９１０がプログラムを実行するための作業領域の提供などを実現する。

【0073】

ストレージ９３０は、たとえばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含み、各種のデータを不揮発的に記憶する。

【0074】

入出力インターフェース９４０は、入力装置３１（図１参照）からコンピュータ９００へのデータの入力と、コンピュータ９００から出力装置３２（図１参照）へのデータの出力と、を制御する。

【0075】

通信インターフェース９５０は、コンピュータ９００が他の装置と通信を実行することを可能にする。

【0076】

実施形態において、図３に示される機能モジュール群は、プロセッサ９１０がメモリ９２０またはストレージ９３０などに記憶された異常検出プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現される。ただし、実施形態では、図３に示される機能モジュール群のうち少なくとも一部が、専用のハードウェア（回路）のみによって実現されてもよい。

【0077】

なお、上述した異常検出プログラムは、必ずしもメモリ９２０またはストレージ９３０に予め記憶されている必要はない。たとえば、異常検出プログラムは、フレキシブルディスクのような各種の磁気ディスク、またはＤＶＤ（Digital Versatile Disk）のような各種の光ディスクなどといった、コンピュータ９００で読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0078】

また、上述した異常検出プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、異常検出プログラムは、は、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0079】

以上説明したように、実施形態にかかる異常検出システムは、撮像装置２０と、異常検出装置３０と、を備えている。撮像装置２０は、対象Ｘを撮像するように構成されている。異常検出装置３０は、取得処理部３１０と、抽出処理部３２０と、推定処理部３３０と、検出処理部３４０と、を備えている。

【0080】

取得処理部３１０は、対象Ｘがそれぞれ異なる姿勢で写りこむように撮像装置２０により撮像された複数の撮像画像を、当該複数の撮像画像の各々における撮像装置２０と対象Ｘとの相対的な位置または姿勢の関係を特定可能な態様で取得する。そして、抽出処理部３２０は、複数の撮像画像から、対象Ｘの表面の異常に該当する可能性がある異常候補が写りこんでいる複数の異常候補画像を抽出する。そして、推定処理部３３０は、複数の異常候補画像の間における異常候補の変化に基づいて、複数の異常候補画像の各々の異常候補の対象Ｘの表面に対する深度を推定する。そして、検出処理部３４０は、複数の異常候補画像の各々の異常候補の深度に基づいて、異常候補が異常に該当するか否かを検出する。

【0081】

上記のような構成によれば、深度という３次元的な特徴も考慮して、異常と検出すべき欠陥Ｄ１と、異常と検出すべきでない単なる汚損Ｄ２と、を区別しながら、異常の検出を実行することができる。したがって、過検出を抑制することができる。

【0082】

ここで、実施形態において、抽出処理部３２０は、複数の撮像画像の入力に応じて複数の異常候補画像を出力するように機械学習によりトレーニングされた抽出モデル３２１を用いて、複数の撮像画像から複数の異常候補画像を抽出する。また、推定処理部３３０は、複数の異常候補画像の入力に応じて複数の異常候補画像の各々の異常候補の深度を出力するように機械学習によりトレーニングされた推定モデル３３１を用いて、複数の異常候補画像の各々の異常候補の深度を推定する。このような構成によれば、抽出モデル３２１および推定モデル３３１を用いた簡単な処理により、異常候補画像の抽出および深度の推定を実行することができる。

【0083】

また、実施形態において、推定処理部３３０は、異常候補の深度として、異常候補の内側の第１領域の対象Ｘの表面に対する深度を示す第１深度を取得しうる。この場合、検出処理部３４０は、複数の異常候補画像の各々の第１深度に基づいて、異常候補が異常に該当するか否かを検出しうる。このような構成によれば、異常候補の内側を考慮して、異常の検出を適切に実行することができる。

【0084】

より具体的に、実施形態において、検出処理部３４０は、第１深度と所定の閾値との比較に基づいて、異常候補が異常に該当するか否かを検出しうる。このような構成によれば、閾値を用いた簡単な処理により、異常の検出を実行することができる。

【0085】

また、実施形態において、推定処理部３３０は、異常候補の深度として、異常候補の内側の第１領域の対象Ｘの表面に対する深度を示す第１深度と、異常候補の周囲の第２領域の対象Ｘの表面に対する深度を示す第２深度と、を取得しうる。この場合、検出処理部３４０は、第１深度と第２深度とに基づいて、異常候補が異常に該当するか否かを検出しうる。このような構成によれば、異常候補の内側と外側とを考慮して、異常の検出を適切に実行することができる。

【0086】

より具体的に、実施形態において、検出処理部３４０は、第１深度と第２深度との差分に基づいて、異常候補が異常に該当するか否かを検出しうる。このような構成によれば、異常候補の内側と外側との差分を考慮して、異常の検出を容易に実行することができる。

【0087】

より詳細に、実施形態において、検出処理部３４０は、第１深度と第２深度との差分の平均値または積分値に基づいて、異常候補が異常に該当するか否かを検出しうる。このような構成によれば、差分の平均値または積分値を考慮して、異常の検出を容易にかつ適切に実行することができる。

【0088】

なお、実施形態において、取得処理部３１０は、対象Ｘの姿勢が一定の速度で連続的に変化している中で一定の時間間隔で対象Ｘを撮像した撮像装置２０から複数の撮像画像を取得する。このような構成によれば、撮像装置２０と対象Ｘとの相対的な位置または姿勢の関係を特定可能な態様の撮像画像を容易に取得することができる。

【0089】

＜変形例＞
上述した実施形態では、いわゆる１軸回転ステージとして構成されたステージ１０によって固定された撮像装置２０に対する対象Ｘの姿勢を移動させることで撮像装置２０と対象Ｘとの相対的な姿勢の関係を変更する構成が例示されている。しかしながら、本開示の技術は、いわゆる２軸回転ステージにより対象Ｘの姿勢を移動させる構成にも適用可能であるし、対象Ｘの姿勢に加えて位置を移動させる構成にも適用可能である。さらに、本開示の技術は、いわゆる１軸直動ステージにより対象Ｘの位置のみを移動させる構成にも適用可能である。

【0090】

また、上述した実施形態では、撮像装置２０が固定的に設置された構成が例示されている。しかしながら、本開示の技術は、撮像装置２０が固定的に設置されていない構成にも適用可能である。このような変形例として、たとえば次の図１０に示されるような、対象Ｘが固定的に設置されている一方、撮像装置２０が移動可能に設置されている構成が考えられる。

【0091】

図１０は、実施形態の変形例にかかる対象Ｘの撮像方法を説明するための例示的かつ模式的な図である。

【0092】

図１０に示される変形例において、撮像装置２０は、ロボットアーム１０００に取り付けられている。これにより、撮像装置２０は、ロボットアーム１０００の移動に応じて位置および姿勢が様々に変化しながら、固定的に設置された対象Ｘを撮像する。このような構成によっても、様々な位置および姿勢で対象Ｘが写りこんだ複数の撮像画像を得ることができるので、上述した実施形態と同様の技術的思想に基づき同様の効果を得ることができる。

【0093】

また、他の変形例として、撮像装置２０と対象Ｘとの両方の位置および姿勢が変化する構成も考えられる。また、さらに他の変形例として、複数の撮像装置２０によって対象Ｘを囲むことで複数の角度から対象Ｘを撮像する構成も考えられる。これらの構成によっても、上述した実施形態と同様の技術的思想に基づき同様の効果を得ることができる。

【0094】

以上、本開示の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0095】

２０ 撮像装置
３０ 異常検出装置
３１０ 取得処理部
３２０ 抽出処理部
３２１ 抽出モデル
３３０ 推定処理部
３３１ 推定モデル
３４０ 検出処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】