特許 7417426 異常検知装置、および異常検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】異常検知装置、および異常検知方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240111BHJP

【ＦＩ】

H04N23/60 100

【請求項の数】 6

(21)【出願番号】P 2020004289

(22)【出願日】2020-01-15

(65)【公開番号】P2021111928

(43)【公開日】2021-08-02

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】北澤 正樹

(72)【発明者】

【氏名】峯岸 寛典

(72)【発明者】

【氏名】樋口 数一

(72)【発明者】

【氏名】郭 鳳翔

【審査官】吉川 康男

(56)【参考文献】

【文献】国際公開第２０１９／１６７０４４（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１０６７９９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像装置から取得された複数の画像の各々を空間周波数領域のスペクトルに変換するように構成された変換部と、
前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、
抽出された前記変曲点に対応する空間周波数に基づいて前記複数の画像の各々の品質を示す評価値を求めて出力するように構成された評価値算出部と、
前記評価値算出部から出力された前記複数の画像に対する前記評価値の時系列データを記憶するように構成された記憶部と、
前記記憶部に記憶されている前記時系列データの時系列解析を行い、前記時系列解析の結果が所定の条件を満たした場合に、前記撮像装置を含む予め構築された撮影環境に異常が発生したと判断するように構成された時系列解析部と
を備える異常検知装置。

【請求項2】

請求項１に記載の異常検知装置において、
前記時系列解析部は、前記時系列データにおける予め設定された期間内に、予め設定された前記評価値の許容範囲を外れた評価値が検出された場合に、前記撮影環境に異常が発生したと判断する
ことを特徴とする異常検知装置。

【請求項3】

請求項２に記載の異常検知装置において、
前記予め設定された期間は、前記時系列データにおける直近の一定期間を含み、
前記時系列解析部は、前記直近の一定期間において、前記時系列データに含まれる前記許容範囲を外れた評価値の数が、設定された数以上である場合に、前記撮影環境に異常が発生したと判断する
ことを特徴とする異常検知装置。

【請求項4】

請求項１から３のいずれか１項に記載の異常検知装置において、
前記時系列解析部による前記時系列解析の結果に関する情報を表示画面に表示するように構成された表示部をさらに備える
ことを特徴とする異常検知装置。

【請求項5】

撮像装置から取得された複数の画像の各々を空間周波数領域のスペクトルに変換する第１ステップと、
前記第１ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第２ステップと、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第３ステップと、
抽出された前記変曲点に対応する空間周波数に基づいて前記複数の画像の各々の品質を示す評価値を求めて出力する第４ステップと、
前記第４ステップで出力された前記複数の画像に対する前記評価値の時系列データを記憶部に記憶する第５ステップと、
前記記憶部に記憶されている前記時系列データの時系列解析を行い、前記時系列解析の結果が所定の条件を満たした場合に、前記撮像装置を含む予め構築された撮影環境に異常が発生したと判断する第６ステップと
を備える異常検知方法。

【請求項6】

請求項５に記載の異常検知方法において、
前記第６ステップで実行された前記時系列解析の結果に関する情報を表示画面に表示させる第７ステップをさらに備える
ことを特徴とする異常検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常検知装置、および異常検知方法に関し、特に複数の画像から撮影環境の異常を検知する技術に関する。

【背景技術】

【0002】

画像を用いた品質検査における判定精度や信頼性の確保には、製品以外の状態が一定な画像を収集することが重要となる。そのためには日々の運用の中で、撮影環境の異常を素早く検知できることが望ましい。撮影環境には、機器の位置や固定といった撮像機器のセッティングや、絞りやシャッタースピードといった撮像のパラメータがある。

【0003】

撮影環境の変化を検知するには、位置センサや振動センサなどのセンサ類により撮像装置の状態を直接計測する手法がある。しかし、センサ分のコスト増を招いたり、既存環境への付加が困難だったりするので、元々撮影している画像から異常を検知できた方が有用である。

【0004】

撮影した画像から撮影環境の異常を検知する従来技術として、例えば、特許文献１は、対象物の良否判定に用いる検査対象の物理量分布を画像から求めて過去の分布と比較することで異常を検知する技術を開示している。

【0005】

また、例えば、特許文献２は、テンプレートマッチング時に求めた性能値を過去の値と比較することで異常を検知する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平１０－１５３５５８号公報

【文献】特開２０１３－０３７５１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１に記載の、検査対象の物理量を画像から求め、一定の製品数の現在の物理量分布を過去の物理量分布と比較して異常の有無を検知する技術では、製品の種類ごとに用いる物理量の設定が必要となる。そのため、製品の画像を用いた品質検査の場合には、検査対象における物理量を求めるのが困難になるという課題がある。

【0008】

また、特許文献２に記載のテンプレートマッチングを用いた技術では、各製品の撮影位置にテンプレート画像の準備が必要になるといった課題がある。

【0009】

このように、従来の技術では、検査対象の製品の画像に基づいて、撮影環境に生じた異常を検知することが困難であった。

【0010】

本発明は、上述した課題を解決するためになされたものであり、製品の画像から、撮影環境に生じた異常を容易に検知することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決するために、本発明に係る異常検知装置は、撮像装置から取得された複数の画像の各々を空間周波数領域のスペクトルに変換するように構成された変換部と、前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、抽出された前記変曲点に対応する空間周波数に基づいて前記複数の画像の各々の品質を示す評価値を求めて出力するように構成された評価値算出部と、前記評価値算出部から出力された前記複数の画像に対する前記評価値の時系列データを記憶するように構成された記憶部と、前記記憶部に記憶されている前記時系列データの時系列解析を行い、前記時系列解析の結果が所定の条件を満たした場合に、前記撮像装置を含む予め構築された撮影環境に異常が発生したと判断するように構成された時系列解析部とを備える。

【0012】

また、本発明に係る異常検知装置において、前記時系列解析部は、前記時系列データにおける予め設定された期間内に、予め設定された前記評価値の許容範囲を外れた評価値が検出された場合に、前記撮影環境に異常が発生したと判断してもよい。

【0013】

また、本発明に係る異常検知装置において、前記予め設定された期間は、前記時系列データにおける直近の一定期間を含み、前記時系列解析部は、前記直近の一定期間において、前記時系列データに含まれる前記許容範囲を外れた評価値の数が、設定された数以上である場合に、前記撮影環境に異常が発生したと判断してもよい。

【0014】

また、本発明に係る異常検知装置において、前記時系列解析部による前記時系列解析の結果に関する情報を表示画面に表示するように構成された表示部をさらに備えていてもよい。

【0015】

上述した課題を解決するために、本発明に係る異常検知方法は、撮像装置から取得された複数の画像の各々を空間周波数領域のスペクトルに変換する第１ステップと、前記第１ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第２ステップと、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第３ステップと、抽出された前記変曲点に対応する空間周波数に基づいて前記複数の画像の各々の品質を示す評価値を求めて出力する第４ステップと、前記第４ステップで出力された前記複数の画像に対する前記評価値の時系列データを記憶部に記憶する第５ステップと、前記記憶部に記憶されている前記時系列データの時系列解析を行い、前記時系列解析の結果が所定の条件を満たした場合に、前記撮像装置を含む予め構築された撮影環境に異常が発生したと判断する第６ステップとを備える。

【0016】

また、本発明に係る異常検知方法において、前記第６ステップで実行された前記時系列解析の結果に関する情報を表示画面に表示させる第７ステップをさらに備えていてもよい。

【発明の効果】

【0017】

本発明によれば、画像の品質を示す評価値の時系列データの時系列解析を行い、時系列解析の結果が所定の条件を満たす場合に、撮像装置を含む予め構築された撮影環境に異常が発生したと判断する。そのため、製品の画像から、撮影環境に生じた異常を容易に検知することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の実施の形態に係る異常検知装置の構成を示すブロック図である。

【図2】図２は、本実施の形態に係る時系列解析部の構成を示すブロック図である。

【図3】図３は、本実施の形態に係る異常検知装置のハードウェア構成の一例を示すブロック図である。

【図4】図４は、本実施の形態に係る異常検知装置の動作の一例を示すフローチャートである。

【図5】図５は、本実施の形態に係る評価値を説明するための図である。

【図6】図６は、本実施の形態に係る評価値を説明するための図である。

【図7】図７は、本実施の形態に係る時系列解析処理を説明するためのフローチャートである。

【図8】図８は、本実施の形態の効果を説明するための図である。

【発明を実施するための形態】

【0019】

以下、本発明の好適な実施の形態について、図１から図８を参照して詳細に説明する。

【0020】

［発明の概要］
はじめに、本発明の実施の形態に係る異常検知装置１の概要について説明する。
異常検知装置１は、例えば、製造プロセスで得られた製品の画像に基づいて製品の良品、不良品などの外観検査を行う画像検査システムに構築された撮影環境の異変を、撮影済みの製品の画像により検知する。

【0021】

画像検査システムでは、カメラ２の位置、照明、および対象物３の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる各対象物３は、同じ環境設定のもとで撮影されることが想定されている。しかし、何らかの原因により、設備に振動が生じたり、製品自体の高さが変わったり、カメラ２の位置の微細なずれなどが生ずる場合がある。特に、対象物３が微細な製品であるような場合には、微小な環境変化は、撮影された画像に大きな変化を与え、外観検査の結果にも影響を及ぼす場合がある。

【0022】

本発明の実施の形態に係る異常検知装置１では、画像検査システムで定常的に撮影される対象物３の画像ごとに、画像の品質を示す評価値を求めて蓄積する。また、異常検知装置１では、蓄積された複数の画像に対する評価値を時系列解析し、評価値の時系列データに生じた異常を検知することで、予め構築された撮影環境に異常が発生したことを検知する。

【0023】

［異常検知装置の機能ブロック］
図１に示すように、異常検知装置１は、外部に設置されているカメラ２によって撮影された製品などの対象物３の画像を取得する。カメラ２は、例えば、同一の製造プロセスなどで製造された複数の対象物３の各々の画像を１枚ずつ、あるいは複数枚ずつ撮影することができる。カメラ２によって撮影された画像には、製品などの対象物３の外観が含まれる。本実施の形態において、カメラ２が対象物３を繰り返し撮影することによって、複数の画像を時系列で得ることができる。

【0024】

カメラ２の位置、照明、および対象物３の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる各対象物３は、同じ環境設定のもと撮影されている。しかし、本実施の形態では、前述したように、何らかの原因により、設備に振動が生じたり、製品自体の高さが変わったり、カメラ２の位置の微細なずれなどが生ずる場合があり、このような撮影環境における環境設定の変化を異常として検知する。

【0025】

異常検知装置１は、取得部１０、補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、記憶部１６、時系列解析部１７、および表示部１８を備える。

【0026】

取得部１０は、図１に示すように、外部に設置されたカメラ２（撮像装置）によって撮影された対象物３の画像を取得する。このような取得部１０は、インターフェース回路によって実現することができる。取得部１０は、複数の画像を有線または無線通信によってカメラ２から取得する。画像は、例えば、静止画像のデジタルデータである。

【0027】

補正部１１は、取得部１０によって取得された対象物３の画像に含まれる対象物３の領域の切り出し、色調補正、リサイズ、ノイズの除去など予め設定された補正処理を行う。

【0028】

変換部１２は、補正部１１によって補正処理が行われた複数の画像の各々を、空間周波数領域のスペクトルに変換する。より詳細には、変換部１２は、空間領域の画像を２次元離散フーリエ変換して、極座標変換を行うことで、画像ごとの空間周波数分布を示す周波数スペクトル、すなわちパワースペクトルを出力する。

【0029】

モデル適用部１３は、変換部１２によって得られたスペクトルに対して、変曲点を有する非線形モデルを適用する。ここで、非線形モデルは、画像の空間周波数スペクトルをモデル化したものである。非線形モデルとして、変曲点を示すパラメータを唯一つ有する非線形関数を用いる。変曲点を有する非線形関数として、例えば、シグモイド関数などの非線形単調減少関数を用いることができる。本実施の形態においては、次の式（１）に示すような４パラメータ－シグモイド関数を用いた場合を例に説明する。

【0030】

【数1】

ただし、ａ、ｂは上限および下限を決めるパラメータ、ｃは曲線形状を決めるパラメータ、ｄは変曲点を示すパラメータである。

【0031】

モデル適用部１３は、例えば、変換部１２によって得られたスペクトルと４パラメータ－シグモイド関数モデルとの誤差が最小となるように、４パラメータ－シグモイド関数のパラメータａ、ｂ、ｃ、ｄの値を求める。

【0032】

抽出部１４は、スペクトルにあてはめられた非線形モデルから、変曲点を示すパラメータｄの値を抽出する。より詳細には、抽出部１４は、モデル適用部１３によって各画像のパワースペクトルに当てはめられた４パラメータ－シグモイド関数の変曲点ｄの値、すなわち、各画像の周波数スペクトルの変曲点に対応する空間周波数（周期）を抽出する。

【0033】

ピントが外れて画像にボケが生じているような場合、パワースペクトルの高周波成分が低下することが知られている。本実施の形態では、上式（１）に示す４パラメータ－シグモイド関数が当てはめられたパワースペクトルの変曲点の値を、その画像における高周波成分の低下具合を示す情報として抽出する。

【0034】

評価値算出部１５は、変曲点の値に対して設定された基準に基づいて、抽出部１４が抽出した変曲点の値に係る複数の画像各々の品質を示す評価値を求める。本実施の形態では、評価値算出部１５は、抽出部１４が抽出した変曲点の値を、対象の画像の最大周波数で除して正規化した値を評価値として求める。

【0035】

記憶部１６は、評価値算出部１５によって算出された評価値の時系列データを記憶する記憶回路である。具体的には、記憶部１６は、評価値を画像の撮像時刻に対応させた時系列データを記憶する。

【0036】

時系列解析部１７は、記憶部１６に蓄積されている評価値の時系列データに対する時系列解析を行い、時系列解析の結果が所定の条件を満たした場合に、予め構築されている撮影環境に異常が発生したと判断する。例えば、時系列解析部１７は、評価値の時系列データにおける予め設定された期間内に、画像の品質に関して設定された評価値の許容範囲を外れた評価値が検出された場合に、撮影環境に異常が発生したと判断する。以下において、予め設定された評価値の許容範囲として、下限値を用いる場合を例に挙げて説明する。

【0037】

時系列解析部１７は、評価値の時系列データの解析手法として、統計分布モデルなど、各種時系列解析のアルゴリズムを用いることができる。例えば、時系列解析部１７は、画像の品質を示す評価値の時系列データから、例えば、直近１日など、予め設定された期間内に、予め設定された評価値の下限値に満たない評価値の数が、設定された数以上である場合に、撮影環境に異常が発生したと判断することができる。つまり、時系列解析部１７は、品質が一定の基準に満たない画像が、設定された数以上ある場合に、予め構築された撮影環境に異常が発生したと判断する。

【0038】

時系列解析部１７は、図２に示すように、例えば、設定部１７０、第１判定部１７１、および第２判定部１７２を備える。

【0039】

設定部１７０は、第１判定部１７１および第２判定部１７２が用いる判定基準を設定する。設定部１７０は、動的な値、あるいは、固定値を判定基準として設定することができる。例えば、設定部１７０は、記憶部１６に格納されている判定基準として、後述の第１基準および第２基準を読み込む構成とすることができる。あるいは、設定部１７０は、後述の入力装置１０８で受け付けられた操作入力に応じて判定基準を設定することができる。

【0040】

第１判定部１７１は、画像ごとの評価値に基づいて、各画像が、評価値に対して設定された画像の品質に関する第１基準を満たすか否かを判定する。例えば、評価値の時系列データが平均μと標準偏差σで定まる正規分布となる場合を仮定する。この場合、例えば、第１判定部１７１は、画像の評価値が、過去の一定期間における評価値の平均値から標準偏差の所定の正の整数倍の値を引いた下限値に満たない場合、その評価値の画像は、第１基準を満たさないと判定する。

【0041】

より具体的には、第１判定部１７１は、例えば、過去３日間の評価値の平均μから標準偏差σの３倍の値を引いた下限値［μ－３σ］に満たない評価値の画像を含む対象物３について、画像の品質に関する第１基準を満たさない対象物３であると判定する。例えば、第１判定部１７１は、１つの対象物３について複数枚の画像が取得される場合に、下限値に満たない評価値の画像が一定の割合以上である場合に、その対象物３は第１基準を満たさないと判定することができる。

【0042】

第２判定部１７２は、第１判定部１７１によって、第１基準を満たさないと判定された画像の数が、予め設定された期間内に、設定された数以上である場合に、異常判定の基準である第２基準を満たすと判定する。例えば、第２判定部１７２は、第１基準を満たさない対象物３の数が、１日２０個を超えた場合に、第２基準を満たすと判定することができる。時系列解析部１７は、第２判定部１７２が第２基準を満たすと判定した場合に、撮影環境に異常が発生したと判断する。

【0043】

表示部１８は、時系列解析部１７によって解析された評価値の時系列データおよび、撮影環境に異常が発生したことを示す情報を含む、時系列解析の結果を後述の表示装置１０９に表示させる。

【0044】

［異常検知装置のハードウェア構成］
次に、上述した機能を有する異常検知装置１を実現するハードウェア構成の一例について、図３のブロック図を参照して説明する。

【0045】

図３に示すように、異常検知装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６、時計１０７、入力装置１０８、および表示装置１０９を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。プロセッサ１０２は、ＣＰＵやＧＰＵなどによって構成される。

【0046】

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、時系列解析部１７など、異常検知装置１の各機能が実現される。

【0047】

通信インターフェース１０４は、異常検知装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。通信インターフェース１０４によって図１に示した取得部１０が実現される。

【0048】

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

【0049】

補助記憶装置１０５は、異常検知装置１が画像の補正処理、フーリエ変換処理、非線形モデルの適用処理、変曲点の抽出処理、評価値算出処理、および時系列解析処理を含む異常検知プログラムを格納するプログラム格納領域を有する。補助記憶装置１０５は、画像ごとに求められた評価値の時系列データを記憶する領域を有する。また、補助記憶装置１０５は、モデル適用部１３が用いる４パラメータ－シグモイド関数を格納する領域を有する。補助記憶装置１０５は、取得部１０が取得したカメラ２による撮影画像を記憶する領域を有する。また、補助記憶装置１０５は、時系列解析部１７が時系列解析において用いる所定の条件として、第１基準および第２基準を格納する領域を有する。

【0050】

補助記憶装置１０５によって、図１で説明した記憶部１６が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。

【0051】

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。

【0052】

時計１０７は、異常検知装置１の内部時計であり、時間を計時する。あるいは、時計１０７は、外部のタイムサーバから時刻情報を取得してもよい。

【0053】

入力装置１０８は、物理キーやタッチパネルなどで構成され、外部からの操作入力に応じた信号を出力する。例えば、入力装置１０８は、時系列解析部１７が用いる第１基準に含まれる評価値について設定された下限値、および異常判定に用いる第２基準の入力を受け付けることができる。

【0054】

表示装置１０９は、液晶ディスプレイなどによって構成される。表示装置１０９は、図１で説明した表示部１８を実現する。

【0055】

カメラ２は、光信号を画像信号に変換して、動画や静止画像を生成することができる。より詳細には、カメラ２は、ＣＣＤ（電荷結合素子：Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有し、撮像領域から入射する光を受光面に結像して、電気信号に変換する。なお、カメラ２が画像を撮影する場合の倍率、焦点などは、予めカメラ２が備える図示されない制御部によって自動的に設定される。カメラ２と異常検知装置１との間の通信は、無線で行われてもよい。

【0056】

［異常検知方法］
次に、上述した構成を有する異常検知装置１の動作について、図４および図５のフローチャートを用いて説明する。前提として、全ての画像が一定の角度、距離、照明環境で撮影されるような事前の設定がなされているものとする。しかし、周辺の環境および製品のばらつきや、設備の振動などによって、カメラ２で撮影される画像にばらつきが生ずる場合を仮定する。

【0057】

図４に示すように、まず、取得部１０は、カメラ２で定常的に撮影された対象物３を含む画像を取得する（ステップＳ１）。例えば、カメラ２は、同一の製品に係る複数の対象物３の各々について複数の画像を撮影することができる。取得部１０は、撮影された複数の画像を取得する。次に、補正部１１は、取得された各画像から対象物３が含まれる領域を切り出す（ステップＳ２）。次に、変換部１２は、ステップＳ２で補正された各画像に対して２次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する（ステップＳ３）。

【0058】

次に、モデル適用部１３は、ステップＳ３で得られた各画像のパワースペクトルに対して、式（１）に示す４パラメータ－シグモイド関数を当てはめる（ステップＳ４）。次に、抽出部１４は、各画像のパワースペクトルに適用された４パラメータ－シグモイド関数から、変曲点に対応する空間周波数を抽出する（ステップＳ５）。

【0059】

その後、評価値算出部１５は、抽出された変曲点に対応する空間周波数に基づいて、複数の画像の各々の品質を示す評価値を求める（ステップＳ６）。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として求める。

【0060】

図５は、ピントが合った画像、すなわち、評価値の最良値（評価値：１．０）の例を示している。また、図５は、画像のパワースペクトル（ｐｓ）、および４パラメータ－シグモイド関数が適用されたパワースペクトル（ｓｉｇｍ）を示している。図５に示すような、評価値が最良値のピントが合った自然画像では、パワースペクトルが対数軸上で直線になっている。また、図５に示すように、評価値が最良値の１．０の画像の変曲点ｄは、破線で示すようにパワースペクトルにおける横軸上（周期）の右端に現れる。

【0061】

図６は、複数の対象物３の画像（ａ），（ｂ），（ｃ），（ｄ），（ｅ）と、それぞれの空間周波数領域のパワースペクトル（ｐｓ）、４パラメータ－シグモイド関数がフィッティングされたパワースペクトル（ｓｉｇｍ）、変曲点ｄ、および評価値を示している。

【0062】

図６の例では、画像（ａ）から（ｅ）に向かって画像のボケがより強くなっている。各画像の変曲点ｄ（破線）に着目すると、画像のボケが強くなるにしたがって、画像の強度と周期との関係を表すスペクトルの横軸上の右端から左端へ変曲点ｄが移動することがわかる。このように、変曲点ｄを画像の高周波成分の分布の減少を示す情報として用いることで、画像の品質を評価する定量的な評価値が算出される。

【0063】

図４のフローチャートに戻り、記憶部１６は、ステップＳ６で算出された画像ごとの評価値を撮影時刻とともに蓄積する（ステップＳ７）。次に、時系列解析部１７は、記憶部１６に記憶されている評価値の時系列データに対する時系列解析を行う（ステップＳ８）。

【0064】

ここで、ステップＳ８で実行される時系列解析処理の一例について、図７を参照して説明する。以下において、対象物３の１個あたりにつき、例えば、８枚の画像が撮影され、それぞれの画像についての評価値が算出され記憶部１６に時系列データとして蓄積されているものとする。また、撮影環境に発生した異常を検知する期間の単位を、例えば、１日とする。

【0065】

まず、時系列解析部１７は、記憶部１６に蓄積されている画像ごとの評価値を読み込む（ステップＳ８０）。次に、時系列解析部１７は、予め設定された期間として過去３日分の評価値のデータを取得した場合には（ステップＳ８１：ＹＥＳ）、設定部１７０は、判定基準値を格納する（ステップＳ８２）。一方、時系列解析部１７は、３日間分の評価値データが取得されるまで（ステップＳ８１：ＮＯ）、記憶部１６に蓄積される画像ごとの評価値を読み込む（ステップＳ８０）。

【0066】

例えば、時系列解析部１７は、ステップＳ８１で過去３日間の評価値の時系列データを取得すると、記憶部１６に記憶されている第１判定部１７１および第２判定部１７２のそれぞれが用いる第１基準および第２基準を読み込む。例えば、第１判定部１７１が用いる第１基準として、評価値について設定された下限値［μ－３σ］を取得する。また、第２判定部１７２が用いる第２基準として、異常判定の基準値［２０個／１日］（第１基準を満たさない対象物３の数が１日あたり２０個）を取得する。

【0067】

次に、第１判定部１７１は、対象物３が第１基準を満たさない対象物３であるか否かを判定する（ステップＳ８３）。例えば、対象物３の１個あたり撮影される８枚の画像のうち、評価値の下限値［μ－３σ］を下回る評価値の画像が２枚以上含まれる対象物３は（ステップＳ８３：ＹＥＳ）、第１基準を満たさない対象物３であると判定し、１日当たりの第１基準を満たさない対象物３の数をカウントアップ（＋１）する（ステップＳ８４）。記憶部１６には、評価値の時系列データに基づいて求められる１日当たりの第１基準を満たさない対象物３の数が記録される。

【0068】

次に、第２判定部１７２は、第１基準を満たさない対象物３の１日当たりの数が、異常判定の基準［２０個／１日］を超えた場合に、第２基準を満たすと判定し（ステップＳ８５：ＹＥＳ）、時系列解析部１７は、撮影環境に異常が発生したと判断し、通知を生成する（ステップＳ８６）。なお、ステップＳ８６での通知の生成は、省略してもよい。

【0069】

次に、表示部１８は、ステップＳ８５での判定結果を含む、時系列解析の結果を時系列データに反映してデータを更新する（ステップＳ８７）。次に、時系列解析を実行する期間として設定された解析期間が終了した場合（ステップＳ８８：ＹＥＳ）、処理は、図４のステップＳ９に戻る。一方、解析期間の終了時に到達していない場合には（ステップＳ８８：ＮＯ）、ステップＳ８０からステップＳ８７の処理を繰り返す。例えば、表示部１８は、解析期間として設定された期間、例えば、１日（２４時間）が終了すると、処理は図４のステップＳ９に移行する。

【0070】

その後、図４に戻り、表示部１８は、時系列解析の結果が反映され、評価値の時系列データが更新した表示画面を表示する（ステップＳ９）。また、表示部１８は、ステップＳ８６で生成された通知を表示画面に表示することもできる。

【0071】

［本実施の形態に係る異常検知装置の効果］
次に、本実施の形態に係る異常検知装置１を用いて異常検知を行った具体例および判定結果について図８を参照して説明する。

【0072】

本例では、ある製品の半田接合の出来栄えを判別するために撮影された複数の画像を用いて、撮影環境に発生した異常を検知した。具体的には、製造プロセスで定常的に撮影された、製品の半田接合部分を含む画像について、２０１８年１１月１９日より、画像ごとの評価値を算出し、評価値の蓄積を開始した。

【0073】

また、本例では、２０１８年１１月２９日に、撮影環境におけるトラブルが発生し、その後、２０１８年１２月３日に撮像機器の固定ネジに緩みが生じていたことが特定され、ネジの緩みは解消された。

【0074】

図８の上段は、画像ごとの評価値の時系列データを示している。マーカー「ｅ」は、画像ごとの評価値を示している。また、図８の上段において、値「ｍ」は、直前の３日間の評価値の平均値（μ）の時系列を示している。また、図８の上段の値「ｔｈ」は、第１判定部１７１が用いる評価値の下限値［μ－３σ］の時系列を示している。

【0075】

図８の下段は、１日ごとの、第１基準を満たさない対象物３（製品）の数を示している。図８の下段に示す値「ｓ」は、第２判定部１７２が異常判定を行う際に用いる第２基準であり、本例では、１日あたり２０個以上の第１基準を満たさない製品が発生した場合に、撮影環境に異常が発生したと判断した。

【0076】

図８の上段と下段とは、同じ時間スケールで示されている。２０１８年１１月２９日に撮影された複数の画像の評価値より、下限値［μ－３σ］に満たない評価値の画像を含む製品が、１日あたり２０個を超えていることが検知された。このように、本実施の形態に係る異常検知装置１が備える時系列解析部１７は、画像の品質を示す評価値の時系列データに発生した異常を検知することで、２０１８年１１月２９日に発生した撮影環境における異常を検知することができた。

【0077】

なお、図８に示す評価値の時系列データおよび異常判定の結果は、表示部１８によって表示装置１０９の表示画面にリアルタイムにプロットされてデータが更新されていく。

【0078】

以上説明したように、本実施の形態に係る異常検知装置１によれば、画像ごとに求められた画像の品質を示す評価値を時系列解析するので、製品の画像から、撮影環境に生じた異常を容易に検知することができる。その結果として、製品の外観検査の判定結果が撮像環境の異常により無効であるか否かを認識することが可能となる。

【0079】

また、異常検知装置１によれば、撮影された検査対象の製品の画像以外のテンプレート画像など、データを別途準備する必要がなく、より簡易な構成により撮影環境に生じた異常を検知することができる。

【0080】

また、異常検知装置１によれば、撮影された検査対象の製品の画像において、物理量ではなく品質を検査するような状況においても、撮影環境に生じた異常を検知することができ、検査内容にかかわらず、容易に異常を検知できる。

【0081】

また、異常検知装置１によれば、評価値の時系列解析を実行し、撮影環境に生じた異常をリアルタイムに検知することができるので、画像を用いた品質検査における判定精度や信頼性の向上を確保することができる。

【0082】

また、異常検知装置１によれば、画像の空間周波数領域における高周波成分の低下の程度を表す情報が各画像から抽出された、各画像の品質を示す評価値の時系列データを解析する。時系列解析の対象である評価値は、正規化した変曲点の値に対して設定された基準に基づいて画像の品質を表す絶対的ともいえる値である。このように、画像の品質をより容易かつ定量的に評価した評価値を時系列解析の対象とするので、画像を用いた品質検査の対象や種類によらず、撮影された画像から撮影環境に生じた異常を検知することができる。

【0083】

なお、説明した実施の形態では、対象物３の画像を撮影するカメラ２が１台である場合について説明したが、同じ撮影環境に設置されるカメラ２の台数は複数であってもよい。

【0084】

また、説明した実施の形態では、時系列解析部１７が撮影された画像から撮影環境に生じた異常を検知して、例えば、表示部１８が時系列解析の結果を表示する構成を例に挙げて説明した。しかし、表示部１８は、撮影環境に異常が発生したことが検知された場合に、製品の外観検査の判定結果が撮像環境の異常により無効である通知を生成し、表示画面に表示する構成としてもよい。あるいは、予め設定されている外部の端末装置などに対して、撮影環境に異常が検知され、外観検査の判定結果が無効であることを通知してもよい。

【0085】

また、説明した実施の形態では、時系列解析部１７において、時系列データにおける予め設定された期間内に、予め設定された評価値の下限値に満たない評価値がある場合に、撮影環境に異常が発生したと判断する場合を例に挙げて説明した。しかし、本発明は、評価値の許容範囲として下限値を用いる場合に限られず、例えば、設計に応じて上限値を用いることも可能である。

【0086】

以上、本発明の異常検知装置、および異常検知方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

【符号の説明】

【0087】

１…異常検知装置、２…カメラ、３…対象物、１０…取得部、１１…補正部、１２…変換部、１３…モデル適用部、１４…抽出部、１５…評価値算出部、１６…記憶部、１７…時系列解析部、１８…表示部、１７０…設定部、１７１…第１判定部、１７２…第２判定部、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信インターフェース、１０５…補助記憶装置、１０６…入出力Ｉ／Ｏ、１０７…時計、１０８…入力装置、１０９…表示装置、ＮＷ…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】