特許 7393249 メンテナンス支援装置、およびメンテナンス支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】メンテナンス支援装置、およびメンテナンス支援方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231129BHJP

【ＦＩ】

G06T7/00 Q

G06T7/00 610

【請求項の数】 7

(21)【出願番号】P 2020033438

(22)【出願日】2020-02-28

(65)【公開番号】P2021135906

(43)【公開日】2021-09-13

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】北澤 正樹

(72)【発明者】

【氏名】峯岸 寛典

(72)【発明者】

【氏名】樋口 数一

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１２－２８９９２（ＪＰ，Ａ）

【文献】特開２０１４－１４２８８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置から取得された画像を空間周波数領域のスペクトルに変換するように構成された変換部と、
前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、
抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出するように構成された評価値算出部と、
前記評価値算出部によって算出された前記評価値を含む、前記撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成するように構成された支援情報生成部と、
生成された前記支援情報を出力するように構成された出力部と
を備えるメンテナンス支援装置。

【請求項2】

請求項１に記載のメンテナンス支援装置において、
前記支援情報は、前記評価値に対して予め設定された目標値を含む
ことを特徴とするメンテナンス支援装置。

【請求項3】

請求項１または請求項２に記載のメンテナンス支援装置において、
前記評価値算出部によって算出された前記評価値に基づいて、前記撮影環境のメンテナンス作業の要否を判断するように構成された判断部をさらに備え、
前記支援情報は、前記判断部による判断結果を含む
ことを特徴とするメンテナンス支援装置。

【請求項4】

請求項１から３のいずれか１項に記載のメンテナンス支援装置において、
過去に実施されたメンテナンス作業の内容と、前記メンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の前記評価値とを関連付けた履歴データを記憶する履歴データベースと、
前記評価値算出部によって算出された前記評価値に基づいて、一定の条件を満たす履歴データを取得するように構成された履歴データ取得部と
をさらに備え、
前記支援情報は、前記履歴データ取得部によって取得された前記履歴データを含む
ことを特徴とするメンテナンス支援装置。

【請求項5】

請求項１から４のいずれか１項に記載のメンテナンス支援装置において、
前記出力部は、前記支援情報を表示画面に表示するように構成された表示部を備える
ことを特徴とするメンテナンス支援装置。

【請求項6】

撮像装置から取得された画像を空間周波数領域のスペクトルに変換する第１ステップと、
前記第１ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第２ステップと、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第３ステップと、
抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出する第４ステップと、
前記第４ステップで算出された前記評価値が含まれた、前記撮像装置を含む撮影環境のメンテナンス作業を支援する支援情報を生成する第５ステップと、
前記第５ステップで生成された前記支援情報を出力する第６ステップと
を備えるメンテナンス支援方法。

【請求項7】

請求項６に記載のメンテナンス支援方法において、
前記支援情報は、前記評価値に対して予め設定された目標値を含み、
前記第６ステップは、前記支援情報を表示画面に表示する
ことを特徴とするメンテナンス支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メンテナンス支援装置、およびメンテナンス支援方法に関し、特に画像を用いた外観検査システムにおける撮影環境のメンテナンス作業を支援する技術に関する。

【背景技術】

【0002】

画像を用いた品質検査における判定精度や信頼性の確保には、撮像対象である製品以外の状態が一定な画像を収集することが重要となる。そのためには日々の運用の中で、撮影環境を管理し、撮影環境に変化が生じた場合に、そのような変化が生ずる前の撮影環境に戻せることが望ましい。撮影環境には、機器の位置や固定といった撮像機器のセッティングや、絞りやシャッタースピードといった撮像のパラメータがある。

【0003】

しかしながら、撮影環境には、例えば、レンズの絞りのように、アナログで調整しなくてはならない項目があり、目視などでは変化が生ずる前と同様の設定に戻したように見えても、実際にはわずかなズレが残っている場合がある。このようなわずかなズレによっても、撮影された画像の画質の変化が発生し得るため、撮影環境を何度も調整し直すことが必要となる場合がある。

【0004】

そこで、例えば、特許文献１は、医用画像診断装置において、装置の環境情報と分解能、コントラスト値、線形値といった画質パラメータの判定結果に基づいて撮影環境に生じた故障解析を行い、撮影環境のメンテナンス手順やメンテナンス対象の部品を提示する技術を開示している。

【0005】

特許文献１に開示されている技術では、撮影された画像の画質を定量的に評価した値が用いられるが、汎用のカメラにセンサを別途付加して装置の環境情報を収集する必要があるため高コストになり、現実的な解決策ではない。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第４５９９１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上述した課題を解決するためになされたものであり、撮像装置から取得される画像のみに基づいて、撮影環境のメンテナンス作業の支援を行うことを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明に係るメンテナンス支援装置は、撮像装置から取得された画像を空間周波数領域のスペクトルに変換するように構成された変換部と、前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出するように構成された評価値算出部と、前記評価値算出部によって算出された前記評価値を含む、前記撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成するように構成された支援情報生成部と、生成された前記支援情報を出力するように構成された出力部とを備える。

【0009】

また、本発明に係るメンテナンス支援装置において、前記支援情報は、前記評価値に対して予め設定された目標値を含んでいてもよい。

【0010】

また、本発明に係るメンテナンス支援装置において、前記評価値算出部によって算出された前記評価値に基づいて、前記撮影環境のメンテナンス作業の要否を判断するように構成された判断部をさらに備え、前記支援情報は、前記判断部による判断結果を含んでいてもよい。

【0011】

また、本発明に係るメンテナンス支援装置において、過去に実施されたメンテナンス作業の内容と、前記メンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の前記評価値とを関連付けた履歴データを記憶する履歴データベースと、前記評価値算出部によって算出された前記評価値に基づいて、一定の条件を満たす履歴データを取得するように構成された履歴データ取得部とをさらに備え、前記支援情報は、前記履歴データ取得部によって取得された前記履歴データを含んでいてもよい。

【0012】

また、本発明に係るメンテナンス支援装置において前記出力部は、前記支援情報を表示画面に表示するように構成された表示部を備えていてもよい。

【0013】

上述した課題を解決するために、本発明に係るメンテナンス支援方法は、撮像装置から取得された画像を空間周波数領域のスペクトルに変換する第１ステップと、前記第１ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第２ステップと、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第３ステップと、抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出する第４ステップと、前記第４ステップで算出された前記評価値が含まれた、前記撮像装置を含む撮影環境のメンテナンス作業を支援する支援情報を生成する第５ステップと、前記第５ステップで生成された前記支援情報を出力する第６ステップとを備える。

【0014】

また、本発明に係るメンテナンス支援方法において、前記支援情報は、前記評価値に対して予め設定された目標値を含み、前記第６ステップは、前記支援情報を表示画面に表示してもよい。

【発明の効果】

【0015】

本発明によれば、評価値算出部によって算出された画像の品質を示す評価値を含む、撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成して出力するので、撮像装置から取得される画像のみに基づいて、撮影環境のメンテナンス作業の支援を行うことができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明の第１の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。

【図2】図２は、第１の実施の形態に係るメンテナンス支援装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、第１の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。

【図4】図４は、第１の実施の形態に係るメンテナンス支援装置により算出される評価値を説明するための図である。

【図5】図５は、第１の実施の形態に係るメンテナンス支援装置により算出される評価値を説明するための図である。

【図6】図６は、第１の実施の形態に係るメンテナンス支援装置による支援情報の表示例を示す図である。

【図7】図７は、第１の実施の形態に係るメンテナンス支援装置の効果を説明するための図である。

【図8】図８は、第２の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。

【図9】図９は、第２の実施の形態に係るメンテナンス支援装置による支援情報の表示例を示す図である。

【図10】図１０は、第２の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。

【図11】図１１は、第３の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。

【図12】図１２は、第３の実施の形態に係るメンテナンス支援装置が備える表示部による表示例を示す図である。

【図13】図１３は、第３の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の好適な実施の形態について、図１から図１３を参照して詳細に説明する。

【0018】

［発明の概要］
はじめに、本発明の実施の形態に係るメンテナンス支援装置１の概要について説明する。
メンテナンス支援装置１は、例えば、製造プロセスで得られた製品の画像に基づいて製品の外観検査を行う画像検査システムに構築された撮影環境のメンテナンス作業の支援を行う。

【0019】

画像検査システムでは、カメラ２の位置、照明、および対象物３の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる各対象物３は、同じ環境設定のもとで撮影されることが想定されている。しかし、何らかの原因により、設備に振動が生じたり、製品の設置位置の高さが変わったり、カメラ２の位置の微細なずれなどが生ずる場合がある。特に、対象物３が微細な製品であるような場合には、微小な環境変化は、撮影された画像に大きな変化を与え、外観検査の結果にも影響を及ぼす場合がある。

【0020】

本実施の形態において、画像の品質とは、撮影された画像のピントや明るさに関する、画像の空間周波数領域における高周波成分の分布で表される画像の状態に関する情報である。例えば、ピントが合っていないぼやけた画像や、ハレーションが生じた画像などは、ピントの合った自然画像と比較して高周波成分が低下していることが知られている。

【0021】

また、本実施の形態に係るメンテナンス支援装置１は、画像の空間周波数領域における高周波成分の低下の程度を表す情報を各画像から抽出し、各画像の品質を示す評価値として用いる。

【0022】

メンテナンス支援装置１は、画像検査システムで撮影済みの製品の画像の画質を定量的に評価した評価値を算出し、評価値を含む、撮影環境のメンテナンス作業を支援する支援情報を生成する。また、メンテナンス支援装置１は、生成した支援情報を表示画面に表示する。

【0023】

外観検査の精度を維持するために、カメラ２を含む撮影環境の設定された状態に保つメンテナンス作業を実施するユーザは、表示画面に表示された支援情報に含まれる画像の品質を示す評価値およびカメラ２で撮影された実際の画像を確認しながらメンテナンス作業を実施することができる。

【0024】

［メンテナンス支援装置の機能ブロック］
図１に示すように、メンテナンス支援装置１は、外部に設置されているカメラ２によって撮影された製品などの対象物３の画像を取得する。カメラ２によって撮影された画像には、製品などの対象物３の外観が含まれる。

【0025】

カメラ２の位置、照明、および対象物３の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる対象物３は、同じ環境設定のもと撮影されている。しかし、本実施の形態では、前述したように、何らかの原因により、設備に振動が生じたり、製品自体の高さが変わったり、カメラ２の位置の微細なずれなどが生ずる場合がある。このような撮影環境における環境設定の変化により生じた画質の低下を示す情報が支援情報としてユーザに提示されることで、ユーザは撮影環境のメンテナンス作業を行い、カメラ２の位置などが修正される。

【0026】

メンテナンス支援装置１は、取得部１０、補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、記憶部１６、支援情報生成部１７、および表示部１８（出力部）を備える。

【0027】

取得部１０は、図１に示すように、外部に設置されたカメラ２（撮像装置）によって撮影された対象物３の画像を取得する。このような取得部１０は、インターフェース回路によって実現することができる。取得部１０は、複数の画像を有線または無線通信によってカメラ２から取得する。画像は、例えば、静止画像のデジタルデータである。

【0028】

補正部１１は、取得部１０によって取得された対象物３の画像に含まれる対象物３の領域の切り出し、色調補正、リサイズ、ノイズの除去など予め設定された補正処理を行う。

【0029】

変換部１２は、補正部１１によって補正処理が行われた画像を、空間周波数領域のスペクトルに変換する。より詳細には、変換部１２は、空間領域の画像を２次元離散フーリエ変換して、極座標変換を行うことで、画像ごとの空間周波数分布を示す周波数スペクトル、すなわちパワースペクトルを出力する。

【0030】

モデル適用部１３は、変換部１２によって得られたスペクトルに対して、変曲点を有する非線形モデルを適用する。ここで、非線形モデルは、画像の空間周波数スペクトルをモデル化したものである。非線形モデルとして、変曲点を示すパラメータを唯一つ有する非線形関数を用いる。変曲点を有する非線形関数として、例えば、シグモイド関数などの非線形単調減少関数を用いることができる。本実施の形態においては、次の式（１）に示すような４パラメータ－シグモイド関数を用いた場合を例に説明する。

【0031】

【数1】

ただし、ａ、ｂは上限および下限を決めるパラメータ、ｃは曲線形状を決めるパラメータ、ｄは変曲点を示すパラメータである。

【0032】

モデル適用部１３は、例えば、変換部１２によって得られたスペクトルと４パラメータ－シグモイド関数モデルとの誤差が最小となるように、４パラメータ－シグモイド関数のパラメータａ、ｂ、ｃ、ｄの値を求める。

【0033】

抽出部１４は、スペクトルにあてはめられた非線形モデルから、変曲点を示すパラメータｄの値を抽出する。より詳細には、抽出部１４は、モデル適用部１３によって画像のパワースペクトルに当てはめられた４パラメータ－シグモイド関数の変曲点ｄの値、すなわち、画像の周波数スペクトルの変曲点に対応する空間周波数（周期）を抽出する。

【0034】

ピントが外れて画像にボケが生じているような場合、パワースペクトルの高周波成分が低下することが知られている。本実施の形態では、上式（１）に示す４パラメータ－シグモイド関数が当てはめられたパワースペクトルの変曲点の値を、その画像における高周波成分の低下具合を示す情報として抽出する。

【0035】

評価値算出部１５は、変曲点の値に対して設定された基準に基づいて、抽出部１４が抽出した変曲点の値に係る画像の品質を示す評価値を算出する。本実施の形態では、評価値算出部１５は、抽出部１４が抽出した変曲点の値を、対象の画像の最大周波数で除して正規化した値を評価値として算出する。

【0036】

記憶部１６は、取得部１０によって取得された製品の画像と、評価値算出部１５によって算出された評価値とを対応付けて記憶する。また、記憶部１６は、撮影環境のメンテナンス支援のための画像の品質の目標値として、予め設定された評価値の値を記憶してもよい。

【0037】

支援情報生成部１７は、評価値算出部１５によって算出された評価値を含む、カメラ２を含んだ撮影環境のメンテナンス作業を支援するための支援情報を生成する。また、支援情報には、評価値算出部１５によって算出された評価値に加えて、予め設定された目標値および評価値の算出対象となった製品の画像が含まれる。

【0038】

表示部１８は、支援情報生成部１７によって生成された撮影環境のメンテナンス作業のための支援情報を、後述の表示装置１０９の表示画面に表示させる。

【0039】

［メンテナンス支援装置のハードウェア構成］
次に、上述した機能を有するメンテナンス支援装置１を実現するハードウェア構成の一例について、図２のブロック図を参照して説明する。

【0040】

図２に示すように、メンテナンス支援装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６、時計１０７、入力装置１０８、および表示装置１０９を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。プロセッサ１０２は、ＣＰＵやＧＰＵなどによって構成される。

【0041】

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、支援情報生成部１７など、メンテナンス支援装置１の各機能が実現される。

【0042】

通信インターフェース１０４は、メンテナンス支援装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。通信インターフェース１０４によって図１に示した取得部１０が実現される。通信インターフェース１０４は、例えば、通信ネットワークＮＷを介して接続されている、メンテナンス作業を行うユーザによって用いられる通信端末装置に支援情報を送信することができる。

【0043】

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

【0044】

補助記憶装置１０５は、メンテナンス支援装置１が画像の補正処理、フーリエ変換処理、非線形モデルの適用処理、変曲点の抽出処理、評価値算出処理、および支援情報生成処理を含む撮影環境のメンテナンス支援プログラムを格納するプログラム格納領域を有する。また、補助記憶装置１０５は、モデル適用部１３が用いる４パラメータ－シグモイド関数を格納する領域を有する。補助記憶装置１０５は、取得部１０が取得したカメラ２による撮影画像を記憶する領域を有する。また、補助記憶装置１０５は、評価値の目標値を格納する領域を有する。

【0045】

補助記憶装置１０５によって、図１で説明した記憶部１６が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。

【0046】

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。

【0047】

時計１０７は、メンテナンス支援装置１の内部時計であり、時間を計時する。あるいは、時計１０７は、外部のタイムサーバから時刻情報を取得してもよい。

【0048】

入力装置１０８は、物理キーやタッチパネルなどで構成され、外部からの操作入力に応じた信号を出力する。例えば、入力装置１０８は、補助記憶装置１０５に格納される評価値の目標値の入力を受け付けることができる。

【0049】

表示装置１０９は、液晶ディスプレイなどによって構成される。表示装置１０９は、図１で説明した表示部１８を実現する。

【0050】

カメラ２は、光信号を画像信号に変換して、動画や静止画像を生成することができる。カメラ２が画像を撮影する場合の倍率、焦点などは、予めカメラ２が備える図示されない制御部によって自動的に設定される。カメラ２とメンテナンス支援装置１との間の通信は、無線で行われてもよい。また、カメラ２の絞りの調整や、固定ネジなどの調整が、ユーザによる撮影環境のメンテナンス作業として実施される。

【0051】

［メンテナンス支援装置の動作］
次に、上述した構成を有するメンテナンス支援装置１の動作について、図３のフローチャートを用いて説明する。前提として、全ての画像が一定の角度、距離、照明環境で撮影されるような事前の設定がなされているものとする。しかし、周辺の環境および製品のばらつきや、設備の振動などによって、カメラ２で撮影される画像にばらつきが生ずる場合を仮定する。

【0052】

図３に示すように、まず、取得部１０は、カメラ２で撮影された対象物３を含む画像を取得する（ステップＳ１）。例えば、カメラ２は、同一の製品に係る複数の対象物３の各々の画像を撮影することができる。次に、補正部１１は、取得された各画像から対象物３が含まれる領域を切り出す（ステップＳ２）。次に、変換部１２は、ステップＳ２で補正された画像に対して２次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する（ステップＳ３）。

【0053】

次に、モデル適用部１３は、ステップＳ３で得られた画像のパワースペクトルに対して、式（１）に示す４パラメータ－シグモイド関数を当てはめる（ステップＳ４）。次に、抽出部１４は、各画像のパワースペクトルに適用された４パラメータ－シグモイド関数から、変曲点に対応する空間周波数を抽出する（ステップＳ５）。

【0054】

その後、評価値算出部１５は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する（ステップＳ６）。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。

【0055】

図４は、ピントが合った画像、すなわち、評価値の最良値（評価値：１．０）の例を示している。また、図４は、画像のパワースペクトル（ｐｓ）、および４パラメータ－シグモイド関数が適用されたパワースペクトル（ｓｉｇｍ）を示している。図４に示すような、評価値が最良値のピントが合った自然画像では、パワースペクトルが対数軸上で直線になっている。また、図４に示すように、評価値が最良値の１．０の画像の変曲点ｄは、破線で示すようにパワースペクトルにおける横軸上（周期）の右端に現れる。

【0056】

図５は、複数の対象物３の画像（ａ），（ｂ），（ｃ），（ｄ），（ｅ）と、それぞれの空間周波数領域のパワースペクトル（ｐｓ）、４パラメータ－シグモイド関数がフィッティングされたパワースペクトル（ｓｉｇｍ）、変曲点ｄ、および評価値を示している。

【0057】

図５の例では、画像（ａ）から（ｅ）に向かって画像のボケがより強くなっている。各画像の変曲点ｄ（破線）に着目すると、画像のボケが強くなるにしたがって、画像の強度と周期との関係を表すスペクトルの横軸上の右端から左端へ変曲点ｄが移動することがわかる。このように、変曲点ｄを画像の高周波成分の分布の減少を示す情報として用いることで、画像の品質を評価する定量的な評価値が算出される。

【0058】

図３のフローチャートに戻り、支援情報生成部１７は、ステップＳ６で算出された画像の評価値を含む撮影環境のメンテナンス作業のための支援情報を生成する（ステップＳ７）。例えば、支援情報生成部１７は、算出された画像の評価値と算出対象となった画像、および予め設定された評価値の目標値を含む支援情報の画像コンテンツを生成する。

【0059】

次に、表示部１８は、ステップＳ７で生成された支援情報を、表示装置１０９の表示画面に表示させる（ステップＳ８）。

【0060】

図６は、表示部１８による支援情報の表示例を示す図である。図６に示すように、表示装置１０９の表示画面の領域ａ１には、カメラ２で撮影された画像が表示されている。また、画像の中の領域ａ２には、検査対象の製品部分が示されている。また、表示画面の領域ａ３には、「検査箇所の現在値」として、「現在評価値：０．５４」が表示されている。また、領域ａ３には、「目標評価値：０．６３」が表示されている。このように、表示部１８は、撮影環境のメンテナンス作業を行うユーザに対して、支援情報をテキスト情報などで提示する。

【0061】

例えば、ユーザは、表示画面に表示された支援情報を確認しながら、撮影環境のメンテナンス作業を実施することができる。なお、支援情報に含まれる「現在評価値」は、上記のステップＳ１からステップＳ８までの処理が繰り返されることで、一定の周期で値が更新され、ユーザによるメンテナンス作業が反映された評価値が表示される。そのため、ユーザは「現在評価値」を確認することで、撮影環境が回復したことを把握することができる。

【0062】

次に、本実施の形態に係るメンテナンス支援装置１の効果について、図７を参照して説明する。図７の例では、ある製品のはんだ接合の出来栄えを判別する画像検査システムの撮影環境におけるメンテナンス作業の支援情報が生成されている。なお、製品のサイズは小さいため、カメラ２の設置などの撮影環境の少しのズレでも画像検査の精度に与える影響が大きい。

【0063】

図７の（ａ）は、撮影環境が予め画像判定に適した環境に設定された状態で撮影されたはんだ接合の検査対象の画像と、画像の評価値を示している。また、カメラ２を含む撮像機器には、調整位置がマークされており、評価値の値は０．６３が得られた。

【0064】

図７の（ｂ）は、従来通り、ユーザが指示マークと検査対象の画像とを目視で確認しながら撮影環境のメンテナンスを行った際に撮影されたはんだ接合の画像および評価値を示している。図７の（ｂ）のはんだ外周部分において、特にピンぼけがあり、評価値は０．５４と、図７の（ａ）の事前設定の際の評価値よりも小さい値となった。図７の（ｂ）より、ユーザが目視のみで撮影環境の設定を行った場合、画像の品質が十分でなく、再度の調整が必要となった。

【0065】

図７の（ｃ）は、本実施の形態に係るメンテナンス支援装置１を用いて、ユーザが支援情報に含まれる評価値の現在値、および、指示マークとはんだ接合の検査対象の画像を目視で確認しながら撮影環境のメンテナンス作業を行った結果の画像と評価値を示している。図７の（ｃ）に示すように、はんだ接合の画像のピンぼけは解消され、評価値「０．６５」からもわかるように、図７の（ａ）の事前設定と同様の画像の品質に復帰した。

【0066】

以上説明したように、第１の実施の形態によれば、撮影された画像の品質を定量的に評価した値を含む、撮影環境のメンテナンス作業のための支援情報を生成し、表示画面に表示するので、追加のセンサなどを設置することなく、撮影された画像のみに基づいて、カメラ２のわずかなズレによる画像の品質が変化することを防止することができる。また、メンテナンス作業を何度も行うことを回避でき、より効率的な撮影環境のメンテナンス作業の実施を支援できる。

【0067】

また、第１の実施の形態によれば、画像の空間周波数領域における高周波成分の低下の程度を表す情報が画像から抽出された、画像の品質を示す評価値を撮影環境のメンテナンス作業のための支援情報として用いる。評価値は、正規化した変曲点の値に対して設定された基準に基づいて画像の品質を表す絶対的ともいえる値である。このように、画像の品質をより容易かつ定量的に評価した評価値を支援情報として用いるので、アナログ的なメンテナンス作業が必要な場合であっても、ユーザの直感や経験値のような属人的な要素を抑制することができる。

【0068】

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

【0069】

第１の実施の形態では、画像の品質を示す評価値を含む、撮影環境のメンテナンス作業のための支援情報を生成し、表示画面に表示する場合について説明した。これに対し、第２の実施の形態では、メンテナンス支援装置１Ａは、算出された画像の品質を示す評価値に基づいて、撮影環境のメンテナンス作業の要否を判断する。以下、第１の実施の形態と異なる構成を中心に説明する。

【0070】

図８に示すように、メンテナンス支援装置１Ａは、取得部１０、補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、記憶部１６、支援情報生成部１７、表示部１８、および判断部１９を備える。

【0071】

判断部１９は、評価値算出部１５によって算出された画像の品質を示す評価値に基づいて、撮影環境のメンテナンス作業の要否を判断する。例えば、判断部２０は、予め設定された基準値などに基づいて、算出された評価値が基準値を下回る場合には、メンテナンス作業が必要であると判断することができる。例えば、図９に示すように、基準値として、「目標評価値」の０．６３を下回る「現在評価値」が算出された場合には、判断部１９は、メンテナンスが必要であると判断することができる。基準値は、外観検査の精度などに応じて設定することができる。

【0072】

支援情報生成部１７は、判断部１９による判断結果に基づいて、撮影環境のメンテナンス作業のための支援情報を生成する。例えば、判断部１９によって、メンテナンス作業が必要であると判断された場合に、支援情報生成部１７が生成する支援情報には判断結果が含まれる構成とすることができる。例えば、支援情報生成部１７は、評価値算出部１５によって算出された現在の評価値、評価値に対して設定された目標値、メンテナンスが必要であることを示す情報、および現在の評価値に対応する検査対象の画像を含む支援情報を生成する。

【0073】

表示部１８は、支援情報生成部１７が生成した支援情報を、表示装置１０９の表示画面に表示する。

【0074】

［メンテナンス支援装置の動作］
次に、上述した構成を有するメンテナンス支援装置１Ａの動作について、図１０のフローチャートを用いて説明する。なお、記憶部１６には判断部１９が判断に用いる基準値が予め格納されているものとする。

【0075】

まず、取得部１０は、カメラ２で撮影された対象物３を含む画像を取得する（ステップＳ２０）。次に、補正部１１は、取得された画像から対象物３が含まれる領域を切り出す（ステップＳ２１）。次に、変換部１２は、ステップＳ２１で補正された画像に対して２次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する（ステップＳ２２）。

【0076】

次に、モデル適用部１３は、ステップＳ２２で得られた画像のパワースペクトルに対して、式（１）に示す４パラメータ－シグモイド関数を当てはめる（ステップＳ２３）。次に、抽出部１４は、画像のパワースペクトルに適用された４パラメータ－シグモイド関数から、変曲点に対応する空間周波数を抽出する（ステップＳ２４）。

【0077】

その後、評価値算出部１５は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する（ステップＳ２５）。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。

【0078】

次に、判断部１９は、ステップＳ２５で算出された評価値が、予め設定された基準値に満たない場合には（ステップＳ２６：ＹＥＳ）、メンテナンス作業が必要であると判断し、支援情報生成部１７は、評価値の現在値、評価値の現在値に対応する検査対象の画像、評価値の目標値、およびメンテナンス作業が必要であることを示す支援情報を生成する（ステップＳ２７）。

【0079】

次に、表示部１８は、ステップＳ２７で生成された支援情報を、表示画面に表示する（ステップＳ２８）。例えば、図９の表示例に示すように、表示画面の領域ａ３において、「現在評価値」、「目標評価値」に加えて、メンテナンス作業が必要であることを示す情報「要メンテナンス」が表示されている。

【0080】

なお、ステップＳ２５で算出された評価値が、予め設定された基準値以上である場合（ステップＳ２６：ＮＯ）、判断部１９は、メンテナンス作業が必要でないと判断し、処理は終了する。しかし、メンテナンス作業が必要ないと判断された場合においても、判断結果を表示画面に表示してもよい。

【0081】

以上説明したように、第２の実施の形態によれば、判断部２０が、現在の評価値に基づいて、撮影環境のメンテナンス作業の要否を判定するので、ユーザは、メンテナンス作業が必要であることを容易に把握することができ、メンテナンス作業をより効率的に実施することができる。

【0082】

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

【0083】

第１および第２の実施の形態では、評価値の現在値を撮影環境のメンテナンス作業のための支援情報として表示する場合について説明した。これに対し、第３の実施の形態では、さらに、過去のメンテナンス作業履歴を利用して支援情報を生成する。

【0084】

［メンテナンス支援装置の機能ブロック］
図１１に示すように、メンテナンス支援装置１Ｂは、取得部１０、補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、記憶部１６、支援情報生成部１７、表示部１８、履歴ＤＢ２０、および履歴データ取得部２１を備える。

【0085】

履歴ＤＢ２０には、過去に実施されたメンテナンス作業の内容と、そのメンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の評価値とを関連付けた履歴データが記憶されている。例えば、履歴ＤＢ２０には、画像が取得された日にち、その日にちに、算出された過去の評価値、および実施されたメンテナンス作業の内容が互いに関連付けて記憶されている。

【0086】

また、メンテナンス作業の内容としては、例えば、カメラ２の絞りの調整、照明の強弱の調整、カメラ２の固定ネジの調整などが含まれる。履歴データは、例えば、入力装置１０８において、ユーザによる日にちとメンテナンス作業の入力操作が受け付けられることで、履歴ＤＢ２０に格納される。なお、過去に算出された評価値のデータは、記憶部１６に蓄積されており、履歴ＤＢ２０は、ユーザの入力操作に応じて履歴データを作成する。

【0087】

履歴データ取得部２１は、評価値算出部１５によって算出された現在の評価値に基づいて、履歴ＤＢ２０から、一定の条件を満たす履歴データを取得する。例えば、履歴データ取得部２１は、現在の評価値から一定の範囲内の過去の評価値に対して実施されたメンテナンス作業の内容を含む履歴データを履歴ＤＢ２０から取得することができる。

【0088】

なお、履歴データ取得部２１は、一定の条件として、評価値の範囲に加え、他のパラメータを用いることもできる。例えば、時間的あるいは季節的な要素、過去のメンテナンス作業の内容で比較的頻度が高い作業内容などが考慮されるように設定された条件に基づき、履歴データを取得することができる。このようにパラメータの重みづけなどを行うことで、現在の評価値が算出された状況により近い状況の履歴データを取得することができる。

【0089】

支援情報生成部１７は、評価値算出部１５によって算出された現在の評価値、予め設定された評価値の目標値、検査対象となっている製品の画像、さらには履歴データ取得部２１によって取得された履歴データを含む撮影環境のメンテナンス作業のための支援情報を生成する。

【0090】

表示部１８は、支援情報生成部１７によって生成された支援情報を、表示装置１０９の表示画面に表示する。例えば、図１２の表示例に示すように、支援情報として、領域ａ１、ａ２には検査対象の製品の画像が表示され、領域ａ３には「現在評価値」、「目標評価値」が表示される。また、領域ａ４、ａ５には、「過去メンテ情報１」および「過去メンテ情報２」として、履歴データ取得部２１によって取得されたメンテナンス作業の履歴データが表示される。このように、現在の評価値に基づいて、ユーザは、過去の類似する状況で実施されたメンテナンス作業の内容を参考にして、より的確なメンテナンス作業を行うことができる。

【0091】

［メンテナンス支援装置の動作］
次に、上述した構成を有するメンテナンス支援装置１Ｂの動作について、図１３のフローチャートを参照して説明する。なお、履歴ＤＢ２０には、予め過去のメンテナンス作業に関する履歴データが記憶されているものとする。

【0092】

まず、取得部１０は、カメラ２で撮影された対象物３を含む画像を取得する（ステップＳ３０）。次に、補正部１１は、取得された画像から対象物３が含まれる領域を切り出す（ステップＳ３１）。次に、変換部１２は、ステップＳ３１で補正された画像に対して２次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する（ステップＳ３２）。

【0093】

次に、モデル適用部１３は、ステップＳ２２で得られた画像のパワースペクトルに対して、式（１）に示す４パラメータ－シグモイド関数を当てはめる（ステップＳ３３）。次に、抽出部１４は、画像のパワースペクトルに適用された４パラメータ－シグモイド関数から、変曲点に対応する空間周波数を抽出する（ステップＳ３４）。

【0094】

その後、評価値算出部１５は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する（ステップＳ３５）。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。

【0095】

次に、履歴データ取得部２１は、ステップＳ３５で算出された評価値に基づいて、履歴ＤＢ２０から一定の条件を満たす過去のメンテナンス作業の履歴データを取得する（ステップＳ３６）。例えば、履歴データ取得部２１は、現在の評価値から一定の範囲内の過去の評価値に対して実施されたメンテナンス作業の内容を含む履歴データを履歴ＤＢ２０から取得する。あるいは、履歴データ取得部２１は、現在の評価値と目標評価値とに基づいて、過去の類似する状況を示すメンテナンス作業の履歴データを履歴ＤＢ２０から取得してもよい。

【0096】

次に、支援情報生成部１７は、評価値の現在値、評価値の目標値、検査対象の画像、および過去のメンテナンス作業の履歴データを含む支援情報を生成する（ステップＳ３７）。

【0097】

次に、表示部１８は、ステップＳ３７で生成された支援情報を、表示画面に表示する（ステップＳ３８）。

【0098】

以上説明したように、第３の実施の形態によれば、現在の評価値に加えて、過去の評価値と実際に実施されたメンテナンス作業の内容とが関連付けられた履歴データを、撮影環境のメンテナンス作業のための支援情報として表示画面に表示する。そのため、ユーザは過去の類似する状況でのメンテナンス作業を参考にすることができ、より効率的に撮影環境のメンテナンス作業を行うことができる。

【0099】

なお、説明した実施の形態では、支援情報生成部１７が生成した撮影環境のメンテナンス作業のための支援情報を、ユーザに視認可能な形態で表示する場合を例示した。しかし、支援情報は、画像情報に加えて、音声などにより提示する場合も含まれる。例えば、上述の実施の形態のように、検査対象の製品の画像、評価値、目標値などを表示画面に表示することに加え、評価値の現在値が更新されるたびに、音声により評価値の現在地をスピーカなどから出力する構成とすることもできる。また、メンテナンス作業の要否の判断結果に基づいて、メンテナンス作業が必要と判断されたときに、メンテナンス作業が必要であることを示す音声をスピーカから出力する構成とすることもできる。

【0100】

以上、本発明のメンテナンス支援装置、およびメンテナンス支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

【符号の説明】

【0101】

１…メンテナンス支援装置、２…カメラ、３…対象物、１０…取得部、１１…補正部、１２…変換部、１３…モデル適用部、１４…抽出部、１５…評価値算出部、１６…記憶部、１７…支援情報生成部、１８…表示部、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信インターフェース、１０５…補助記憶装置、１０６…入出力Ｉ／Ｏ、１０７…時計、１０８…入力装置、１０９…表示装置、ＮＷ…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】