特開2021-135906(P2021-135906A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アズビル株式会社の特許一覧
特開2021-135906メンテナンス支援装置、およびメンテナンス支援方法
<>
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000004
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000005
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000006
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000007
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000008
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000009
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000010
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000011
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000012
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000013
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000014
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000015
  • 特開2021135906-メンテナンス支援装置、およびメンテナンス支援方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-135906(P2021-135906A)
(43)【公開日】2021年9月13日
(54)【発明の名称】メンテナンス支援装置、およびメンテナンス支援方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20210816BHJP
【FI】
   G06T7/00 Q
   G06T7/00 610
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2020-33438(P2020-33438)
(22)【出願日】2020年2月28日
(71)【出願人】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】北澤 正樹
(72)【発明者】
【氏名】峯岸 寛典
(72)【発明者】
【氏名】樋口 数一
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA03
5L096DA02
5L096DA03
5L096FA23
5L096FA39
5L096MA01
(57)【要約】      (修正有)
【課題】撮像装置から取得される画像のみに基づいて、撮影環境のメンテナンス作業の支援を行うメンテナンス支援装置およびメンテナンス支援方法を提供する。
【解決手段】メンテナンス支援装置1は、カメラ2から取得された画像を空間周波数領域のスペクトルに変換する変換部12と、変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するモデル適用部13と、スペクトルに適用された非線形モデルから、変曲点に対応する空間周波数を抽出する抽出部14と、抽出された変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出する評価値算出部15と、算出された評価値を含む、カメラ2を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成する支援情報生成部17と、生成された支援情報を出力する表示部18とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
撮像装置から取得された画像を空間周波数領域のスペクトルに変換するように構成された変換部と、
前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、
抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出するように構成された評価値算出部と、
前記評価値算出部によって算出された前記評価値を含む、前記撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成するように構成された支援情報生成部と、
生成された前記支援情報を出力するように構成された出力部と
を備えるメンテナンス支援装置。
【請求項2】
請求項1に記載のメンテナンス支援装置において、
前記支援情報は、前記評価値に対して予め設定された目標値を含む
ことを特徴とするメンテナンス支援装置。
【請求項3】
請求項1または請求項2に記載のメンテナンス支援装置において、
前記評価値算出部によって算出された前記評価値に基づいて、前記撮影環境のメンテナンス作業の要否を判断するように構成された判断部をさらに備え、
前記支援情報は、前記判断部による判断結果を含む
ことを特徴とするメンテナンス支援装置。
【請求項4】
請求項1から3のいずれか1項に記載のメンテナンス支援装置において、
過去に実施されたメンテナンス作業の内容と、前記メンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の前記評価値とを関連付けた履歴データを記憶する履歴データベースと、
前記評価値算出部によって算出された前記評価値に基づいて、一定の条件を満たす履歴データを取得するように構成された履歴データ取得部と
をさらに備え、
前記支援情報は、前記履歴データ取得部によって取得された前記履歴データを含む
ことを特徴とするメンテナンス支援装置。
【請求項5】
請求項1から4のいずれか1項に記載のメンテナンス支援装置において、
前記出力部は、前記支援情報を表示画面に表示するように構成された表示部を備える
ことを特徴とするメンテナンス支援装置。
【請求項6】
撮像装置から取得された画像を空間周波数領域のスペクトルに変換する第1ステップと、
前記第1ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第2ステップと、
前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第3ステップと、
抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出する第4ステップと、
前記第4ステップで算出された前記評価値が含まれた、前記撮像装置を含む撮影環境のメンテナンス作業を支援する支援情報を生成する第5ステップと、
前記第5ステップで生成された前記支援情報を出力する第6ステップと
を備えるメンテナンス支援方法。
【請求項7】
請求項6に記載のメンテナンス支援方法において、
前記支援情報は、前記評価値に対して予め設定された目標値を含み、
前記第6ステップは、前記支援情報を表示画面に表示する
ことを特徴とするメンテナンス支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メンテナンス支援装置、およびメンテナンス支援方法に関し、特に画像を用いた外観検査システムにおける撮影環境のメンテナンス作業を支援する技術に関する。
【背景技術】
【0002】
画像を用いた品質検査における判定精度や信頼性の確保には、撮像対象である製品以外の状態が一定な画像を収集することが重要となる。そのためには日々の運用の中で、撮影環境を管理し、撮影環境に変化が生じた場合に、そのような変化が生ずる前の撮影環境に戻せることが望ましい。撮影環境には、機器の位置や固定といった撮像機器のセッティングや、絞りやシャッタースピードといった撮像のパラメータがある。
【0003】
しかしながら、撮影環境には、例えば、レンズの絞りのように、アナログで調整しなくてはならない項目があり、目視などでは変化が生ずる前と同様の設定に戻したように見えても、実際にはわずかなズレが残っている場合がある。このようなわずかなズレによっても、撮影された画像の画質の変化が発生し得るため、撮影環境を何度も調整し直すことが必要となる場合がある。
【0004】
そこで、例えば、特許文献1は、医用画像診断装置において、装置の環境情報と分解能、コントラスト値、線形値といった画質パラメータの判定結果に基づいて撮影環境に生じた故障解析を行い、撮影環境のメンテナンス手順やメンテナンス対象の部品を提示する技術を開示している。
【0005】
特許文献1に開示されている技術では、撮影された画像の画質を定量的に評価した値が用いられるが、汎用のカメラにセンサを別途付加して装置の環境情報を収集する必要があるため高コストになり、現実的な解決策ではない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4599148号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上述した課題を解決するためになされたものであり、撮像装置から取得される画像のみに基づいて、撮影環境のメンテナンス作業の支援を行うことを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明に係るメンテナンス支援装置は、撮像装置から取得された画像を空間周波数領域のスペクトルに変換するように構成された変換部と、前記変換部によって変換されたスペクトルに対して、変曲点を有する非線形モデルを適用するように構成されたモデル適用部と、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出するように構成された抽出部と、抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出するように構成された評価値算出部と、前記評価値算出部によって算出された前記評価値を含む、前記撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成するように構成された支援情報生成部と、生成された前記支援情報を出力するように構成された出力部とを備える。
【0009】
また、本発明に係るメンテナンス支援装置において、前記支援情報は、前記評価値に対して予め設定された目標値を含んでいてもよい。
【0010】
また、本発明に係るメンテナンス支援装置において、前記評価値算出部によって算出された前記評価値に基づいて、前記撮影環境のメンテナンス作業の要否を判断するように構成された判断部をさらに備え、前記支援情報は、前記判断部による判断結果を含んでいてもよい。
【0011】
また、本発明に係るメンテナンス支援装置において、過去に実施されたメンテナンス作業の内容と、前記メンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の前記評価値とを関連付けた履歴データを記憶する履歴データベースと、前記評価値算出部によって算出された前記評価値に基づいて、一定の条件を満たす履歴データを取得するように構成された履歴データ取得部とをさらに備え、前記支援情報は、前記履歴データ取得部によって取得された前記履歴データを含んでいてもよい。
【0012】
また、本発明に係るメンテナンス支援装置において前記出力部は、前記支援情報を表示画面に表示するように構成された表示部を備えていてもよい。
【0013】
上述した課題を解決するために、本発明に係るメンテナンス支援方法は、撮像装置から取得された画像を空間周波数領域のスペクトルに変換する第1ステップと、前記第1ステップで変換されたスペクトルに対して、変曲点を有する非線形モデルを適用する第2ステップと、前記スペクトルに適用された前記非線形モデルから、前記変曲点に対応する空間周波数を抽出する第3ステップと、抽出された前記変曲点に対応する空間周波数に基づいて前画像の品質を示す評価値を算出する第4ステップと、前記第4ステップで算出された前記評価値が含まれた、前記撮像装置を含む撮影環境のメンテナンス作業を支援する支援情報を生成する第5ステップと、前記第5ステップで生成された前記支援情報を出力する第6ステップとを備える。
【0014】
また、本発明に係るメンテナンス支援方法において、前記支援情報は、前記評価値に対して予め設定された目標値を含み、前記第6ステップは、前記支援情報を表示画面に表示してもよい。
【発明の効果】
【0015】
本発明によれば、評価値算出部によって算出された画像の品質を示す評価値を含む、撮像装置を含んだ撮影環境のメンテナンス作業を支援する支援情報を生成して出力するので、撮像装置から取得される画像のみに基づいて、撮影環境のメンテナンス作業の支援を行うことができる。
【図面の簡単な説明】
【0016】
図1図1は、本発明の第1の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。
図2図2は、第1の実施の形態に係るメンテナンス支援装置のハードウェア構成の一例を示すブロック図である。
図3図3は、第1の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。
図4図4は、第1の実施の形態に係るメンテナンス支援装置により算出される評価値を説明するための図である。
図5図5は、第1の実施の形態に係るメンテナンス支援装置により算出される評価値を説明するための図である。
図6図6は、第1の実施の形態に係るメンテナンス支援装置による支援情報の表示例を示す図である。
図7図7は、第1の実施の形態に係るメンテナンス支援装置の効果を説明するための図である。
図8図8は、第2の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。
図9図9は、第2の実施の形態に係るメンテナンス支援装置による支援情報の表示例を示す図である。
図10図10は、第2の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。
図11図11は、第3の実施の形態に係るメンテナンス支援装置の構成を示すブロック図である。
図12図12は、第3の実施の形態に係るメンテナンス支援装置が備える表示部による表示例を示す図である。
図13図13は、第3の実施の形態に係るメンテナンス支援装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の好適な実施の形態について、図1から図13を参照して詳細に説明する。
【0018】
[発明の概要]
はじめに、本発明の実施の形態に係るメンテナンス支援装置1の概要について説明する。
メンテナンス支援装置1は、例えば、製造プロセスで得られた製品の画像に基づいて製品の外観検査を行う画像検査システムに構築された撮影環境のメンテナンス作業の支援を行う。
【0019】
画像検査システムでは、カメラ2の位置、照明、および対象物3の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる各対象物3は、同じ環境設定のもとで撮影されることが想定されている。しかし、何らかの原因により、設備に振動が生じたり、製品の設置位置の高さが変わったり、カメラ2の位置の微細なずれなどが生ずる場合がある。特に、対象物3が微細な製品であるような場合には、微小な環境変化は、撮影された画像に大きな変化を与え、外観検査の結果にも影響を及ぼす場合がある。
【0020】
本実施の形態において、画像の品質とは、撮影された画像のピントや明るさに関する、画像の空間周波数領域における高周波成分の分布で表される画像の状態に関する情報である。例えば、ピントが合っていないぼやけた画像や、ハレーションが生じた画像などは、ピントの合った自然画像と比較して高周波成分が低下していることが知られている。
【0021】
また、本実施の形態に係るメンテナンス支援装置1は、画像の空間周波数領域における高周波成分の低下の程度を表す情報を各画像から抽出し、各画像の品質を示す評価値として用いる。
【0022】
メンテナンス支援装置1は、画像検査システムで撮影済みの製品の画像の画質を定量的に評価した評価値を算出し、評価値を含む、撮影環境のメンテナンス作業を支援する支援情報を生成する。また、メンテナンス支援装置1は、生成した支援情報を表示画面に表示する。
【0023】
外観検査の精度を維持するために、カメラ2を含む撮影環境の設定された状態に保つメンテナンス作業を実施するユーザは、表示画面に表示された支援情報に含まれる画像の品質を示す評価値およびカメラ2で撮影された実際の画像を確認しながらメンテナンス作業を実施することができる。
【0024】
[メンテナンス支援装置の機能ブロック]
図1に示すように、メンテナンス支援装置1は、外部に設置されているカメラ2によって撮影された製品などの対象物3の画像を取得する。カメラ2によって撮影された画像には、製品などの対象物3の外観が含まれる。
【0025】
カメラ2の位置、照明、および対象物3の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる対象物3は、同じ環境設定のもと撮影されている。しかし、本実施の形態では、前述したように、何らかの原因により、設備に振動が生じたり、製品自体の高さが変わったり、カメラ2の位置の微細なずれなどが生ずる場合がある。このような撮影環境における環境設定の変化により生じた画質の低下を示す情報が支援情報としてユーザに提示されることで、ユーザは撮影環境のメンテナンス作業を行い、カメラ2の位置などが修正される。
【0026】
メンテナンス支援装置1は、取得部10、補正部11、変換部12、モデル適用部13、抽出部14、評価値算出部15、記憶部16、支援情報生成部17、および表示部18(出力部)を備える。
【0027】
取得部10は、図1に示すように、外部に設置されたカメラ2(撮像装置)によって撮影された対象物3の画像を取得する。このような取得部10は、インターフェース回路によって実現することができる。取得部10は、複数の画像を有線または無線通信によってカメラ2から取得する。画像は、例えば、静止画像のデジタルデータである。
【0028】
補正部11は、取得部10によって取得された対象物3の画像に含まれる対象物3の領域の切り出し、色調補正、リサイズ、ノイズの除去など予め設定された補正処理を行う。
【0029】
変換部12は、補正部11によって補正処理が行われた画像を、空間周波数領域のスペクトルに変換する。より詳細には、変換部12は、空間領域の画像を2次元離散フーリエ変換して、極座標変換を行うことで、画像ごとの空間周波数分布を示す周波数スペクトル、すなわちパワースペクトルを出力する。
【0030】
モデル適用部13は、変換部12によって得られたスペクトルに対して、変曲点を有する非線形モデルを適用する。ここで、非線形モデルは、画像の空間周波数スペクトルをモデル化したものである。非線形モデルとして、変曲点を示すパラメータを唯一つ有する非線形関数を用いる。変曲点を有する非線形関数として、例えば、シグモイド関数などの非線形単調減少関数を用いることができる。本実施の形態においては、次の式(1)に示すような4パラメータ−シグモイド関数を用いた場合を例に説明する。
【0031】
【数1】
ただし、a、bは上限および下限を決めるパラメータ、cは曲線形状を決めるパラメータ、dは変曲点を示すパラメータである。
【0032】
モデル適用部13は、例えば、変換部12によって得られたスペクトルと4パラメータ−シグモイド関数モデルとの誤差が最小となるように、4パラメータ−シグモイド関数のパラメータa、b、c、dの値を求める。
【0033】
抽出部14は、スペクトルにあてはめられた非線形モデルから、変曲点を示すパラメータdの値を抽出する。より詳細には、抽出部14は、モデル適用部13によって画像のパワースペクトルに当てはめられた4パラメータ−シグモイド関数の変曲点dの値、すなわち、画像の周波数スペクトルの変曲点に対応する空間周波数(周期)を抽出する。
【0034】
ピントが外れて画像にボケが生じているような場合、パワースペクトルの高周波成分が低下することが知られている。本実施の形態では、上式(1)に示す4パラメータ−シグモイド関数が当てはめられたパワースペクトルの変曲点の値を、その画像における高周波成分の低下具合を示す情報として抽出する。
【0035】
評価値算出部15は、変曲点の値に対して設定された基準に基づいて、抽出部14が抽出した変曲点の値に係る画像の品質を示す評価値を算出する。本実施の形態では、評価値算出部15は、抽出部14が抽出した変曲点の値を、対象の画像の最大周波数で除して正規化した値を評価値として算出する。
【0036】
記憶部16は、取得部10によって取得された製品の画像と、評価値算出部15によって算出された評価値とを対応付けて記憶する。また、記憶部16は、撮影環境のメンテナンス支援のための画像の品質の目標値として、予め設定された評価値の値を記憶してもよい。
【0037】
支援情報生成部17は、評価値算出部15によって算出された評価値を含む、カメラ2を含んだ撮影環境のメンテナンス作業を支援するための支援情報を生成する。また、支援情報には、評価値算出部15によって算出された評価値に加えて、予め設定された目標値および評価値の算出対象となった製品の画像が含まれる。
【0038】
表示部18は、支援情報生成部17によって生成された撮影環境のメンテナンス作業のための支援情報を、後述の表示装置109の表示画面に表示させる。
【0039】
[メンテナンス支援装置のハードウェア構成]
次に、上述した機能を有するメンテナンス支援装置1を実現するハードウェア構成の一例について、図2のブロック図を参照して説明する。
【0040】
図2に示すように、メンテナンス支援装置1は、例えば、バス101を介して接続されるプロセッサ102、主記憶装置103、通信インターフェース104、補助記憶装置105、入出力I/O106、時計107、入力装置108、および表示装置109を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。プロセッサ102は、CPUやGPUなどによって構成される。
【0041】
主記憶装置103には、プロセッサ102が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ102と主記憶装置103とによって、図1に示した補正部11、変換部12、モデル適用部13、抽出部14、評価値算出部15、支援情報生成部17など、メンテナンス支援装置1の各機能が実現される。
【0042】
通信インターフェース104は、メンテナンス支援装置1と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。通信インターフェース104によって図1に示した取得部10が実現される。通信インターフェース104は、例えば、通信ネットワークNWを介して接続されている、メンテナンス作業を行うユーザによって用いられる通信端末装置に支援情報を送信することができる。
【0043】
補助記憶装置105は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置105には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。
【0044】
補助記憶装置105は、メンテナンス支援装置1が画像の補正処理、フーリエ変換処理、非線形モデルの適用処理、変曲点の抽出処理、評価値算出処理、および支援情報生成処理を含む撮影環境のメンテナンス支援プログラムを格納するプログラム格納領域を有する。また、補助記憶装置105は、モデル適用部13が用いる4パラメータ−シグモイド関数を格納する領域を有する。補助記憶装置105は、取得部10が取得したカメラ2による撮影画像を記憶する領域を有する。また、補助記憶装置105は、評価値の目標値を格納する領域を有する。
【0045】
補助記憶装置105によって、図1で説明した記憶部16が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。
【0046】
入出力I/O106は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするI/O端子により構成される。
【0047】
時計107は、メンテナンス支援装置1の内部時計であり、時間を計時する。あるいは、時計107は、外部のタイムサーバから時刻情報を取得してもよい。
【0048】
入力装置108は、物理キーやタッチパネルなどで構成され、外部からの操作入力に応じた信号を出力する。例えば、入力装置108は、補助記憶装置105に格納される評価値の目標値の入力を受け付けることができる。
【0049】
表示装置109は、液晶ディスプレイなどによって構成される。表示装置109は、図1で説明した表示部18を実現する。
【0050】
カメラ2は、光信号を画像信号に変換して、動画や静止画像を生成することができる。カメラ2が画像を撮影する場合の倍率、焦点などは、予めカメラ2が備える図示されない制御部によって自動的に設定される。カメラ2とメンテナンス支援装置1との間の通信は、無線で行われてもよい。また、カメラ2の絞りの調整や、固定ネジなどの調整が、ユーザによる撮影環境のメンテナンス作業として実施される。
【0051】
[メンテナンス支援装置の動作]
次に、上述した構成を有するメンテナンス支援装置1の動作について、図3のフローチャートを用いて説明する。前提として、全ての画像が一定の角度、距離、照明環境で撮影されるような事前の設定がなされているものとする。しかし、周辺の環境および製品のばらつきや、設備の振動などによって、カメラ2で撮影される画像にばらつきが生ずる場合を仮定する。
【0052】
図3に示すように、まず、取得部10は、カメラ2で撮影された対象物3を含む画像を取得する(ステップS1)。例えば、カメラ2は、同一の製品に係る複数の対象物3の各々の画像を撮影することができる。次に、補正部11は、取得された各画像から対象物3が含まれる領域を切り出す(ステップS2)。次に、変換部12は、ステップS2で補正された画像に対して2次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する(ステップS3)。
【0053】
次に、モデル適用部13は、ステップS3で得られた画像のパワースペクトルに対して、式(1)に示す4パラメータ−シグモイド関数を当てはめる(ステップS4)。次に、抽出部14は、各画像のパワースペクトルに適用された4パラメータ−シグモイド関数から、変曲点に対応する空間周波数を抽出する(ステップS5)。
【0054】
その後、評価値算出部15は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する(ステップS6)。具体的には、評価値算出部15は、抽出部14が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。
【0055】
図4は、ピントが合った画像、すなわち、評価値の最良値(評価値:1.0)の例を示している。また、図4は、画像のパワースペクトル(ps)、および4パラメータ−シグモイド関数が適用されたパワースペクトル(sigm)を示している。図4に示すような、評価値が最良値のピントが合った自然画像では、パワースペクトルが対数軸上で直線になっている。また、図4に示すように、評価値が最良値の1.0の画像の変曲点dは、破線で示すようにパワースペクトルにおける横軸上(周期)の右端に現れる。
【0056】
図5は、複数の対象物3の画像(a),(b),(c),(d),(e)と、それぞれの空間周波数領域のパワースペクトル(ps)、4パラメータ−シグモイド関数がフィッティングされたパワースペクトル(sigm)、変曲点d、および評価値を示している。
【0057】
図5の例では、画像(a)から(e)に向かって画像のボケがより強くなっている。各画像の変曲点d(破線)に着目すると、画像のボケが強くなるにしたがって、画像の強度と周期との関係を表すスペクトルの横軸上の右端から左端へ変曲点dが移動することがわかる。このように、変曲点dを画像の高周波成分の分布の減少を示す情報として用いることで、画像の品質を評価する定量的な評価値が算出される。
【0058】
図3のフローチャートに戻り、支援情報生成部17は、ステップS6で算出された画像の評価値を含む撮影環境のメンテナンス作業のための支援情報を生成する(ステップS7)。例えば、支援情報生成部17は、算出された画像の評価値と算出対象となった画像、および予め設定された評価値の目標値を含む支援情報の画像コンテンツを生成する。
【0059】
次に、表示部18は、ステップS7で生成された支援情報を、表示装置109の表示画面に表示させる(ステップS8)。
【0060】
図6は、表示部18による支援情報の表示例を示す図である。図6に示すように、表示装置109の表示画面の領域a1には、カメラ2で撮影された画像が表示されている。また、画像の中の領域a2には、検査対象の製品部分が示されている。また、表示画面の領域a3には、「検査箇所の現在値」として、「現在評価値:0.54」が表示されている。また、領域a3には、「目標評価値:0.63」が表示されている。このように、表示部18は、撮影環境のメンテナンス作業を行うユーザに対して、支援情報をテキスト情報などで提示する。
【0061】
例えば、ユーザは、表示画面に表示された支援情報を確認しながら、撮影環境のメンテナンス作業を実施することができる。なお、支援情報に含まれる「現在評価値」は、上記のステップS1からステップS8までの処理が繰り返されることで、一定の周期で値が更新され、ユーザによるメンテナンス作業が反映された評価値が表示される。そのため、ユーザは「現在評価値」を確認することで、撮影環境が回復したことを把握することができる。
【0062】
次に、本実施の形態に係るメンテナンス支援装置1の効果について、図7を参照して説明する。図7の例では、ある製品のはんだ接合の出来栄えを判別する画像検査システムの撮影環境におけるメンテナンス作業の支援情報が生成されている。なお、製品のサイズは小さいため、カメラ2の設置などの撮影環境の少しのズレでも画像検査の精度に与える影響が大きい。
【0063】
図7の(a)は、撮影環境が予め画像判定に適した環境に設定された状態で撮影されたはんだ接合の検査対象の画像と、画像の評価値を示している。また、カメラ2を含む撮像機器には、調整位置がマークされており、評価値の値は0.63が得られた。
【0064】
図7の(b)は、従来通り、ユーザが指示マークと検査対象の画像とを目視で確認しながら撮影環境のメンテナンスを行った際に撮影されたはんだ接合の画像および評価値を示している。図7の(b)のはんだ外周部分において、特にピンぼけがあり、評価値は0.54と、図7の(a)の事前設定の際の評価値よりも小さい値となった。図7の(b)より、ユーザが目視のみで撮影環境の設定を行った場合、画像の品質が十分でなく、再度の調整が必要となった。
【0065】
図7の(c)は、本実施の形態に係るメンテナンス支援装置1を用いて、ユーザが支援情報に含まれる評価値の現在値、および、指示マークとはんだ接合の検査対象の画像を目視で確認しながら撮影環境のメンテナンス作業を行った結果の画像と評価値を示している。図7の(c)に示すように、はんだ接合の画像のピンぼけは解消され、評価値「0.65」からもわかるように、図7の(a)の事前設定と同様の画像の品質に復帰した。
【0066】
以上説明したように、第1の実施の形態によれば、撮影された画像の品質を定量的に評価した値を含む、撮影環境のメンテナンス作業のための支援情報を生成し、表示画面に表示するので、追加のセンサなどを設置することなく、撮影された画像のみに基づいて、カメラ2のわずかなズレによる画像の品質が変化することを防止することができる。また、メンテナンス作業を何度も行うことを回避でき、より効率的な撮影環境のメンテナンス作業の実施を支援できる。
【0067】
また、第1の実施の形態によれば、画像の空間周波数領域における高周波成分の低下の程度を表す情報が画像から抽出された、画像の品質を示す評価値を撮影環境のメンテナンス作業のための支援情報として用いる。評価値は、正規化した変曲点の値に対して設定された基準に基づいて画像の品質を表す絶対的ともいえる値である。このように、画像の品質をより容易かつ定量的に評価した評価値を支援情報として用いるので、アナログ的なメンテナンス作業が必要な場合であっても、ユーザの直感や経験値のような属人的な要素を抑制することができる。
【0068】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、以下の説明では、上述した第1の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0069】
第1の実施の形態では、画像の品質を示す評価値を含む、撮影環境のメンテナンス作業のための支援情報を生成し、表示画面に表示する場合について説明した。これに対し、第2の実施の形態では、メンテナンス支援装置1Aは、算出された画像の品質を示す評価値に基づいて、撮影環境のメンテナンス作業の要否を判断する。以下、第1の実施の形態と異なる構成を中心に説明する。
【0070】
図8に示すように、メンテナンス支援装置1Aは、取得部10、補正部11、変換部12、モデル適用部13、抽出部14、評価値算出部15、記憶部16、支援情報生成部17、表示部18、および判断部19を備える。
【0071】
判断部19は、評価値算出部15によって算出された画像の品質を示す評価値に基づいて、撮影環境のメンテナンス作業の要否を判断する。例えば、判断部20は、予め設定された基準値などに基づいて、算出された評価値が基準値を下回る場合には、メンテナンス作業が必要であると判断することができる。例えば、図9に示すように、基準値として、「目標評価値」の0.63を下回る「現在評価値」が算出された場合には、判断部19は、メンテナンスが必要であると判断することができる。基準値は、外観検査の精度などに応じて設定することができる。
【0072】
支援情報生成部17は、判断部19による判断結果に基づいて、撮影環境のメンテナンス作業のための支援情報を生成する。例えば、判断部19によって、メンテナンス作業が必要であると判断された場合に、支援情報生成部17が生成する支援情報には判断結果が含まれる構成とすることができる。例えば、支援情報生成部17は、評価値算出部15によって算出された現在の評価値、評価値に対して設定された目標値、メンテナンスが必要であることを示す情報、および現在の評価値に対応する検査対象の画像を含む支援情報を生成する。
【0073】
表示部18は、支援情報生成部17が生成した支援情報を、表示装置109の表示画面に表示する。
【0074】
[メンテナンス支援装置の動作]
次に、上述した構成を有するメンテナンス支援装置1Aの動作について、図10のフローチャートを用いて説明する。なお、記憶部16には判断部19が判断に用いる基準値が予め格納されているものとする。
【0075】
まず、取得部10は、カメラ2で撮影された対象物3を含む画像を取得する(ステップS20)。次に、補正部11は、取得された画像から対象物3が含まれる領域を切り出す(ステップS21)。次に、変換部12は、ステップS21で補正された画像に対して2次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する(ステップS22)。
【0076】
次に、モデル適用部13は、ステップS22で得られた画像のパワースペクトルに対して、式(1)に示す4パラメータ−シグモイド関数を当てはめる(ステップS23)。次に、抽出部14は、画像のパワースペクトルに適用された4パラメータ−シグモイド関数から、変曲点に対応する空間周波数を抽出する(ステップS24)。
【0077】
その後、評価値算出部15は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する(ステップS25)。具体的には、評価値算出部15は、抽出部14が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。
【0078】
次に、判断部19は、ステップS25で算出された評価値が、予め設定された基準値に満たない場合には(ステップS26:YES)、メンテナンス作業が必要であると判断し、支援情報生成部17は、評価値の現在値、評価値の現在値に対応する検査対象の画像、評価値の目標値、およびメンテナンス作業が必要であることを示す支援情報を生成する(ステップS27)。
【0079】
次に、表示部18は、ステップS27で生成された支援情報を、表示画面に表示する(ステップS28)。例えば、図9の表示例に示すように、表示画面の領域a3において、「現在評価値」、「目標評価値」に加えて、メンテナンス作業が必要であることを示す情報「要メンテナンス」が表示されている。
【0080】
なお、ステップS25で算出された評価値が、予め設定された基準値以上である場合(ステップS26:NO)、判断部19は、メンテナンス作業が必要でないと判断し、処理は終了する。しかし、メンテナンス作業が必要ないと判断された場合においても、判断結果を表示画面に表示してもよい。
【0081】
以上説明したように、第2の実施の形態によれば、判断部20が、現在の評価値に基づいて、撮影環境のメンテナンス作業の要否を判定するので、ユーザは、メンテナンス作業が必要であることを容易に把握することができ、メンテナンス作業をより効率的に実施することができる。
【0082】
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。なお、以下の説明では、上述した第1および第2の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0083】
第1および第2の実施の形態では、評価値の現在値を撮影環境のメンテナンス作業のための支援情報として表示する場合について説明した。これに対し、第3の実施の形態では、さらに、過去のメンテナンス作業履歴を利用して支援情報を生成する。
【0084】
[メンテナンス支援装置の機能ブロック]
図11に示すように、メンテナンス支援装置1Bは、取得部10、補正部11、変換部12、モデル適用部13、抽出部14、評価値算出部15、記憶部16、支援情報生成部17、表示部18、履歴DB20、および履歴データ取得部21を備える。
【0085】
履歴DB20には、過去に実施されたメンテナンス作業の内容と、そのメンテナンス作業の対象となった撮影環境において取得された画像の品質を示す過去の評価値とを関連付けた履歴データが記憶されている。例えば、履歴DB20には、画像が取得された日にち、その日にちに、算出された過去の評価値、および実施されたメンテナンス作業の内容が互いに関連付けて記憶されている。
【0086】
また、メンテナンス作業の内容としては、例えば、カメラ2の絞りの調整、照明の強弱の調整、カメラ2の固定ネジの調整などが含まれる。履歴データは、例えば、入力装置108において、ユーザによる日にちとメンテナンス作業の入力操作が受け付けられることで、履歴DB20に格納される。なお、過去に算出された評価値のデータは、記憶部16に蓄積されており、履歴DB20は、ユーザの入力操作に応じて履歴データを作成する。
【0087】
履歴データ取得部21は、評価値算出部15によって算出された現在の評価値に基づいて、履歴DB20から、一定の条件を満たす履歴データを取得する。例えば、履歴データ取得部21は、現在の評価値から一定の範囲内の過去の評価値に対して実施されたメンテナンス作業の内容を含む履歴データを履歴DB20から取得することができる。
【0088】
なお、履歴データ取得部21は、一定の条件として、評価値の範囲に加え、他のパラメータを用いることもできる。例えば、時間的あるいは季節的な要素、過去のメンテナンス作業の内容で比較的頻度が高い作業内容などが考慮されるように設定された条件に基づき、履歴データを取得することができる。このようにパラメータの重みづけなどを行うことで、現在の評価値が算出された状況により近い状況の履歴データを取得することができる。
【0089】
支援情報生成部17は、評価値算出部15によって算出された現在の評価値、予め設定された評価値の目標値、検査対象となっている製品の画像、さらには履歴データ取得部21によって取得された履歴データを含む撮影環境のメンテナンス作業のための支援情報を生成する。
【0090】
表示部18は、支援情報生成部17によって生成された支援情報を、表示装置109の表示画面に表示する。例えば、図12の表示例に示すように、支援情報として、領域a1、a2には検査対象の製品の画像が表示され、領域a3には「現在評価値」、「目標評価値」が表示される。また、領域a4、a5には、「過去メンテ情報1」および「過去メンテ情報2」として、履歴データ取得部21によって取得されたメンテナンス作業の履歴データが表示される。このように、現在の評価値に基づいて、ユーザは、過去の類似する状況で実施されたメンテナンス作業の内容を参考にして、より的確なメンテナンス作業を行うことができる。
【0091】
[メンテナンス支援装置の動作]
次に、上述した構成を有するメンテナンス支援装置1Bの動作について、図13のフローチャートを参照して説明する。なお、履歴DB20には、予め過去のメンテナンス作業に関する履歴データが記憶されているものとする。
【0092】
まず、取得部10は、カメラ2で撮影された対象物3を含む画像を取得する(ステップS30)。次に、補正部11は、取得された画像から対象物3が含まれる領域を切り出す(ステップS31)。次に、変換部12は、ステップS31で補正された画像に対して2次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する(ステップS32)。
【0093】
次に、モデル適用部13は、ステップS22で得られた画像のパワースペクトルに対して、式(1)に示す4パラメータ−シグモイド関数を当てはめる(ステップS33)。次に、抽出部14は、画像のパワースペクトルに適用された4パラメータ−シグモイド関数から、変曲点に対応する空間周波数を抽出する(ステップS34)。
【0094】
その後、評価値算出部15は、抽出された変曲点に対応する空間周波数に基づいて、画像の品質を示す評価値を算出する(ステップS35)。具体的には、評価値算出部15は、抽出部14が抽出した変曲点に対応する空間周波数の値を、対象の画像の最大周波数で除した値を評価値として算出する。
【0095】
次に、履歴データ取得部21は、ステップS35で算出された評価値に基づいて、履歴DB20から一定の条件を満たす過去のメンテナンス作業の履歴データを取得する(ステップS36)。例えば、履歴データ取得部21は、現在の評価値から一定の範囲内の過去の評価値に対して実施されたメンテナンス作業の内容を含む履歴データを履歴DB20から取得する。あるいは、履歴データ取得部21は、現在の評価値と目標評価値とに基づいて、過去の類似する状況を示すメンテナンス作業の履歴データを履歴DB20から取得してもよい。
【0096】
次に、支援情報生成部17は、評価値の現在値、評価値の目標値、検査対象の画像、および過去のメンテナンス作業の履歴データを含む支援情報を生成する(ステップS37)。
【0097】
次に、表示部18は、ステップS37で生成された支援情報を、表示画面に表示する(ステップS38)。
【0098】
以上説明したように、第3の実施の形態によれば、現在の評価値に加えて、過去の評価値と実際に実施されたメンテナンス作業の内容とが関連付けられた履歴データを、撮影環境のメンテナンス作業のための支援情報として表示画面に表示する。そのため、ユーザは過去の類似する状況でのメンテナンス作業を参考にすることができ、より効率的に撮影環境のメンテナンス作業を行うことができる。
【0099】
なお、説明した実施の形態では、支援情報生成部17が生成した撮影環境のメンテナンス作業のための支援情報を、ユーザに視認可能な形態で表示する場合を例示した。しかし、支援情報は、画像情報に加えて、音声などにより提示する場合も含まれる。例えば、上述の実施の形態のように、検査対象の製品の画像、評価値、目標値などを表示画面に表示することに加え、評価値の現在値が更新されるたびに、音声により評価値の現在地をスピーカなどから出力する構成とすることもできる。また、メンテナンス作業の要否の判断結果に基づいて、メンテナンス作業が必要と判断されたときに、メンテナンス作業が必要であることを示す音声をスピーカから出力する構成とすることもできる。
【0100】
以上、本発明のメンテナンス支援装置、およびメンテナンス支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【符号の説明】
【0101】
1…メンテナンス支援装置、2…カメラ、3…対象物、10…取得部、11…補正部、12…変換部、13…モデル適用部、14…抽出部、15…評価値算出部、16…記憶部、17…支援情報生成部、18…表示部、101…バス、102…プロセッサ、103…主記憶装置、104…通信インターフェース、105…補助記憶装置、106…入出力I/O、107…時計、108…入力装置、109…表示装置、NW…通信ネットワーク。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13