【解決手段】振動解析システム1は、所定の時間間隔で撮影された画像データを記憶する記憶部22と、画像データから被写体の振動を解析する演算部212と、を備える。演算部212は、記憶部22に記憶された画像データ内の各画素における輝度の時間変化をフーリエ変換し、所定の周波数における、基準画素と各画素との位相差を算出する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の振動解析方法では、振動状態を表すパラメータとして振幅を用いている。しかしながら、振幅は、フーリエ変換に用いられる画素情報である輝度によって変化するため、被写体への照明の当たり具合や、被写体を撮影するカメラと被写体との距離等の影響を受けやすい。したがって、振幅をパラメータとする振動解析方法では、精度よく解析を行うことは難しい。
【0006】
本発明は、上述の事情に鑑みてなされたものであり、時系列画像に基づいて、検査対象の振動状態を表す位相差を算出することにより、解析精度の高い振動解析システム、振動解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第1の観点に係る振動解析システムは、
所定の時間間隔で撮影された画像データを記憶する記憶部と、
前記画像データから被写体の振動を解析する演算部と、を備え、
前記演算部は、
前記記憶部に記憶された前記画像データ内の各画素における輝度の時間変化をフーリエ変換し、
所定の周波数における、基準画素と各画素との位相差を算出する。
【0008】
また、前記演算部は、
各画素について算出された前記位相差を示す位相差スペクトル画像を生成する、
こととしてもよい。
【0009】
また、前記演算部は、
前記位相差スペクトル画像と、前記記憶部に予め記憶された、正常状態の各画素の前記位相差を示す正常位相差スペクトル画像とを比較することにより、異常振動の発生箇所を検出する、
こととしてもよい。
【0010】
また、前記被写体の不具合の有無を推定する判定部を備え、
前記記憶部は、
複数の前記位相差スペクトル画像を教師データとして、画素間の位相差の変化量から、前記被写体の不具合の有無を推定するように、機械学習により生成された推定モデルを記憶しており、
前記判定部は、
前記演算部で生成された位相差スペクトル画像を、前記推定モデルに入力し、前記推定モデルの出力結果に基づいて、前記被写体の不具合の有無を推定する、
こととしてもよい。
【0011】
また、前記教師データは、コンピュータシミュレーションによって作成された位相差スペクトル画像を含む、
こととしてもよい。
【0012】
また、前記演算部は、
画素の位相勾配から、振動の伝搬速度を算出する、
こととしてもよい。
【0013】
また、前記演算部は、
複数の時刻について、計測区間内の画素における位相の分散を算出し、
算出された前記分散が最小となる時刻を選択して、位相勾配を算出する、
こととしてもよい。
【0014】
また、本発明の第2の観点に係る振動解析方法は、
所定の時間間隔で撮影された画像データに基づいて、前記画像データから被写体の振動を解析する振動解析ステップと、
解析された各画素の振動情報に基づいて、所定の周波数における、基準画素と各画素との位相差を算出する位相差算出ステップと、を含み、
前記振動解析ステップでは、
前記画像データ内の各画素における輝度の時間変化をフーリエ変換して振動を解析する。
【0015】
また、画素の位相勾配から、振動の伝搬速度を算出する伝搬速度算出ステップを含む、
こととしてもよい。
【0016】
また、本発明の第3の観点に係るプログラムは、
コンピュータを、
所定の時間間隔で撮影された画像データを記憶する記憶部、
前記記憶部に記憶された前記画像データ内の各画素における輝度の時間変化をフーリエ変換して振動を解析し、
所定の周波数における、基準画素と各画素との位相差を算出する演算部、
として機能させる。
【発明の効果】
【0017】
本発明の振動解析システム、振動解析方法及びプログラムによれば、時系列画像に基づいて、被写体の振動状態を表す位相差を算出するので、雑音の影響を抑制し、精度の高い振動解析を行うことが可能である。
【発明を実施するための形態】
【0019】
以下、図を参照しつつ、本発明の実施の形態に係る振動解析システム1について説明する。
【0020】
(実施の形態1)
図1のブロック図に示すように、本実施の形態に係る振動解析システム1は、カメラ11、制御ユニット20を備える。
【0021】
カメラ11は、検査対象となる被写体Sの画像を取得する高速度カメラである。カメラ11は、検査のために被写体Sに加えられる振動周波数f
iの2倍以上の周波数で撮影可能なカメラである。
【0022】
制御ユニット20は、例えばコンピュータ装置であり、
図1に示すように、制御部21、記憶部22、表示部23、入力部24を備える。
【0023】
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、水晶発振器等から構成されており、振動解析システム1の動作を制御するとともに、カメラ11で撮影された画像の画像データI
tに基づいて被写体Sの振動状態を解析する。制御部21は、制御部21のROM、記憶部22等に記憶されている各種動作プログラム及びデータをRAMに読み込んでCPUを動作させることにより、
図1に示される制御部21の各機能を実現させる。これにより、制御部21は、画像データ取得部211、演算部212として動作する。
【0024】
画像データ取得部211は、カメラ11を制御して、加振されている被写体Sを所定の時間間隔(フレームレート)で撮影し、時系列の画像データI
tを取得する。また、画像データ取得部211は、取得した画像データI
tを記憶部22へ送信し、記憶させる。
【0025】
演算部212は、記憶部22に記憶されている画像データI
tを取得して、被写体Sの振動状態を解析する。本実施の形態では、演算部212は、時系列データとしての画像データI
tから、所定の窓、すなわち所定の期間に対応する画像データI
tにおける各画素の輝度変化を抽出し、フーリエ変換することにより、振動情報(振動スペクトル)を算出する。そして、算出された振動スペクトルに基づいて、各画素の位相スペクトルを算出し、出力画像データとしての位相差スペクトル画像I
Pを作成する。詳細な解析方法については、後述する。
【0026】
記憶部22は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、時系列の画像データI
tから被写体Sの振動状態を解析する演算アルゴリズム、作成された位相差スペクトル画像I
P等を記憶する。
【0027】
表示部23は、コンピュータ装置である制御ユニット20に備えられた表示用デバイスであり、例えば液晶パネルである。表示部23は、カメラ11で撮影された被写体Sの画像、演算部212で作成された被写体Sの振動状態を示す位相差スペクトル画像I
P等を表示する。
【0028】
入力部24は、カメラ11に対する撮影の開始、終了指示、フレームレート、窓となる期間の長さ、被写体Sの振動解析条件の変更等を入力するための入力デバイスである。入力部24は、制御ユニット20に備えられたキーボード、タッチパネル、マウス等である。
【0029】
続いて、振動解析システム1を用いた振動解析方法について、
図2のフローチャートを参照しつつ、具体的に説明する。本実施の形態では、
図3に示すように、検査対象であるゴムシートGSの中心部に振動を加え、ゴムシートGSの振動状態を解析する場合を例として説明する。
【0030】
図3に示すように、矩形状のゴムシートGSの対向する一辺を固定し、ゴムシートGSの中心部に加振器31を接触させるようにセットする。本実施の形態に係るゴムシートGSの大きさは、300mm×300mmであり、厚さは0.5mmである。
【0031】
振動解析ステップとして、まず、加振器31を動作させ、ゴムシートGSの主面に直交する方向に、一定の振動周波数f
iで振動を加える(ステップS11)。
【0032】
加振器31の振動周波数f
iは、特に限定されず、検査対象である被写体Sの不具合を認識しやすい周波数を用いればよい。本実施の形態に係る加振器31は、振動周波数f
i=100Hzの正弦波振動をゴムシートGSへ加える。
【0033】
入力部24から画像取得開始の指示が入力されると、画像データ取得部211は、カメラ11を制御して、定常振動しているゴムシートGSの画像を取得する(ステップS12)。
【0034】
カメラ11は、加振器31の振動周波数f
iの2倍以上のフレームレートで、ゴムシートGSの画像を撮影し、撮影した画像データI
tを、画像データ取得部211へ送信する(ステップS13)。本実施の形態に係るカメラ11は、XIMEA社製MQ003MG−CMである。また、フレームレートは250fps、露光時間は4msに設定されており、取得される画像データI
tのサイズは、648×488ピクセルである。
【0035】
画像データ取得部211は、カメラ11から取得した画像データI
tを記憶部22に記憶させる。演算部212は、記憶部22に記憶されている画像データI
tを読み出し、フーリエ変換を用いて、ゴムシートGSの振動状態を解析する(ステップS14)。
【0036】
具体的には、演算部212は、記憶部22から読み出した画像データI
tについて、所定の時間窓における各画素の輝度変化データを作成し、短時間フーリエ変換(STFT:Short-Time Fourier Transform)を用いて周波数分析を行う。
【0037】
取得される画像データのうちk番目(kは自然数)の画像データI
kは、以下の式で表される。
【数1】
【0038】
取得された画像データI
tから、短時間フーリエ変換するタップ数K分の画像データI
k(x,t)を用いて、画素ごとに輝度の時間変化に基づいてフーリエ変換を行う。各画素の振動情報を表すF(x,t)は、上述した画素レベルでの短時間フーリエ変換により、以下の式で表される。
F(x,t)=(F
0(x,t),・・・,F
K−1(x,t))
=STFT(I
0(x,t),・・・,I
K−1(x,t))
ただし、Kは短時間フーリエ変換計算におけるタップ数である。
【0039】
続いて、位相差算出ステップとして、制御部21は、フーリエ変換の結果から、画素ごとの位相差を算出し、位相差スペクトル画像I
Pを生成する。所定の振動周波数f
iにおける振動スペクトル成分画像F
i(x,t)は、実部であるR
i(x,t)と虚部であるJ
i(x,t)とを用いて、次式で表される。
F
i(x,t)=R
i(x,t)+j・J
i(x,t)
【0040】
上式より、各画素の振動の大きさを示す振幅スペクトル画像A
i(x,t)は、次式で表される。
【数2】
【0041】
また、各画素の位相を示す位相スペクトル画像P
i(x,t)は、次式で表される。
【数3】
【0042】
本実施の形態では、FFTの点数を128点とし、加振器31の振動周波数f
iである100Hzにおける、各画素の位相を算出する(ステップS15)。また、算出された各画素の位相と、基準画素の位相との差を、各画素の位相差として算出する。本実施の形態に係る基準画素は、加振器31の中心位置に対応する画素である。そして、各画素の位相差に基づいて、位相差スペクトル画像I
Pを生成する(ステップS16)。
【0043】
また、各画素の位相差を算出する際、予め定められた値以上の振幅で振動している画素について、位相差を算出することとしてもよい。これにより、位相差スペクトル画像I
Pの作成時間を減少させ、ノイズが低減され有用な情報のみを含む位相差スペクトル画像I
Pを、より高速に作成することができる。
【0044】
図4は、上記の条件で加振されているゴムシートGSの振動状態を表す位相差スペクトル画像I
P(位相差マップ)である。
図4に示す結果から、加振器31で加えられた振動が正常にゴムシートGSに伝搬していることがわかる。また、ゴムシートGSに亀裂が生じている場合等、検査対象である被写体Sに不具合が生じている場合、位相差スペクトル画像I
Pに表される位相差が不連続となったり、部分的に大きな位相の遅れが生じたりする。したがって、位相差スペクトル画像I
Pを観察することにより、被写体Sの不具合箇所を発見することができる。
【0045】
例えば、自動車のように、同種の製品を多数生産する場合、正常状態の位相差スペクトル画像I
Pを、予め記憶部22へ記憶させておいてもよい。この場合、表示部23に、検査対象となる製品に振動試験を実施して得られた位相差スペクトル画像I
Pと、記憶部22に記憶されている正常状態を示す正常位相差スペクトル画像I
PCとを並べて表示する、または選択的に切り替えて表示することとしてもよい。これにより、異常振動の発生箇所から検査対象の不具合を容易に発見、特定することが可能となる。
【0046】
また、予め記憶部22へ記憶されている正常位相差スペクトル画像I
PCを用いて、演算部212が異常振動の発生箇所を検出することとしてもよい。この場合、演算部212は、検査対象となる製品に振動試験を実施して得られた位相差スペクトル画像I
Pと、記憶部22に記憶されている正常位相差スペクトル画像I
PCとの差分を取ることにより、比較する。そして、制御部21が、表示部23に比較結果を表示させることにより、検査対象の不具合箇所を容易に発見、特定することが可能となる。例えば、位相差の違いが30%以上ある場合、不具合が生じている可能性があることを表示部23に表示させることとしてもよい。
【0047】
続いて、振動解析システム1は、伝搬速度算出ステップとして、被写体Sの振動の伝搬速度を算出する。加振点の位置をx
0、計測点iの位置をx
iとし、時刻t
0で加振点に加えられた振動が、一様な伝搬速度で伝わり、計測点iへ時刻t
iに到達したとすると、以下の関係が成り立つ。
【数4】
ただし、vは振動の伝搬速度である。
【0048】
また、加振点と計測点iの位相差p’
0i(t)は、以下の式で表される。
【数5】
ただし、p
i(t)は計測点の位相、p
0(t)は加振点の位相、fは周波数、nは自然数である。
【0049】
上式より、計測点iにおける振動の伝搬速度の大きさは、以下の式で表される。
【数6】
【0050】
上記の式に示すように、加振点から計測点iに振動が到達する間に、複数周期の時間が経過する可能性がある。したがって、加振点と計測点iとの差に基づいて計測点iの位相差、伝搬速度を算出すると、位相アンラップ問題が生じる。
【0051】
本実施の形態では、計測点iを中心として、計測点i近傍の画素を対象とする計測区間の振動状態に基づいて、位相差、伝搬速度を算出する。
【0052】
演算部212は、予め定められた複数(N個)の時刻において位相の分散を算出する(ステップS17)。具体的には、
図5に示すように、計測区間内の各画素の位相についての分散を算出する。計算の対象となる計測区間の設定方法は、特に限定されず、複数の周期をまたがないよう、1周期内の距離に設定されていればよい。例えば、加振点と計測点iとを結ぶ直線上にある計測点i近傍の画素を計測区間とすることができる。本実施の形態では、計測点iを中心とする7×7ピクセルを計測区間とする。
【0053】
位相は、0から2πの間の値であり、
図5に示すように、計測区間内において位相が2πを超えると0に戻る。よって、各時刻について算出された位相の分散は、位相が2πを跨ぐ範囲であるときに大きくなり、計測区間の全ての画素の位相が0から2πの間にあるときに小さくなる。
【0054】
本実施の形態では、次式に示すように、算出された各時刻の位相分散のうち、最小の位相分散となる時刻を選択する(ステップS18)。
【数7】
ただし、V(x,t
k)は時刻t
kにおける画素xの分散である。
【0055】
そして、各画素について、計測区間内の画素の位相を平均して算出された平均位相値b(x,t
SEL(x))に基づいて、零時補正を行う。すなわち、選択された時刻の違いによる画素ごとの位相のずれを修正する。具体的には、画素ごとに選択された時刻での加振点の位相と計測点iの平均位相値bとの位相差を算出し、その位相差を計測点iの位相差とする。
【0056】
続いて、選択された時刻における計測区間内の画素の位相に基づいて、位相勾配を算出する(ステップS19)。例えば、計測区間の両端に位置する画素について位相勾配を算出することができる。本実施の形態では、計測点iを中心とする7×7ピクセルについてラプラシアンフィルタを使用して、位相勾配を算出する。算出された位相勾配からなる位相勾配画像をG’(x)とすると、周波数fの振動の伝搬速度は、以下の式で表される。
【0057】
【数8】
また、演算部212は、算出した伝搬速度を基に伝搬速度画像I
vを生成する(ステップS20)。
【0058】
入力部24への入力による選択によって、制御部21は、位相差スペクトル画像I
Pと伝搬速度画像I
vとを選択的に表示部23へ表示させる(ステップS21)。これにより、被写体Sの異常振動等の不具合の有無を判定することができる。
【0059】
以上、説明したように、本発明に係る振動解析システム、振動解析方法及びプログラムによれば、時系列画像に基づいて、被写体Sの振動状態を表す位相を算出して、不具合の有無を判定するので、雑音の影響を抑制し、精度の高い振動解析を行うことができる。
【0060】
また、位相差スペクトル画像I
Pを作成して、視覚的に被写体Sの不具合の有無を判定することができるので、より容易に精度の高い振動解析を行うことができる。
【0061】
本実施の形態では、加振器31の振動周波数f
iについて位相差スペクトル画像I
P、伝搬速度画像I
Vを生成することとしたがこれに限られず、別の周波数について位相差スペクトル画像I
P、伝搬速度画像I
Vを生成することとしてもよい。これにより、不具合の状態によって、より判別しやすい画像を生成することができる。
【0062】
(実施の形態2)
実施の形態1では、正常状態を表す正常位相差スペクトル画像I
PCと、取得された画像データI
tとの比較は、演算部212で正常位相差スペクトル画像I
PCと位相差スペクトル画像I
Pとの差分を取って比較することにより行っていた。本実施の形態に係る振動解析システム2では、制御部21’が判定部213を備え、機械学習による学習済みモデルLMを用いて、取得された位相差スペクトル画像I
Pから、被写体Sの状態を判定する点で、実施の形態1と異なる。その他、振動解析システム2の構成等については、実施の形態1の振動解析システム1と同様であるので同じ符号を付す。
【0063】
図6に示すように、記憶部22は、検査対象である被写体Sについて、様々な不具合状態の被写体Sの位相差スペクトル画像I
Pを教師データとして学習された学習済みモデルLMを備える。学習済みモデルLMは、位相差スペクトル画像I
Pの画素間の位相差の変化量から、検査対象である被写体Sの不具合の有無を推定するように、機械学習により生成された推定モデルである。例えば、検査対象である被写体Sについて様々な位置、大きさでクラック等の不具合が生じている場合の位相差スペクトル画像I
Pを教師データとして機械学習が行われる。
【0064】
また、教師データとしての位相差スペクトル画像I
Pは、実際に撮影されたの振動試験の画像のみならず、コンピュータシミュレーションによって作成された画像を含んでいてもよい。これにより、多数の不具合サンプルの位相差スペクトル画像I
Pを作成することが費用的に困難な、自動車、家屋などの構造体等についても十分な数の教師データを作成することができる。したがって、費用を抑えながら、より精度の高い学習済みモデルLMを生成することができる。
【0065】
機械学習のアルゴリズムは、特に限定されないが、例えばニューラルネットワークを用いた機械学習アルゴリズムである。被写体Sにクラックが生じている場合、クラック部分で位相が大きく変化する。したがって、本実施の形態では、位相差スペクトル画像I
Pを教師データとして、被写体Sの欠陥を検出する学習済みモデルLMを予め生成する。この場合、特徴量としては、隣り合う画素間の位相差を用いることができる。そして、生成された学習済みモデルLMを記憶部22へ記憶しておく。
【0066】
本実施の形態では、
図2のフローチャートに示すステップS16の後に、学習済みモデルLMを用いて不具合の有無の推定を行う。具体的には、判定部213は、記憶部22に保存された学習済みモデルLMを読み出すとともに、検査によって新たに作成した位相差スペクトル画像I
Pを学習済みモデルLMへ入力する。そして、得られた出力結果、すなわち被写体Sに不具合が生じているか否かの検査結果を、表示部23へ表示させる。
【0067】
以上、説明したように、本実施の形態に係る振動解析システム2は、予め取得された位相差スペクトル画像I
Pに基づく学習済みモデルLMと、学習済みモデルLMによって検査対象である被写体Sの不具合の有無を推定する判定部213を備える。したがって、検査によって取得された位相差スペクトル画像I
Pについて、不具合箇所の有無、故障の程度等を容易に判定することができる。
【0068】
また、本実施の形態に係る振動解析方法は、通常のコンピュータシステムを用いて実現可能である。例えば、上記の動作を実行するためのコンピュータプログラムを、USBメモリ、DVD−ROM等のコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、コンピュータ装置を上記の振動解析方法を実行する振動解析システムとして機能させることができる。