【解決手段】振動解析システム1は、フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、第1の入力画像と同じフレームレートで、かつ、第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得する画像データ取得部211と、第1の入力画像と第2の入力画像とに基づいて、被写体の振動を検出する演算部212と、を備える。また、演算部212は、第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する。
フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、前記第1の入力画像と同じフレームレートで、かつ、前記第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得する画像データ取得部と、
前記第1の入力画像と前記第2の入力画像とに基づいて、被写体の振動を検出する演算部と、を備え、
前記演算部は、
前記第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、前記第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する、
振動解析システム。
フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、前記第1の入力画像と同じフレームレートで、かつ、前記第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得し、
前記第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、前記第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する、
振動解析方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の振動解析方法では、所定のフレームレートで撮影された時系列画像に基づいて振動を検出するため、フレームレートで規定されるナイキスト周波数以上の周波数の振動を検出することは難しい。
【0006】
本発明は、上述の事情に鑑みてなされたものであり、フレームレートを高めることなく高い周波数の振動を検出可能な振動解析システム、振動解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第1の観点に係る振動解析システムは、
フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、前記第1の入力画像と同じフレームレートで、かつ、前記第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得する画像データ取得部と、
前記第1の入力画像と前記第2の入力画像とに基づいて、被写体の振動を検出する演算部と、を備え、
前記演算部は、
前記第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、前記第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する。
【0008】
また、前記第1の重みは、前記第1の露光時間の逆数であり、
前記第2の重みは、前記第2の露光時間の逆数である、
こととしてもよい。
【0009】
また、前記被写体を撮影して、前記第1の入力画像と前記第2の入力画像とを撮影するカメラを備える、
こととしてもよい。
【0010】
また、前記カメラは、
前記第1の入力画像を撮影する第1の内部カメラと、前記第2の入力画像を撮影する第2の内部カメラとを備え、
前記第1の入力画像と前記第2の入力画像とを、同軸で撮影する、
こととしてもよい。
【0011】
また、前記画像データ取得部は、
前記第1の露光時間及び前記第2の露光時間を変化させながら前記被写体を撮影する、
こととしてもよい。
【0012】
また、前記演算部は、
前記第1の入力画像及び前記第2の入力画像の少なくともいずれか一方について、画素ごとの輝度の時間変化に基づいて、振動スペクトルを算出することにより、フレームレートで規定されるナイキスト周波数以下の振動を検出する、
こととしてもよい。
【0013】
また、本発明の第2の観点に係る振動解析方法では、
フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、前記第1の入力画像と同じフレームレートで、かつ、前記第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得し、
前記第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、前記第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する。
【0014】
また、本発明の第3の観点に係るプログラムは、
コンピュータを、
フレーム間隔以下である第1の露光時間で撮影された第1の入力画像と、前記第1の入力画像と同じフレームレートで、かつ、前記第1の露光時間より短い第2の露光時間で撮影された第2の入力画像とを取得する画像データ取得部、
前記第1の入力画像の強度に第1の重みを乗じた第1の入力画像データと、前記第2の入力画像の強度に第2の重みを乗じた第2の入力画像データとの差を算出することにより、振動を検出する演算部、
として機能させる。
【発明の効果】
【0015】
本発明の振動解析システム、振動解析方法及びプログラムによれば、フレーム間隔以下の異なる露光時間で撮影された入力画像について、強度の差をとることにより、被写体の振動を検出するので、フレームレートで規定されるナイキスト周波数以上の周波数の振動を検出することが可能である。
【発明を実施するための形態】
【0017】
以下、図を参照しつつ、本発明の実施の形態に係る振動解析システム1について説明する。
【0018】
(実施の形態1)
図1のブロック図に示すように、本実施の形態に係る振動解析システム1は、カメラ11、制御ユニット20を備える。
【0019】
カメラ11は、検出対象である振動部分を含む被写体Sを撮影するカメラである。被写体Sは、一部又は全体が振動するものであれば特に限定されない。被写体Sは、例えばドローンである。この場合、振動解析システム1は、ドローンのプロペラを振動要素として検出する。カメラ11は、所定のフレームレートFで被写体Sを撮影し、各画素の強度、すなわち輝度データからなる各時刻の画像データを出力する。
【0020】
振動要素を時系列画像から検出する場合、一般的に、検出可能な振動要素の振動周波数は、フレームレートFで規定されるナイキスト周波数F
N以下、すなわちフレームレートFの1/2の周波数以下となる。したがって、カメラ11のフレームレートFが高ければ、高い周波数の振動を検出することができるため好ましい。しかしながら、高フレームレートで撮影可能なハイスピードカメラは、高額であり、産業用途で広く一般に用いることは難しい。
【0021】
本実施の形態に係るカメラ11は、例えば648×488ピクセルの画像を40fps程度のフレームレートFで撮影可能な一般的なカメラである。また、カメラ11は、第1の内部カメラ11−1、第2の内部カメラ11−2を備える。内部カメラ11−1、11−2の受光素子は、カメラ11のレンズから入る光をプリズムで分光して受ける。これにより、内部カメラ11−1、11−2は、同一の画角の画像を撮影できる。
【0022】
また、内部カメラ11−1、11−2は、それぞれ異なる露光時間τで撮影可能である。内部カメラ11−1の露光時間である第1の露光時間τ
1と、内部カメラ11−2の露光時間である第2の露光時間τ
2は、制御ユニット20によって制御される。
【0023】
制御ユニット20は、例えばコンピュータ装置であり、
図1に示すように、制御部21、記憶部22、表示部23、入力部24を備える。
【0024】
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、水晶発振器等から構成されており、振動解析システム1の動作を制御する。また、制御部21は、内部カメラ11−1、11−2で撮影された入力画像I
tの画像データに基づいて被写体Sの振動状態を解析する。制御部21は、制御部21のROM、記憶部22等に記憶されている各種動作プログラム及びデータをRAMに読み込んでCPUを動作させることにより、
図1に示される制御部21の各機能を実現させる。これにより、制御部21は、画像データ取得部211、演算部212として動作する。
【0025】
画像データ取得部211は、内部カメラ11−1、11−2を制御して、被写体Sを所定のフレームレートFで撮影し、時系列の入力画像I
tを取得する。入力画像I
tは、第1の内部カメラ11−1で撮影される第1の入力画像I
Δt=τ1と、第2の内部カメラ11−2で撮影される第2の入力画像I
Δt=τ2とを含む。
【0026】
第1の入力画像I
Δt=τ1、第2の入力画像I
Δt=τ2は、第1の露光時間τ
1、第2の露光時間τ
2を用いて、以下のように表される。
【数1】
ただし、x,yは画素の座標、tは時刻である。
【0027】
第1の露光時間τ
1は、フレーム間隔ΔT(=1/F)以下であり、第2の露光時間τ
2は、第1の露光時間τ
1よりも短い時間であればよく、特に限定されない。第1の露光時間τ
1と第2の露光時間τ
2との関係は、例えば、τ
1=2×τ
2と設定される。
【0028】
演算部212は、画像データ取得部211で取得された入力画像I
tに基づいて、被写体Sの振動状態を解析する。より具体的には、演算部212は、入力画像I
tに基づいて、フレームレートFで規定されるナイキスト周波数F
N以上の周波数で振動する振動要素を検出する。
【0029】
ここで、振動要素の検出原理について説明する。
図2(A)に露光時間τでの、カメラ11の露光イメージを示す。
図2(A)に示すように、時刻−τ/2〜τ/2、強度Eで露光する場合の信号をf(t)とすると、f(t)のフーリエ変換F[f(t)]は、以下の式のように表すことができる。
【数2】
【0030】
上式のsinc関数は、
図2(B)のグラフのように表され、露光時間τの入力信号に対する周波数応答を示している。
図2(B)に示すように、露光時間τのカメラ露光は、カットオフ周波数F
L=1/τとするローパスフィルタの効果を示す。また、
図2(C)に示すように、露光時間τが大きくなると、カットオフ周波数F
Lは低下し、露光時間τが小さくなると、カットオフ周波数F
Lは上昇する。
【0031】
露光時間τ
1=2×τ
2とした場合のフレーム間隔ΔTと露光時間τとの関係、周波数応答及び入力画像I
tの概念図を
図3に示す。なお、周波数応答は絶対値として示している。
図3に示すように、第1の露光時間τ
1と第2の露光時間τ
2とが異なるので、それぞれに対する周波数応答も異なる。周波数応答の異なる第1の入力画像I
Δt=τ1と第2の入力画像I
Δt=τ2との差をとることにより、
図4に示すように、バンドパス周波数f
p=1/τ
1=1/2τ
2周りの振動成分画像T
fを生成することができる。
【0032】
差分による振動成分画像T
fは、以下の式で表すことができる。
【数3】
ただし、1/τ
1、1/τ
2は重みである。
【0033】
露光時間τ
1、τ
2は、フレーム間隔ΔT(=1/F)以下であるので、バンドパス周波数f
pは、フレームレートFで規定されるナイキスト周波数F
N=1/2ΔTよりも大きい。したがって、演算部212は、入力画像I
tに基づいて、ナイキスト周波数F
Nよりも高い周波数の振動を検出することができる。以上の検出原理に基づいて、振動解析システム1は、振動解析を行う。
【0034】
記憶部22は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、時系列データである入力画像I
tから被写体Sの振動状態を解析する演算アルゴリズム、作成された振動成分画像T
f等を記憶する。
【0035】
表示部23は、コンピュータ装置である制御ユニット20に備えられた表示用デバイスであり、例えば液晶パネルである。表示部23は、カメラ11で撮影された被写体Sの入力画像I
t、演算部212で作成された被写体Sの振動状態を示す振動成分画像T
f等を表示する。
【0036】
入力部24は、カメラ11に対する撮影の開始、終了指示、露光時間τ等を入力するための入力デバイスである。入力部24は、制御ユニット20に備えられたキーボード、タッチパネル、マウス等である。
【0037】
続いて、振動解析システム1を用いた振動解析について説明する。本実施の形態では、
図5(A)、(B)に示すように、被写体Sであるファンを撮影して、撮影された画像から、振動要素としての羽を検出する場合を例として説明する。
図5(B)に示すように、本実施の形態に係るカメラ11は、レンズから入る光をプリズムによって分光して、第1の内部カメラ11−1及び第2の内部カメラ11−2で受光する。これにより、カメラ11は、第1の入力画像I
Δt=τ1と第2の入力画像I
Δt=τ2とを同軸で撮影することができる。
【0038】
以下、振動解析の流れを示す
図6のフローチャート及び
図7の概念図を参照しつつ振動解析方法について具体的に説明する。本実施の形態に係る振動解析処理では、まず、振動要素を含む被写体Sが適切に撮影されるように、カメラ11の画角、焦点等を設定する(ステップS11)。
【0039】
上述したように、内部カメラ11−1、11−2のフレームレートF、露光時間τは特に限定されない。また、第1の露光時間τ
1と、第2の露光時間τ
2とは、τ
1=2×τ
2程度に設定される。本実施の形態に係る第1の露光時間τ
1は13.5ms、第2の露光時間τ
2は6.25ms、内部カメラ11−1、11−2のフレームレートFは40fpsである。
【0040】
設定が完了し、入力部24へ解析開始指示が入力されると、制御ユニット20は、カメラ11を制御して被写体Sであるファンの撮影を開始する(ステップS12)。カメラ11の内部カメラ11−1、11−2は、それぞれ撮影した入力画像I
tのデータを画像データ取得部211へ送信する(ステップS13)。
【0041】
演算部212は、画像データ取得部211で取得された第1の入力画像I
Δt=τ1、第2の入力画像I
Δt=τ2の強度データを、第1の露光時間τ
1、第2の露光時間τ
2でそれぞれ除することにより、第1の入力画像I
Δt=τ1と第2の入力画像I
Δt=τ2との明るさ(輝度)を調整する(ステップS14)。
【0042】
より具体的には、演算部212は、第1の入力画像I
Δt=τ1に第1の露光時間τ
1の逆数である第1の重みを乗じて、第1の入力画像データを生成する。また、演算部212は、第2の入力画像I
Δt=τ2に第2の露光時間τ
2の逆数である第2の重みを乗じて、第2の入力画像データを生成する。これにより、演算部212は、同等の輝度レベルである第1の入力画像データと第2の入力画像データとを生成する。
【0043】
ステップS14で明るさを調整した後、演算部212は、第1の入力画像データと第2の入力画像データとの差を算出する(ステップS15)。これにより、
図7に示す振動成分画像T
fを得ることができる。演算部212は、算出された振動成分画像T
fを表示部23に表示させる(ステップS16)。振動成分画像T
fは、
図8に示すように、露光時間τで決定される所定の振動周波数で振動する要素のみを抽出するバンドパスフィルタを通した画像となる。
【0044】
図8は、ファンの回転周波数を、25Hzから125Hzの範囲で変化させた場合の第1の入力画像I
Δt=τ1、第2の入力画像I
Δt=τ2及び振動成分画像T
fを示している。
図8に示すように、振動成分画像T
fの強度は、ファンの回転周波数を75Hzとした場合が最も強く、25Hz、125Hzで弱くなっていることがわかる。
【0045】
また、ファンの回転周波数を50Hzから125Hzの範囲で変化させた場合に、振動成分画像T
fにおいて振動を検出した画素の数を
図9(A)のグラフに示す。
図9(A)のグラフは、振動解析システム1のバンドパスフィルタとしての特性、すなわち、被写体Sの振動要素の振動周波数によって、振動要素が振動成分画像T
fに表れる度合いを示している。
図9(A)の検出画素数のグラフは、
図9(B)の周波数と強度との関係を表す理論値とよく一致しており、振動解析システム1がバンドパスフィルタとして機能していることがわかる。
【0046】
図8、
図9(A)、(B)に示すように、第1の露光時間τ
1=13.5ms、第2の露光時間τ
2=τ
1/2=6.25msとした場合、振動解析システム1は、バンドパス周波数f
p=1/τ
1=74.1Hz近傍を中心としたバンドパスフィルタとして機能する。したがって、振動解析システム1は、フレームレートF=40fpsで規定されるナイキスト周波数F
N=20Hzよりも高い周波数の振動成分を検出することができる。
【0047】
以上説明したように、本実施の形態に係る振動解析システム1では、露光時間τの異なる入力画像I
tに基づいて、振動要素の検出を行う。これにより、フレームレートFで規定されるナイキスト周波数F
Nよりも高い周波数の振動を検出できる。したがって、フレームレートFを高速化することなく、高い周波数の振動を検出することができる。
【0048】
本実施の形態では、予め設定された第1の露光時間τ
1、第2の露光時間τ
2で内部カメラ11−1、11−2の入力画像I
tを取得することとしたがこれに限られず、露光時間τを変化させながら撮影することにより、被写体Sの振動周波数特性を解析することとしてもよい。例えば、第1の露光時間τ
1と第2の露光時間τ
2との関係をτ
1=2τ
2と設定し、τ
1を33msから1μsへ、所定の時間間隔で変化させて、撮影した入力画像I
tから振動成分画像T
fを生成する。これにより、バンドパス周波数f
pを30Hzから1MHzの間で走査した場合に相当する、振動検出を行うことができる。
【0049】
図10は、第1の露光時間τ
1を33ms、1ms、1μsとした場合の、振動成分画像T
fのバンドパス特性を示す図である。
図10に示すように、第1の露光時間τ
1を変化させることにより、30Hz、1kHz、1MHzを中心周波数とするバンドパス画像を振動成分画像T
fとして得ることができる。したがって、振動解析システム1を用いることにより、低フレームレートのカメラ11で、ナイキスト周波数F
Nを超える高い周波数の振動をモニタリングすることが可能となる。
【0050】
本実施の形態では、カメラ11に内蔵された2台の内部カメラ11−1、11−2を用いて、被写体Sを撮影することとしたが、これに限られない。例えば、2台の独立したカメラ11を、同等の画角、すなわち被写体Sを同等の位置で撮影するように設置して用いることとしてもよい。これにより、より簡素な構造で安価なカメラ11を用いることができる。また、独立したカメラ11を用いる場合の画角調整は、画像処理によって行うこととしてもよい。具体的には、演算部212が、入力画像I
t中の所定の特徴点を検出して同等の画角を切り出すこととしてもよい。
【0051】
(実施の形態2)
実施の形態1では、2台の内部カメラ11−1,11−2を用いることとしたが、検出対象となる被写体Sの振動状態が定常的である場合、1台のカメラ11を用いて振動解析を行うこともできる。本実施の形態では、1台のカメラ11を用いて、振動解析を行う場合について説明する。
【0052】
本実施の形態に係る振動解析システム1では、露光時間τをフレーム単位で設定可能な1台のカメラ11を用いて入力画像I
tを取得する点で実施の形態1と異なる。その他、制御ユニット20の構成等については、実施の形態1と同様であるので同じ符号を付して、詳細な説明は省略する。
【0053】
本実施の形態に係るカメラ11は、制御部21によって制御され、複数のスレッドに時分割された画像を撮影する。カメラ11は、スレッドごとに異なる露光時間τの画像を撮影する。より具体的には、スレッドnで撮影される画像は、露光時間τ
nと、露光時間τ’
nで撮影される画像である。露光時間τ
nは、フレーム間隔ΔT以下の第1の露光時間であり、露光時間τ’
nは、露光時間τ
nより短い第2の露光時間である。露光時間τ’
nの長さは、例えば、τ
n/2である。
【0054】
スレッドnは、例えばn=1〜3の3つのスレッドであり、それぞれの露光時間τ
1、τ
2、τ
3を異なる長さとすることにより、検出される振動周波数を異なるものに設定することが可能となる。すなわち、スレッドごとに入力画像I
tから、実施の形態1と同様の処理によって振動成分画像T
fを算出し、所定のバンドパス周波数を中心とする振動要素を検出することができる。
【0055】
具体的には、スレッド1で取得された第1の入力画像I
Δt=τ1と第2の入力画像I
Δt=τ’1について明るさ調整を行った後、差をとることにより振動成分画像T
fを生成する。同様に、演算部212は、スレッド2、スレッド3の入力画像I
tを用いて、露光時間τ
2、τ
3に基づく振動成分画像T
fを生成する。
【0056】
制御部21は、各スレッドについて生成された振動成分画像T
fと、これらに対応するバンドパス周波数f
pとを表示部23に表示させる。
【0057】
図11は、上述のようにスレッド1〜スレッド3の時分割マルチスレッドを用いて、1台のカメラ11の露光時間を変化させて、入力画像I
tを取得する場合の処理の流れを示す概念図である。
図11に示すように、1台のカメラ11で、フレームレートFによって規定されるナイキスト周波数F
Nよりも高い周波数帯域において、異なるバンドパス周波数f
pの振動を検出することが可能となる。
【0058】
以上説明したように、本実施の形態に係る振動解析システム1は、1台のカメラを用いて、時分割マルチスレッドで露光時間τの異なる画像を取得するので、簡素なシステム構成で複数のバンドパス周波数f
pの振動を検出することができる。
【0059】
(実施の形態3)
上記各実施の形態では、露光時間τの異なる複数の画像を用いることにより、ナイキスト周波数F
Nよりも高い周波数の振動要素を検出することとしたが、ナイキスト周波数F
N以下の振動検出と組み合わせて、より広い範囲の周波数の振動成分を検出することもできる。
【0060】
本実施の形態では、実施の形態1の振動解析システム1における振動検出に加えて、デジタル信号処理によって、ナイキスト周波数F
N以下の低周波数振動検出を行う場合を例として説明する。
【0061】
本実施の形態に係る演算部212は、時系列画像データである入力画像I
tについて、画素ごとに、予め定められた所定の時間窓における輝度の時間変化データを生成する。入力画像I
tは、所定の露光時間で撮影される時系列画像データであり、例えば、実施の形態1に係る第1の入力画像I
Δt=τ1及び第2の入力画像I
Δt=τ2のいずれか一方である。そして、生成された輝度の時間変化データを高速フーリエ変換することにより、画素ごとの振動スペクトルを算出する。これにより、入力画像I
tから、ナイキスト周波数F
N以下の振動を検出することができる。
【0062】
また、演算部212は、実施の形態1と同様に、露光時間τの異なる複数の入力画像I
tに基づいて、ナイキスト周波数F
N以上の振動を検出する。そして、演算部212は、検出結果を表示部23に表示させる。
【0063】
以上説明したように、本実施の形態に係る振動解析システム1では、露光時間τの異なる複数の入力画像I
tに基づいて、ナイキスト周波数F
N以上の振動を検出するとともに、デジタル信号処理によってナイキスト周波数F
N以下の振動を精度よく検出する。したがって、より広い周波数範囲の振動を検出することができる。
【0064】
上記各実施の形態では、カメラ11で撮影された入力画像I
tを実時間処理して、表示部23に表示させることとしたがこれに限られない。例えば、予め記憶部22に記憶されている入力画像I
tを読み出して、振動検出することとしてもよい。
【0065】
また、上記各実施の形態に係る振動解析方法は、通常のコンピュータシステムを用いて実現可能である。例えば、上記各実施の形態に係る振動解析を実行するためのコンピュータプログラムを、USBメモリ、DVD−ROM等のコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、コンピュータ装置を上記の振動解析方法を実行する振動解析システムとして機能させることができる。