特許 7607874 振動解析装置、振動解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-20

(45)【発行日】2025-01-06

(54)【発明の名称】振動解析装置、振動解析方法及びプログラム

(51)【国際特許分類】

   G01H 9/00 20060101AFI20241223BHJP

   G06T 7/00 20170101ALI20241223BHJP

【ＦＩ】

G01H9/00 Z

G06T7/00 300D

【請求項の数】 5

(21)【出願番号】P 2021040097

(22)【出願日】2021-03-12

(65)【公開番号】P2022139623

(43)【公開日】2022-09-26

【審査請求日】2024-02-27

(73)【特許権者】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】100196380

【弁理士】

【氏名又は名称】森 匡輝

(72)【発明者】

【氏名】石井 抱

(72)【発明者】

【氏名】胡 少鵬

(72)【発明者】

【氏名】島崎 航平

(72)【発明者】

【氏名】王 飛躍

【審査官】前田 敏行

(56)【参考文献】

【文献】国際公開第２０２０／０８０５３５（ＷＯ，Ａ１）

【文献】特開２０１５－２０３９９７（ＪＰ，Ａ）

【文献】特開２０１９－１９０８０５（ＪＰ，Ａ）

【文献】特開２０１３－０４７６７４（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９８５３４（ＷＯ，Ａ１）

【文献】特開２０２０－１８６９５７（ＪＰ，Ａ）

【文献】特開２００３－１５６３８９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３８０６５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｈ ９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識部と、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識部で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析部と、を備え、
前記第１の時系列画像のサンプリングレートは、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整される、
ことを特徴とする振動解析装置。

【請求項2】

前記第１の時系列画像は、前記第２の時系列画像の間引き画像である、
ことを特徴とする請求項１に記載の振動解析装置。

【請求項3】

前記解析対象の座標は、異なる視点で撮影された複数の第２の時系列画像から算出される３次元座標である、
ことを特徴とする請求項１又は２に記載の振動解析装置。

【請求項4】

機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識工程と、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識工程で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析工程と、を含み、
前記第１の時系列画像のサンプリングレートは、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整される、
ことを特徴とする振動解析方法。

【請求項5】

コンピュータを、
機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識部、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識部で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析部、として機能させるとともに、
前記第１の時系列画像のサンプリングレートを、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、振動解析装置、振動解析方法及びプログラムに関する。

【背景技術】

【0002】

近年、画像認識技術の発達にともない、画像認識を用いた振動解析方法が開発されている。例えば、特許文献１では、テンプレートマッチングを用いてプロペラの軸の振動を計測する方法が開示されている。テンプレートマッチングによる振動解析は、解析対象の画像の類似度から、解析対象の変位量を算出して行われる。このようなテンプレートマッチングを用いる方法では、解析条件によってサブピクセルレベルでの変動検出を行うことが可能であり、精度の高い解析を行うことができる。しかしながら、計算量が大きく計算に要する時間が長くなるので、一般的に、広範囲の画像ではなく局所的な範囲（関心領域（ＲＯＩ：Region Of Interest））の画像を用いて変動検出が行われる。

【0003】

また、他の画像認識方法として、機械学習の手法を用いて解析対象をトラッキングする技術が開発されている。この方法では、予め学習された学習済みモデルを用いて画像を処理して、解析対象を認識することにより、解析対象の変位を算出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－３２４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像認識を用いて振動解析を行う場合、高い精度で解析対象の変位を検出すること、すなわち微小な変位を高いサンプリングレートで検出することが求められる。したがって、局所的なテンプレートマッチング、画像相関法等を用いて、時系列画像から解析対象周辺の関心領域を画像解析して振動状態を解析する方法が用いられる。

【0006】

しかしながら、局所的対象追跡手法で振動解析を行う場合、解析対象の振幅（変位量）が大きくなると、関心領域内での解析対象の移動量が大きくなり、場合によっては関心領域から外れて、振動状態を解析できなくなるおそれがある。

【0007】

また、機械学習の手法を用いた画像認識によって解析対象の変位を解析する場合、広い範囲で複数の解析対象を検出、認識することが可能となる反面、変位量の計測精度が低く（数ピクセルレベル）、画像認識に要する計算時間も長い。

【0008】

本発明は、上述の事情に鑑みてなされたものであり、解析対象の振幅が不明な場合であっても、精度よく振動解析を行うことができる振動解析装置、振動解析方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、この発明の第１の観点に係る振動解析装置は、
機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識部と、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識部で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析部と、を備え、
前記第１の時系列画像のサンプリングレートは、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整される。

【0010】

また、前記第１の時系列画像は、前記第２の時系列画像の間引き画像である、
こととしてもよい。

【0011】

また、前記解析対象の座標は、異なる視点で撮影された複数の第２の時系列画像から算出される３次元座標である、
こととしてもよい。

【0014】

また、本発明の第２の観点に係る振動解析方法は、
機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識工程と、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識工程で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析工程と、を含み、
前記第１の時系列画像のサンプリングレートは、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整される。

【0015】

また、本発明の第３の観点に係るプログラムは、
コンピュータを、
機械学習の手法によって、複数の解析対象を含む第１の時系列画像から前記解析対象を認識する解析対象認識部、
前記第１の時系列画像より高いサンプリングレートの第２の時系列画像と、前記解析対象認識部で認識された解析対象の座標とに基づいて、テンプレートマッチングにより解析対象の振動状態を算出する振動解析部、として機能させるとともに、
前記第１の時系列画像のサンプリングレートを、複数の前記解析対象の振幅のうち最も大きい振幅に基づいて調整する。

【発明の効果】

【0016】

本発明の振動解析装置、振動解析方法及びプログラムによれば、低いサンプリングレートで、機械学習による方法を用いて解析対象を認識し、高いサンプリングレートで、テンプレートマッチングによる方法を用いて解析対象の振動を解析するので、解析対象の振幅が不明な場合であっても、精度よく振動解析を行うことが可能である。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る振動解析装置の機能ブロック図である。

【図2】実施の形態に係る振動解析の流れを示すフローチャートである。

【図3】（Ａ）は解析対象及び振動解析装置を示す概要図であり、（Ｂ）は解析対象の平面図である。

【図4】カメラユニットによる解析対象の撮影画像の例であり、（Ａ）は左カメラで撮影された画像、（Ｂ）は右カメラで撮影された画像である。

【図5】振動解析結果の例を示す図であり、（Ａ）は変位量の時間変化のグラフ、（Ｂ）は振動周波数の時間変化のグラフ、（Ｃ）は（Ａ）及び（Ｂ）について１つの解析対象のグラフを拡大した図である。

【発明を実施するための形態】

【0018】

以下、図を参照しつつ、本発明の実施の形態に係る振動解析装置１について説明する。図１のブロック図に示すように、本実施の形態に係る振動解析装置１は、カメラユニット１０と、制御ユニット２０とを備える。

【0019】

カメラユニット１０は、振動の解析対象を含む動画を撮影するものであり、所定の基本フレームレートＦ_０で時系列画像を撮影するカメラを備える。カメラユニット１０のカメラの種類、台数等は特に限定されず、１台であっても複数台であってもよい。本実施の形態に係るカメラユニット１０は、右カメラ１１Ｒと左カメラ１１Ｌとを備える。これにより、振動解析装置１は、異なる視点で撮影された画像から、ステレオ法を用いて解析対象の３次元位置を検出できるので、解析対象の３次元の振動状態を解析することができる。

【0020】

カメラユニット１０で撮影される撮影範囲の解析対象は、１つのみであっても、複数であってもよい。例えば、解析対象は、自動車、工作機械等において、振動状態を解析すべき各部に貼られたマーカであってもよい。この場合、マーカは画像認識によるトラッキングを精度よく行うことができるものであることが好ましく、例えば、ＡｒＵｃｏマーカ等のＡＲマーカを用いることができる。

【0021】

右カメラ１１Ｒ、左カメラ１１Ｌは、予め定められた基本フレームレートＦ_０で解析対象を含む画像を撮影し、各時刻の画像データを出力する。

【0022】

制御ユニット２０は、例えばコンピュータ装置であり、図１に示すように、制御部２１、記憶部２２、表示部２３、入力部２４を備える。

【0023】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されており、振動解析装置１の動作を制御する。また、制御部２１は、カメラユニット１０で撮影された解析対象の画像データに基づいて、解析対象の振動状態を解析する。制御部２１は、制御部２１のＲＯＭ、記憶部２２等に記憶されている各種動作プログラム及びデータをＲＡＭに読み込んでＣＰＵ及びＧＰＵを動作させることにより、図１に示される制御部２１の各機能を実現させる。これにより、制御部２１は、画像データ取得部２１１、解析対象認識部２１２、振動解析部２１３として動作する。

【0024】

画像データ取得部２１１は、カメラユニット１０の右カメラ１１Ｒ、左カメラ１１Ｌを制御して、解析対象を含む画像を撮影する。また、画像データ取得部２１１は、撮影された時系列の画像データをカメラユニット１０から取得する。

【0025】

解析対象認識部２１２は、画像データ取得部２１１で取得された画像データに基づいて、撮影された画像に含まれる解析対象を検出するとともに、解析対象の座標を算出する。撮影された画像中に複数の解析対象が検出された場合、解析対象認識部２１２は、各解析対象の座標を算出する。

【0026】

振動解析部２１３は、画像データ取得部２１１で取得された画像、及び解析対象認識部２１２で算出された解析対象の座標に基づいて、解析対象の振動状態を解析する。より具体的には、振動解析部２１３は、解析対象認識部２１２で算出された解析対象の座標を基準とする関心領域を設定し、関心領域内での解析対象の変位量をテンプレートマッチングによって算出する。また、振動解析部２１３は、算出された解析対象の変位の時間変化から、解析対象の振幅、振動周波数等を算出して、解析対象の振動状態を解析する。

【0027】

記憶部２２は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、解析対象のテンプレート画像、時系列の画像データから解析対象の振動状態を解析する演算プログラム、振動解析部２１３で算出された解析対象の振動状態を示すデータ等を記憶する。

【0028】

表示部２３は、コンピュータ装置である制御ユニット２０に備えられた表示用デバイスであり、例えば液晶ディスプレイである。表示部２３は、カメラユニット１０の右カメラ１１Ｒ、左カメラ１１Ｌで撮影された解析対象を含む画像、振動解析部２１３による振動解析結果等を表示する。

【0029】

入力部２４は、解析対象となるマーカの設定（テンプレート画像の選択）、解析の開始、終了指示等を入力するための入力デバイスである。入力部２４は、制御ユニット２０に備えられたキーボード、タッチパネル、マウス等である。

【0030】

続いて、図２のフローチャートを参照しつつ、振動解析装置１を用いた振動解析方法について説明する。本実施の形態では、図３（Ａ）、（Ｂ）に示すように、複数のＡｒＵｃｏマーカを貼付した鉄板を振動試験機で振動させた状態を撮影して、撮影された時系列の画像から、解析対象であるＡｒＵｃｏマーカが貼付された各部の振動を解析する場合を例として説明する。

【0031】

まず、解析条件設定として、カメラユニット１０の右カメラ１１Ｒ、左カメラ１１Ｌの基本フレームレートＦ_０、機械学習の手法による解析対象認識（以下、ＡＩ認識ともいう。）を行う第１のフレームレートＦ_ａ、テンプレートマッチングによる振動解析を行う第２のフレームレートＦ_ｔを設定する（ステップＳ１）。本実施の形態では、基本フレームレートＦ_０及び第２のフレームレートＦ_ｔを１０００ｆｐｓ、第１のフレームレートＦ_ａを２０ｆｐｓとする。すなわち、テンプレートマッチングによる振動解析は、右カメラ１１Ｒ、左カメラ１１Ｌの全ての撮影画像からなる第２の時系列画像を用いて行い、ＡＩ認識は、間引かれた撮影画像からなる第１の時系列画像を用いて行う。

【0032】

また、振動解析装置１の制御ユニット２０は、カメラユニット１０を用いて解析対象を含む画像を撮影し、カメラのキャリブレーションを行う。具体的には、解析対象である各マーカの位置、識別番号を検出し、各マーカの２次元位置、３次元位置に対するキャリブレーションパラメータを算出する。本実施の形態では、右カメラ１１Ｒ、左カメラ１１Ｌの２つのカメラを用いてマーカの２次元位置、３次元位置を算出するので、４つ以上のマーカがあれば、それぞれの算出座標に基づいて、自動的にカメラキャリブレーションを行うことができる。

【0033】

また、カメラキャリブレーションが完了した後、制御ユニット２０は、テンプレートマッチングに用いるテンプレート画像を取得する（ステップＳ２）。具体的には、カメラユニット１０で撮影された初期画像が、画像データ取得部２１１から解析対象認識部２１２へ送信される。そして、解析対象認識部２１２は、初期画像から解析対象となるマーカを検出し、各マーカ近傍の関心領域の画像をテンプレート画像として、マーカの識別番号とともに記憶部２２に記憶させる。

【0034】

振動試験機による鉄板への加振が開始され、入力部２４への解析開始指示が入力されると、画像データ取得部２１１は、カメラユニット１０を制御して、基本フレームレートＦ_０で、右カメラ１１Ｒで撮影される右画像Ｉ_Ｒ、左カメラ１１Ｌで撮影される左画像Ｉ_Ｌの画像データを取得する。また、画像データ取得部２１１は、取得した右画像Ｉ_Ｒ、左画像Ｉ_Ｌの画像データを、解析対象認識部２１２へ送信する（ステップＳ３）。

【0035】

続いて、解析対象認識工程として、解析対象認識部２１２は、受信した画像データから予め設定された第１のフレームレートＦ_ａ（＝２０ｆｐｓ）で解析対象を検出する。具体的には、受信した画像データの時刻Ｔが、第１のフレームレートＦ_ａに対応する時間間隔ｔ（５０ｍｓ）の時刻となる場合（ステップＳ４のＹＥＳ）、解析対象認識部２１２はＡＩ認識による解析対象の検出を行う。また、受信した画像データの時刻Ｔが、第１のフレームレートＦ_ａに対応する時間間隔ｔ（５０ｍｓ）の時刻でない場合（ステップＳ４のＮＯ）、解析対象認識部２１２はＡＩ認識による解析対象の認識処理を行なわず、既にＡＩ認識されている解析対象の振動解析処理へ進む。

【0036】

解析対象認識部２１２は、第１のフレームレートＦ_ａとなるように間引かれた撮影画像からなる第１の時系列画像から、解析対象の位置（３次元座標）を認識する（ステップＳ５）。本実施の形態では、右カメラ１１Ｒ、左カメラ１１Ｌの２つのカメラで撮影された右画像Ｉ_Ｒ、左画像Ｉ_Ｌを用いて、ステレオ法により解析対象の３次元位置を算出することとしている。

【0037】

また、本実施の形態に係るＡＩ認識としての解析対象の検出は、入力された画像から解析対象を認識するように、ニューラルネットワーク等の機械学習の手法によって、予め学習された学習済みモデルを用いて行われる。このようなＡＩ認識は、撮影された領域全体から解析対象を検出するのに適した方法であるが、画像全体の認識処理を行うには演算時間が長くなる場合がある。そこで本実施の形態では、ＡＩ認識を行う第１の時系列画像のサンプリングレート（第１のフレームレートＦ_ａ）より、テンプレートマッチングを行う第２の時系列画像のサンプリングレート（第２のフレームレートＦ_ｔ）を高く（時間間隔を短く）している。これにより、第１の時系列画像の時間間隔を長くして、ＡＩ認識に必要な演算時間を確保することとしている。

【0038】

また、一般的に、ＡＩ認識による解析対象の位置検出の精度は、振動解析に求められる精度よりも低いものとなる。そこで、本実施の形態では、振動解析装置１は解析対象認識部２１２で認識された解析対象の位置と識別情報とを振動解析部２１３へ送信し（ステップＳ６）、振動解析部２１３で詳細な振動解析を行うこととしている。

【0039】

続いて振動解析工程として、振動解析部２１３は、解析対象認識部２１２から受信した解析対象の情報に基づいて、各解析対象の関心領域を設定する（ステップＳ７）。すなわち、振動解析部２１３は、解析対象認識部２１２から解析対象情報を受信した場合、関心領域を更新し、解析対象認識部２１２から解析対象情報を受信しなかった場合、既に設定されている関心領域を用いる。解析開始時には、初期設定においてテンプレート作成のために用いられた各解析対象の関心領域が、振動解析部２１３における各解析対象の関心領域として設定されている。

【0040】

振動解析部２１３は、第２のフレームレートＦ_ｔで、設定された各解析対象の関心領域に対してテンプレートマッチングを用いて、解析対象の変位量を算出する（ステップＳ８）。より具体的には、振動解析部２１３は、第２の時系列画像の１つ前の時刻ステップの画像と、新たに撮影された現在時刻ステップの画像との間でテンプレートマッチングを行い、解析対象の変位量を算出する。撮影開始時のフレームでは、ステップＳ２の初期テンプレートと現在時刻ステップの画像との間でテンプレートマッチングを行う。ステップＳ８に係る画像マッチングの方法は特に限定されず、例えば位相限定相関法（ＰＯＣ：Phase Only Correlation）を用いることができる。これにより、サブピクセルレベルの高い精度で解析対象の変位を検出することができる。

【0041】

振動解析部２１３は、ステップＳ８で算出された解析対象ごとの位置の時間変化を、解析対象の振動情報として、記憶部２２に記憶させる（ステップＳ９）。また、振動解析部２１３は、振動情報を表示部２３に表示させることとしてもよい。この場合、振動解析部２１３は、各解析対象の変位量とともに、取得された振動情報にＦＦＴ（Fast Fourier Transform）を適用して振動周波数に関する情報を表示させることとしてもよい。

【0042】

以下、振動解析が終了するまで（ステップＳ１０のＮＯ）、振動解析装置１は、ステップＳ３～Ｓ９の振動解析を行う。振動解析開始時に設定された所定の解析時間の終了、ユーザによる振動解析の終了指示の入力等の終了条件を充足すると（ステップＳ１０のＹＥＳ）、振動解析装置１は、振動解析を終了する。

【0043】

図５（Ａ）～（Ｃ）は、本実施の形態に係る振動解析結果の例を示す図である。図５（Ａ）の変位量の時間変化のグラフ及び図５（Ｂ）の振動周波数の時間変化のグラフに示すように、振動する鉄板に貼付した２０カ所の解析対象であるマーカについて、それぞれの振動状態が取得できていることがわかる。より詳細には、マーカ位置、鉄板の振動特性等により振幅の大きさが異なり、振幅の予測が難しい場合であっても、各解析対象について振動状態を取得することができている。また、図５（Ａ）、（Ｂ）のうち１つのマーカのグラフを拡大した図５（Ｃ）に示すように、各解析対象について、３次元的な変位量の時間変化、振動周波数の時間変化等の振動状態が適切に解析できていることがわかる。

【0044】

以上説明したように、本実施の形態に係る振動解析装置１は、低いサンプリングレートで、機械学習の手法によって撮影画像全体を画像認識して解析対象を検出するので、解析対象の振幅が不明な場合であっても、適切に解析対象をトラッキングして振動解析を行うことができる。また、本実施の形態に係る振動解析装置１は、高いサンプリングレートで、テンプレートマッチングによって解析対象の振動を解析するので、撮影画像に含まれる解析対象ごとに、精度よく振動解析を行うことが可能である。

【0045】

本実施の形態では、解析対象の認識に用いる第１の時系列画像と、振動解析に用いる第２の時系列画像とが同じ画像、すなわち第１の時系列画像は第２の時系列画像の間引き画像であることとしたが、これに限られない。例えば、第１の時系列画像と第２の時系列画像とが、異なるタイミングで撮影される画像であってもよい。また、認識される解析対象の位置（座標）の相関関係が明らかであれば、第１の時系列画像と第２の時系列画像とが、異なるカメラで撮影された画像であってもよい。

【0046】

本実施の形態では、振動解析部２１３は、１つ前の時刻ステップの画像と、新たに撮影された現在時刻ステップの画像との間でテンプレートマッチングを行い、解析対象の変位量を算出することとしたが、これに限られない。例えば、第１フレームの画像、すなわち解析開始時の画像と、現在時刻ステップの画像との間でテンプレートマッチングを行い、解析対象の変位量を算出することとしてもよい。

【0047】

また、本実施の形態では、第１の時系列画像のサンプリングレートが一定であることとしたが、これに限られず、各解析対象の振幅（変位量）に基づいて、サンプリングレートを調整することとしてもよい。この場合、例えば、各解析対象の振幅のうち、最も大きい振幅が、予め設定された関心領域の大きさの５０％以上である場合、第１の時系列画像のサンプリングレートを高くし、１０％以下である場合、第１の時系列画像のサンプリングレートを低くするようにすればよい。これにより、解析対象が関心領域から外れるおそれを低減することができるので、振動解析の精度を向上させることができる。

【産業上の利用可能性】

【0048】

本発明は、振動をピックアップ等により直接計測することが難しい物体の振動解析に好適である。特に、解析対象の振動の大きさ（振幅）が不明である場合の振動解析に好適である。

【符号の説明】

【0049】

１ 振動解析装置、１０ カメラユニット、１１Ｒ 右カメラ、１１Ｌ 左カメラ、２０ 制御ユニット、２１ 制御部、２１１ 画像データ取得部、２１２ 解析対象認識部、２１３ 振動解析部、２２ 記憶部、２３ 表示部、２４ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】