(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-01-16
(45)【発行日】2024-01-24
(54)【発明の名称】画像解析装置、画像解析方法及びプログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20240117BHJP
G06T 7/60 20170101ALI20240117BHJP
【FI】
G06T7/55
G06T7/60 180
(21)【出願番号】P 2023046250
(22)【出願日】2023-03-23
【審査請求日】2023-03-23
(73)【特許権者】
【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
(74)【代理人】
【識別番号】100196380
【氏名又は名称】森 匡輝
(72)【発明者】
【氏名】石井 抱
(72)【発明者】
【氏名】島崎 航平
(72)【発明者】
【氏名】王 飛躍
(72)【発明者】
【氏名】秦 文翔
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2006-275984(JP,A)
【文献】馬場雅志 外2名,多視点絵画のレンダリングにおける形状歪みの空間変形による解釈,Media Computing Conference 2010 2010年度 画像電子学会第38回年次大会 予稿集 Visual Computing/グラフィクスとCAD合同シンポ [DVD-ROM],日本,2010年06月27日
【文献】糸山浩太郎 外3名,複数視点による同時撮像を行う高速書籍電子化システムのための三次元変形推定と展開画像合成,電子情報通信学会技術研究報告 ,日本,社団法人電子情報通信学会,2011年11月17日,第111巻 第317号,pp.75~80
(58)【調査した分野】(Int.Cl.,DB名)
G06F 30/00 - 30/398
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
解析対象の三次元モデルの座標と、複数の視点から撮影された前記解析対象の二次元画像の座標とを関連付けるモデルマッチング部と、
前記視点ごとの二次元画像に基づいて、前記三次元モデル上の変位量を演算する変位演算部と、
前記変位演算部で前記視点ごとに演算された前記三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する合成部と、を備える、
ことを特徴とする画像解析装置。
【請求項2】
前記変位演算部は、前記視点ごとの二次元画像に基づいて、デジタル画像相関法により変位量を演算する、
ことを特徴とする請求項1に記載の画像解析装置。
【請求項3】
前記モデルマッチング部は、
前記視点ごとの二次元画像上の変位量を、前記三次元モデル上の変位量に変換するための固有パラメータを生成し、
前記変位演算部は、
演算された前記視点ごとの変位量及び前記固有パラメータに基づいて前記三次元モデル上の測定点の変位量を演算する、
ことを特徴とする請求項1に記載の画像解析装置。
【請求項4】
前記視点ごとの前記解析対象の二次元画像である解析対象画像を取得する解析対象画像取得部と、
前記解析対象画像と対比して前記解析対象の変位量を演算するための参照画像を生成する参照画像生成部と、を備え、
前記解析対象画像取得部は、前記解析対象画像の背景情報を削除し、
前記参照画像生成部は、前記参照画像の背景情報を削除し、
前記変位演算部は、
背景情報が削除された前記参照画像及び前記解析対象画像に基づいて、前記視点ごとの変位量を演算する、
ことを特徴とする請求項1に記載の画像解析装置。
【請求項5】
前記三次元モデル上の変位量の測定点は、少なくとも2以上の視点の二次元画像に含まれる、
ことを特徴とする請求項1に記載の画像解析装置。
【請求項6】
解析対象の三次元モデルの座標と関連付けられた座標を有し、複数の視点から撮影された前記解析対象の二次元画像に基づいて、前記視点ごとの三次元モデル上の変位量を演算し、
演算された前記視点ごとの三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する、
ことを特徴とする画像解析方法。
【請求項7】
コンピュータを、
解析対象の三次元モデルの座標と、複数の視点から撮影された前記解析対象の二次元画像の座標とを関連付けるモデルマッチング部、
前記視点ごとの二次元画像に基づいて、前記三次元モデル上の変位量を演算する変位演算部、
前記変位演算部で前記視点ごとに演算された前記三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する合成部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置、画像解析方法及びプログラムに関し、より詳細には対象の三次元の変位を解析する画像解析装置、画像解析方法及びプログラムに関する。
【背景技術】
【0002】
従来、画像解析によって、被写体である対象の三次元の変位を解析する技術が開発されている。例えば、特許文献1では、複数のカメラで撮影された画像に基づく画像解析によって、解析対象の三次元の熱変形特性を測定することとしている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、複数のカメラで撮影された画像をステレオ画像処理することにより、被測定物の三次元形状のデータを算出し、デジタル画像相関法(DIC:Digital Image Correlation)を用いて、観測部位の変位量を算出することとしている。
【0005】
しかしながら、ステレオ画像処理を用いて三次元の変位を解析するためには、複数のカメラについて、相互にキャリブレーション及びステレオマッチングを行う必要がある。通常、キャリブレーション及びステレオマッチングは2つのカメラ間で行われるので、カメラの台数を増加させると、キャリブレーション及びステレオマッチングに要する手間と時間は大幅に増加することとなる。
【0006】
また、カメラの組み合わせの数だけキャリブレーション誤差及びステレオマッチング誤差が生じるので、最終的に算出される三次元変位の精度は低下する。
【0007】
本発明は、上述の事情に鑑みてなされたものであり、対象の三次元の変位量解析を簡素化するとともに、解析精度を向上させることができる画像解析装置、画像解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、この発明の第1の観点に係る画像解析装置は、
解析対象の三次元モデルの座標と、複数の視点から撮影された前記解析対象の二次元画像の座標とを関連付けるモデルマッチング部と、
前記視点ごとの二次元画像に基づいて、前記三次元モデル上の変位量を演算する変位演算部と、
前記変位演算部で前記視点ごとに演算された前記三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する合成部と、を備える。
【0009】
また、前記変位演算部は、前記視点ごとの二次元画像に基づいて、デジタル画像相関法により変位量を演算する、
こととしてもよい。
【0010】
また、前記モデルマッチング部は、
前記視点ごとの二次元画像上の変位量を、前記三次元モデル上の変位量に変換するための固有パラメータを生成し、
前記変位演算部は、
演算された前記視点ごとの変位量及び前記固有パラメータに基づいて前記三次元モデル上の測定点の変位量を演算する、
こととしてもよい。
【0011】
また、画像解析装置は、
前記視点ごとの前記解析対象の二次元画像である解析対象画像を取得する解析対象画像取得部と、
前記解析対象画像と対比して前記解析対象の変位量を演算するための参照画像を生成する参照画像生成部と、を備え、
前記解析対象画像取得部は、前記解析対象画像の背景情報を削除し、
前記参照画像生成部は、前記参照画像の背景情報を削除し、
前記変位演算部は、
背景情報が削除された前記参照画像及び前記解析対象画像に基づいて、前記視点ごとの変位量を演算する、
こととしてもよい。
【0012】
また、前記三次元モデル上の変位量の測定点は、少なくとも2以上の視点の二次元画像に含まれる、
こととしてもよい。
【0013】
また、本発明の第2の観点に係る画像解析方法では、
解析対象の三次元モデルの座標と関連付けられた座標を有し、複数の視点から撮影された前記解析対象の二次元画像に基づいて、前記視点ごとの三次元モデル上の変位量を演算し、
演算された前記視点ごとの三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する。
【0014】
また、本発明の第3の観点に係るプログラムは、
コンピュータを、
解析対象の三次元モデルの座標と、複数の視点から撮影された前記解析対象の二次元画像の座標とを関連付けるモデルマッチング部、
前記視点ごとの二次元画像に基づいて、前記三次元モデル上の変位量を演算する変位演算部、
前記変位演算部で前記視点ごとに演算された前記三次元モデル上の変位量を合成して、前記解析対象の三次元変位を算出する合成部、
として機能させる。
【発明の効果】
【0015】
本発明の画像解析装置、画像解析方法及びプログラムによれば、三次元モデルに関連付けられた複数の視点の解析対象画像に基づいて演算された変位量を合成して、解析対象の三次元変位を算出するので、画像解析処理を簡素化するとともに、三次元変位解析の精度を向上させることが可能である。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施の形態に係る画像解析装置の機能ブロック図である。
【
図2】実施の形態に係る画像解析の流れを示す概念図である。
【
図3】実施の形態に係る画像解析の流れを示すフローチャートである。
【
図4】(A)は左側カメラの画像に基づいて演算された変位量の例、(B)は右側カメラの画像に基づいて演算された変位量の例を示す図である。
【
図5】
図4(A)、(B)の変位量を合成して算出した三次元変位量の例を示す図である。
【発明を実施するための形態】
【0017】
以下、図を参照しつつ、本発明の実施の形態に係る画像解析装置1について説明する。
図1の機能ブロック図に示すように、本実施の形態に係る画像解析装置1は、視点の異なる複数のカメラ20-1~20-k(kはカメラの台数である。以下、カメラ20-1~20-kをカメラ20-nともいう。)を含むカメラユニット20と接続され、各カメラ20-nで撮影された解析対象画像に基づいて被写体である解析対象の変位解析を行う。
【0018】
画像解析装置1は、例えばコンピュータ装置であり、
図1に示すように、制御部11、記憶部12、表示部13、入力部14を備える。
【0019】
制御部11は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されており、画像解析装置1の動作を制御する。また、制御部11は、カメラユニット20で撮影された解析対象画像に基づいて、解析対象の変位状態を解析する。制御部11は、制御部11のROM、記憶部12等に記憶されている各種動作プログラム及びデータをRAMに読み込んでCPU及びGPUを動作させることにより、
図1に示される制御部11の各機能を実現させる。これにより、制御部11は、モデルマッチング部111、参照画像生成部112、解析対象画像取得部113、変位演算部114、合成部115として動作する。
【0020】
モデルマッチング部111は、予め作成された解析対象の三次元モデルの座標と複数の視点の異なるカメラ20-nで撮影された解析対象の二次元画像の座標との関連付けを行う。関連付けに係る演算処理は、特に限定されない。例えば関連付けとして、モデルマッチング部111は、各視点のカメラ20-nで撮影された二次元画像上の解析対象の変位量を、三次元モデル上の変位量に変換するための固有パラメータを演算する。固有パラメータは例えば変換行列であり、固有パラメータにより、二次元画像の座標系で演算された解析対象の変位量を三次元モデルの座標系の変位量に変換することができる。
【0021】
参照画像生成部112は、解析対象の変位量(変位の方向及び大きさ)を演算するために、カメラユニット20で撮影された解析対象画像と対比される参照画像を生成する。参照画像は、各カメラ20-nの視点に対応する三次元モデルの画像でもよいし、各カメラ20-nで撮影された解析対象の初期画像でもよい。
【0022】
解析対象画像取得部113は、カメラユニット20の各カメラ20-nを制御して、解析対象を被写体とする解析対象画像を撮影する。また、解析対象画像取得部113は、撮影された解析対象画像の画像データをカメラ20-nから取得する。
【0023】
変位演算部114は、解析対象画像取得部113で取得された解析対象画像と、解析対象画像に対応する参照画像とに基づいて、解析対象の二次元画像上の変位量を演算する。変位量の演算は、視点ごと、すなわちカメラ20-nごとに演算される。また、変位量の演算は、例えば、解析対象を複数の部分に分割した解析要素ごとに行われる。より具体的には、撮影された解析対象の画像を予め定められた所定の大きさの範囲に分割して解析要素とし、解析要素ごとの変位量を演算する。
【0024】
変位量の演算方法は、特に限定されない。本実施の形態に係る変位演算部114は、デジタル画像相関法(Digital Image Correlation)を用いて各解析要素の変位量を算出する。具体的には、解析対象画像取得部113で取得された解析対象画像と、これに対応する参照画像として三次元モデル等に基づいて作成された参照画像とに基づいて、各解析要素の変位量、すなわち解析対象画像上の各軸方向の変位の大きさを算出する。これにより、変位演算部114は、解析対象の二次元画像の座標系における変位量を演算することができる。また、変位演算部114は、変位量の時間変化に基づいて、各解析要素の速度、歪み、軌跡等の振動情報を演算することもできる。
【0025】
また、変位演算部114は、演算された二次元画像の解析要素ごとの変位量を、解析要素が対応する三次元モデル上の測定点の変位量として、記憶部12へ記憶させる。具体的には、変位演算部114は、二次元画像上で演算された変位量を、視点ごとの固有パラメータを用いて三次元モデル上の変位量に変換して、記憶部12に記憶させる。
【0026】
合成部115は、変位演算部114で視点ごとに演算された各解析要素の変位量を、合成する。具体的には、変位演算部114で視点ごとに演算され記憶部12へ記憶されている変位量のデータを、三次元モデル上の測定点に対応する解析要素ごとに読み出して、視点ごとの変位量を合成する。これにより、解析対象の各測定点における三次元の変位量を算出することができる。
【0027】
記憶部12は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、参照画像と解析対象画像とに基づいて解析対象の変位量を演算するプログラム、予め作成された解析対象の三次元モデル、変位演算部114で演算された解析対象の変位情報等を記憶する。
【0028】
表示部13は、コンピュータ装置である画像解析装置1に備えられた表示用デバイスであり、例えば液晶ディスプレイである。表示部13は、変位演算部114で演算された解析対象の変位に係る情報、合成部115で合成された解析対象の三次元変位等の解析結果、各種の解析条件等を表示する。
【0029】
入力部14は、解析の開始、終了指示、解析対象画像を取得する時間間隔等の解析設定パラメータ等を入力するための入力デバイスである。入力部14は、画像解析装置1に備えられたキーボード、タッチパネル、マウス等である。
【0030】
カメラユニット20は、視点の異なる複数のカメラ20-nを備える。カメラ20-nは、解析対象を含む画像である解析対象画像を撮影する撮像装置である。カメラ20-nの台数は特に限定されないが、三次元モデル上の変位量の測定点に対応する各解析要素が少なくとも2以上のカメラ20-nによって撮影される台数とすることが好ましい。また、複数のカメラ20-nは、全て同じタイミングで撮影できることが好ましい。これにより、三次元モデル上の各測定点について、三次元の変位量を精度よく算出することが可能となる。また、解析対象の振動状態を解析する場合、カメラユニット20は所定のフレームレートで解析対象を含む画像を撮影し、各時刻の解析対象画像の画像データを出力する。
【0031】
続いて、画像解析処理の流れを示す
図2の概念図及び
図3のフローチャートを参照しつつ、画像解析装置1を用いた画像解析について説明する。本実施の形態では、簡単のため、左右2つのカメラ20-1,20-2を備えるカメラユニット20で解析対象を撮影して変位状態を解析する場合の画像解析処理を例として説明する。
【0032】
まず、準備工程として、画像解析装置1は、解析対象の三次元モデルの座標とカメラユニット20で撮影される解析対象の二次元画像の座標とのマッチングを行う(ステップS11)。具体的には、モデルマッチング部111は、異なる視点のカメラ20-nで撮影される二次元画像上の変位量を、三次元モデル上の変位量に変換するための固有パラメータを演算する。視点ごとの参照画像及び解析対象画像は、固有パラメータを介して三次元モデルと関連付けられる。
【0033】
参照画像生成部112は、動作中の解析対象の二次元画像である解析対象画像と対比して解析対象の変位量を演算するための参照画像を生成する(ステップS12)。本実施の形態に係る参照画像生成部112は、各視点のカメラ20-nで同時に撮影された動作開始前の解析対象の初期画像を参照画像の元画像として用いる。
【0034】
また、本実施の形態では、参照画像について背景情報を削除する処理を行う。具体的には、参照画像生成部112は、上記参照画像の元画像について背景をマスキングする画像処理を行う。これにより、解析対象以外の画像情報を削除して、変位演算処理におけるノイズの影響を低減し、解析精度を向上させることができる。参照画像生成部112は、生成した参照画像を各カメラ20-nに対応する参照画像として、記憶部12に記憶させる。
【0035】
準備工程が完了した後、解析対象の動作が開始されるとともに、解析対象の画像解析が開始される。
【0036】
前処理工程として、解析対象画像取得部113は、カメラユニット20を制御して、動作中の解析対象を各カメラ20-nで、同じタイミングで撮影する。そして、解析対象画像取得部113は、カメラユニット20から解析対象画像の画像データを取得する(ステップS13)。
【0037】
解析対象画像取得部113は、ステップS13で取得した解析対象画像のマスキング処理を行う(ステップS14)。マスキング処理は、ステップS12において参照画像に施した処理と同様に、解析対象以外の背景情報を削除するものである。これにより、背景情報によるノイズの影響を低減し、解析精度を高めることができる。
【0038】
続いて、解析工程として、変位演算部114は、マスキング処理された解析対象画像及び記憶部12に記憶されている参照画像に基づいて、視点ごと、すなわちカメラ20-nごとに、解析対象の変位を算出するための画像解析を行う。上述の通り、変位演算部114は、例えばデジタル画像相関法を用いて、解析対象画像と参照画像との間で変位量を演算する(ステップS15)。本実施の形態に係る変位演算部114は、位相限定相関法(POC:Phase Only Correlation)を用いて解析対象画像の視点における二次元の変位量を演算する。
【0039】
図4(A)、(B)は、左右2つのカメラ20-1,20-2で撮影された解析対象画像に基づいて算出された、ある時刻における解析要素ごとの変位量を解析対象の画像上に表示したものである。
図4(A)、(B)に示すように、視点が異なるカメラ20-nごとに、同一の解析要素について演算される変位量は異なっている。これは、視点が異なることにより、解析対象画像に投影される解析要素の三次元の変位量が異なるためである。
【0040】
変位演算部114は、演算された解析要素ごとの変位量を、固有パラメータを用いて解析要素が対応する三次元モデル上の測定点の変位量に変換し、記憶部12へ記憶させる。これにより、画像解析装置1は、変位演算部114で演算された解析対象画像ごとに、解析対象の変位の方向及び大きさを演算し、三次元モデル上の変位量として記憶部12へ記憶させることができる。
【0041】
全てのカメラ20-nからの解析対象画像について変位量の演算が完了すると、画像解析装置1は、解析対象の三次元の変位量を算出する(ステップS16)。具体的には、変位演算部114で視点ごとに演算され記憶部12へ記憶されている変位量のデータを、三次元モデル上の測定点に対応する解析要素ごとに読み出して合成する。これにより、解析対象の各部における三次元の変位量を算出することができる。
【0042】
図5は、
図4(A)、(B)に示された各視点の変位量を合成して算出された変位量を解析対象の三次元モデル上に表示したものである。
図5に示すように、カメラユニット20の各カメラ20-nで撮影された解析対象画像に基づいて演算された変位量が合成されて、解析対象の各測定点における三次元の変位量が算出されていることがわかる。
【0043】
以下、解析が終了するまで、画像解析装置1は、ステップS13~S16の処理を繰り返し実行する(ステップS17のNO)。時系列で取得された解析対象画像について、繰り返し処理を行うことにより、画像解析装置1は、変位量の時間変化に基づいて、解析対象各部の速度、歪み、軌跡等の振動情報を演算することもできる。
【0044】
画像解析開始時に設定された所定の解析時間の終了、ユーザによる解析終了指示の入力等の終了条件を充足すると(ステップS17のYES)、画像解析装置1は、解析処理を終了する。
【0045】
以上説明したように、本実施の形態に係る画像解析装置1及びその画像解析方法によれば、三次元モデルに関連付けられた複数の視点の解析対象画像に基づいて演算された変位量を合成して解析対象の三次元変位を算出するので、各視点のカメラの相互のキャリブレーション及びステレオマッチングが不要となり、画像解析処理を簡素化することができる。また、各視点のカメラ間のキャリブレーション誤差及びステレオマッチング誤差が生じないので、三次元変位解析の精度を向上させることが可能である。
【0046】
また、本実施の形態では、各視点の参照画像及び解析対象画像について背景情報を削除して、変位解析を行うこととしているので、背景情報によるノイズの影響を低減し、変位解析の精度を向上させることが可能である。
【0047】
本実施の形態では、参照画像は、解析対象の動作前に各カメラ20-nで撮影された初期画像を元画像として生成されることとしたがこれに限られない。例えば、参照画像は、三次元モデルに基づいて生成される画像であることとしてもよい。この場合、視点ごとのカメラ20-nの撮影画像の画角、視野に対応する画角、視野の三次元モデルの画像を用いて参照画像を生成することとすればよい。参照画像を三次元モデルに基づいて生成することにより、背景のマスキング処理を容易に、精度よく行うことができる。
【0048】
また、本実施の形態では、カメラ20-nは全て同じタイミングで撮影することとしたがこれに限られない。例えば、変位状態をより詳細に解析したい部分が存在する場合、当該部分を撮影するカメラ20-nを、他のカメラ20-nより高いサンプリングレートで撮影することとしてもよい。これにより、より詳細な解析を行うとともに、画像解析装置1全体の演算負荷を軽減することができる。
【0049】
また、上記実施の形態に係る画像解析装置は、通常のコンピュータシステムを用いて実現可能である。例えば、上記実施の形態に係る画像解析を実行するためのコンピュータプログラムを、インターネット等のネットワークを介して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、通常のコンピュータシステムを上記の画像解析を実行する画像解析装置として機能させることができる。
【産業上の利用可能性】
【0050】
本発明は、産業用作業機械の三次元変位の画像解析に好適である。特に、振動をピックアップ等により直接計測することが難しい物体の振動の逐次画像解析に好適である。
【符号の説明】
【0051】
1 画像解析装置、11 制御部、111 モデルマッチング部、112 参照画像生成部、113 解析対象画像取得部、114 変位演算部、115 合成部、12 記憶部、13 表示部、14 入力部、20 カメラユニット、20-n カメラ
【要約】
【課題】対象の三次元の変位量解析を簡素化するとともに、解析精度を向上させることができる画像解析装置、画像解析方法及びプログラムを提供する。
【解決手段】画像解析装置1は、解析対象の三次元モデルの座標と、複数の視点から撮影された解析対象の二次元画像の座標とを関連付けるモデルマッチング部111と、視点ごとの二次元画像に基づいて、三次元モデル上の変位量を演算する変位演算部114と、変位演算部114で視点ごとに演算された三次元モデル上の変位量を合成して、解析対象の三次元変位を算出する合成部115と、を備える。
【選択図】
図1