▶ 株式会社竹中工務店の特許一覧 ▶ 国立大学法人山口大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-29
(45)【発行日】2023-10-10
(54)【発明の名称】画像処理装置及び画像処理プログラム
(51)【国際特許分類】
G01H 9/00 20060101AFI20231002BHJP
G06T 7/00 20170101ALI20231002BHJP
G06T 7/20 20170101ALI20231002BHJP
G06T 7/262 20170101ALI20231002BHJP
H04N 23/60 20230101ALI20231002BHJP
【ＦＩ】
G01H9/00 Z
G06T7/00 610Z
G06T7/20 100
G06T7/262
H04N23/60 100
【請求項の数】
5
(21)【出願番号】P 2019227634
(22)【出願日】2019-12-17
(65)【公開番号】P2021096167
(43)【公開日】2021-06-24
【審査請求日】2022-10-05
(73)【特許権者】
【識別番号】000003621
【氏名又は名称】株式会社竹中工務店
(73)【特許権者】
【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(74)【代理人】
【識別番号】100099025
【弁理士】
【氏名又は名称】福田 浩志
(72)【発明者】
【氏名】三浦 一幸
(72)【発明者】
【氏名】長 篤志
【審査官】福田 裕司
(56)【参考文献】
【文献】特開２０１８－１３６１９１（ＪＰ，Ａ）
【文献】特開２００６－１８０４７９（ＪＰ，Ａ）
【文献】特開２０１７－０７５８８７（ＪＰ，Ａ）
【文献】特開２０１９－１７９３１６（ＪＰ，Ａ）
【文献】特開平０７－１２９７７７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２９９４２７（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０９７５７７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｈ ９／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
Ｇ０６Ｔ ７／２６２
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部と、前記取得部によって取得された動画像における、各々前記複数の物体の何れかの領域である複数の物体領域を抽出する抽出部と、
前記取得部によって取得された動画像における、前記抽出部によって抽出された前記複数の物体領域の各々に対する振動解析を行い、前記複数の物体領域の各々の間で共通となる振動成分を前記撮影装置の振動成分であるとして特定する特定部と、
を備えた画像処理装置。
【請求項2】
前記抽出部は、前記動画像に含まれるＳ／Ｎ比が所定レベル以上である領域を検出し、検出した領域における空間的に連続する部分画素群の各領域を前記複数の物体領域として抽出する、請求項１に記載の画像処理装置。
【請求項3】
前記動画像に対して複素空間フィルタリング処理を行うことにより位相画像を生成する生成部と、前記抽出部によって抽出された前記複数の物体領域について、前記生成部によって生成された位相画像の前記動画像における各フレーム画像間の変動を示す信号である位相変動信号を導出する導出部と、
前記導出部によって導出された位相変動信号を、周波数解析によって時間周波数スペクトルに変換する変換部と、
前記変換部によって得られた時間周波数スペクトルを用いて、同一領域内の時間周波数スペクトルを平均化した位相変動スペクトルを前記複数の物体領域の各々について算出する算出部と、
を更に備え、
前記特定部は、前記算出部によって算出された位相変動スペクトルにおいて、前記複数の物体領域に共通するピーク周波数を含む所定周波数範囲を、前記撮影装置の振動成分であるとして特定する、
請求項１又は請求項２に記載の画像処理装置。
【請求項4】
前記導出部は、前記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に前記位相変動信号を導出する、請求項３に記載の画像処理装置。
【請求項5】
複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得し、取得した動画像における、各々前記複数の物体の何れかの領域である複数の物体領域を抽出し、
取得した動画像における、抽出した前記複数の物体領域の各々に対する振動解析を行い、前記複数の物体領域の各々の間で共通となる振動成分を前記撮影装置の振動成分であるとして特定する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
大地震が発生した直後の建物の健全性を評価する際には、当該建物の詳細な診断を行うに先立って避難要否の判断を行うための一次的な診断が重要となる。そこで、本発明の発明者らは、特許文献１において、加速度センサ等に依存せずに一次的な簡易診断が可能となり得る建物の健全性の診断を行うシステムを提案している。
【0003】
このシステムでは、撮影装置により対象となる建物が撮影された動画像を解析することで得られる、当該建物の固有振動数の地震発生前後の変化率等をもとに当該建物の健全性を数値化することができる。
【0004】
対象となる建物の固有振動数を算出する場合において、特許文献２～３及び非特許文献１に開示されている技術等を用いて動画像中の微振動成分を検出することで固有振動数を算定する場合には、撮影装置自身が微振動環境下に存在すると撮影装置の振動と建物の振動との切り分けが必要となる。
【0005】
撮影装置の振動と建物の振動との時間周波数特性及び空間周波数特性が十分に異なる場合は、特許文献１にも記載されているように時空間周波数領域上で分離することが可能となる。しかし、撮影装置の振動特性と建物の振動特性とが時空間周波数領域上でラップする場合は単純に分離することができないため、本来計測したい建物の振動の固有振動数等の特性を正しく評価できない場合がある。
【0006】
一方で、撮影装置の振動を軽減させる技術として、撮影装置と三脚等の付帯器具とを含めた撮影システム全体の重量を重くする、防振ゴムやスプリング等の器具を導入する等といった物理的な防振対策も考えられる。しかし、この対策では、地盤の振動等に含まれる数Ｈｚ以下程度の周波数帯域での劇的な効果は期待できない。
【0007】
そこで、撮影装置の振動成分を検出（さらには除去まで）できるソフトウェア的な処理が必要とされている。なお、このようなソフトウェア的な対策は、特許文献１に記載されている移動撮影による建物の健全性を診断する用途に限らず、固定撮影での建物の健全性の診断の用途も含む、特許文献２～３及び非特許文献１に代表される被写体の時空間フィルタリングに基づく動画像処理のみの振動解析手法において全般的に有用である。
【0008】
ソフトウェア的な振動成分の検出処理及び除去処理に関する技術として、特許文献４には、機械式又は光学式ではない、デジタル式の手ぶれ補正技術が開示されている。この技術では、観賞や記録等の目視用途、パノラマ合成や３次元再構成等の画像間のマッチング用途等において、撮影装置自身の動きに起因する画像上の変動を除去することができる。
【先行技術文献】
【特許文献】
【0009】
【文献】特開２０１８－１３６１９１号公報
【文献】米国特許出願公開第２０１４／００７２１９０号明細書
【文献】米国特許第９３２４００５号明細書
【文献】特開２０１９－００４４５１号公報
【非特許文献】
【0010】
【文献】J.G. Chen, A. Davis, N. Wadhwa, F. Durand, W.T. Freeman, and O. Buyukozturk, “Video Camera-based Vibration Measurement for Condition Assessment of Civil Infrastructure”, International Symposium Non-Destructive Testing in Civil Engineering (2015)
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、目視用途で主に検出や除去を行わなければならない対象は、数画素（ピクセル）以上に及ぶ変動成分であり、特許文献４に開示されている技術では、サブピクセル級の極微細な変動の検出等についてはなんら記載されていない。また、マッチング用途ではサブピクセル級の精度が要求される場合があるが、複数の画素の対応関係に基づく幾何変換をベースとすることが多く、建物の常時微動を撮影した動画像のような、一見すると動きが存在しないような被写体において撮影装置の振動成分が混入した場合に正しく機能するとは限らない。
【0012】
本開示は、以上の事情を鑑みて成されたものであり、動画像から撮影装置の微細な振動成分を精度良く検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
請求項１に記載の本発明に係る画像処理装置は、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部と、前記取得部によって取得された動画像における、各々前記複数の物体の何れかの領域である複数の物体領域を抽出する抽出部と、前記取得部によって取得された動画像における、前記抽出部によって抽出された前記複数の物体領域の各々に対する振動解析を行い、前記複数の物体領域の各々の間で共通となる振動成分を前記撮影装置の振動成分であるとして特定する特定部と、を備える。
【0014】
請求項１に記載の本発明に係る画像処理装置によれば、撮影装置による撮影によって得られた動画像における、各々複数の物体の何れかの領域である複数の物体領域を抽出し、上記動画像における、上記複数の物体領域の各々に対する振動解析を行い、当該複数の物体領域の各々の間で共通となる振動成分を上記撮影装置の振動成分であるとして特定することで、動画像から撮影装置の微細な振動成分を精度良く検出することができる。
【0015】
請求項２に記載の本発明に係る画像処理装置は、請求項１に記載の画像処理装置であって、前記抽出部は、前記動画像に含まれるＳ／Ｎ比が所定レベル以上である領域を検出し、検出した領域における空間的に連続する部分画素群の各領域を前記複数の物体領域として抽出する。
【0016】
請求項２に記載の本発明に係る画像処理装置によれば、動画像に含まれるＳ／Ｎ比が所定レベル以上である領域を検出し、検出した領域における空間的に連続する部分画素群の各領域を上記複数の物体領域として抽出することで、より簡易に当該複数の物体領域を高い信頼性で抽出することができる。
【0017】
請求項３に記載の本発明に係る画像処理装置は、請求項１又は請求項２に記載の画像処理装置であって、前記動画像に対して複素空間フィルタリング処理を行うことにより位相画像を生成する生成部と、前記抽出部によって抽出された前記複数の物体領域について、前記生成部によって生成された位相画像の前記動画像における各フレーム画像間の変動を示す信号である位相変動信号を導出する導出部と、前記導出部によって導出された位相変動信号を、周波数解析によって時間周波数スペクトルに変換する変換部と、前記変換部によって得られた時間周波数スペクトルを用いて、同一領域内の時間周波数スペクトルを平均化した位相変動スペクトルを前記複数の物体領域の各々について算出する算出部と、を更に備え、前記特定部は、前記算出部によって算出された位相変動スペクトルにおいて、前記複数の物体領域に共通するピーク周波数を含む所定周波数範囲を、前記撮影装置の振動成分であるとして特定する。
【0018】
請求項３に記載の本発明に係る画像処理装置によれば、動画像に対して複素空間フィルタリング処理を行うことにより位相画像を生成し、上記複数の物体領域について、生成した位相画像の上記動画像における各フレーム画像間の変動を示す信号である位相変動信号を導出し、導出した位相変動信号を、周波数解析によって時間周波数スペクトルに変換し、当該時間周波数スペクトルを用いて、同一領域内の時間周波数スペクトルを平均化した位相変動スペクトルを上記複数の物体領域の各々について算出し、算出した位相変動スペクトルにおいて、上記複数の物体領域に共通するピーク周波数を含む所定周波数範囲を、上記撮影装置の振動成分であるとして特定することで、より高精度に撮影装置の振動成分を特定することができる。
【0019】
請求項４に記載の本発明に係る画像処理装置は、請求項３に記載の画像処理装置であって、前記導出部は、前記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に前記位相変動信号を導出する。
【0020】
請求項４に記載の本発明に係る画像処理装置によれば、上記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に上記位相変動信号を導出することで、より高精度に当該位相変動信号を導出することができる。
【0021】
請求項５に記載の本発明に係る画像処理プログラムは、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得し、取得した動画像における、各々前記複数の物体の何れかの領域である複数の物体領域を抽出し、取得した動画像における、抽出した前記複数の物体領域の各々に対する振動解析を行い、前記複数の物体領域の各々の間で共通となる振動成分を前記撮影装置の振動成分であるとして特定する、処理をコンピュータに実行させる。
【0022】
請求項５に記載の本発明に係る画像処理プログラムによれば、撮影装置による撮影によって得られた動画像における、各々複数の物体の何れかの領域である複数の物体領域を抽出し、上記動画像における、上記複数の物体領域の各々に対する振動解析を行い、当該複数の物体領域の各々の間で共通となる振動成分を上記撮影装置の振動成分であるとして特定することで、動画像から撮影装置の微細な振動成分を精度良く検出することができる。
【発明の効果】
【0023】
以上説明したように、本発明によれば、動画像から撮影装置の微細な振動成分を精度良く検出することができる。
【図面の簡単な説明】
【0024】
【図1】実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図2】実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。
【図3】実施形態に係る動画像データベースの構成の一例を示す模式図である。
【図4】実施形態に係る振動成分特定処理の一例を示すフローチャートである。
【図5】実施形態に係る動画像（代表画像）の一例を示す正面図である。
【図6A】実施形態に係る位相画像（水平成分）の一例を示す正面図である。
【図6B】実施形態に係る位相画像（垂直成分）の一例を示す正面図である。
【図7A】実施形態に係る動画像の一部画像の一例を示す正面図である。
【図8】実施形態に係る位相変動信号の一例を示すグラフである。
【図9】実施形態に係るサンプル画像（正弦波画像）の一例を示す正面図である。
【図10】実施形態に係る時間周波数スペクトルの一例を示すグラフである。
【図11】実施形態に係る実証実験の説明に供する時間周波数スペクトルの一例を示すグラフである。
【発明を実施するための形態】
【0025】
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、本発明を、風加振や地盤振動の影響下での微動状態における建物を撮影した動画像を処理対象とした画像処理装置に適用した場合について説明する。
【0026】
【0027】
図１に示すように、本実施形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、一時記憶領域としてのメモリ１２、不揮発性の記憶部１３、キーボードとマウス等の入力部１４、液晶ディスプレイ等の表示部１５、媒体読み書き装置（Ｒ／Ｗ）１６及び通信インタフェース（Ｉ／Ｆ）部１８を備えている。ＣＰＵ１１、メモリ１２、記憶部１３、入力部１４、表示部１５、媒体読み書き装置１６及び通信Ｉ／Ｆ部１８はバスＢ１を介して互いに接続されている。媒体読み書き装置１６は、記録媒体１７に書き込まれている情報の読み出し及び記録媒体１７への情報の書き込みを行う。
【0028】
記憶部１３はＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、振動成分特定プログラム１３Ａが記憶されている。振動成分特定プログラム１３Ａは、振動成分特定プログラム１３Ａが書き込まれた記録媒体１７が媒体読み書き装置１６にセットされ、媒体読み書き装置１６が記録媒体１７からの振動成分特定プログラム１３Ａの読み出しを行うことで、記憶部１３へ記憶される。ＣＰＵ１１は、振動成分特定プログラム１３Ａを記憶部１３から読み出してメモリ１２に展開し、振動成分特定プログラム１３Ａが有するプロセスを順次実行する。また、記憶部１３には、動画像データベース１３Ｂ、複素空間フィルタデータベース１３Ｃ等の各種データベースが記憶される。
【0029】
本実施形態に係る画像処理装置１０は、通信Ｉ／Ｆ部１８に、動画像の撮影を行う撮影装置２０が接続される。撮影装置２０は、撮影時に複数の建物を含むように撮影を行うためのものである。なお、撮影装置２０による撮影方法は、空撮、地上での人による移動撮影、三脚や固定部材等を用いた固定撮影等の何れの方法でもよい。また、本実施形態では、撮影装置２０としてカラー画像を撮影する撮影装置を適用しているが、これに限定されるものではなく、例えば、モノクロ画像を撮影する撮影装置を撮影装置２０として適用する形態としてもよい。
【0030】
次に、図２を参照して、本実施形態に係る画像処理装置１０の機能的な構成について説明する。図２に示すように、画像処理装置１０は、取得部１１Ａ、抽出部１１Ｂ、生成部１１Ｃ、導出部１１Ｄ、変換部１１Ｅ、算出部１１Ｆ及び特定部１１Ｇを含む。画像処理装置１０のＣＰＵ１１が振動成分特定プログラム１３Ａを実行することで、取得部１１Ａ、抽出部１１Ｂ、生成部１１Ｃ、導出部１１Ｄ、変換部１１Ｅ、算出部１１Ｆ及び特定部１１Ｇとして機能する。
【0031】
本実施形態に係る取得部１１Ａは、複数の物体が被写体として含まれ、かつ、撮影装置２０による撮影によって得られた動画像を取得する。なお、本実施形態では、上記物体として、建物を適用しているが、これに限定されるものではない。例えば、橋、塔等の建物を除く建造物、山、樹木等の自然物や、脈動などの生体情報、空調ダクトや変圧器などの設備機器、またはこれらの複数種類の組み合わせ等を上記物体として適用する形態としてもよい。
【0032】
また、本実施形態に係る抽出部１１Ｂは、取得部１１Ａによって取得された動画像における、各々上記複数の物体の何れかの領域である複数の物体領域を抽出する。そして、本実施形態に係る特定部１１Ｇは、取得部１１Ａによって取得された動画像における、抽出部１１Ｂによって抽出された複数の物体領域の各々に対する振動解析を行い、当該複数の物体領域の各々の間で共通となる振動成分を撮影装置２０の振動成分であるとして特定する。本実施形態に係る抽出部１１Ｂは、上記動画像に含まれるＳ／Ｎ比（Signal to Noise ratio）が所定レベル以上である領域を検出し、検出した領域における空間的に連続する部分画素群の各領域を上記複数の物体領域として抽出する。
【0033】
一方、本実施形態に係る生成部１１Ｃは、上記動画像に対して複素空間フィルタリング処理を行うことにより位相画像を生成する。また、本実施形態に係る導出部１１Ｄは、抽出部１１Ｂによって抽出された複数の物体領域について、生成部１１Ｃによって生成された位相画像の上記動画像における各フレーム画像間の変動を示す信号である位相変動信号を導出する。また、本実施形態に係る変換部１１Ｅは、導出部１１Ｄによって導出された位相変動信号を、周波数解析によって時間周波数スペクトルに変換する。さらに、本実施形態に係る算出部１１Ｆは、変換部１１Ｅによって得られた時間周波数スペクトルを用いて、同一領域内の時間周波数スペクトルを平均化した位相変動スペクトルを上記複数の物体領域の各々について算出する。
【0034】
ここで、本実施形態に係る特定部１１Ｇは、算出部１１Ｆによって算出された位相変動スペクトルにおいて、上記複数の物体領域に共通するピーク周波数を含む所定周波数範囲を、撮影装置２０の振動成分であるとして特定する。また、本実施形態に係る導出部１１Ｄは、上記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に位相変動信号を導出する。
【0035】
次に、図３を参照して、本実施形態に係る動画像データベース１３Ｂについて説明する。図３に示すように、本実施形態に係る動画像データベース１３Ｂは、予め割り振られた動画像ＩＤ（Identification）毎に、撮影装置２０による動画像の撮影によって得られた動画像情報が記憶されている。このように、本実施形態では、動画像情報を事前に撮影装置２０から取り込んで動画像データベース１３Ｂに登録しているが、これに限定されるものではない。例えば、撮影装置２０による撮影を常時実施し、所定レベル以上の振動が発生した際に撮影装置２０から得られる動画像情報をオンラインで、リアルタイム又は非リアルタイムで用いる形態等としてもよい。
【0036】
一方、本実施形態に係る複素空間フィルタデータベース１３Ｃは、予め定められた複素空間フィルタ（本実施形態では、複素ガボールフィルタ（Gabor Filter））を示す情報が登録されている。但し、複素空間フィルタは複素ガボールフィルタに限定されるものではなく、空間位相特性が９０度だけ異なり、空間振幅特性が等しい空間フィルタ（実部フィルタ、虚部フィルタ）を組とした複素空間フィルタであれば、他のフィルタを複素空間フィルタとして適用してもよい。
【0037】
次に、図４～図１０を参照して、本実施形態に係る画像処理装置１０の作用を説明する。ユーザによって振動成分特定プログラム１３Ａの実行を開始する指示入力が入力部１４を介して行われた場合に、画像処理装置１０のＣＰＵ１１が当該振動成分特定プログラム１３Ａを実行することにより、図４に示す振動成分特定処理が実行される。なお、ここでは、錯綜を回避するために、動画像データベース１３Ｂ及び複素空間フィルタデータベース１３Ｃが構築済みであり、処理対象とする動画像情報がユーザによって指定されている場合について説明する。
【0038】
図４のステップ２００で、取得部１１Ａは、ユーザによって指定された動画像情報（以下、「処理対象動画像情報」という。）を動画像データベース１３Ｂから読み出すことにより取得する。
【0039】
ステップ２０２で、生成部１１Ｃは、複素空間フィルタデータベース１３Ｃから複素空間フィルタを示す情報を読み出し、処理対象動画像情報に対して当該複素空間フィルタ（本実施形態では、複素ガボールフィルタ）による複素空間フィルタリング処理を行って位相画像を生成する。
【0040】
即ち、まず、生成部１１Ｃは、読み出した複素空間フィルタを用いた複素空間フィルタリング処理を行うことで、処理対象動画像情報により示される動画像の各フレーム画像から、実部画像Ｉｒｅと虚部画像Ｉｉｍを算出する。次いで、生成部１１Ｃは、次の式（１）による演算を画素毎に行うことにより、位相画像Ｉθを算出する。
【0041】
Ｉθ＝ｔａｎ－１（Ｉｉｍ／Ｉｒｅ） （１）
【0042】
以上の処理を処理対象動画像情報により示される動画像の全フレーム画像に実行する。複素空間フィルタリング処理は、空間領域上での畳み込みカーネルのコンボリューションによる方法と、空間周波数領域上でのフィルタ積による方法との何れの方法を適用してもよい。
【0043】
例えば、処理対象動画像情報により示される動画像のうちの１枚の画像が、一例として図５に示す画像である場合、上述した複素空間フィルタリング処理によって得られる水平成分の位相画像が図６Ａに示すものとなり、垂直成分の位相画像が図６Ｂに示すものとなる。なお、図５に示す画像は、便宜上、建物を被写体としたものではなく、本発明の発明者らが制作した構造物を被写体として撮影したものを適用している。
【0044】
ステップ２０４で、抽出部１１Ｂは、導出した位相画像Ｉθにおける撮影装置２０の振動成分の検出対象とする領域（以下、「処理対象領域」という。）を決定する。本実施形態では、処理対象領域の決定方法として、Ｓ／Ｎ比が所定レベル以上である画素群を処理対象領域とする方法を適用している。ここで、Ｓ／Ｎ比が所定レベル以上である画素群の一例としては、取得部１１Ａによって取得した段階の処理対象動画像情報が示す動画像において、フレーム画像の空間１次微分フィルタ（例えば、Ｓｏｂｅｌフィルタ）、空間２次微分フィルタ（例えば、ラプラシアンフィルタ）、あるいはエッジ画像を検出するエッジ検出処理を施した出力画像が相当する。スパイク的なノイズ成分を除去して、領域の塊を確保する必要があれば、メディアンフィルタや、膨張処理及び収縮処理を併用する。抽出部１１Ｂは、最終的に閾値処理により二値化することで処理対象領域を決定する。
【0045】
なお、処理対象領域の決定方法は以上の方法に限定されるものではなく、例えば、ユーザによって予め指定された注目領域を処理対象領域として決定する形態としてもよい。
【0046】
ステップ２０６で、抽出部１１Ｂは、ステップ２０４の処理によって得られた処理対象領域に対応する二値化画像に対してラベリング処理を行い、空間的に連続する画素群を１つの塊として切り分けることで、処理対象領域を複数の部分画素群に分割する。この処理によって得られた複数の部分画素群が、上述した複数の物体領域に相当し、以下では当該部分画素群を物体領域という。
【0047】
図７Ｂには、処理対象とする画像が図５に示した画像の一部の画像である図７Ａに示すものである場合における、ステップ２０６の処理によって得られた物体領域の一例が示されている。なお、図７Ｂでは、物体領域毎に異なる濃度で示しており、図７Ｂに示す例では、６つの物体領域が抽出されている。
【0048】
ステップ２０８で、導出部１１Ｄは、ステップ２０２の処理によって得られた位相画像Ｉθに対して位相アンラップ処理を行う。即ち、位相情報は、一般的には－π～＋πの範囲で折り返される形でラッピングされている（即ち、例えばπ＋π／４→－π／４となる。）。そこで、本実施形態では、位相アンラップ処理（位相接続処理）を行う。位相アンラップ処理としては、例えば、インターネット（URL:https://www.researchgate.net/publication/265151826）、（URL:http://retrofocus28.blogspot.com/2013/12/phase-unwrapping_26.html）、（URL:https://jp.mathworks.com/help/dsp/ref/unwrap.html#f5-1119858）等に記載の既知のアルゴリズムを適用することができる。なお、導出した位相画像Ｉθがラッピングされていないものであれば、本ステップ２０８の処理は実行する必要がないことは言うまでもない。
【0049】
ステップ２１０で、導出部１１Ｄは、以上の処理を経て得られた位相画像Ｉθに対して、ステップ２０６の処理によって得られた物体領域のうちの何れか１つの物体領域（以下、「処理対象物体領域」という。）の各画素における、位相画像Ｉθそのままで時間方向に切り取った時系列データである、上述した位相変動信号を算出する。
【0050】
図８には、処理対象とする画像が図７Ａに示すものである場合における、ステップ２１０の処理によって得られた、位相アンラップ処理による位相接続の前後における位相変動信号の一例が示されている。なお、図８に示す例では、位相接続前の位相変動信号を破線で示し、位相接続後の位相変動信号を実線で示している。
【0051】
図８に示すように、位相接続により、＋１８０度を超えて－１８０度に折り返された信号が＋１８０度を超えて連続的に表される。但し、図８の例で用いた位相アンラップ処理は、位相が２回転以上することを想定していないため、図８における横軸の値が１２０フレーム付近で＋３６０度を超えた信号の折り返しが残ったままとなっている。これは、アンラップ後の信号に位相アンラップ処理を再度施すことで解消される。しかし、本発明はサブピクセル級の微弱な振動を対象としているが、位相ラッピングが生じる場合はサブピクセルを超えるような大きな動きを生じていると解釈することも可能なため、ラッピングが生じた画素群または画像領域は処理対象領域から除外することを検知する目的で位相アンラップ処理を利用することも可能である。
【0052】
ステップ２１２で、変換部１１Ｅは、ステップ２１０の処理によって得られた処理対象物体領域の位相変動信号を周波数解析により、時間周波数領域の信号である時間周波数スペクトルに変換する。
【0053】
図１０には、図９に示す空間波長８画素で、かつ、１００画素×１００画素の正弦波画像を、撮影装置の振動成分に見立てた振幅０．５画素、時間周波数２Ｈｚで振動させた動画像における、ステップ２１２の処理によって得られた時間周波数スペクトルの一例が示されている。なお、図１０に示す例では、複素空間フィルタとして、空間波長λ＝８画素にピークを持つガウス関数型のバンドパスフィルタを用いている。
【0054】
ステップ２１４で、算出部１１Ｆは、ステップ２１２の処理によって得られた処理対象物体領域の時間周波数スペクトルに対して、同一領域内の時間周波数スペクトルを平均化した時間周波数スペクトルを、上述した位相変動スペクトルとして算出する。
【0055】
ステップ２１６で、算出部１１Ｆは、以上のステップ２１０～ステップ２１４の処理が全ての物体領域について終了したか否かを判定し、否定判定となった場合はステップ２１０に戻る一方、肯定判定となった時点でステップ２１８に移行する。なお、ステップ２１０～ステップ２１６の処理を繰り返し実行する場合に、ＣＰＵ１１は、それまでに処理対象としなかった物体領域を処理対象物体領域とする。
【0056】
ステップ２１８で、特定部１１Ｇは、全ての物体領域の位相変動スペクトルにおいて、各物体領域に共通するピーク周波数を、撮影装置２０の振動成分によるピークであると推定し、当該ピーク周波数を含む所定周波数範囲を撮影装置２０の振動成分であるとして特定し、特定した振動成分を示す情報を記憶部１３の所定領域に記憶した後に本振動成分特定処理を終了する。
【0057】
次に、本実施形態に係る画像処理装置１０による撮影装置の振動成分の特定に関する検証実験について説明する。
【0058】
図１１には、一例として図５に示す動画像を処理対象として適用した場合の画像処理装置１０による解析結果の一例が示されている。なお、図１１に示す例は、被写体が１３Ｈｚで振動しており、撮影装置２０が８Ｈｚで振動している場合で、かつ、物体領域として４箇所の領域を任意に抽出した場合について示している。
【0059】
図１１に示すように、複数の物体領域に跨がってピークが検出された８Ｈｚが撮影装置２０の振動成分であることが特定できることが確認された。
【0060】
以上説明したように、本実施形態によれば、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部１１Ａと、取得部１１Ａによって取得された動画像における、各々前記複数の物体の何れかの領域である複数の物体領域を抽出する抽出部１１Ｂと、取得部１１Ａによって取得された動画像における、抽出部１１Ｂによって抽出された前記複数の物体領域の各々に対する振動解析を行い、前記複数の物体領域の各々の間で共通となる振動成分を前記撮影装置の振動成分であるとして特定する特定部１１Ｇと、を備えている。従って、動画像から撮影装置の微細な振動成分を精度良く検出することができる。
【0061】
また、本実施形態によれば、動画像に含まれるＳ／Ｎ比が所定レベル以上である領域を検出し、検出した領域における空間的に連続する部分画素群の各領域を上記複数の物体領域として抽出している。従って、より簡易に当該複数の物体領域を高い信頼性で抽出することができる。
【0062】
また、本実施形態によれば、動画像に対して複素空間フィルタリング処理を行うことにより位相画像を生成し、上記複数の物体領域について、生成した位相画像の上記動画像における各フレーム画像間の変動を示す信号である位相変動信号を導出し、導出した位相変動信号を、周波数解析によって時間周波数スペクトルに変換し、当該時間周波数スペクトルを用いて、同一領域内の時間周波数スペクトルを平均化した位相変動スペクトルを上記複数の物体領域の各々について算出し、算出した位相変動スペクトルにおいて、上記複数の物体領域に共通するピーク周波数を含む所定周波数範囲を、上記撮影装置の振動成分であるとして特定している。従って、より高精度に撮影装置の振動成分を特定することができる。
【0063】
さらに、本実施形態によれば、上記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に上記位相変動信号を導出している。従って、より高精度に当該位相変動信号を導出することができる。
【0064】
なお、上記実施形態において、例えば、取得部１１Ａ、抽出部１１Ｂ、生成部１１Ｃ、導出部１１Ｄ、変換部１１Ｅ、算出部１１Ｆ及び特定部１１Ｇの各処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0065】
処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、処理部を１つのプロセッサで構成してもよい。
【0066】
処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0067】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【符号の説明】
【0068】
１０ 画像処理装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 抽出部
１１Ｃ 生成部
１１Ｄ 導出部
１１Ｅ 変換部
１１Ｆ 算出部
１１Ｇ 特定部
１２ メモリ
１３ 記憶部
１３Ａ 振動成分特定プログラム
１３Ｂ 動画像データベース
１３Ｃ 複素空間フィルタデータベース
１４ 入力部
１５ 表示部
１６ 媒体読み書き装置
１７ 記録媒体
１８ 通信Ｉ／Ｆ部
２０ 撮影装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 抽出部
１１Ｃ 生成部
１１Ｄ 導出部
１１Ｅ 変換部
１１Ｆ 算出部
１１Ｇ 特定部
１２ メモリ
１３ 記憶部
１３Ａ 振動成分特定プログラム
１３Ｂ 動画像データベース
１３Ｃ 複素空間フィルタデータベース
１４ 入力部
１５ 表示部
１６ 媒体読み書き装置
１７ 記録媒体
１８ 通信Ｉ／Ｆ部
２０ 撮影装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
