特許 5784895 動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5784895

(24)【登録日】2015年7月31日

(45)【発行日】2015年9月24日

(54)【発明の名称】動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150907BHJP

   H04N 5/225 20060101ALI20150907BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 F

   H04N5/225 Z

【請求項の数】18

【全頁数】37

(21)【出願番号】特願2010-244723(P2010-244723)

(22)【出願日】2010年10月29日

(65)【公開番号】特開2012-99977(P2012-99977A)

(43)【公開日】2012年5月24日

【審査請求日】2013年9月17日

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】100104949

【弁理士】

【氏名又は名称】豊栖 康司

(74)【代理人】

【識別番号】100074354

【弁理士】

【氏名又は名称】豊栖 康弘

(72)【発明者】

【氏名】康 宇範

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００７−２４３８４６（ＪＰ，Ａ）

【文献】 特開２００８−２４２８１２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６５， ５／９１ − ５／９５６

(57)【特許請求の範囲】

【請求項1】

撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで撮像する動画像撮像装置であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、
前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する特徴量算出手段と、
前記画像取得手段で取得された入力動画像の各フレーム又は各フレーム群から、前記特徴量算出手段で算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する代表画像選択手段と、
前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、
前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段と、
を備えることを特徴とする動画像撮像装置。

【請求項2】

請求項１に記載の動画像撮像装置において、
前記代表画像選択手段が、各周期に必ず１回現れるような画像を代表画像として選択するよう構成されてなることを特徴とする動画像撮像装置。

【請求項3】

請求項１に記載の動画像撮像装置において、
前記代表画像選択手段が、前記代表画像を自動選択させるか、ユーザに手動で選択させるかを選択可能に構成されてなることを特徴とする動画像撮像装置。

【請求項4】

請求項１から３のいずれか一に記載の動画像撮像装置において、さらに、
前記周期抽出手段で入力動画像を周期毎に区切る前に、周期の位置を前後に調整可能な周期調整手段を備えることを特徴とする動画像撮像装置。

【請求項5】

撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、
周期を代表する代表画像を選択する代表画像選択手段と、
前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、
前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段と、
複数の分割動画像の位相が不明な場合に、対象となる分割動画像のフレームをずらしながら差分を演算し、最もよい評価値が得られた位置を位相の揃った位置とみなす位相調整手段を備えることを特徴とする動画像撮像装置。

【請求項6】

請求項１から４のいずれか一に記載の動画像撮像装置において、さらに、
前記特徴量算出手段で算出された特徴量に基づいて、動画波形を生成する動画波形生成手段を備え、
前記基準タイミング選択手段が、該動画波形に基づいて基準タイミングを選択することを特徴とする動画像撮像装置。

【請求項7】

請求項６に記載の動画像撮像装置において、
前記基準タイミング選択手段は、動画波形が所定の閾値を超えたタイミングを基準タイミングとすることを特徴とする動画像撮像装置。

【請求項8】

請求項６に記載の動画像撮像装置において、
前記基準タイミング選択手段は、動画波形の所定期間毎において特徴量が最大又は最小となるタイミングを基準タイミングとすることを特徴とする動画像撮像装置。

【請求項9】

請求項１から８のいずれか一に記載の動画像撮影装置において、さらに、
前記基準タイミングに応じたタイミングでトリガ信号を発行するトリガ発行手段を備えることを特徴とする動画像撮像装置。

【請求項10】

撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、
周期を代表する代表画像を選択する代表画像選択手段と、
前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、
前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段と、
予め決定された、被写体の基準となる動きを表す、一周期分の基準動きパターンと、各周期の入力動画像とを比較し、異常度を判定する異常度解析手段と、
前記画像取得手段で取得した動画像データを周期毎に保持する一次記憶手段と、
前記異常度解析手段で判定された異常度の高い周期の動画像を、一次記憶手段に保存するように指定する保存画像抽出手段と、
を備えることを特徴とする動画像撮像装置。

【請求項11】

請求項１０に記載の動画像撮像装置において、さらに、
前記一次記憶手段よりも記憶容量が大きく、書き込み速度の遅い二次記憶手段を備えており、
前記一次記憶手段に保持された周期毎の動画像データの内、異常度が高く前記二次記憶手段に残すべきと前記保存画像抽出手段で指定された周期の動画像を、前記二次記憶手段に保存可能に構成してなることを特徴とする動画像撮像装置。

【請求項12】

請求項１０又は１１に記載の動画像撮像装置において、さらに、
前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を前記代表画像に基づき算出する特徴量算出手段を備えており、
前記特徴量算出手段を、前記異常度解析手段で構成し、特徴量として異常度を用いることを特徴とする動画像撮像装置。

【請求項13】

請求項１０又は１１に記載の動画像撮像装置において、さらに、
前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を前記代表画像に基づき算出する特徴量算出手段と、
前記特徴量算出手段で算出された特徴量に基づいて、動画波形を生成する動画波形生成手段と、
前記入力動画像を表示するための表示手段を備え、
前記表示手段は、
動画像を表示するための画像表示領域と、
前記動画波形生成手段で生成された動画波形を表示するための波形表示領域と、
を有しており、
前記波形表示領域において、動画波形の任意の位置を選択すると、該選択された動画波形に相当する動画像が、前記画像表示領域において表示されるよう構成してなることを特徴とする動画像撮像装置。

【請求項14】

請求項１３に記載の動画像撮像装置において、
前記特徴量を示す動画波形を前記波形表示領域上に表示した状態で、前記基準タイミング選択手段で基準タイミングを変更可能としてなり、
前記基準タイミングを変更すると、これに応じて前記波形表示領域で表示される動画波形が更新されるよう構成されてなることを特徴とする動画像撮像装置。

【請求項15】

請求項１３に記載の動画像撮像装置において、
前記特徴量を示す動画波形を前記波形表示領域上に表示した状態で、前記代表画像を変更可能としてなり、
前記代表画像を変更すると、これに応じて前記波形表示領域で表示される動画波形が更新されるよう構成されてなることを特徴とする動画像撮像装置。

【請求項16】

撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで観察する動画像観察方法であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する工程と、
前記取得された入力動画像から各フレーム又は各フレーム群の特徴量を、特徴量算出手段で算出する工程と、
前記算出された特徴量に基づいて、前記取得された入力動画像の各フレーム又は各フレーム群から、前記特徴量算出手段で算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する工程と、
前記選択された代表画像に基づいて、前記入力動画像を周期毎に区切る工程と、
を含むことを特徴とする動画像観察方法。

【請求項17】

撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで観察する動画像観察プログラムであって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する機能と、
前記取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する機能と、
前記算出された特徴量に基づいて、前記取得された入力動画像の各フレーム又は各フレーム群から、前記算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する機能と、
前記選択された代表画像に基づいて、前記入力動画像を周期毎に区切る機能と、
をコンピュータに実現させることを特徴とする動画像観察プログラム。

【請求項18】

請求項１７に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高速度撮像用カメラのような高いフレームレートでの画像の撮像が可能な動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体に関する。

【背景技術】

【0002】

被写体の変化を撮像するために、高いフレームレートで画像を連続して撮像可能な高速度撮像用カメラが利用されている。このような装置は、撮像手段で所定の撮像フレームレートで撮像したフレーム画像データを、撮像時と異なるフレームレートで表示手段に表示させる。例えば、通常のビデオカメラでは画像一枚あたりの撮像周期が１／３０秒、すなわちフレームレートが３０ｆｐｓ（frame per second）の規格速度であるのに対し、高速度カメラでは６０〜３２０００ｆｐｓといった高いフレームレートに設定できる。このような高速度カメラを用いて動画像を録画し、高い撮像フレームレートで撮像した一連のフレーム画像データを撮像時よりも低いフレームレートで表示画面に表示させれば、被写体の動きを微小時間毎に撮像された一連の画像によりスローで観察することができる（例えば特許文献１、２）。

【0003】

このような高速撮像装置において撮像された動画像は、撮影フレームレートが高くなる程、撮影時間に比べて再生時間が極端に長くなり、膨大なフレーム画像データの中から、目的とする撮影画像を見つけ出すことが難しくなる。特に、高速度カメラが高速化され、フレームレートが高くなる程、すなわち単位時間当たりの撮像枚数が多くなる程、解析すべき動画像データ量も膨大となって、この問題は顕著となる。

【0004】

また、像画像に含まれる撮像対象物の解析も容易でない。例えば、生産ラインを流れる製品に対して、何らかの異常が発生している際の原因究明のため、高速度撮影装置で連続的に撮影する場合、異常の発生するタイミングがある程度特定できている場合は、そのタイミングの近辺の画像を解析すれば足りるが、タイミングが不明な場合は、長時間連続運転させて動画像を撮像し、これをユーザが目視により確認することが行われており、同じような画像が続く膨大な画像データの中から、異常の発生過程を探すように一々目で確認するという、極めて労力を要する作業を強いられることとなっていた。この際、解析を行うための何らかの指標があれば、この指標に従って解析することで、作業負担を大幅に軽減できる。

【0005】

一方で従来は、他の信号、例えば異常の発生を検知するトリガ信号等の同期信号の入力と同期させることで、このトリガ信号の入力タイミングの近傍で動画像データを解析するといった作業は行われていた。しかしながらこの方法では、外部から同期信号を入力させるための追加のセンサ等が必要となり、さらに同期信号とリンクさせて動画像の記録を行うシステム構築も必要となる上、そもそも同期信号を取得できない、あるいは取得する方法が判らないような場合は、適用できなかった。このため、得られた画像データのみで解析の指標が得られる簡便な方法が求められていた。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９−１４１７０９号公報

【特許文献2】特開２００９−１００３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、従来のこのような問題点に鑑みてなされたものである。本発明の主な目的は、撮像した動画像データの解析に際して、ユーザに対して解析の指標を提供可能な動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を提供することにある。

【課題を解決するための手段及び発明の効果】

【0008】

上記の目的を達成するために、本発明の第１の側面に係る動画像撮像装置によれば、撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで撮像する動画像撮像装置であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する特徴量算出手段と、前記画像取得手段で取得された入力動画像の各フレーム又は各フレーム群から、前記特徴量算出手段で算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する代表画像選択手段と、前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段とを備えることができる。これにより、取り込んだ入力動画像を周期的に分割できるので、ユーザによる動画像の解析作業を大幅に軽減でき、特に高速度カメラのような大量の画像フレームを含む動画像の解析において、効率よく解析を行える利点が得られる。

【0009】

また、これにより、自動選択した代表画像を画像トリガとして、入力動画像を周期的に分けることができるので、ユーザによる動画像の解析作業を大幅に軽減できる。

【0010】

さらに、第２の側面に係る動画像撮像装置によれば、前記代表画像選択手段が、各周期に必ず１回現れるような画像を、代表画像として選択するよう構成できる。

【0011】

さらにまた、第３の側面に係る動画像撮像装置によれば、前記代表画像選択手段が、前記代表画像を自動選択させるか、ユーザに手動で選択させるかを選択可能に構成できる。

【0012】

さらにまた、第４の側面に係る動画像撮像装置によれば、さらに前記周期抽出手段で入力動画像を周期毎に区切る前に、周期の位置を前後に調整可能な周期調整手段を備えることができる。これにより、周期毎に区切る前にユーザが手動で周期を微調整できる利点が得られる。

【0013】

さらにまた、第５の側面に係る動画像撮像装置によれば、撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、周期を代表する代表画像を選択する代表画像選択手段と、前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段と、複数の分割動画像の位相が不明な場合に、対象となる分割動画像のフレームをずらしながら差分を演算し、最もよい評価値が得られた位置を位相の揃った位置とみなす位相調整手段を備えることできる。これにより、動画像の位相が不明な場合でも、演算によって位相の揃った位置を適切に求めることが可能となる。

【0014】

さらにまた、第６の側面に係る動画像撮像装置によれば、さらに前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を前記代表画像に基づき算出する特徴量算出手段と、前記特徴量算出手段で算出された特徴量に基づいて、動画波形を生成する動画波形生成手段とを備え、前記基準タイミング選択手段が、該動画波形に基づいて基準タイミングを選択することができる。これにより、動画波形に基づいて定量的な評価が可能となり、また動画波形を利用して周期毎の分割も容易に行える。

【0015】

さらにまた、第７の側面に係る動画像撮像装置によれば、前記基準タイミング選択手段は、動画波形が所定の閾値を超えたタイミングを基準タイミングとすることができる。これにより、基準タイミングによって各周期の同期を取ることができ、同期入力なしで周期毎に分割することが可能となる。

【0016】

さらにまた、第８の側面に係る動画像撮像装置によれば、前記基準タイミング選択手段は、動画波形の所定期間毎において特徴量が最大又は最小となるタイミングを基準タイミングとすることができる。

【0017】

さらにまた、第９の側面に係る動画像撮像装置によれば、さらに前記基準タイミングに応じたタイミングでトリガ信号を発行するトリガ発行手段を備えることができる。

【0018】

さらにまた、第１０の側面に係る動画像撮像装置によれば、撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、周期を代表する代表画像を選択する代表画像選択手段と、前記画像取得手段で取得された入力動画像を周期毎に分割するために、前記代表画像に基づいて基準タイミングを選択する基準タイミング選択手段と、前記基準タイミング選択手段で選択された基準タイミングに基づいて、前記入力動画像を周期毎に区切るための周期抽出手段と、予め決定された、被写体の基準となる動きを表す、一周期分の基準動きパターンと、各周期の入力動画像とを比較し、異常度を判定する異常度解析手段と、前記画像取得手段で取得した動画像データを周期毎に保持する一次記憶手段と、前記異常度解析手段で判定された異常度の高い周期の動画像を、一次記憶手段に保存するように指定する保存画像抽出手段とを備えることができる。これにより、一次記憶手段には、異常度の高い周期の動画像のみを残すことができる。

【0019】

さらにまた、第１１の側面に係る動画像撮像装置によれば、さらに前記一次記憶手段よりも記憶容量が大きく、書き込み速度の遅い二次記憶手段を備えており、前記一次記憶手段に保持された周期毎の動画像データの内、異常度が高く前記二次記憶手段に残すべきと前記保存画像抽出手段で指定された周期の動画像を、前記二次記憶手段に保存可能に構成できる。これにより、より重要度の高い周期の動画像を、確実に二次記憶手段に保存できる。

【0020】

さらにまた、第１２の側面に係る動画像撮像装置によれば、さらに、前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を前記代表画像に基づき算出する特徴量算出手段を備えており、前記特徴量算出手段を、前記異常度解析手段で構成し、特徴量として異常度を用いることができる。これにより、特徴量を用いて入力動画像を周期毎に分割する一方で、異常度としても利用し、保存する動画像の選択にも特徴量を利用できる。

【0021】

さらにまた、第１３の側面に係る動画像撮像装置によれば、さらに前記画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を前記代表画像に基づき算出する特徴量算出手段と、前記特徴量算出手段で算出された特徴量に基づいて、動画波形を生成する動画波形生成手段と、前記入力動画像を表示するための表示手段を備え、前記表示手段は、動画像を表示するための画像表示領域と、前記動画波形生成手段で生成された動画波形を表示するための波形表示領域とを有しており、前記波形表示領域において、動画波形の任意の位置を選択すると、該選択された動画波形に相当する動画像が、前記画像表示領域において表示されるよう構成できる。これにより、動画波形と動画像とをリンクさせて、動画波形状から該当する動画像の画像フレームの位置を指定でき、動画波形を動画像の指標として利用できる。

【0022】

さらにまた、第１４の側面に係る動画像撮像装置によれば、前記特徴量を示す動画波形を前記波形表示領域上に表示した状態で、前記基準タイミング選択手段で基準タイミングを変更可能としてなり、前記基準タイミングを変更すると、これに応じて前記波形表示領域で表示される動画波形が更新されるよう構成できる。これにより、ユーザは変更後の動画波形を参照しながら、適切な基準タイミングに調整、変更することが可能となる。

【0023】

さらにまた、第１５の側面に係る動画像撮像装置によれば、前記特徴量を示す動画波形を前記波形表示領域上に表示した状態で、前記代表画像を変更可能としてなり、前記代表画像を変更すると、これに応じて前記波形表示領域で表示される動画波形が更新されるよう構成できる。これにより、ユーザは変更後の動画波形を参照しながら、適切な代表画像を選択することが可能となる。

【0024】

さらにまた、実施の形態に係る動画像撮像装置によれば、前記画像取得手段が、１／２５秒以下の撮像周期で被写体の入力動画像を撮像可能な撮像手段とできる。これにより、大量の画像フレームを含む動画像の解析において、効率よく解析を行える利点が得られる。

【0025】

さらにまた、第１６の側面に係る動画像観察方法によれば、撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで観察する動画像観察方法であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する工程と、前記取得された入力動画像から各フレーム又は各フレーム群の特徴量を、特徴量算出手段で算出する工程と、前記算出された特徴量に基づいて、前記取得された入力動画像の各フレーム又は各フレーム群から、前記特徴量算出手段で算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する工程と、前記選択された代表画像に基づいて、前記入力動画像を周期毎に区切る工程とを含むことができる。これにより、基準タイミングによって各周期の同期を取ることができ、同期入力なしで周期毎に分割することが可能となる。また、動画波形に基づいて定量的な評価が可能となり、また動画波形を利用して周期毎の分割も容易に行える。

【0026】

さらにまた、第１７の側面に係る動画像観察プログラムによれば、撮像対象の一又は複数の被写体の動画像を高速度撮像用カメラで観察する動画像観察プログラムであって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する機能と、前記取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する機能と、前記算出された特徴量に基づいて、前記取得された入力動画像の各フレーム又は各フレーム群から、前記算出された特徴量に基づいて、周期の分割に適した画像を、周期を代表する代表画像として自動的に選択する機能と、前記選択された代表画像に基づいて、前記入力動画像を周期毎に区切る機能と、をコンピュータに実現させることができる。これにより、基準タイミングによって各周期の同期を取ることができ、同期入力なしで周期毎に分割することが可能となる。また、動画波形に基づいて定量的な評価が可能となり、また動画波形を利用して周期毎の分割も容易に行える。

【0027】

さらにまた第１８のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施の形態に係る動画像撮像装置を示す外観斜視図である。

【図2】図１の動画像撮像装置のブロック図である。

【図3】動画像観察プログラムのユーザインターフェース画面を示すイメージ図である。

【図4】動画像と外部信号の波形を同期させて記録する様子を示す模式図である。

【図5】ファイル選択ダイヤログを示すイメージ図である。

【図6】シーンマーク一覧ウィンドウを示すイメージ図である。

【図7】対象区間指定画面を示すイメージ図である。

【図8】代表画像指定画面を示すイメージ図である。

【図9】一周期分領域を調整する例を示すイメージ図である。

【図10】一周期の終了位置を調整する例を示すイメージ図である。

【図11】画像表示領域中に対象領域を指定する例を示すイメージ図である。

【図12】周期の先頭と末尾を設定するユーザインターフェース画面のイメージ図である。

【図13】分割動画像のユーザインターフェース画面を示すイメージ図である。

【図14】動画比較設定画面を示すイメージ図である。

【図15】動画比較画面を示すイメージ図である。

【図16】波形表示領域を多段表示とした例を示すイメージ図である。

【図17】動体追尾機能を実行した様子を示すを示すイメージ図である。

【図18】時系列画像生成機能を実行した様子を示すイメージ図である。

【図19】異なる分割動画像の特定の位相のみを表示した例を示すイメージ図である。

【図20】異常監視録画機能を実現する高速度撮像装置のブロック図である。

【図21】異常監視録画の設定手順を示すフローチャートである。

【図22】異常監視録画機能を実行する手順を示すフローチャートである。

【発明を実施するための最良の形態】

【0029】

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を例示するものであって、本発明は動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部材の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。

【0030】

本発明の実施例において使用される動画像撮像装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において動画像撮像装置とは、動画像撮像装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた動画像撮像システムも含む意味で使用する。

【0031】

また、本明細書において動画像撮像装置は、高速度観察の画像撮像を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の動画像撮像装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。

【0032】

本明細書において高速度観察とは、ハイスピード撮像等とも呼ばれ、人の目で視覚することが困難な瞬間的な画像を連続的な複数のフレーム画像として撮像するものであり、例えばフレームレート（一秒間に連続して取得する画像の枚数を定義する単位）１００ｆｐｓ〜１００万ｆｐｓでの撮像を行う。この際、必要に応じて被写体を適宜拡大表示させることもできる。

【0033】

なお、高速度撮像は、基本的には静止画を連続撮像するものであるが、これらを連続して表示すれば動画のように扱えるため、ここでは便宜上、動画像の録画と呼ぶこともある。すなわち本明細書において動画像とは、所定のフレームレートで連続して撮像した一連の静止画像の集合を指す。また動画像を表示手段５２に表示させた一画面を、画像フレーム、あるいは画像データとも呼ぶ。

【0034】

図１に、本発明の一実施の形態に係る動画像撮像装置１００の外観斜視図を、図２にブロック図を、それぞれ示す。これらの図に示す動画像撮像装置１００は、画像取得手段を構成する撮像手段１０を備えるヘッド部１５と、ヘッド部１５を駆動制御し画像処理等を行う本体部５０と、これらを接続するケーブル部２４とで構成される。ヘッド部１５は、撮像手段１０を含む撮像モジュール１６と、照明手段６０を含む照明モジュール６６、レンズモジュール２０で構成される。一方本体部５０は、照明手段６０に照明光を供給するための照明用光源６４と、撮像手段１０を制御する撮像用制御信号を生成し、撮像手段１０に対して送信するための撮像制御部１３と、撮像手段１０で撮像された動画像に対して画像処理を行うための画像処理部３０とを備える。さらに本体部５０は、撮像手段１０で撮像された動画像を表示する表示手段５２と、ユーザが各種設定や操作を行うための操作手段５５を備える。この動画像撮像装置１００は、観察用途に応じたレンズモジュール２０及び照明モジュール６６に交換可能とすれば、一台の動画像撮像装置を複数の異なる用途に用いることが可能となる。

【0035】

さらに本体部５０は必要に応じて、撮像手段１０の撮像周期を変更するための撮像周期設定手段や、撮像周期に基づいて撮像手段１０の撮像領域から画像データの読み出しが可能な読出領域の大きさ及び／又は位置を決定する読出領域決定手段、撮像周期が変更されたことを検出して、変更後の撮像周期に対応した読出領域の大きさ及び／又は位置に応じた画像フレームを読出領域から読み出し、所定の表示周期で表示手段５２に表示させる表示更新手段、読出領域の大きさ及び／又は位置を示す領域表示を、表示手段５２上に表示可能な領域表示手段５２、領域表示の基準位置を調整するための領域表示調整手段、基準位置や読出領域の大きさを指定するための領域位置指定手段、ユーザが動画像の表示の更新の実行を指示するための変更指示手段、シャッタースピードを設定するためのシャッタースピード設定手段、トリガを設定するためのトリガ設定手段等を備える。

【0036】

この動画像撮像装置１００は、撮像手段１０で撮像された一連の画像データを、撮像時の撮像周期よりも遅い表示周期で動画像として表示手段５２に表示させることができる。すなわち、撮像した動画像をスロースピードで再生できる。
（ヘッド部１５）

【0037】

ヘッド部１５は、撮像モジュール１６に撮像手段１０を備える。撮像手段１０は、照明手段６０により照明された観察対象の被写体Ｓ（試料、ワーク等）から、光学系を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の素子も利用できる。ここではヘッド部１５の外形を、図１に示すように円筒状の撮像モジュール１６とし、内部に撮像素子１２を内蔵している。また撮像モジュール１６をモノクロ撮像用、カラー撮像用等、用途に応じた複数種類を用意し、これらを適宜選択することで、種々の用途に対応可能な動画像撮像装置とできる。
（撮像手段１０）

【0038】

撮像手段１０は、撮像素子１２を２次元状に配置しており、このような撮像素子１２を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能としている。すなわち、常に撮像素子のすべてで取得した画像データを撮像領域全体から読み出すのでなく、撮像周期等に応じて、部分的な領域に制限して画像データを取得することで、高速な読み出しを可能としている。また撮像手段１０で被写体を撮像する際の撮像周期（いわゆる撮像フレームレート；本明細書においては特に断りのない場合、単に「フレームレート」と呼ぶことがある。）は、異なる周期に変更可能としている。フレームレートは、例えば３０〜３２０００ｆｐｓの範囲で設定できる。

【0039】

なお、画像取得手段は動画像を撮像する撮像手段に限らず、撮像済みの動画像データを入力する方式で、動画像データを取得する形態とすることもできる。画像取得手段が取得する動画像データは、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される。また、オンラインで異常監視、画像検査等をする場合に画像取得手段を動画像を撮像する撮像手段とし、オフラインで異常監視、画像検査等をする場合に画像取得手段を撮像済みの動画像データを入力する方式で動画像データを取得する形態とするように切り換えられる構成しても良い。
（レンズモジュール２０）

【0040】

レンズモジュール２０は、撮像素子１２と光学的に結合される光学レンズを内蔵する。レンズモジュール２０は、要求される倍率や明るさに応じたサイズ、曲率の光学レンズを複数枚備えている。また、高速度観察用のレンズを内蔵するレンズモジュール以外に、例えば拡大観察用のレンズを内蔵するレンズモジュールを用意し、交換可能としてもよい。
（照明手段６０）

【0041】

照明手段６０は、レンズモジュール２０を介して撮像素子１２に結像される被写体Ｓを照明する。照明手段６０の光源は、本体部５０に内蔵され、ケーブル部２４を介して照明光がヘッド部１５の照明手段６０に伝達される。照明手段６０は、ヘッド部１５に組み込み式としたり、ヘッド部１５と脱着可能な別体のいずれも採用できる。
（本体部５０）

【0042】

本体部５０は、照明用光源６４と、撮像制御部１３と、画像処理部３０と、一次記憶手段５３と、インターフェース部５４を備える。図２の例では、各部材を本体部５０に組み込んでいるが、本体部５０はこの構成に限られず、照明用光源６４、撮像制御部１３、画像処理部３０等を、各々ユニット状に分割可能とすることもできる。これにより、構成の自由度が増す。例えば、照明用光源を内蔵せず、外付けで接続する態様としてもよい。この場合、光源の切替を容易に行える反面、光源の設置や配線作業が必要となり、手間がかかる。
（照明用光源６４）

【0043】

照明用光源６４は、撮像制御部１３に点灯を制御される。具体的には、メタルハライドランプやハロゲンランプを使用する場合は、照明光供給ケーブル６１を接続する接続端子との光路上に照明光をすべて、あるいは部分的にマスクして遮光するマスク板（図示せず）を配置する。マスク板は２枚の大小の略扇形を背中合わせに接続したような形状で、回動軸を中心に回動自在に装着される。大きな扇形部分には、開口窓が設けられ、略円形の全周照明用開口窓と、略扇形の側射照明用開口窓が、それぞれ開口されている。また小さい扇形には、その円周側面部分にギア溝が形成されている。このマスク板は回動軸を中心に回動自在に連結されており、モータによって回動される。モータは回転軸にウォームギアを固定しており、ウォームギアのギア部分が、マスク板の小さい扇形の円弧部分に設けれらたギア溝と噛み合うように配置される。モータを回転させてマスク板を回動させると、全周照明用開口窓および側射照明用開口窓のいずれかが、照明光供給ケーブル６１と一致する。これによって、照明光供給ケーブル６１を照明用光源６４と接続し、照明手段６０から照明光を照射可能とする。

【0044】

またメタルハライドランプ以外にも、水銀ランプやキセノンランプ、ハロゲンランプやＬＥＤを利用できる。ＬＥＤは、ハロゲンランプ、メタルハライドランプ等に比べて赤外線成分が少なく、同一光量を照射しても、被写体への発熱量が少ない利点が得られる。また比較的安価で長寿命である上、入力に対する応答性にも優れ、照明光を遮光するマスク板を使用することなく点灯制御できる上、１００万ｆｐｓといった高速撮像にも十分追従してＯＮ／ＯＦＦできる。
（撮像制御部１３）

【0045】

撮像制御部１３は、高速度観察時におけるフレームレート、シャッタースピード等の撮像条件を、操作手段５５を介して設定し、設定された撮像条件に従い、各部の制御を行う。具体的には、撮像手段１０の撮像素子１２を駆動制御する撮像用制御信号を生成し、撮像手段１０に対して送信する。また、照明用光源６４のＯＮ／ＯＦＦや遮光を制御する。例えばストロボ撮像を行う場合は、撮像に同期した同期信号を出力し、同期信号により照明用光源６４の点灯ＯＮ／ＯＦＦを行うと共に撮像素子１２で撮像を行う。このように、撮像制御部１３から照明用光源６４に対し、１回の撮像の開始及び終了時点に同期した撮像タイミング信号と、撮像中の各フレームの露光開始時点に同期した露光タイミング信号が送信される。
（画像処理部３０）

【0046】

画像処理部３０は、撮像手段１０で撮像された画像に対して画像処理を行う。例えば、表示手段５２に表示された被写体の画像に対して、領域を指定し、面積を演算したり、高低差や距離、角度を演算するといった計測処理を行う。
（表示手段５２）

【0047】

表示手段５２は、撮像した画像や設定等を表示するディスプレイである。表示手段５２はＣＲＴや液晶パネル、有機ＥＬ等が利用される。図１の例では、表示手段５２は本体部５０に組み込まれているが、映像出力端子を設ける等して外付けのディスプレイを接続することも可能である。
（一次記憶手段５３）

【0048】

一次記憶手段５３は、撮像された画像データや設定内容等を保持する。好適には、一時的な記憶領域としてＲＡＭ等の高速な半導体メモリを使用し、データ保存領域としてハードディスクを使用する。
（インターフェース部５４）

【0049】

また、データを外部機器とＩ／Ｏ若しくは通信を介してやりとりするためのインターフェース部５４を備える。制御信号や画像データ等を外部機器と受け渡しするためのポートとして、ケーブル部２４や各種コネクタ類を接続する端子穴を本体部５０に開口させる。また、ＵＳＢポートを備えることで、ＵＳＢメモリへのデータの書き出しや、他のコンピュータ等とシリアル接続してデータ通信を容易に行える。
（操作手段５５）

【0050】

操作手段５５は、表示手段５２上に表示される画面に基づいてユーザが入力その他の操作を行うための入出力デバイスである。操作手段５５は本体部５０と有線もしくは無線で接続され、あるいは本体部５０に固定されている。一般的な操作手段５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作手段５５は、動画像撮像装置の操作の他、動画像撮像装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。なお表示手段５２や操作手段５５は、本体部５０と一体的に組み込むことも、本体部と有線もしくは無線で接続された外付けの部材とすることもできる。さらに表示手段をタッチパネルで構成すれば、表示手段と操作手段を一体に構成することもできる。また操作手段５５を無線接続のコンソールで構成することもできる。
（画像処理部３０の機能）

【0051】

画像処理部３０は、動画像を周期毎に分割したり、分割した分割動画像の内、異常度の高い分割動画像を保存したり、あるいは分割動画像同士を対比、解析する機能を備えている。図２に示す画像処理部３０は、特徴量算出手段３４と、周期抽出手段３２と、基準タイミング選択手段３１と、動画波形生成手段３５と、保存画像抽出手段３６と、基準動きパターン取得手段３７（後述）とを備える。
（動画像分割機能）

【0052】

この動画像撮像装置は、同じような動きを周期的に行うシーンを撮影した動画像を周期毎に分割する動画像分割機能を備える。具体的には、周期を代表する代表画像を選択し、この代表画像との類似度を示した波形を作成して動画波形とし、その波形解析によって、位相を揃えた周期毎に動画像を分割する。このようにすることで、数多くのフレームを含む動画像を周期毎に分割して、この分割された周期を単位として比較、解析が容易に行える。さらに動画像分割機能は、分割された分割動画像を対比する際に、位相を揃えることもできる。これにより、異なる周期の動画像を、位相の揃った状態で、すなわち同位相の画像データ同士を対比できるようになり、解析作業をより便利に行える。この動画像分割機能は、基準タイミング選択手段３１と、周期抽出手段３２とで実現される。
（代表画像）

【0053】

ここで、代表画像とは、これを基にして各フレームの参照値を算出して動画波形を計算した際に、各周期を分割するのに適した画像である。この代表画像に基づいて、周期の分け目が決定されるため、例えば各周期に必ず１回現れるような、周期を代表する画像を代表画像として選択することが好ましい。さらに、代表画像を基にした動画波形に対して参照値に関する閾値を設定し、動画波形がその閾値を超えるタイミング又は下回るタイミングを周期の基準タイミングとできるような画像を、代表画像として選択することが好ましい。また、閾値による基準タイミングの探索の場合と同様に、代表画像を基にした動画波形の一定時区間内における最小又は最大値の探索による基準タイミングの探索等、簡便な手法で基準タイミングの探索ができるような画像を代表画像として選択することが好ましい。

【0054】

この代表画像は、撮影した動画像からユーザが任意に選択する他、自動で演算することもできる。上記の方法では、一旦動画像観察プログラムで自動算出した後、ユーザがこれを調整するように構成している。図９の例では、基準タイミング選択手段３１により自動で選択された代表画像が表示されており、この代表画像を、ユーザが代表画像位置８６を調整して、任意の画像に変更することができる。
（代表画像の自動選択）

【0055】

代表画像を自動で選択するには、動画像中から代表画像の候補となる画像フレームを選択し、その代表画像の候補を基にした動画波形を計算する。これを各画像フレームについて実施し、各画像フレームに対応した動画波形を計算する。これらの各動画波形について、例えば波形が周期的なものになるかを判定したり、閾値、最小／最大値の探索等、簡便な手法でその周期を区切ることができるかを判定する。これによって、周期分割に最適な動画波形を特定し、その動画波形の基となる画像フレームを代表画像とする。その際、後述する自己相関により動画像を分割する周期を求め、その周期を最適な動画波形を特定に用いるようにしてもよい。さらに、代表画像として選択された画像フレームに加え、他の周期においてこの画像フレームとほぼ同一の画像が存在することになるが、各周期の「ほぼ同一の画像」を抽出し、この画像を平均化して周期ごとのばらつきを考慮したものを代表画像としてもよい。

【0056】

周期分割を行うための「代表画像」の選択条件としては、差分／類似度（評価値）を波形にして表したときに波形が周期的なものになり、かつ閾値、最小／最大値の探索等簡便な手法でその周期を区切ることができるものとなる。周期的なものとなるかどうかの判定は、例えば波形をずらしていき、差分が小さくなる部分が周期的に存在するかどうかで判定可能である。また閾値、最大／最小値の探索等を利用した周期の分割は、実際にこれを使って分割したときに、上述した周期的かどうかの判定方法で結果として求められる周期と、同じ周期で分割できるか、等の手法が利用できる。
（基準タイミング選択手段３１）

【0057】

基準タイミング選択手段３１は、画像取得手段で取得された入力動画像を周期毎に分割するために、周期を代表する基準タイミングを選択する。基準タイミング選択手段３１は、代表画像を基に基準タイミングを選択する。代表画像は、基準タイミング選択手段３１が自動的に選択する他、ユーザが操作手段５５で任意の画像データを選択することもできる。
（周期抽出手段３２）

【0058】

周期抽出手段３２は、基準タイミング選択手段３１で選択された基準タイミングに基づいて、入力動画像を周期毎に区切る。これにより、取り込んだ入力動画像を周期的に分割できるので、ユーザによる動画像の解析作業を大幅に軽減でき、特に高速度カメラのような大量の画像フレームを含む動画像の解析において、効率よく解析を行える利点が得られる。
（周期調整手段３３）

【0059】

また周期抽出手段３２で入力動画像を周期毎に区切る前に、周期の位置を前後に調整可能な周期調整手段３３を備えることもできる。これにより、周期毎に区切る前にユーザが手動で周期を微調整できる利点が得られる。
（特徴量算出手段３４）

【0060】

特徴量算出手段３４は、画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する。例えば特徴量算出手段３４は、代表画像と、入力動画像の各フレームとの類似度を特徴量として算出し、基準タイミング選択手段３１が、所定期間内で該類似度の最も高いフレームに対応するタイミングを基準タイミングとして選択する。または、特徴量算出手段３４が、代表画像と、入力動画像中の各フレームに対して代表画像との差分を演算し、基準タイミング選択手段３１が、所定期間内で最も差分の小さいフレームに対応するタイミングを基準タイミングとして選択するようにしてもよい。
（画像トリガ）

【0061】

代表画像と、録画中の各フレームとの類似度を計算し、その類似度を基に周期の切れ目のタイミングを認識してこれを画像トリガとし、周期的な動作をするシーンを位相を揃えて、自動的に周期毎に分割できる。要するに、基準タイミングに応じてトリガ発行手段でトリガ信号（画像トリガ）を発行する構成としてもよい。トリガ発行手段は、上述した画像処理部３０等が利用できる。代表画像に基づく画像トリガは、周期的な動作をするシーンにおける特定の位相を表すものであり、周期分割のタイミングに利用できるほか、トリガ信号を装置外部に供給することにより、例えばオンラインで異常監視、画像検査等をする場合に外部装置に検査／動作を指示するための外部トリガとして利用することができる。ここで、外部装置は、例えば画像による対象物の検査を行う画像検査装置や、対象物を加工する加工装置である。外部トリガは、基準タイミングもしくは基準タイミングから所定時間経過後に発行される。
なお、ここでは画像検査装置が外部装置である例について説明したが、画像処理検査装置を内蔵していてもよい。この場合、基準タイミングもしくは基準タイミングから所定時間経過後に取得した一又は複数の画像に対して、傷・欠陥抽出のような画像検査を実施するように構成される。
（動画波形生成手段３５）

【0062】

動画波形生成手段３５は、特徴量算出手段３４で算出された特徴量に基づいて、動画波形を生成する。周期抽出手段３２は、動画波形に基づいて周期を決定し、入力動画像を周期毎に区切ることができるようになる。これにより、動画波形に基づいて定量的な評価が可能となり、また動画波形を利用して周期毎の分割も容易に行える。

【0063】

動画波形を取得することで、基準タイミングの選択も容易となる。例えば、動画波形が所定の閾値を超えたタイミングを基準タイミングとして、基準タイミング選択手段３１が、基準タイミングを規定する。基準タイミングに基づいて各周期の同期を取ることで、同期入力なしで周期毎に分割できるようになる。
（動画波形）

【0064】

代表画像が決定されると、この代表画像に基づいて参照値を算出し、動画波形（モーショングラフ）を生成する。具体的には、代表画像と、動画像の各フレームの画像の、輝度や色差の差分／相関に基づいて参照値を算出する。さらにこの動画波形の周期を決定し、周期毎に分割する。具体的には、動画波形を基に、各周期において周期を代表する代表画像を選択して、その代表画像の位置を基準にして前後フレームを取り出すことで、位相の揃った周期毎の動画像に分割する。

【0065】

また、動画波形の演算には、動画像を構成する画像フレームの全体でなく、一部の領域のみを利用することもできる。例えば図１１では、画像表示領域４１中に破線で示す指定領域を対象領域ＲＯＩ（Region of Interest）として、参照値の算出に用いる画像領域を、この一部の領域制限している。このように画像領域を制限し、必要な情報が含まれている領域のみを指定することで、無駄な画像処理量を減らして、効率よく迅速、軽負荷の演算処理が実現できる。特に、画像フレームの一部に、周期を決める有力な情報が含まれているような場合には、この方法が有効となる。

【0066】

従来、動画像を周期的に分割する技術や思想はなく、精々、日時の異なる撮像において、その切り替わり（前回の録画終了箇所と次回の録画開始箇所）を検出する程度であった。要するに、同じ日時で撮像された連続する動画像から、周期性を検出して、周期毎に切り出すことは、行われていなかった。

【0067】

一以上の被写体を撮像した動画像中から、被写体の周期的な運動を認識し、その周期を計算する方法としては、差分行列の自己相関を使う方法が挙げられる。この方法では、Ｎフレームの動画像から、ｍ（＝１，２，．．．，Ｎ）フレーム目と、ｎ（＝１，２，．．．，Ｎ）フレーム目との差分を表すＮｘＮの差分行列（ｍ行ｎ列目がｍフレーム目とｎフレーム目の差分値や類似度となるような行列）を作成する。このＮ×Ｎの差分行列をＮ×Ｎの画像と同じように扱い、画像の自己相関と同じ手法で相関を求め、自己相関の高いＸＹ方向のずれ量（この場合フレーム間隔）により周期を算出することができる。ここで画像の自己相関とは、同一の画像を少しずつＸＹ方向にずらしていき、その相関を求める方法である。これはテンプレートマッチングにおける、代表画像と探索画像を同一にしたものといえる。この方法では、Ｎフレームの動画像中に存在する周期運動の平均周期を算出することは可能であるものの、周期にばらつきがある場合には各周期を求めることができず、Ｎフレームで求めた平均周期に基づいてＭフレーム（Ｎ＜Ｍ）の動画像を分割しようとすると、平均周期と実際の周期との誤差が累積してしまうという問題点があった。

【0068】

また、オシロスコープで交流等周期的な波形を、トリガを用いて周期毎に分割して表示する方法もある。この方法では、トリガ設定を適切に行うことで、波形の位相を揃えて周期毎に分割できる。一方で、画像データから、例えば平均輝度値等の参照値を算出して波形を作り、トリガをかけるという画像トリガ技術も知られている。これらの技術を組み合わせることで、周期的な動画像を分割することが可能となるものの、参照値の計算方法によっては周期を正しく認識しないことがあり、正しいトリガをかけることは困難であった。例えば、被写体の一周期の動作中に明るさが変化するようなシーンがあった場合には、輝度値を参照値にしたトリガは不適切であった。

【0069】

これに対して本実施の形態では、上述の通り周期を代表する画像を、代表画像として選択し、この代表画像に基づいて参照値を算出し、動画波形を生成している。この方法であれば、照度変化等に対して安定的な波形を得ることができる。また、代表画像に基づく動画波形により周期分割の基準タイミングをきめることで、各周期について同位相の、すなわち同期の取れた動画像の抽出が可能となる。これにより、周期の揺らぎの補正が容易となったり、平均周期からの誤差累積の問題が解消する。また動画波形が一定期間以上閾値を横切らなかった場合に、周期ズレが発生したとして、周期異常として検出することができる。
（動画像観察プログラム）

【0070】

動画像撮像は、動画像観察プログラムによってユーザの操作を受け付け、動画像の撮像や表示、解析を行うことができる。この動画像観察プログラムは、図１の例では、２の例では動画像撮像装置に組み込まれているが、例えば汎用のコンピュータを動画像撮像装置と接続し、このコンピュータに動画像観察プログラムをインストールして、動画像撮像装置に対する操作を行うように構成してもよい。この場合、表示手段５２や操作手段５５は、コンピュータのモニタや、タッチパネル、マウス、キーボード等のポインティングデバイスと共通にすることもできる。

【0071】

動画像観察プログラムのユーザインターフェース画面を、図３に示す。この図に示す動画像観察プログラムは、動画像を表示する画像表示領域４１と、後述する動画波形を表示する波形表示領域４２を設けている。この例では、画面の左上に画像表示領域４１を、その下に波形表示領域４２を設けているが、この配置は一例であって、種々のレイアウトが採用できる。例えば、画像表示領域を別ウィンドウで表示させてもよい。
（外部信号表示領域４３）

【0072】

さらに画像表示領域４１の右側には、動画像の録画時に同時に保存された外部信号の波形を表示させる、外部信号表示領域４３が設けられている。外部信号には、例えば温度センサや距離センサ、圧力センサ、加速度センサ、マイク等各種センサからの入力信号等が利用できる。
（動画像と外部信号の同期記録）

【0073】

撮像手段１０で動画像を撮像する際には、その記録に関連付けて外部信号の波形を同期させながら記録することもできる。例えば図４に示すように、電気的なトリガ信号によって時刻が同期されて記録される。このトリガ信号は、ユーザのボタン入力、シーケンサ等からの入力、センサ等波形が閾値を超えた／下がった等の条件、動画像の輝度等が閾値を超えた／下がった等の条件（画像トリガ）等により発行される。動画像、外部信号波形とも、トリガ前に何フレーム（サンプル）／トリガ後に何フレーム録画する、といった形で録画設定を行う。特に、トリガ前の録画フレーム数を０にしたものをスタートトリガ、トリガ後の録画フレーム数を０にしたものをエンドトリガと呼ぶ。またフレームを一次記憶手段５３であるメモリに記録する際、トリガが入るまでは、設定されたメモリの残量がある限り録画を行い、残量がなくなったら、古いフレームから順に最新のフレームに置き換えていくリングバッファの仕組みを用いる。なお単位時間毎の動画像フレーム数と波形サンプル数は必ずしも一致しない。
（再生コントロール欄４４）

【0074】

また波形表示領域４２の下部には、主に動画像の位置を指定する再生コントロール欄４４が設けられている。再生コントロール欄４４には、シークバー４５や再生ボタン類４６等が配置されている。シークバー４５は、波形表示領域４２の下部に設けられており、動画像の長さに対応して、現在の再生位置を示すと共に、マウスクリックやドラッグにより、指定した位置に変更できる。またシークバー４５の右側には再生ボタン類４６が設けられており、順方向再生／早送りボタンや、逆方向再生／早送りボタン、一時停止ボタン、再生速度指定ボタン等が配置されている。
（ツールバー４７）

【0075】

また画面上部には、各種操作を行うためのボタンを備えたツールバー４７を配置している。例えばツールバー４７左端に設けられた「ファイル」ボタン４８は、既に撮像手段１０で記録された入力動画像データを読み込むための動画像取得手段の一形態である。なお、撮像手段１０で撮像した入力動画像を直接、動画像観察プログラムに取り込む形態としてもよい。この「ファイル」ボタン４８を押下すると、図５に示すファイル選択ダイヤログ７０が開き、ユーザは保存済みの入力動画像のデータ中から、所望のデータファイルを選択する。図５の例では、画面右上にファイル一覧７１が表示され、選択された動画像データのプレビューが右下のプレビュー表示欄７２に表示される。プレビュー表示欄７３では、左側に動画が表示され、右側には動画像の代表的な位置の画像フレーム一覧が表示される。この例では、動画像データに予め設定されたチャプタに従って、チャプタの位置に対応する画像フレームが表示されている。さらにファイル選択ダイヤログ７０の左側には、上段にファイル選択のためのファイルツリー７４が、下段には選択中の動画像ファイルの詳細情報７５が表示される。詳細情報７５としては、ファイル名や撮影日時、撮影時の画像サイズや撮影条件（例えば使用したレンズや倍率、機器名）、コメント等を表示できる。

【0076】

このようにしてファイル選択ダイヤログ７０で入力動画像データを選択すると、図３に示すように、選択された動画像データの動画が画像表示領域４１に表示され、また外部信号表示領域４３には、この動画像データの撮像時に同時に記録された外部信号の波形が表示される。図３の例では、外部信号として、マイクで録音した音声の波形が表示される

【0077】

なおこの例では、動画像データの作成時に、上述したチャプタの設定や、同時に記録した外部信号のデータ等を埋め込んだり、外部のデータファイルとリンクさせることができる。このようなデータファイルの作成機能も、動画像観察プログラムは備えており、上述した「ファイル」ボタン４８を押下して保存メニューを選択することで、所望の形式で保存してデータファイルを作成できる。
（チャプタ設定機能）

【0078】

この動画像観察プログラムは、所望位置の検索を行い易くするよう、任意の位置にチャプタを設定可能である。チャプタは、追加や変更、削除が可能である。図３の例では、動画像データに設定済みのチャプタが、再生コントロール欄４４のシークバー４５上に沿ってフラグ７５に表示されている。任意のフラグ７５を選択すると、このフラグの位置にジャンプする。
（シーンマーク一覧ウィンドウ７７）

【0079】

さらに、チャプタ位置に対応する画像フレームの一覧表示も可能である。具体的には、ツールバー４７のシーンマークボタン７６を押すと、図６に示すシーンマーク一覧ウィンドウ７７が表示される。シーンマーク一覧ウィンドウ７７では、現在表示中の動画像データに設定されているチャプタの位置に対応するフレームが一覧表示される。このシーンマーク一覧ウィンドウ７７から、所望の画像フレームを選択すると、指定されたチャプタの位置にジャンプさせることができる。また、「前」ボタン７８、「次」ボタン７９を押すと、現在の位置から、直近のチャプタの位置まで移動できる。さらに任意の位置で「追加」ボタン８０を押すと、現在の位置にチャプタが新たに追加される。追加されたチャプタは、シーンマーク一覧ウィンドウ７７中に、対応するチャプタ位置の画像フレームが追加される。またチャプタを削除するには、削除したいチャプタに対応する画像フレームを選択して「削除」ボタン８１を押す。なお、図６に示すように、ツールチップ機能により、マウスカーソルを重ねたチャプタの情報をウィンドウで表示させることもできる。
（自動チャプタ設定機能）

【0080】

さらに、ユーザが手動でチャプタを設定する他、自動でチャプタを付与することもできる。図６の例では、ツールバー４７の「シーンマーク」ボタンを押して、「自動シーンマーク」メニューを選択すると、動画像観察プログラムが自動で動画像ファイルを解析して、チャプタを設定する。チャプタの設定方法は、シーンの変わり目を画像処理によって検出したり、所定の間隔でチャプタを付与する等の方法が利用できる。このようにして、チャプタの設定を自動又は手動で行うことで、特にデータ量の多い動画像データの検索や解析作業を補助できる。
（動画分割機能）

【0081】

また、動画像観察プログラムは、動画像データを周期毎に分割する動画分割機能を備えている。以下、動画分割機能を用いて、入力動画像を周期毎に位相を揃えて分割する手順を、図７〜図１２に基づいて説明する。
（対象区間指定画面８３）

【0082】

まず、ツールバー４７の「動画比較」ボタン８２を押下し、「動画分割」メニューを選択する。すると図７のように、分割対象の区間を指定する画面８３が表示される。ユーザはこの対象区間指定画面８３から、必要に応じて、動画像中の分割したい範囲をシークバー４５等で指定する。
（代表画像指定画面８４）

【0083】

対象区間を指定後、「次へ」ボタンを押すと、図８に示す代表画像指定画面８４となり、自動的に選択された一周期分が指定される。この画面では、波形表示領域４２に、動画波形（図８ではモーショングラフと呼び、詳細は後述）が表示され、この内、周期抽出手段３２で演算された一周期分に対応する領域８５が網掛けで表示される。この一周期分領域８５は、周期抽出手段３２により自動的に設定される。波形表示領域４２において、一周期分領域８５はその幅を維持したまま左右に移動可能であり、一周期分領域８５をドラッグすることで、図９に示すように、一周期の開始位置と終了位置を調整できる。

【0084】

さらに、周期の開始位置及び終了位置を個別に変更することもできる。例えば図９の状態から、終了位置をマウスでドラッグして狭くすることで、図１０に示すように一周期分をより短い区間として指定できる。同様に、周期の開始位置も変更でき、これにより周期の開始位置、終了位置を任意の位置に変更することで、一周期の開始位置、終了位置、及び周期の長さを任意に調整できる。
（代表画像位置８６）

【0085】

さらに、波形表示領域４２において波線状の縦線で示す位置が、画像表示領域４１で現在表示されている画像フレームの位置を示す代表画像位置８６となり、この代表画像位置８６も任意に変更できる。ここで選択された位置の画像フレームが、代表画像として選択される。よってこの縦線は、代表画像を選択、変更する代表画像選択手段として機能する。
（位相調整シークバー８７）

【0086】

また、この代表画像指定画面８４では、波形表示領域４２の下に設けられた再生コントロール欄４４のシークバーは、位相調整シークバー８７となり、周期内の見たい位置にシーク可能となる。具体的には、その長さが波形表示領域４２とほぼ一致され、波形表示領域４２で現在表示中の動画波形と対応する。すなわち、一周期分領域８５の開始位置と終了位置に対応して、位相調整シークバー８７上にストッパ８８が表示され、ここで規定された区間内でのみ、再生ボタン類４６での再生や早送り、逆再生等が可能となる。また、位相調整シークバー８７上のスライダ８９は、代表画像位置８６に対応する位置となり、スライダを操作することで、代表画像位置８６を調整できる。
（周期切り替えスライダ９０）

【0087】

加えて、再生コントロール欄４４の上側には、表示されている動画像の周期を切り替えるための周期切り替えスライダ９０が設けられる。周期切り替えスライダ９０は、図８の画面ではシークバーと異なり、動画像の全体長さに対応して、現在表示中の位置が表示される。また、上述したチャプタによる移動に対応しており、チャプタ指定欄９１のチャプタ番号を変更することで、指定されたチャプタの位置に切り替えることができる。チャプタ指定欄９１のチャプタ番号を切り替えると、該当するチャプタにジャンプする。またこの際、移動後のチャプタの先頭や末尾の位置とする他、従前のチャプタで表示していた位相位置に対応する、移動後のチャプタ中の同じ位相の位置にジャンプさせてもよい。このようにして、周期切り替えスライダ９０を用いて、動画像データの他の位置において、周期が正しく分割されているかをユーザが確認することができる。

【0088】

以上、ユーザが手動で代表画像を選択する例を説明した。一方、代表画像を自動で計算する場合には、例えば自己相関等で算出した各周期において、１回づつ類似した画像が現れる画像を自動で選択する。例えば動画波形にピークが現れる画像を、代表画像とする。
（基準タイミングの補正）

【0089】

なお、このようにして設定される周期の基準タイミングは、必ずしも各周期の先頭や最後に一致するとは限らない。このため、基準タイミングに対して、どこからどこまでが周期の先頭から末尾に相当するのかを、別途設定する必要がある。例えば、生産ラインにおいて製品が入って加工されて出て行く過程を繰り返すパターンの場合、基準タイミングは入る部分、加工する部分、出て行く部分のいずれにも設定可能である。この場合、ユーザは入る部分を周期の先頭に、出て行く部分を周期の末尾に設定してもよく、又は加工している部分だけを取り出して一周期に設定する場合こともできる。

【0090】

図１２に、周期の先頭と末尾を設定するユーザインターフェース画面の一例を示す。この画面では、分割位置を中心に、前後の分割位置の間で位相調整シークバー８７、ならびに周期の先頭／末尾を設定するストッパ８８が動き、分割位置を基準としてそこからの相対位置によって各周期の先頭／末尾を設定する。この設定は、ある周期の動画像を見ながら設定を行う。どの周期を見て分割するかを確認するために、周期ジャンプボタン９２で移動できる。周期ジャンプボタン９２を押すと、表示される周期が前後するため、ある周期で設定した分割設定を他の周期に対して適用させたときに問題が無いかを確認できる。またこのとき、各周期の波形を重畳表示させることも可能である。

【0091】

さらに各周期毎に開始／終了タイミングにばらつきがある場合もある。このようなばらつきは波形に現れるため、波形の重畳表示を観察することで、そのばらつきを考慮して周期の先頭／終了位置を決定できる。

【0092】

このようにして、代表画像と周期の開始位置、終了位置が決定されると、図８の画面から「ＯＫ」ボタン９３を押下することで、動画像の分割が実行され、図１３の画面となり、周期毎の分割動画像に切り分けられる。なお、ここでは動画像の分割とは、必ずしも動画像データを分割することを意味せず、動画像観察プログラムの画面上において、周期毎に区分けされた単位で分割動画像を確認できる状態を含む意味で使用する。例えば、周期毎にチャプタを追加して、チャプタの切り替えによって所望の分割動画像に切り替えるような構成も、本明細書においては動画像の分割と呼ぶ。

【0093】

図１３に示すように、波形表示領域４２には、分割動画像の、指定されたチャプタにおける動画波形が表示される。この画面では図８等と同様の周期切り替えスライダ９０とチャプタ指定欄９１が設けられており、これらを操作して所望のチャプタに切り替えることができる。

【0094】

また動画像とセンサ入力等の外部信号波形を同期して取り込んでいる場合は、周期毎に分割し、位相タイミングを画像で取りつつ各センサ波形の類似度を相関等で評価して、後述する異常監視録画に使用することも可能である。
（解析機能）

【0095】

以上のようにして、動画像を周期毎に分割でき、例えば各周期の位相毎の画像フレームを比較する等、大量の画像フレームを含む動画像データの処理、解析が容易となる。
特に位相を揃えた状態に分割された分割動画像は、位相毎に対比し易くなり、解析に際して有利となる。このような、複数の分割動画像を、各位相を揃えた状態で解析する解析手段の例について、以下説明する。
（動画比較機能）

【0096】

まず解析機能の一として、このようにして分割された分割動画像を比較する動画比較機能について、図１３〜図１６に基づいて説明する。まず、図１３の画面から、ツールバー４７中の「動画比較」ボタン８２から、「動画比較」メニューを選択する。すると図１４に示す、動画比較設定画面９４が表示され、基準となる動画と、比較対象の動画を、それぞれ指定する。また、波形表示領域４２で初期表示する波形を、動画波形（モーショングラフ）か、他の信号波形かを選択できる。選択後、「ＯＫ」ボタン９５を押下すると、図１５の動画比較画面９６が表示される。この動画比較画面９６では、上段に画像表示領域４１が左右４１Ａ、４１Ｂに分割されて設けられ、選択された動画像が表示される。この例では左側４１Ａに基準動画、右側４１Ｂに比較動画が、それぞれ表示されているが、左右を入れ替えてもよい。また中段に波形表示領域４２が、左右に延長されて設けられる。波形表示領域４２で表示される動画波形は、波形表示領域４２の下部に設けられた選択ボタン９７で切り替える。この例では、基準動画の動画波形を示している。また、選択ボタン９７の選択に応じて、下部のスライダや再生ボタン類４６等の再生コントロール欄４４の操作対象となる動画波形も切り替えられる。また、選択ボタン９７によらず、画像表示領域４１を直接クリックすることで、選択した動画像の操作に切り替えることもできる。また動画像を切り替えると、位相調整シークバー８７や周期切り替えスライダ９０が、その動画像に対応した位置に移動する。

【0097】

また、波形表示領域４２の表示を、多段表示とすることもできる。図１５の例において、波形表示領域４２の左上に設けられた「１段表示」ボタン９８を押下して「多段表示」に切り替えると、図１６に示すように、波形表示領域４２が上下４２Ａ、４２Ｂに分割されて、多段表示に切り替えられる。この例では、上段４２Ａで基準動画、下段４２Ｂで比較動画の動画波形を、それぞれ表示している。

【0098】

さらに、波形表示領域４２上で、一方の動画像の位置を指定すると、他方の動画像の同位相の部分にジャンプできる機能を備えることもできる。これにより、同位相の比較、解析の際に非常に便利となる。

【0099】

また、基準動画と比較動画は、異なる動画像を指定する他、同じ動画像を指定することもできる。この場合、同じ動画像の異なる周期を同一画面に表示させて、周期毎に位相を揃えた比較が可能となる。
（動体追尾機能）

【0100】

また解析機能の他の例として、この動画像観察プログラムは、指定した画像と類似する画像の推移を示す、動体追尾機能を備えている。動体追尾機能を実行した例を、図１７に示す。この例では、画像表示領域４１の左側に表示される基準動画の画像上で、矩形状の対象領域ＲＯＩ１、ＲＯＩ２を二重に指定している。この内側の枠ＲＯＩ１で領域で指定された画像と類似する画像を、次回以降の画像フレームでは、外側の枠ＲＯＩ２で指定した領域の範囲内でテンプレートマッチングし、発見された位置を表示している。このような動体追尾機能の領域指定を、異なる周期の、同位相の動画像で、同一の領域に設定することで、図１７に示すように点状の軌跡が得られ、指定された部位がどのように移動しているかを追尾することができる。
（時系列画像生成機能）

【0101】

さらにこの動画像観察プログラムは、解析機能の他の例として、周期の異なる複数の分割動画像を、各位相を揃えた状態で表示する時系列画像生成機能を備えている。この時系列画像生成機能を実行した様子を、図１８に示す。この図に示すように、周期の異なる分割動画像を、上下に並べ、縦方向において各分割動画像の位相が一致するように、行列状に配置する。これにより、動画像を周期毎に分けて、かつ同位相で対比しながら表示できるため、フレーム間の相違点等を発見しやすくできる。

【0102】

また、分割動画像の画像フレームを複数表示する他、図１９に示すように、特定の位相の一枚のみを表示させることもできる。この例では、ある位相における分割動画像の画像フレームを、周期順に横方向に並べている。この表示でも、あるタイミングで各周期での相違点を比較することが容易となる。

【0103】

このように、連続した動画像を、周期毎に分割した上で、位相を揃えて画像フレームを一覧表示させることで、従来面倒であった高速度カメラで撮像した動画像の解析作業の効率が飛躍的に向上され、解析作業において大幅な省力化と極めて便利な解析のための環境が提供される。
（異常監視録画機能）

【0104】

さらに動画像撮像装置は、被写体の周期的な動きを撮影し、その各周期の動きを評価しながら、通常とは異なる画像のみを記録できる。この異常監視録画機能は、工場の生産ラインのように製品が入っては出るというような周期的な動作を繰り返すシーンを高速度カメラで動画像として撮像、録画し、それを各周期毎に分割して、それぞれ解析し異常なものを記録していくものである。

【0105】

例えば、生産ラインでの製品の異常発生過程を解析するために、生産ラインを流れる製品を高速度カメラで撮像する利用形態においては、どのタイミングで異常な動作が起こるかが判らないことも多い。この場合は、高速度カメラで撮像した動画像の解析作業が、極めて膨大な動画像データをユーザが確認し、同じような画像が繰り返される中から、問題の発生する画像を探すという作業となって、多大な負担が強いられていた。

【0106】

上述の通り、この動画像撮像装置は、動画像から選択した代表画像を画像トリガとして、入力動画像を周期的に分けることができるので、ユーザによる動画像の解析作業を大幅に軽減できる。ただ、この方法でも大量のデータを処理しなければならない場合は、対比作業もそれだけ膨大となる虞がある。また、動画像撮像装置をオンラインで使用する場合等、メモリ資源が有限であるため所望のシーンを撮り損ねる虞がある。そこで、評価値を利用して、異常度の高い分割動画像のみを保存するようにすることで、解析対象のデータ量自体を低減できる上、問題の可能性があるデータのみを解析することで、効率のよい解析作業を行える。また、異常度の高い分割動画像データから処理することで、問題特定の可能性が高まることも期待できる。

【0107】

上述の通り、撮像した動画像データを、周期毎に分割し、一周期分の動画像を用いて動きを評価する。評価値の計算は、予め、一周期分の典型的な動きを表した基準動きパターンを基準動きパターン取得手段３７で作成し、この基準動きパターンの全体もしくは一部を、動画像データの一周期分の全体もしくは一部と比較することで行う。評価値は、差分や相関等一般的な画像の類似度によって算出される。

【0108】

この評価値を利用し、評価値の悪い順、すなわち基準動きパターンとの差分が大きい周期を、異常な動作が発生した周期と見なして、画像メモリに記憶する。この際、一定の閾値を超えたもののみを画像メモリに記憶する。または、画像メモリの空きがある限り記憶し、空きが無くなったら評価値の良い、すなわち基準動きパターンとの差分が小さいデータから順に削除し、新たな動画を記憶していくこともできる。さらに評価値の高かった周期の前の１又は複数周期分および／又は評価値の高かった周期の後の１又は複数周期分の動画も合わせて録画する。なおここでは、異常な動作が発生した周期を特定する際に、評価値を利用する例を説明したが、これに加え、各周期に対応する基準タイミングの間隔が、既定値以上ないし以下である場合も、異常な動作が発生した周期とみなし、画像メモリに記憶するようにしてもよい。この場合において、空きが無くなった画像メモリから削除する際の削除順位は、最も低く設定できるようにしてもよいし、任意の評価値相当の順位付けを設定できるようにしてもよい。
（位相揃え）

【0109】

基準動きパターンとの比較に際して、動画像の位相が揃っている場合には、比較開始位置と終了位置を位相情報に基づいて揃えた上で、比較を行う。
（位相調整手段）

【0110】

また、分割動画像同士の間で位相が揃っていない、あるいは位相が不明な場合には、位相調整手段で位相を揃える。位相調整手段は、フレームをずらしながら一番差分の小さいところが周期の合ったところと認識して、その位置で評価値計算を行う。具体的には、開始位置と終了位置をδフレーム（δ＞０）ずつずらしながら比較し、最も良い評価値が得られた位置を、位相の揃った位置と見なして、その評価値を動きの評価値とする。
（基準動きパターン）

【0111】

基準動きパターンは、予め基準動きパターン取得手段３７で作成する。基準動きパターンは、例えば標準的な一周期の動作を予め記録した動画像とする。あるいは、数周期分の標準的な動画像を記録し、位相を揃えて周期毎に分割して、対応する位相毎の平均を取った平均画像群としてもよい。例えば、仮撮像で１００周期分の動画像を撮像し、５〜１０種類程度の似たようなパターンを探し、基準動きパターンを生成する。さらには、数十周期分の動画像を撮影して周期毎に分割し、対応する位相のフレーム毎に機械学習を行って数種類の典型パターン画像に圧縮したパターン画像群データとすることも考えられる。パターン画像群データは、例えば手書き文字認識等で行われている機械学習と同様の技術を用いて作成することもできる。
（位相ずれを考慮した重み付け）

【0112】

一周期を構成する画像群の中には、僅かなタイミングのずれ等により、各周期でばらつきの大きい部分や、逆に周期間で殆どばらつきの無い部分が存在する。そのため、ばらつきの大きい位相では、本来ならば正常動作であっても、基準動きパターンとの位相ずれによって、誤差が大きくなり、異常画像となってしまうことがある。これを防止するため、各位相でのばらつき度合いを計算して、ユーザに波形として提示すると共に、各位相におけるばらつきに基づいて評価値に重み付けを行って。動き全体の評価を行う。あるいは、一定値以上のばらつきを持つ位相については、動きの評価を行わないようにしてもよい。

【0113】

また、評価値として、前述した動画波形を生成するための基準となる参照値を利用することもできる。
（異常監視録画機能）

【0114】

次に、異常監視録画機能の詳細について、図２０に基づいて説明する。図２０は、異常監視録画機能を実現する高速度撮像装置のブロック図を示している。この図に示す高速度撮像装置は、画像取得手段と、周期抽出手段３２と、保存画像抽出手段３６と、異常度解析手段３８と、一次記憶手段５３と、二次記憶手段５６とを備えている。
（異常度解析手段３８）

【0115】

異常度解析手段３８は、予め決定された、被写体の基準となる動きを表す、一周期分の基準動きパターンと、各周期の入力動画像とを比較し、異常度を判定する。なお、上述した特徴量算出手段３４を、異常度解析手段３８で構成し、特徴量として異常度を用いることもできる。これにより、特徴量を用いて入力動画像を周期毎に分割する一方で、異常度としても利用し、保存する動画像の選択にも特徴量を利用できる。
（一次記憶手段５３）

【0116】

一次記憶手段５３は、上述の通り画像メモリであり、画像取得手段で取得した動画像データを周期毎に保持する。
（二次記憶手段５６）

【0117】

二次記憶手段５６は一次記憶手段５３よりも記憶容量が大きく、書き込み速度の遅いハードディスク等が利用できる。
（保存画像抽出手段３６）

【0118】

保存画像抽出手段３６は、異常度解析手段３８で判定された異常度の高い周期の動画像を、一次記憶手段５３に保存するように指定する。具体的には、保存キューを作成する。これにより、より重要度の高い周期の動画像を、確実に二次記憶手段５６に保存できる。
（保存キュー）

【0119】

分割動画像の記録時に、画像メモリに空きメモリがあるときには、そこに保存し、無い場合には異常度の低い分割動画像を削除して空きメモリブロックを作成した上で保存する。また、メモリ容量の節約のために二次記憶手段５６への保存を行う際には、録画速度に対する保存速度が非常に遅いため、異常度の高いものから順に保存されるよう保存キューを作成して保存を行う。

【0120】

図２０において、画像取得手段が動画像を取得して一次記憶手段５３に記憶すると共に、周期抽出手段３２に送る。例えば画像取得手段として、高速度カメラで動画像を撮像し、一次記憶手段５３である画像メモリに保存する一方で、周期抽出手段３２にも動画像を送る。周期抽出手段３２は、動画像を周期毎に分割する。この周期抽出手段３２は、周期毎の切れ目を動画像、又は外部から入力されるトリガ信号から判定して、切れ目だと認識されたら他のメモリ番地に保存アドレスを移動するように保存画像抽出手段３６に信号を出す。これにより、周期毎に異なるメモリ番地に保存、すなわち録画を行うことが可能となる。

【0121】

ただ、一次記憶手段５３は有限である。そのため、一次記憶手段５３で保存が完了したものから順に二次記憶手段５６に保存する等して、一次記憶手段５３の空き容量を増やす必要がある。しかしながら二次記憶手段５６であるハードディスク等の記録媒体の書き込み速度は、一般的に一次記憶手段５３の書き込み速度と比較して１０〜１００分の１程度のため、保存している間にメモリがあふれてしまう。そのため、保存が終了したら異常度解析手段３８により各周期の異常度を計算し、一次記憶手段５３に空き容量（空きメモリ）が存在しない場合には、異常度の低いものから順に画像メモリから削除していく。こうすることで、録画時間が経過するにつれて、一次記憶手段５３の中には異常度の高い周期のみが残ることになる。
（異常度）

【0122】

異常度の計算のため、予め仮撮像によって正常動作の動画像を数周期分に渡り録画しておき、基準動きパターンを作成しておく。例えば各周期における同位相画像の平均画像を並べた画像を正常パターン（基準動きパターン）とし、録画した各周期の画像と正常パターンの位相を合わせて各フレーム差分の平均値を求めることで、異常度を計算できる。また、周期抽出手段３２で分割した周期の違い等を異常度とすることも可能である。
（異常監視録画の設定手順）

【0123】

次に、異常監視録画の設定手順を、図２１のフローチャートに示す。まずステップＳ２１０１において、画像取得手段の設定を行う。ここでは画像取得手段は、動画像を撮像する撮像手段１０として、高速度カメラを用いており、高速度カメラの視野や撮像フレームレート等を設定する。

【0124】

次にステップＳ２１０２において、正常パターンの仮撮像を行う。さらにステップＳ２１０３において、周期毎に分割する基準となるフレームを設定する。ここでは、自動で行う場合と、ユーザが手動で行う場合の二通りが考えられる。自動で基準フレームを設定する場合は、周期抽出手段３２が上述の通り、基準タイミングに基づいて、入力動画像を周期毎に区切る。

【0125】

また、ユーザが手動で設定する場合は、例えば一周期を代表する代表画像をユーザが選択する。周期抽出手段３２は、選択された代表画像に基づいて、この代表画像と類似する画像フレームを基準フレームとして選択する。または、後述する動画波形において、ユーザが閾値を設定し、この閾値を超える点を基準フレームとして周期抽出手段３２が、周期毎に分割する。

【0126】

次にステップＳ２１０４において、周期の先頭、末尾の設定を行う。例えば周期抽出手段３２が自動で設定した周期を、ユーザが微調整する。またステップＳ２１０５において、異常計算方法を設定する。さらにステップＳ２１０６において、仮撮像データから、正常パターンデータを作成する。最後にステップＳ２１０７において、録画メモリを一周期で録画できるブロック単位に分割する。これにより、ステップＳ２１０８において録画を開始できる。以上のようにして、正常パターンを撮影して分割設定や正常パターンデータを作成できる。この正常パターンデータは、監視時の異常度や周期分割の設定に利用できる。
（異常監視録画中の録画フロー）

【0127】

高速度カメラで撮像された動画像は、周期毎に一次記憶手段５３である画像メモリに保存、すなわち録画される。この際、異常度解析手段３８で録画中の動画像に対して異常度を算出し、異常度の高い動画像のみを、画像メモリに保存する異常監視録画機能を実行させることができる。以下、動画像に対して異常監視録画機能を実行する際の手順を、図２２のフローチャートに基づいて説明する。

【0128】

まずステップＳ２２０１において、画像メモリに空きブロックが存在するかを判定する。空きブロックがある場合はステップＳ２２０３に進み、空きブロックがない場合は、先にステップＳ２２０２において、画像メモリ中の異常度の低い動画像ブロックを削除した後、ステップＳ２２０３に進む。

【0129】

次にステップＳ２２０３において、空きブロックへの動画像の保存すなわち録画を開始する。そしてステップＳ２２０４において、一周期の動画像の録画が完了すると、ステップＳ２２０５において、録画された周期の異常度を異常度解析手段３８で演算する。次いで、ステップＳ２２０６において、異常度の高い順に、二次記憶手段５６への保存キューに追加する。そしてステップＳ２２０７において、次の周期の録画を行うため、ステップＳ２２０１に戻って、上記ステップを繰り返す。

【0130】

以上の例では、動画像の記録は、周期毎に分割した状態で行っているが、例えばフレーム毎に異常度を算出する場合は、周期によらずに異常度の高いフレームを連続して、又は離散的に記録することもできる。
（サムネイル表機能；アラーム機能）

【0131】

また、このようにして一次記憶手段５３や二次記憶手段５６に記録された、異常度の高い周期の分割動画像を、異常度の高い順に再生する機能や、最も異常度の高かったフレームをサムネイルにして一覧表示する機能を備えることもできる。また、異常度がある閾値を超えた場合にはアラームを出力したり、それ以降の録画をストップするようにしてもよい。

【産業上の利用可能性】

【0132】

本発明の動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体は、ＦＡラインの異常原因究明や、材料の引張試験時に材料が破断する様子を観察する等の材料破壊、内燃機関の高速度燃焼撮像、スポーツの運動挙動、衝突、放電等の高速度の現象を短時間で連続的に撮像するハイスピードカメラ、高速度ビデオカメラ、画像センサ、画像検査装置等として、好適に利用できる。

【符号の説明】

【0133】

１００…動画像撮像装置
１０…撮像手段；１２…撮像素子；１３…撮像制御部；１５…ヘッド部
１６…撮像モジュール
２０…レンズモジュール；２４…ケーブル部
３０…画像処理部
３１…基準タイミング選択手段
３２…周期抽出手段
３３…周期調整手段
３４…特徴量算出手段
３５…動画波形生成手段
３６…保存画像抽出手段
３７…基準動きパターン取得手段
３８…異常度解析手段
４１、４１Ａ、４１Ｂ…画像表示領域
４２、４２Ａ、４２Ｂ…波形表示領域
４３…外部信号表示領域
４４…再生コントロール欄
４５…シークバー
４６…再生ボタン類
４７…ツールバー
４８…「ファイル」ボタン
５０…本体部；５２…表示手段；５３…一次記憶手段
５４…インターフェース部；５５…操作手段
５６…二次記憶手段
６０…照明手段；６４…照明用光源；６６…照明モジュール
６１…照明光供給ケーブル
７０…ファイル選択ダイヤログ
７１…ファイル一覧
７２…プレビュー表示欄
７３…ファイルツリー
７４…詳細情報
７５…フラグ
７６…シーンマークボタン
７７…シーンマーク一覧ウィンドウ
７８…「前」ボタン
７９…「次」ボタン
８０…「追加」ボタン
８１…「削除」ボタン
８２…「動画比較」ボタン
８３…対象区間指定画面
８４…代表画像指定画面
８５…一周期分領域
８６…代表画像位置
８７…位相調整シークバー
８８…ストッパ
８９…スライダ
９０…周期切り替えスライダ
９１…チャプタ指定欄
９２…周期ジャンプボタン
９３…「ＯＫ」ボタン
９４…動画比較設定画面
９５…「ＯＫ」ボタン
９６…動画比較画面
９７…選択ボタン
９８…「１段表示」ボタン
ＲＯＩ、ＲＯＩ１、ＲＯＩ２…対象領域

【図2】

【図4】

【図11】

【図12】

【図20】

【図21】

【図22】

【図1】

【図3】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】