特許 5772684 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5772684

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20060101AFI20150813BHJP

   G06T 5/50 20060101ALI20150813BHJP

【ＦＩ】

   G06T7/20 B

   G06T5/50

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2012-83644(P2012-83644)

(22)【出願日】2012年4月2日

(65)【公開番号】特開2013-214181(P2013-214181A)

(43)【公開日】2013年10月17日

【審査請求日】2014年8月29日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】松岡 賢司

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００４−３３４８１８（ＪＰ，Ａ）

【文献】 特開２００２−２９８１４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出部と、
前記差分算出部が算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化部と、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成部と、
前記積算フレームに設定されたレベル値から定まる前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成部と、を備え、
前記Ｎ枚の画像フレーム各々の各画素の合成比率の値域は、３値以上であることを特徴とする画像処理装置。

【請求項2】

前記積算フレーム内の各画素のレベル値から第１閾値を減算した値を、前記Ｎ枚の画像フレーム各々の各画素の合成比率として算出するキーフレーム生成部、を更に備えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像合成部は、前記積算フレームの各画素のレベル値を、そのまま前記Ｎ枚の画像フレーム各々の各画素の合成比率として用いることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像合成部は、前記Ｎ枚の画像フレームの中で着目すべき画像フレームを示す着目フレーム情報を受信し、前記着目フレーム情報に基づいて前記Ｎ枚の画像フレームの合成順序を決定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項5】

前記差分算出部は、各画像フレーム間の相対応する画素の輝度値及び色差値の差分を算出し、
前記二値化部は、輝度値及び色差値の双方を用いた条件判定を行うことにより前記２値化フレームを生成することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。

【請求項6】

Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出ステップと、
前記差分算出ステップにおいて算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化ステップと、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成ステップと、
前記積算フレームに設定されたレベル値から定まる前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成ステップと、を備え、
前記Ｎ枚の画像フレーム各々の各画素の合成比率の値域は、３値以上であることを特徴とする画像処理方法

【請求項7】

コンピュータに、
Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出ステップと、
前記差分算出ステップにおいて算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化ステップと、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成ステップと、
前記積算フレームに設定されたレベル値から定まり、値域として３値以上を持つ前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に複数の画像フレームから合成画像を生成する画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

ビデオカメラをはじめとする撮像装置を用いて、人間や物体等の動体を撮像することがある。この際にユーザは、動体の軌跡を一枚の合成静止画像で確認したい場合がある。例えば、ゴルフをする人間を撮像している場合、そのスイングの軌道を１枚の合成静止画像で確認したい場合がある。

【0003】

特許文献１には、背景を含む動画像を対象とした場合であっても、動体の移動軌跡を含む合成画像を得ることができる動画像切り出し装置が開示されている。当該動画像切り出し装置は、Ｎ枚のフレームをサンプリングし、サンプリングしたフレーム間の相対応画素の差分の絶対値を二値化して各フレームに対応するマスクフレームを生成する。そして、動画像切り出し装置は、マスクフレームの各画素の値を累積した累積マスクフレームを生成する。さらに、動画像切り出し装置は、累積マスクフレームに対して所定閾値を用いて二値化処理を行った基準マスクフレームを生成する。その後、動画像切り出し装置は、各フレームに対応するマスクフレームと、基準マスクフレームと、を用いて画像合成を行うことにより、動体の軌跡画像を生成している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−３３４８１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術では、所定閾値を用いて２値化を行ったマスクフレーム及び基準マスクフレームを生成する。すなわち、マスクフレーム及び基準マスクフレームは、各画素について切り出し処理を行うか否かを示す２値のみが設定される。そして、２値の値が"１"となっている領域を各フレームから切り出し、切り出した画像領域を初期フレームに対して、完全に上書きしていくことにより軌跡画像を生成している。

【0006】

しかしながらこの方式では、閾値の設定が適切ではない場合、動体ではない箇所を切り出して完全に上書きしてしまう恐れがあり、その結果として動体の軌跡が把握できない、または誤認してしまう画像（破綻のある画像）を生成してしまう恐れがある。

【課題を解決するための手段】

【0007】

本発明の一態様にかかる画像処理装置は、
Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出部と、
前記差分算出部が算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化部と、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成部と、
前記積算フレームに設定されたレベル値から定まる前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成部と、を備え、
前記Ｎ枚の画像フレーム各々の各画素の合成比率の値域は、３値以上であることを特徴とするものである。

【0008】

上述の本発明の一態様にかかる画像処理装置において、
前記積算フレーム内の各画素のレベル値から第１閾値を減算した値を、前記Ｎ枚の画像フレーム各々の各画素の合成比率として算出するキーフレーム生成部、を更に備えてもよい。

【0009】

上述の本発明の一態様にかかる画像処理装置において、
前記画像合成部は、前記積算フレームの各画素のレベル値を、そのまま前記Ｎ枚の画像フレーム各々の各画素の合成比率として用いてもよい。

【0010】

上述の本発明の一態様にかかる画像処理装置において、
前記画像合成部は、前記Ｎ枚の画像フレームの中で着目すべき画像フレームを示す着目フレーム情報を受信し、前記着目フレーム情報に基づいて前記Ｎ枚の画像フレームの合成順序を決定してもよい。

【0011】

上述の本発明の一態様にかかる画像処理装置において、
前記差分算出部は、各画像フレーム間の相対応する画素の輝度値及び色差値の差分を算出し、
前記二値化部は、輝度値及び色差値の双方を用いた条件判定を行うことにより前記２値化フレームを生成してもよい。

【0012】

本発明の一態様にかかる画像処理方法は、
Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出ステップと、
前記差分算出ステップにおいて算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化ステップと、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成ステップと、
前記積算フレームに設定されたレベル値から定まる前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成ステップと、を備え、
前記Ｎ枚の画像フレーム各々の各画素の合成比率の値域は、３値以上であることを特徴とするものである。

【0013】

本発明の一態様にかかるプログラムは、
コンピュータに、
Ｎ（Ｎは４以上の整数）枚の画像フレームの各画像フレーム間の相対応する画素の差分値を算出する差分算出ステップと、
前記差分算出ステップにおいて算出した差分値を所定条件と比較することにより、各画素の前記差分値の大きさを２値のレベル値で示す２値化フレームを複数生成する二値化ステップと、
複数の前記２値化フレームにおけるレベル値を前記Ｎ枚の画像フレーム毎に積算した積算フレームを生成する累積画像生成ステップと、
前記積算フレームに設定されたレベル値から定まり、値域として３値以上を持つ前記Ｎ枚の画像フレーム各々の各画素の合成比率に基づき、前記Ｎ枚の画像フレームを合成した合成画像を生成する画像合成ステップと、
を実行させるためのものである。

【発明の効果】

【0014】

本発明によれば、動体の軌跡が把握できる、すなわち破綻の少ない合成画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１にかかる画像処理装置１の全体構成を示すブロック図である。

【図2】実施の形態１にかかる動画像データの一例を示す図である。

【図3】実施の形態１にかかる二値化部４０の２値化フレームの生成概念を示す図である。

【図4】実施の形態１にかかる積算部５０の生成した積算フレームを示す図である。

【図5】実施の形態１にかかる画像合成部６０による画像合成処理の生成過程を示す図である。

【図6】実施の形態２にかかる画像処理装置の全体構成を示すブロック図である。

【図7】実施の形態２にかかるキーフレーム生成部７０によるキーフレーム生成処理を示す図である。

【図8】実施の形態２にかかる画像合成部６０による画像合成処理の生成過程を示す図である。

【図9】実施の形態２にかかるキーフレーム生成部７０によるキーフレーム生成処理を示す図である。

【図10】特許文献１にかかる動画像切り出し装置の動作を示す概念図である。

【図11】合成画像生成の対象となる動画像を示す図である。

【図12】実施の形態２にかかる積算フレームの生成例を示す図である。

【図13】実施の形態２にかかるキーフレームの生成例を示す図である。

【図14】画像合成の際の合成比率を示す図である。

【図15】画像合成の際の合成比率を示す図である。

【図16】実施の形態２にかかる手法、及び特許文献１にかかる手法により生成した合成画像を示すグラフである。

【発明を実施するための形態】

【0016】

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば動画撮像が可能なビデオカメラ等の撮像装置内に配置される。画像処理装置１は、画像記憶部１０と、選択部２０と、差分算出部３０と、二値化部４０と、積算部５０と、画像合成部６０と、を備える。画像処理装置１は、予め蓄積された動画像データの画像フレームを抽出し、各画像フレーム間の差分に応じた合成画像を生成する装置である。例えば、画像処理装置１は、投げたボールの軌跡やゴルフスイングの軌跡を示す合成画像を生成する。以下の説明では、画像処理装置１が４枚の画像フレームを基に合成画像を生成する例を説明するが、必ずしもこれに限られず、例えば１０枚等の多数の画像フレームから合成画像を生成しても良い。すなわち、画像処理装置１は、Ｎ（Ｎは４以上の整数）枚の画像フレームから合成画像を生成する。画像処理装置１は、被写体の性質に合わせて合成する画像フレームの枚数を適宜変更すればよい。

【0017】

画像記憶部１０は、動画像データを画像フレーム毎に記憶する。画像記憶部１０は、例えばＤＲＡＭ（Dynamic Random Access Memory）等により構成すればよい。また、画像記憶部１０は、画像処理装置１に着脱可能なＵＳＢ（Universal Serial Bus）メモリ等により構成しても良い。各画像フレームの画像サイズは同一とする。各画像フレームは、各画素についてのＲＧＢ値を保持しており、当該ＲＧＢ値は公知の変換式を用いて輝度及び色差に変換可能である。

【0018】

選択部２０は、画像記憶部１０から合成画像の生成に用いる画像フレームを４枚選択し、差分算出部３０及び画像合成部６０に供給する。以下の説明において、選択部２０は、図２に示す４枚の画像フレームを選択する。

【0019】

図２は、動画像データにかかる４枚の画像フレームを示す図である。各画像フレームは、円形の動体が動く動画像データに関するものである。各画像フレームでは、撮像された動体を斜線で示し、他の画像フレームにおける動体の位置を破線で示している。背景色は同一色であるものとする。各画像フレームの撮像順序は、画像フレーム１（Ｆｒ１）、画像フレーム２（Ｆｒ２）、画像フレーム３（Ｆｒ３）、画像フレーム４（Ｆｒ４）となる。そのため、動体は時間が進むにつれて右方向に移動し、その移動速度が徐々に減速している。

【0020】

差分算出部３０は、供給された４枚の画像フレーム間の相対応する画素間における差分値を抽出する処理部である。まず、差分算出部３０は、画像フレームの組を全て抽出する。すなわち、差分算出部３０は、１２組（Ｎ×（Ｎ−１））の組合せ（（Ｆｒ１，Ｆｒ２）〜（Ｆｒ４，Ｆｒ１））を抽出する。そして、差分抽出部３０は、各組合せにおける相対応する画素の画像信号の差分を算出する。ここで、差分抽出部３０は、相対応する画素の色差の差分値、及び輝度の差分値の双方を算出する。差分算出部３０は、算出した差分値を二値化部４０に供給する。

【0021】

二値化部４０は、差分算出部３０が算出した差分値を所定の条件と比較することにより、各画素を２値（所定条件を満たす画素を１、その他の画素を０）のレベル値で示す２値化フレーム（Δ（Ｆｒ１，Ｆｒ２）〜Δ（Ｆｒ４，Ｆｒ１））を算出する。各画素に設定される２値のレベル値は、比較対象の画像フレームの相対応する画素との画素差分が大きいか否かを示す。ここで二値化部４０は、各画素の色差の差分値、及び輝度の差分値の双方を考慮して２値化を行う。例えば、色差の差分値と輝度の差分値を乗算した乗算値の絶対値が閾値以上であるか否かに応じて２値化を行っても良い。また、色差の差分値の絶対値をある閾値と比較し、輝度の差分値の絶対値を別の閾値と比較し、双方ともに閾値以上であるか否かに応じて２値化を行っても良い。すなわち、二値化部４０は、異なる画像フレームを比較した場合に、少なくとも１つの領域が条件を満たすような所定条件を用いて２値化を行えばよい。

【0022】

なお、二値化部４０は、精度は落ちるものの、輝度の差分値または色差の差分値のいずれか一方のみを用いて二値化処理を行っても良い。

【0023】

図３は、二値化部４０が生成した２値化フレーム（Δ（Ｆｒ１，Ｆｒ２）〜Δ（Ｆｒ４，Ｆｒ１））を示す図である。例えば、Δ（Ｆｒ１，Ｆｒ２）では、２つの円形領域のレベル値が１となり、それ以外の領域のレベル値は０となっている。二値化部４０は、各画像フレーム（Ｆｒ１〜Ｆｒ４）について３種類の２値化フレームを算出する。二値化部４０は、算出した全ての２値化フレーム（Δ（Ｆｒ１，Ｆｒ２）〜Δ（Ｆｒ４，Ｆｒ１））を積算部５０に供給する。

【0024】

積算部５０は、２値化フレーム（Δ（Ｆｒ１，Ｆｒ２）〜Δ（Ｆｒ４，Ｆｒ１））を用いて各画像フレーム（Ｆｒ１〜Ｆｒ４）についての積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））を算出する。図４は、積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））を示す概念図である。積算部５０は、各画像フレーム（Ｆｒ１〜Ｆｒ４）に関する２値化フレーム（Δ（Ｆｒ１，Ｆｒ２）〜Δ（Ｆｒ４，Ｆｒ１））内のレベル値（１または０）を画素毎に積算する。例えば、積算部５０は、以下の算出式に示すように、フレーム１（Ｆｒ１）についてΔ（Ｆｒ１，Ｆｒ２）、Δ（Ｆｒ１，Ｆｒ３）、Δ（Ｆｒ１，Ｆｒ４）の相対応する画素のレベル値の積算値を求めることにより積算フレームＳｕｍΔ（Ｆｒ１）を算出する。
ＳｕｍΔ（Ｆｒ１） ＝ Δ（Ｆｒ１，Ｆｒ２） ＋ Δ（Ｆｒ１，Ｆｒ３） ＋ Δ（Ｆｒ１，Ｆｒ４）

【0025】

積算部５０は、その他の画像フレーム（Ｆｒ２〜４）についても同様の手法により積算フレームＳｕｍΔ（Ｆｒ２）〜ＳｕｍΔ（Ｆｒ４）を算出する。積算部５０は、算出した積算フレームＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４）を画像合成部６０に供給する。

【0026】

画像合成部６０は、選択部２０から供給された４枚の画像フレーム（Ｆｒ１〜Ｆｒ４）を、積算部５０から供給された積算フレームＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４）を用いて合成する。画像合成部６０による合成手順を図５を参照し、説明する。図５は、画像合成部６０による画像合成過程を示す図である。なお、説明の便宜のため、図５の初期フレーム（Ｆｒ１）に領域名を記載する（領域Ａ１〜Ａ５）。図５内における"ｂｇ"とはバックグラウンドの略であり、背景色を示す。

【0027】

積算フレームＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４）における各画素のレベル値の値域は、０〜３である。画像合成部６０は、このレベル値を合成比率として用いる。詳細には、レベル０の画素の合成比率は０％、レベル１の画素の合成比率は３３．３％、レベル２の画素の合成比率は６６．７％、レベル３の画素の合成比率は１００％となる。

【0028】

はじめに画像合成部６０は、初期画像フレームとして画像フレーム１（Ｆｒ１）を選択し、この初期画像フレーム（Ｆｒ１）に各画像フレームを合成していく。画像合成部６０は、画像フレーム２（Ｆｒ２）にかかる積算フレームＳｕｍΔ（Ｆｒ２）を参照し、各画素のレベル値に応じて画像フレーム２（Ｆｒ２）の合成を行う。レベル０の画素については、処理を行わない。レベル１の画素については、画像フレーム２（Ｆｒ２）のＲＧＢ値を３３．３（３３．３３３３３−，以下同様）％、画像フレーム１（Ｆｒ１）の箇所のＲＧＢ値を６６．７（６６．６６６−，以下同様）％の割合で合成する。レベル２の画素については、画像フレーム２（Ｆｒ２）のＲＧＢ値を６６．７％、画像フレーム１（Ｆｒ１）の箇所のＲＧＢ値を３３．３％の割合で合成する。レベル３の画素については、元の画素のＲＧＢ値（この場合、画像フレーム１（Ｆｒ１）のＲＧＢ値）を画像フレーム２（Ｆｒ２）のＲＧＢ値で置換する。例えば領域Ａ１については、画像フレーム１（Ｆｒ１）のＲＧＢ値に６６．７％を掛け合わせた値と、画像フレーム２（Ｆｒ２）のＲＧＢ値（すなわち背景色）に３３．３％を掛け合わせた値と、を足し合わせる。領域Ａ１の画像フレーム１（Ｆｒ１）のＲＧＢ値が（１２０，１５０，１８０）であり、領域Ａ１の画像フレーム２（Ｆｒ２）のＲＧＢ値（背景色のＲＧＢ値）が（９０，９０，９０）である場合、当該領域Ａ１のＲＧＢ値は（１１０，１３０，１５０）となる。このようにして、画像処理部６０は、初期画像フレーム（Ｆｒ１）と画像フレーム２（Ｆｒ２）の合成画像フレーム（Ｆｒ１＋Ｆｒ２）を生成する。

【0029】

画像合成部６０は、同様の手法で合成画像フレーム（Ｆｒ１＋Ｆｒ２）と画像フレーム３（Ｆｒ３）との合成画像フレーム（Ｆｒ１＋Ｆｒ２＋Ｆｒ３）を生成する。例えば、領域Ａ１については合成画像フレーム（Ｆｒ１＋Ｆｒ２）のＲＧＢ値を６６．７％、画像フレーム３（Ｆｒ３）のＲＧＢ値を３３．３％の割合で合成する。この結果、領域Ａ１の合成比率は画像フレーム１（Ｆｒ１）のＲＧＢ値が４４．４％、背景色のＲＧＢ値が５５．５％の割合となる。

【0030】

画像合成部６０は、同様の手法で合成画像フレーム（Ｆｒ１＋Ｆｒ２＋Ｆｒ３）と画像フレーム４（Ｆｒ４）を合成し、最終的な合成画像（Ｆｒ１＋Ｆｒ２＋Ｆｒ３＋Ｆｒ４）を生成する。生成した合成画像の各領域の合成比率は、図５に示す通りとなる。画像合成部６０は、生成した合成画像を任意の記憶装置や表示装置（液晶ディスプレイ等）に出力する。ユーザは、この合成画像を参照することにより、動体の軌跡を確認する。

【0031】

上述の説明では、画像合成部６０は、時系列の順序で画像フレームの合成処理（Ｆｒ１から順に合成を行う）を行ったが必ずしもこれに限られず、合成順序は順不同である。例えば、画像合成部６０は、画像フレーム４（Ｆｒ４）、画像フレーム３（Ｆｒ３）、画像フレーム２（Ｆｒ２）、画像フレーム１（Ｆｒ１）の順序で合成を行っても良い。同様に、画像合成部６０は、画像フレーム２（Ｆｒ２）、画像フレーム４（Ｆｒ４）、画像フレーム３（Ｆｒ３）、画像フレーム１（Ｆｒ１）の順序で合成を行っても良い。

【0032】

なお、画像合成部６０は、ユーザから着目すべき画像フレームの情報（着目フレーム情報）を受信し、当該着目フレーム情報に応じて画像フレームの合成順序を定めても良い。以下、詳細を説明する。

【0033】

ユーザは、画像処理装置１と一体化された入力装置（マウス、キーボード等）、または画像処理装置１と接続可能な入力装置を用いて着目フレーム情報を入力する。例えば、ゴルフスイングの合成画像を生成する場合、ユーザは、フォロースルーを重点的に確認したい場合にはフォロースルーに関する画像フレームの識別子を入力する。または、ユーザは合成対象の全画像フレームのうち、「前半」、「中盤」、「後半」といった抽象的な画像フレームの順序を入力しても良い。この場合、画像合成部６０は、ユーザの入力（「前半」、「中盤」、「後半」）を基に着目すべき画像フレームを一つに特定する。

【0034】

画像合成部６０は、入力された着目フレーム情報を基に画像フレームの合成順序を決定する。例えば９枚の画像フレーム（Ｆｒ１〜Ｆｒ９）を合成する場合であって、着目フレーム情報として時系列順序の８枚目の画像フレーム（Ｆｒ８）が設定された場合、画像合成部６０は、８枚目の画像フレーム（Ｆｒ８）が最後に合成され、８枚目の画像フレームから時間間隔が離れた画像フレームほど早く合成が行われるように画像フレームの合成順序を定める。すなわち、画像合成部６０は、Ｆｒ１，Ｆｒ２，Ｆｒ３，Ｆｒ４，Ｆｒ５，Ｆｒ６，Ｆｒ７（またはＦｒ９），Ｆｒ９（またはＦｒ７），Ｆｒ８という順序を画像フレームの合成順序と定める。画像合成部６０は、決定した合成順序に基づいて合成処理を行う。

【0035】

上述のように画像合成部６０が着目フレーム情報に応じて画像フレームの合成順序を定めることにより、ユーザが最も確認したい画像フレームの合成順序が最後となる。すなわち、確認したい画像フレームの合成が終了した後に、他の画像フレームが合成される恐れが無くなる。これにより、着目したい画像フレームが鮮明に表示された合成画像を得ることができる。

【0036】

以上、本実施の形態にかかる画像処理装置１について説明した。続いて、従来の技術（特許文献１）の技術を比較例とし、本実施の形態にかかる画像処理装置１の効果について説明する。

【0037】

特許文献１の技術を用いた場合、差分値から２値化を行う際の閾値、及び累積マスクフレームから基準マスクフレームを生成する際の閾値、の設定が非常に重要となる。この閾値の設定を誤った場合、ある画像フレームから意図しない領域を切り出し、当該領域を用いた上書き処理をしてしまう。これにより、動体の軌道が把握できない、または誤認してしまう破綻のある合成画像を生成してしまう。

【0038】

一方、本実施の形態にかかる画像処理装置１は、積算フレームを用いて画像合成を行う。画像処理装置１は、４枚以上の画像フレームを対象としている。そのため、生成する積算フレームに規定された各画素の合成比率の値域が３値以上となる。画像合成部６０は、この各画素の合成比率を２値化することなく、そのまま画像合成に用いる。すなわち、画像合成部６０は、各画像フレームを切り出すか切り出さないかを示す２値では無く、各画像フレームの画素値（上述の例ではＲＧＢ値）をどの程度用いて合成するかを示す合成比率を用いて合成を行う。これにより、画像処理装置１は、意図しない領域を画像フレームから切り出して、当該領域を用いた上書き処理を行うことを回避することができる。そのため、動体の軌跡が把握できなくなる、または誤認するような破綻のある合成画像を生成することを回避することができる。

【0039】

上述の説明では幾何的な動体が単純に移動する例（図２〜図５）を用いて説明したが、画像処理装置１が合成対象とする自然画は、動体の移動方向や移動速度の変化が非常に複雑である。例えば、ゴルフスイングの合成画像を生成する場合、ドライバヘッドの移動量は大きいが、ゴルファーの体の軸の移動量は小さい。そのため、特許文献１に記載の技術を用いる場合、上述の閾値の設定に高度なノウハウを要することになり、実際には破綻のある合成画像を生成してしまうケースが非常に多いと考えられる。一方、本実施の形態にかかる画像処理装置１は、このような複雑な自然画にかかる画像フレームを合成対象とした場合であっても、合成比率に一定の幅があるため、破綻の少ない合成画像を生成することができる。

【0040】

さらに、本実施の形態にかかる合成画像の生成処理は、複雑なアルゴリズムを用いた計算等を行う必要がない。そのため、画像処理装置１の処理負荷が少なく、かつ短い時間で合成画像を生成することができる。

【0041】

＜実施の形態２＞
本実施の形態にかかる画像処理装置１は、積算フレームに対してレベルシフト処理を行うことを特徴とする。本実施の形態にかかる画像処理装置１について実施の形態１と異なる点を説明する。なお、以下の説明において、同一の符号を付して特に言及しない処理部は、実施の形態１と同一の処理を行うものとする。また、本実施の形態でも、図２に示す４枚の画像フレームを合成対象とする。

【0042】

図６は、本実施の形態にかかる画像処理装置１の構成を示すブロック図である。画像処理装置１は、図１に示す構成に加えて、キーフレーム生成部７０を更に備える。積算部５０は、生成した各画像フレーム（Ｆｒ１〜Ｆｒ４）に対応する積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））を画像合成部６０ではなく、キーフレーム生成部７０に供給する。

【0043】

キーフレーム生成部７０は、供給された積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））を、所定の閾値（以下、第１閾値と記載する。）を用いて減算（レベルシフト）したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を生成する。以下、図７を参照してキーフレームの生成概念について説明する。

【0044】

図７（ａ）は、図４に示す積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））である。キーフレーム生成部７０は、積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４））のレベル値から第１閾値を減算したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を生成する。詳細には、キーフレーム生成部７０は、レベル値として第１閾値以上の値を持つレベル値から第１閾値を減算することによりキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を生成する。図７（ｂ）は、図７（ａ）に示す積算フレーム（ＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ４）から第１閾値として１を減算して生成したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））である。キーフレーム生成部７０は、生成したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を画像合成部６０に供給する。

【0045】

ここで、キーフレーム生成部７０が使用する第１閾値は、キーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））内のレベル値の値域が３値以上になるような正の整数に設定する。例えば、図７の例では、第１閾値を１に設定し、２以上を設定しないようにする。

【0046】

画像合成部６０は、供給されたキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を用いて画像フレームの合成処理を行う。合成方法は、実施の形態１と同様である。図８は、図７（ｂ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））を用いた画像合成過程を示す図である。

【0047】

キーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ４））における各画素のレベル値の値域は、０〜２である。このレベル値を合成比率として用いる。すなわち、レベル０の画素の合成比率は０％、レベル１の画素の合成比率は５０％、レベル２の画素の合成比率は１００％となる。合成処理は、図５と同様であるためその詳細は省略する。

【0048】

生成した合成画像（Ｆｒ１＋Ｆｒ２＋Ｆｒ３＋Ｆｒ４）の各領域の合成比率は、図８に示す通りとなる。画像合成部６０は、生成した合成画像を任意の記憶装置や表示装置（液晶ディスプレイ等）に出力する。

【0049】

続いて、図９を参照してキーフレーム生成の意義について説明する。図９は、積算フレーム作成とキーフレーム作成の概念を示す図である。図９では説明の容易化のため、３枚の画像フレーム（ＦｒＡ，ＦｒＢ，ＦｒＣ）を用いた説明を行う。

【0050】

二値化部３０は、上述の手法により二値化フレームΔ（ＦｒＡ，ＦｒＢ）を生成する。この際、図９に示すように、画像フレーム（ＦｒＡ）を基準とした二値化フレームを生成しているにもかかわらず、二値化フレームΔ（ＦｒＡ，ＦｒＢ）において画像フレーム（ＦｒＢ）に特有の領域に１（差分が大きい）が設定される。同様に、二値化フレームΔ（ＦｒＡ，ＦｒＣ）において、画像フレーム（ＦｒＣ）に特有の領域に１（差分が大きい）が設定される。これらの二値化フレームを積算した積算フレームＳｕｍΔ（ＦｒＡ）には、比較対象の画像フレーム（ＦｒＢ，ＦｒＣ）特有の領域（図中の四角で囲んだ領域）に１が設定される。

【0051】

キーフレーム生成部７０は、積算フレームＳｕｍΔ（ＦｒＡ）に対して第１閾値として１を減算（レベルシフト）し、キーフレームＫｅｙΔ（ＦｒＡ）を生成する。この減算により、比較対象の画像フレーム（ＦｒＢ，ＦｒＣ）の特有の領域の影響を小さくすることができる。すなわち、キーフレームΔ（ＦｒＡ）は、積算フレームＳｕｍΔ（ＦｒＡ）と比べて画像フレーム（ＦｒＡ）の特有の領域のみを的確に表現できるようになる。このように生成したキーフレームΔ（ＦｒＡ）を用いて画像合成を行うことにより、より精度の高い合成画像を得ることができる。例えば、実施の形態１の手法で生成した合成画像（図５におけるＦｒ１＋Ｆｒ２＋Ｆｒ３＋Ｆｒ４）と、実施の形態２の手法で生成した合成画像（図８におけるＦｒ１＋Ｆｒ２＋Ｆｒ３＋Ｆｒ４）と、を比較した場合、後者の合成画像の方が円形の移動体をより鮮明に表示した軌跡画像となる。

【0052】

続いて、本実施の形態にかかる画像処理装置１が生成した合成画像と、特許文献１に記載の動画像切り出し装置が生成した合成画像と、の比較を行う。はじめに、特許文献１に記載の動画像切り出し装置の処理概要を、図１０を参照して改めて説明する。

【0053】

動画像切り出し装置は、閾値を用いて２値化したマスクフレーム（図１０（ａ））を用いて合成画像の生成を行う。この動画像切り出し装置による画像合成過程を図１０（ｂ）に示す。この動画像切り出し装置は、合成元の画像フレームの画素値を１００％用いるか、合成する画像フレームの画素値を１００％用いる（上書きを行う）。そのため、上述の閾値の設定が適切である場合には良好な合成画像を得られるが、不適切である場合には意図しない合成画像が生成される。

【0054】

以下、簡単な例を用いて本実施の形態にかかる画像処理装置１が生成した合成画像と、特許文献１に記載の動画像切り出し装置が生成した合成画像と、を比較する。図１１に示すような幅が４の矩形物体が画像フレーム単位で１マスずつ移動する動画像データについて検討する。合成画像は、１０枚の画像フレームから生成するものとする。なお、説明の明確化のため、ＲＧＢ値では無く、矩形物体に１、それ以外の領域に０の画素値が設定されているものとして検討する。

【0055】

図１２（ａ）は、矩形物体の移動状態を示す。図示するように、矩形物体が画像フレーム毎に１マスだけ右に移動している。図１２（ｂ）は、生成した積算フレームＳｕｍΔ（Ｆｒ１）〜ＳｕｍΔ（Ｆｒ１０）を示す。図１３（ａ）は図１２（ｂ）に示す積算フレームから第１閾値として３を減算して生成したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））を示す図であり、図１３（ｂ）は図１２（ｂ）に示す積算フレームから第１閾値として４を減算して生成したキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））を示す図である。

【0056】

図１４（ａ）は、図１３（ａ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））から算出した、本実施の形態にかかる画像合成部６０が用いる各画像フレームの合成比率（ｋ１〜ｋ１０，％表示）を示す。図１３（ａ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））は値域が６であるため、各欄を６で除算することにより各画像フレームの合成比率（ｋ１〜ｋ１０，％表示）が算出される。図１４（ｂ）は、図１３（ａ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））を用いて算出した特許文献１にかかる合成比率である。当該合成比率は、０より大きい値を持つ欄に１００％が設定され、０である欄に０％が設定される。

【0057】

図１５（ａ）は、図１３（ｂ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））から算出した、本実施の形態にかかる各画像フレームの合成比率（ｋ１〜ｋ１０，％表示）を示す。図１４（ｂ）は、図１３（ｂ）に示すキーフレーム（ＫｅｙΔ（Ｆｒ１）〜ＫｅｙΔ（Ｆｒ１０））を用いて算出した特許文献１にかかる合成比率である。

【0058】

なお、初期画像フレームは、画像フレーム１（Ｆｒ１）を想定している。そのため、図１４及び図１５において、ｋ１の各欄には１００％が設定される。図１２〜図１５において、太線枠内が矩形物体の位置を示す。また、合成順序は、時系列の順序（Ｆｒ１⇒Ｆｒ２⇒…⇒Ｆｒ１０）とする。

【0059】

まず、第１閾値を３にした場合（積算フレームの各画画素のレベル値から３だけ減算した場合）の合成処理について検討する。図１４（ｂ）から明らかなように、特許文献１の技術では、上書きすべきではない領域についても完全に上書き処理を行ってしまう（たとえば、合成比率ｋ２の太線枠外の欄に１００％が設定されている）。すなわち、矩形領域の画素値（１）が設定されるべき領域に、背景色の画素値（０）が設定されてしまう。一方、本実施の形態にかかる方式では、図１４（ａ）に示すように、ある程度の比率で画像フレームの画素値が混合される。この際、矩形物体に対応する画素値の混合比率は高く、背景色の混合比率は低い。そのため、矩形物体が移動する軌跡を確認可能な合成画像を得ることができる。

【0060】

次に、第１閾値を４にした場合（積算フレームの各画素のレベル値から４だけ減算した場合）の合成処理について検討する。図１５（ｂ）から明らかなように、特許文献１の技術では、矩形領域以外の合成比率が０％となっている。そのため、所望の合成画像を得ることができる。一方、本実施の形態にかかる方式では、図１５（ａ）に示すように、１００％の精度ではないものの、ある程度の比率で各画像フレームの矩形領域内の画素値が混合される。そのため、矩形物体が鮮明に表示された合成画像ではないものの、矩形物体が移動する軌跡を確認可能な合成画像を得ることができる。

【0061】

次に、本実施の形態にかかる方式で生成した合成画像と特許文献１に記載の方式で生成した合成画像をグラフ形式で示す。図１６は、図１１に示す動画像データを対象として生成された合成画像の画素値を示すグラフである。当該グラフの横軸は合成画像の横方向の座標を示し、縦軸は画素値を示す。

【0062】

図１６（ａ）は、本実施の形態にかかる方式で生成した（図１４（ａ）に示す合成比率または図１５（ａ）に示す合成比率を用いて生成した）合成画像を示すグラフである。グラフ内には、期待値を示す折れ線（ＥＸＰ）も併せて表示する。図１６（ｂ）は、特許文献１に記載の方式で生成した（図１４（ｂ）に示す合成比率または図１５（ｂ）に示す合成比率を用いて生成した）合成画像を示すグラフである。

【0063】

なお、確認として、本実施の形態にかかる方式における各座標の算出値の算出方法を以下に説明する。例えば、第１閾値を３であり、横軸が５の場合、図１４（ａ）に記載の合成比率を用いた以下の算出を行い、最終的な算出値（０．３３）を算出する。
１×１＝１
１×（１−（１／２））＋１×（１／２）＝１
１×（１−（１／２））＋１×（１／２）＝１
１×（１−（１／２））＋１×（１／２）＝１
１×（１−（１／６））＋０×（５／６）＝（５／６）
（５／６）×（１−（１／６））＋０×（５／６）＝（２５／３６）
（２５／３６）×（１−（１／６））＋０×（５／６）＝（１２５／２１６）
（１２５／２１６）×（１−（１／６））＋０×（５／６）＝（６２５／１２９６）
（６２５／１２９６）×（１−（１／６））＋０×（５／６）＝（３１２５／７７７６）
（３１２５／７７７６）×（１−（１／６））＋０×（５／６）＝（１５６２５／４６６５６）＝０．３３４９

【0064】

図１６内の両グラフ（（ａ），（ｂ））を比較すると明らかなように、特許文献１に記載の方式では閾値が適切な場合には良好な合成画像を得ることができる。しかし、閾値が適切ではない場合には極端にグラフの形状が崩れる、すなわち生成される合成画像の各画素の画素値が意図しない値となる。一方、本実施の形態にかかる方式では閾値が適切でない場合であっても極端にグラフの形状が崩れることがない、すなわち生成される合成画像を参照することにより矩形物体の動きを把握することができる。

【0065】

以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。例えば、上述の説明では色空間としてＲＧＢを想定したが、必ずしもこれに限られず他の色空間（ＹＵＶ，ＣＭＹ等）にも本発明を応用することができる。

【0066】

上述の選択部２０、差分算出部３０、二値化部４０、積算部５０、画像合成部６０、及びキーフレーム生成部７０の各処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0067】

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

【符号の説明】

【0068】

１ 画像処理装置
１０ 画像記憶部
２０ 選択部
３０ 差分算出部
４０ 二値化部
５０ 積算部
６０ 画像合成部
７０ キーフレーム生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】