特許 6237119 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6237119

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20171120BHJP

【ＦＩ】

   G06T7/254 Z

【請求項の数】4

【全頁数】28

(21)【出願番号】特願2013-225143(P2013-225143)

(22)【出願日】2013年10月30日

(65)【公開番号】特開2015-87904(P2015-87904A)

(43)【公開日】2015年5月7日

【審査請求日】2016年4月26日

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】岩淵 浩志

(72)【発明者】

【氏名】小野寺 宏之

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００４−１６４５６３（ＪＰ，Ａ）

【文献】 特開２００５−１２３８２４（ＪＰ，Ａ）

【文献】 特開２００９−０２０８９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

物体を順次に撮影することで得られる第１画像と第２画像とが入力され、前記第１画像に含まれる前記物体のブレを前記物体の第１軌跡として抽出し、前記第２画像に含まれる前記物体のブレを前記物体の第２軌跡として抽出する抽出部と、
前記抽出部によって抽出された前記第１軌跡および前記第２軌跡のそれぞれの画像の特徴に基づいて、前記第１画像と前記第２画像とのそれぞれが撮影された時刻における前記物体の運動の特徴を推定する推定部と、
前記推定部により推定された前記物体の運動の特徴に基づいて、前記第１画像が撮影されてから前記第２画像が撮影されるまでの間における前記物体の軌跡を求め、求めた軌跡を用いて前記第１軌跡と前記第２軌跡との間に軌跡を補間する補間部と、
を備え、
前記推定部は、
前記第１軌跡および前記第２軌跡のそれぞれに含まれる各画素の色または輝度を示す画素値の勾配が他の方向よりも小さい方向を求め、求めた方向を、前記第１画像および前記第２画像のそれぞれが撮影された時刻における前記物体の運動の特徴の一つである前記物体の運動の方向とする
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第１画像および前記第２画像のそれぞれに複数の物体が含まれ、前記抽出部により、前記第１画像および前記第２画像から前記複数の物体のそれぞれの前記第１軌跡および前記第２軌跡が抽出された場合に、
前記補間部は、
前記抽出部により前記第１画像から抽出された前記第１軌跡毎に、前記第２画像から抽出された複数の前記第２軌跡の中から、前記第１画像から抽出された前記第１軌跡について前記推定部により推定された運動の特徴と類似する運動の特徴が推定された一つの前記第２軌跡を、前記第１軌跡に対応する第２軌跡として検出する検出部と、
前記第１画像から抽出された複数の前記第１軌跡のそれぞれと前記第１軌跡に対応して検出された前記第２軌跡のそれぞれとの間を補間する補間軌跡を生成する生成部とを有する
ことを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記検出部は、
前記抽出部により前記第２画像から抽出された複数の前記第２軌跡の中から、前記第１軌跡の画像の特徴に類似した特徴を有する一つの前記第２軌跡を、前記第１軌跡に対応する第２軌跡として検出する
ことを特徴とする画像処理装置。

【請求項4】

物体を順次に撮影することで得られる第１画像と第２画像との入力を受け、前記第１画像に含まれる前記物体のブレを前記物体の第１軌跡として抽出し、前記第２画像に含まれる前記物体のブレを前記物体の第２軌跡として抽出し、
前記抽出された前記第１軌跡および前記第２軌跡のそれぞれの画像の特徴に基づいて、前記第１画像と前記第２画像とのそれぞれが撮影された時刻における前記物体の運動の特徴を推定し、
前記推定された前記物体の運動の特徴に基づいて、前記第１画像が撮影されてから前記第２画像が撮影されるまでの間における前記物体の軌跡を求め、求めた軌跡を用いて前記第１軌跡と前記第２軌跡との間に軌跡を補間し、
前記第１軌跡および前記第２軌跡のそれぞれに含まれる各画素の色または輝度を示す画素値の勾配が他の方向よりも小さい方向を求め、求めた方向を、前記第１画像および前記第２画像のそれぞれが撮影された時刻における前記物体の運動の特徴の一つである前記物体の運動の方向とする
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

例えば、動く物体を所定の時間間隔で撮影した複数の画像のそれぞれから物体の画像を切り出し、切り出した画像を１枚の画像に合成することで、物体の動きを表現する画像を生成する技術が提案されている(例えば、特許文献１参照)。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１６４５６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運動する物体を所定の時間間隔で撮影した場合に、各画像が撮影された時刻は、時間軸上で離散的に分布する。このため、撮影された複数の画像のそれぞれから切り出された物体の画像は、時間軸上に離散的に分布する各瞬間における物体を表している。したがって、各画像から切り出された物体の画像を互いに合成しても、物体が運動する過程で描く軌跡を連続的に表現する画像を生成することは困難である。

【0005】

本件開示の画像処理装置および画像処理方法は、物体を時間間隔をおいて撮影した複数の画像から、物体の軌跡を表す画像を生成する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの観点によれば、画像処理装置は、物体を順次に撮影することで得られる第１画像と第２画像とが入力され、第１画像に含まれる物体のブレを物体の第１軌跡として抽出し、第２画像に含まれる物体のブレを物体の第２軌跡として抽出する抽出部と、抽出部によって抽出された第１軌跡および第２軌跡のそれぞれの画像の特徴に基づいて、第１画像と第２画像とのそれぞれが撮影された時刻における物体の運動の特徴を推定する推定部と、推定部により推定された物体の運動の特徴に基づいて、第１画像が撮影されてから第２画像が撮影されるまでの間における物体の軌跡を求め、求めた軌跡を用いて第１軌跡と第２軌跡との間に軌跡を補間する補間部とを有する。

【0007】

別の観点によれば、画像処理方法は、物体を順次に撮影することで得られる第１画像と第２画像との入力を受け、第１画像に含まれる物体のブレを物体の第１軌跡として抽出し、第２画像に含まれる物体のブレを物体の第２軌跡として抽出し、抽出された第１軌跡および第２軌跡のそれぞれの画像の特徴に基づいて、第１画像と第２画像とのそれぞれが撮影された時刻における物体の運動の特徴を推定し、推定された物体の運動の特徴に基づいて、第１画像が撮影されてから第２画像が撮影されるまでの間における物体の軌跡を求め、求めた軌跡を用いて第１軌跡と第２軌跡との間に軌跡を補間する。

【発明の効果】

【0008】

本件開示の画像処理装置および画像処理方法は、物体を時間間隔をおいて撮影した複数の画像から、物体の軌跡を表す画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置の一実施形態を示す図である。

【図2】図１に示した撮影装置によって撮影された画像の例を示す図である。

【図3】図１に示した補間部による第１軌跡と第２軌跡との補間例を示す図である。

【図4】図１に示した画像処理装置の動作を示す図である。

【図5】画像処理装置の別実施形態を示す図である。

【図6】図２に示した物体の軌跡における画素値の変化の例を示す図である。

【図7】図５に示した予測部によって予測される領域の例を示す図である。

【図8】図５に示した生成部によって生成される補間軌跡の例を示す図である。

【図9】画像処理装置を搭載したデジタルカメラのハードウェア構成例を示す図である。

【図10】図９に示した画像処理装置の動作を示す図である。

【図11】同じ物体の動きを示す軌跡の組を検出する処理の例を示す図である。

【図12】画像処理装置のハードウェア構成の一例を示す図である。

【図13】画像処理装置のハードウェア構成の別例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面に基づいて、実施形態を説明する。

【0011】

図１は、画像処理装置の一実施形態を示す。

【0012】

図１に示した画像処理装置１０は、撮影装置ＧＲＤから画像ＩＭＧ＿１，…，ＩＭＧ＿ｎを受ける抽出部１１と、抽出部１１に接続された推定部１２および補間部１３を有している。抽出部１１および補間部１３の出力は、合成画像ＧＳＮを生成する合成装置ＳＹＮに接続される。抽出部１１、推定部１２および補間部１３の機能および動作は、図２で説明する。

【0013】

撮影装置ＧＲＤは、デジタルカメラなどであり、運動する物体を例えば所定の時間間隔で撮影することでｎ(ｎは２以上の整数)枚の画像ＩＭＧ＿１，…，ＩＭＧ＿ｎを取得し、取得した画像ＩＭＧ＿１，…，ＩＭＧ＿ｎを画像処理装置１０に渡す。なお、撮影装置ＧＲＤは、デジタルカメラに限らず、連写機能と露光時間を調整する機能を有していれば、携帯電話やスマートフォンなどの携帯端末装置に搭載されたカメラでもよい。また、図１において各画像を示す符号において、記号“＿”の後の数字は、撮影装置ＧＲＤによる撮影順序を示している。以下の説明では、画像ＩＭＧ＿１，…，ＩＭＧ＿ｎを互いに区別しない場合には、画像ＩＭＧと総称する。

【0014】

撮影装置ＧＲＤにより、物体を撮影する際に用いられる露光時間は、例えば、撮影した画像ＩＭＧにおいて物体の位置が当該物体の運動により数画素程度のブレが発生する程度の時間が設定されている。なお、撮影装置ＧＲＤが用いる露光時間は、撮影装置ＧＲＤに搭載された撮像素子に露光時間中に入射する光量により、撮像素子が飽和しない程度の値に設定されることが望ましい。

【0015】

以上に説明した撮影装置ＧＲＤによって撮影された各画像ＩＭＧ＿１，…，ＩＭＧ＿ｎは、撮影に用いられた露光時間中に物体が動いた軌跡を、物体を示す画像のブレとして含んでいる。

【0016】

図２は、図１に示した撮影装置ＧＲＤによって撮影された画像ＩＭＧの例を示す。図２(Ａ)に示した画像ＩＭＧ＿ｋおよび図２(Ｂ)に示した画像ＩＭＧ＿ｋ＋１は、撮影装置ＧＲＤによって撮影することで得られたｎ枚の画像の中のｋ(ｋは、ｎ−１以下の正の整数)番目とｋ＋１番目に撮影された画像の例である。すなわち、画像ＩＭＧ＿ｋは、運動する物体を撮影した第１画像の一例であり、画像ＩＭＧ＿ｋ＋１は、第１画像よりも後に撮影された第２画像の一例である。例えば、画像ＩＭＧ＿ｋ＋１は、撮影装置ＧＲＤが画像ＩＭＧ＿ｋの次に撮影した画像である。

【0017】

図２(Ａ)に示した画像ＩＭＧ＿ｋは、物体の一例であるボールＢＬが、網掛けを付した領域で示した芝生ＬＮの上をピンＰＩＮに向かって転がる過程において、画像ＩＭＧ＿ｋが撮影された際の露光時間中にボールＢＬが移動した長円状の軌跡Ｔｒ＿ｋを含んでいる。図２(Ａ)の例では、軌跡Ｔｒ＿ｋは、露光時間の開始時に破線の円形Ｐｓ＿ｋで示した位置にあったボールが、露光時間の終了時に破線の円形Ｐｅ＿ｋの位置まで移動したことを示している。すなわち、図２(Ａ)に示した軌跡Ｔｒ＿ｋは、ｎ枚の画像が撮影される間にボールが辿る軌跡の一部であり、第１画像に相当する画像ＩＭＧ＿ｋから抽出された第１軌跡の一例である。なお、ボールＢＬを示す円形と露光時間の開始時および終了時のボールＢＬの位置を示す円形Ｐｓ＿ｋ，Ｐｅ＿ｋは、ボールＢＬの軌跡を説明するために示した要素であり、画像ＩＭＧ＿ｋには含まれない。

【0018】

同様に、図２(Ｂ)に示した画像ＩＭＧ＿ｋ＋１は、ボールが芝生ＬＮの上をピンＰＩＮに向かって転がる過程において、画像ＩＭＧ＿ｋ＋１が撮影された際の露光時間中にボールが移動した長円状の軌跡Ｔｒ＿ｋ＋１を含んでいる。図２(Ｂ)の例では、軌跡Ｔｒ＿ｋは、露光時間の開始時に破線の円形Ｐｓ＿ｋ＋１で示した位置にあったボールが、露光時間の終了時に破線の円形Ｐｅ＿ｋ＋１の位置まで移動したことを示している。すなわち、図２(Ｂ)に示した軌跡Ｔｒ＿ｋ＋１は、ｎ枚の画像が撮影される間にボールが辿る軌跡の一部であり、第２画像に相当する画像ＩＭＧ＿ｋ＋１から抽出された第２軌跡の一例である。なお、ボールＢＬを示す円形と露光時間の開始時および終了時のボールＢＬの位置を示す円形Ｐｓ＿ｋ＋１，Ｐｅ＿ｋ＋１は、ボールＢＬの軌跡を説明するために示した要素であり、画像ＩＭＧ＿ｋ＋１には含まれない。

【0019】

図１に示した画像処理装置１０の抽出部１１は、例えば、順次に撮影された２枚の画像ＩＭＧのそれぞれから、図２に示したボールＢＬの動きによるボールＢＬの画像のブレを、ボールＢＬの軌跡の一部である軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１として抽出する。例えば、抽出部１１は、図２(Ａ)に示した画像ＩＭＧ＿ｋから、ボールＢＬが円形Ｐｓ＿ｋの位置と円形Ｐｅ＿ｋの位置との間で動いたことを示す軌跡Ｔｒ＿ｋを抽出する。同様に、抽出部１１は、図２(Ｂ)に示した画像ＩＭＧ＿ｋ＋１から、ボールＢＬが円形Ｐｓ＿ｋ＋１の位置と円形Ｐｅ＿ｋ＋１の位置との間で動いたことを示す軌跡Ｔｒ＿ｋ＋１を抽出する。

【0020】

抽出部１１は、例えば、時系列的に撮影された複数の画像から動く物体の画像を検出する技術などを、順次に撮影された２枚の画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１に含まれる軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１の抽出に用いてもよい。

【0021】

例えば、抽出部１１は、図２(Ａ)，(Ｂ)に示した画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１の差を示す差分画像を生成し、生成した差分画像において、所定値以上の差分を有する画素が連結している領域を検出する。ここで、差分画像から検出された領域は、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１のいずれかにおいて、２つの画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１との間で動かない背景(例えば、芝生ＬＮ)を示す画像の特徴とは異なる特徴を示す領域、即ち、動くボールＢＬを示す領域である。画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１から生成した差分画像の例では、抽出部１１により、図２(Ａ)，(Ｂ)に示した軌跡Ｔｒ＿ｋおよび軌跡Ｔｒ＿ｋ＋１に対応する２つの領域が差分画像から検出される。そして、抽出部１１は、差分画像から検出した２つの領域のそれぞれに対応する画像ＩＭＧ＿ｋの領域の境界の内側と外側とで画素の特徴を比較し、境界の内側と外側とで特徴が互いに異なる領域を、画像ＩＭＧ＿ｋに含まれる軌跡Ｔｒ＿ｋとして抽出する。同様に、抽出部１１は、差分画像から検出した２つの領域のそれぞれに対応する画像ＩＭＧ＿ｋ＋１の領域の境界の内側と外側とで特徴が互いに異なる領域を、画像ＩＭＧ＿ｋ＋１に含まれる軌跡Ｔｒ＿ｋ＋１として抽出する。例えば、画像ＩＭＧ＿ｋにおいて、軌跡Ｔｒ＿ｋに対応する領域は、境界の内側と外側とで特徴が互いに異なるため、抽出部１１により、軌跡Ｔｒ＿ｋとして抽出される。一方、画像ＩＭＧ＿ｋにおいて、軌跡Ｔｒ＿ｋ＋１に対応する領域は、境界の内側と外側とが共に芝生ＬＮであり、特徴が共通であるため、軌跡として抽出されない。

【0022】

なお、順次に撮影された２枚の画像ＩＭＧからの軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１の抽出に抽出部１１が用いる技法は、各画像ＩＭＧにおいて移動しない背景と、各画像ＩＭＧにおいて位置が変化する物体とを峻別する技法であればどんな技法でもよい。例えば、抽出部１１は、順次に撮影された複数の画像ＩＭＧにおいて、所定数の画素を含むブロック毎に求めた動きベクトルが類似している領域を検出し、検出した領域を動く物体として抽出する技術を用いてもよい。

【0023】

図１に示した推定部１２は、画像ＩＭＧと軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１を示す情報とを抽出部１１から受ける。推定部１２は、軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１として抽出された領域の画像の特徴に基づいて、各画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１が撮影された時刻において、画像ＩＭＧに含まれるボールＢＬが示した運動の特徴を推定する。

【0024】

推定部１２は、例えば、軌跡Ｔｒ＿ｋまたは軌跡Ｔｒ＿ｋ＋１として抽出された画像ＩＭＧの領域に含まれる画素の色または輝度を示す画素値の変化の方向と物体の運動の方向との相関関係に基づいて、画素値の変化の方向から物体の運動の方向を推定する。また、推定部１２は、軌跡Ｔｒ＿ｋまたは軌跡Ｔｒ＿ｋ＋１として抽出された画像ＩＭＧの領域の推定した運動の方向の長さから、物体が画像ＩＭＧにおいて動く速さを推定する。なお、推定部１２により物体の運動の特徴を推定する手法については、図５および図６を用いて後述する。

【0025】

例えば、推定部１２は、図２(Ａ)に示した画像ＩＭＧ＿ｋから抽出された軌跡Ｔｒ＿ｋから、矢印で示した方向Ｄｒ＿ｋを運動の方向として推定した場合に、点Ｑｓ＿ｋ，Ｑｅ＿ｋを軌跡Ｔｒ＿ｋの両側の端点として特定する。同様に、推定部１２は、図２(Ｂ)に示した画像ＩＭＧ＿ｋ＋１から抽出された軌跡Ｔｒ＿ｋ＋１から、矢印で示した方向を運動の方向Ｄｒ＿ｋ＋１として推定した場合に、点Ｑｓ＿ｋ＋１，Ｑｅ＿ｋ＋１をＴｒ＿ｋ＋１の両側の端点として特定する。また、推定部１２は、軌跡Ｔｒ＿ｋおよび軌跡Ｔｒ＿ｋ＋１のそれぞれについて特定した端点間の距離を露光時間で除算することで、画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれが撮影された時刻において、推定された運動の方向に動くボールＢＬの速さを求める。そして、推定部１２は、求めた方向Ｄｒ＿ｋと速さとから、軌跡Ｔｒ＿ｋの各端点Ｑｓ＿ｋ，Ｑｅ＿ｋを始点とし、推定された運動の方向に沿い、軌跡Ｔｒ＿ｋから離れる向きを持ち、推定された速さを示す２つの速度ベクトルＶ１＿ｋ，Ｖ２＿ｋを求める。同様に、推定部１２は、求めた方向Ｄｒ＿ｋ＋１と速さとから、軌跡Ｔｒ＿ｋ＋１の各端点Ｑｓ＿ｋ＋１，Ｑｅ＿ｋ＋１を始点とし、軌跡Ｔｒ＿ｋ＋１から離れる向きを持つ２つの速度ベクトルＶ１＿ｋ＋１，Ｖ２＿ｋ＋１を求める。そして、推定部１２は、求めた２組の速度ベクトル(Ｖ１＿ｋ，Ｖ２＿ｋ)、（Ｖ１＿ｋ＋１，Ｖ２＿ｋ＋１）を、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１のそれぞれが撮影された時刻におけるボールＢＬの運動の特徴を示す情報として、図１に示した補間部１３に渡す。

【0026】

更に、推定部１２は、軌跡Ｔｒ＿ｋと軌跡Ｔｒ＿ｋ＋１との相対位置に基づいて、２つの速度ベクトルＶ１＿ｋ，Ｖ２＿ｋの一方を選択し、選択した速度ベクトルを補間部１３に渡してもよい。例えば、図２(Ａ)，(Ｂ)の例では、軌跡Ｔｒ＿ｋ＋１の２つの端点Ｑｓ＿ｋ＋１，Ｑｅ＿ｋ＋１は、軌跡Ｔｒ＿ｋの２つの端点Ｑｓ＿ｋ，Ｑｅ＿ｋよりも速度ベクトルＶ２＿ｋで示される側にある。この場合に、推定部１２は、画像ＩＭＧ＿ｋが撮影された時刻における物体の運動の方向として、図２(Ａ)に示した速度ベクトルＶ２＿ｋを特定する。ここで、画像ＩＭＧ＿ｋが撮影されてから画像ＩＭＧ＿ｋ＋１が撮影されるまでの期間においてボールＢＬの運動の特徴の変化は少ないことから、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１が撮影されたそれぞれの時刻におけるボールＢＬの運動の方向はほぼ一致する。したがって、推定部１２は、画像ＩＭＧ＿ｋ＋１の撮影時刻におけるボールＢＬの運動の特徴として、軌跡Ｔｒ＿ｋと軌跡Ｔｒ＿ｋ＋１との相対位置に基づいて選択した速度ベクトルＶ２＿ｋに類似した向きを持つ速度ベクトルＶ２＿ｋ＋１を選択してもよい。この場合に、推定部１２は、画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれが撮影された際のボールＢＬの運動の特徴を示す情報として、図２(Ａ)に示した速度ベクトルＶ２＿ｋと図２(Ｂ)に示した速度ベクトルＶ２＿ｋ＋１とを補間部１３に渡す。

【0027】

図１に示した補間部１３は、抽出部１１から画像ＩＭＧを受け、推定部１２からボールＢＬの運動の特徴を示す情報を受ける。補間部１３は、推定部１２により推定されたボールＢＬの運動の特徴に基づいて、第１画像に相当する画像ＩＭＧ＿ｋと第２画像に相当する画像ＩＭＧ＿ｋ＋１との撮影間隔で動いたボールＢＬの軌跡を生成する。そして、補間部１３は、生成した軌跡を用いて、第１軌跡として画像ＩＭＧ＿ｋから抽出された軌跡Ｔｒ＿ｋと第２軌跡として画像ＩＭＧ＿ｋ＋１から抽出された軌跡Ｔｒ＿ｋ＋１との間を補間する。補間部１３は、例えば、軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１について推定された２つの速度ベクトルＶ２＿ｋ，Ｖ２＿ｋ＋１の方向を示す成分の平均および速さの平均を求めることで、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１の撮影間隔におけるボールＢＬの速度を求める。補間部１３は、求めた速度で示される方向と速さとから、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１の撮影間隔におけるボールＢＬの軌跡を生成する。そして、補間部１３は、生成した軌跡により、第１軌跡および第２軌跡に相当する軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１を接続することで補間を行う。

【0028】

図３は、図１に示した補間部１３による第１軌跡と第２軌跡との補間例を示す。なお、図３に示した要素のうち、図２に示した要素と同等のものは、図２と同じ符号で示すとともに要素の説明を省略する場合がある。

【0029】

図３(Ａ)は、図２に示した画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれから第１軌跡および第２軌跡として抽出された軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１の間を、図１に示した補間部１３により補間することで得られる補間済みの軌跡Ｔｒｃ＿ｋの例を示す。図３(Ａ)において、座標軸Ｘ，Ｙは、補間部１３において、軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１の位置を互いに関連付けるために用いられる。

【0030】

図３(Ａ)に破線で囲んで示した矩形Ｔｒｉ＿ｋは、速度ベクトルＶ２＿ｋ，Ｖ２＿ｋ＋１に基づいて、補間部１３により補間された、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１の撮影間隔におけるボールＢＬの軌跡の例である。図３(Ａ)に示した軌跡Ｔｒｉ＿ｋは、速度ベクトルＶ２＿ｋ，Ｖ２＿ｋ＋１から求めた速度ベクトルＶｉ＿ｋで示される方向に平行な１組の辺を、軌跡Ｔｒ＿ｋの平均的な幅ｗで示される間隔を空けて対向させた平行四辺形である。

【0031】

また、図１に示した補間部１３は、軌跡Ｔｒ＿ｋまたは軌跡Ｔｒ＿ｋ＋１を示す画像に含まれる各画素の色および輝度を示す画素値に基づいて、軌跡Ｔｒｉ＿ｋを示す画像に含まれる各画素の色および輝度を示す画素値を設定することが望ましい。例えば、補間部１３は、軌跡Ｔｒ＿ｋの輪郭よりも中央部に近い位置にある複数の画素の画素値の平均値を求め、求めた平均値を用いて、軌跡Ｔｒｉ＿ｋを示す画像に含まれる各画素の画素値を設定してもよい。

【0032】

補間部１３は、図３(Ａ)に示した軌跡Ｔｒｉ＿ｋを用いて、軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１を接続することで、軌跡Ｔｒ＿ｋの端点Ｑｓ＿ｋから軌跡Ｔｒ＿ｋ＋１の端点Ｑｅ＿ｋ＋１まで切れ目なく連続する軌跡Ｔｒｃ＿ｋを生成することができる。

【0033】

そして、図１に示した画像処理装置１０は、撮影装置ＧＲＤで撮影された各画像ＩＭＧを順次に第１画像として、以上に説明した処理を行うことで、ｎ枚の画像ＩＭＧ＿１，…，ＩＭＧ＿ｎが撮影された期間の物体の動きを連続的に表す軌跡を生成することができる。

【0034】

例えば、補間部１３は、連続して撮影された２枚の画像ＩＭＧのそれぞれを第１画像および第２画像とし、第１画像および第２画像から抽出された第１軌跡と第２軌跡との間を補間する軌跡を生成する毎に、補間した軌跡を合成装置ＳＹＮに渡してもよい。また、抽出部１１は、例えば、撮影装置ＧＲＤから最初に受けた画像ＩＭＧ＿１を、ボールＢＬの背景を示す情報として合成装置ＳＹＮに渡す。

【0035】

図３(Ｂ)は、図２(Ａ)，(Ｂ)に示した軌跡Ｔｒ＿ｋ，Ｔｒ＿ｋ＋１の間に補間部１３で生成した軌跡Ｔｒｉ＿ｋを配置することで得られた軌跡Ｔｒｃ＿ｋと画像ＩＭＧ＿１とを、図１に示した合成装置ＳＹＮにより合成した合成画像ＧＳＮの例を示す。

【0036】

図１に示した合成装置ＳＹＮは、例えば、ｎ枚の画像ＩＭＧ＿１，…，ＩＭＧ＿ｎのそれぞれである画像ＩＭＧ＿ｋとし、補間部１３で生成される軌跡Ｔｒｉ＿ｋを用いた補間が行われる毎に、補間された軌跡Ｔｒｃ＿ｋを受ける。そして、合成装置ＳＹＮは、受けた軌跡Ｔｒｃ＿ｋを順次に画像ＩＭＧ＿１に追加する。これにより、ｎ枚の画像ＩＭＧの全てについての軌跡Ｔｒｉ＿ｋの補間処理が完了したときに、ｎ枚の画像ＩＭＧが撮影された期間にボールＢＬが芝生ＬＮやピンＰＩＮを含む背景の中で動いた軌跡を連続的に表現する合成画像ＧＳＮを生成することができる。

【0037】

なお、合成装置ＳＹＮは、図１に示したように、画像処理装置１０の外部に設けられてもよいし、画像処理装置１０に含まれてもよい。合成装置ＳＹＮの機能を有する構成要素を含む画像処理装置１０については、図５および図９〜図１０を用いて後述する。

【0038】

図４は、図１に示した画像処理装置１０の動作を示す。図４に示したステップＳ３０１〜ステップＳ３０３の処理は、図１に示した画像処理装置１０の動作を示すとともに、画像処理方法の例を示す。図４に示す処理は、例えば、画像処理装置１０に搭載されるハードウェアによって実行されてもよいし、画像処理装置１０に搭載されたプロセッサが、各処理をプロセッサに読み取り可能な形式で記載したプログラムを実行することで実現されてもよい。

【0039】

図４に示した各処理は、例えば、最初に撮影された画像ＩＭＧ＿１からｎ−１番目に撮影された画像ＩＭＧ＿ｎ−１までの各画像ＩＭＧを順次に第１画像として、画像処理装置１０に含まれる抽出部１１、推定部１２および補間部１３により繰り返し実行される。なお、図４に示した各処理は、２枚目以降の画像ＩＭＧ＿２，…，ＩＭＧ＿ｎが撮影装置ＧＲＤにより撮影される毎に、推定部１２および補間部１３により実行されてもよい。２枚目以降の画像が撮影された場合、例えば、図４に示した各処理では、新たに撮影された画像が第２画像とされ、新たに撮影された画像よりも１枚前に撮影された画像が第１画像とされる。

【0040】

ステップＳ３０１において、抽出部１１は、図２を用いて説明したように、第１画像と第２画像とのそれぞれから、物体の一例であるボールＢＬが露光時間中に動いたことで現れる物体の画像のブレを第１軌跡および第２軌跡として抽出する。

【0041】

ステップＳ３０２において、推定部１２は、ステップＳ３０１の処理で抽出された第１軌跡および第２軌跡の形状に基づいて、第１画像および第２画像が撮影された時刻における物体の運動の特徴を推定する。

【0042】

ステップＳ３０３において、補間部１３は、ステップＳ３０２の処理で推定された運動の特徴に基づいて、第１画像と第２画像との撮影間隔に動いた物体の軌跡を生成し、生成した軌跡を用いて第１軌跡と第２軌跡との間を補間する。

【0043】

以上に説明した各処理を実行することにより、画像処理装置１０は、異なる時刻に所定の露光時間で撮影された２枚の画像のそれぞれに含まれる露光時間中の物体の運動を示す軌跡の間を補間する軌跡を生成する。これにより、画像処理装置１０は、補間する軌跡を含めて連続的な軌跡を生成することができる。そして、画像ＩＭＧ＿１から画像ＩＭＧ＿ｎ−１までの各画像ＩＭＧを順次に第１画像とした場合に、画像処理装置１０で生成された軌跡は、合成装置ＳＹＮにより、例えば、最初に撮影された画像ＩＭＧ＿１に順次に合成される。これにより、画像処理装置１０は、ｎ枚の画像ＩＭＧが撮影装置ＧＲＤにより撮影される過程で物体が動いた軌跡の全体を連続的に示すことができる。

【0044】

即ち、図１に示した画像処理装置１０は、運動する物体を時間間隔を空けて順次に撮影した画像から、物体の軌跡を連続的に表す画像を生成することが可能である。これにより、画像処理装置１０は、例えば、白昼のゴルフ場の芝生を転がるボールの軌跡を、夜間の高速道路を走る車のテールライトを長時間露光で撮影した場合と同様の連続した軌跡として表現する画像を生成することができる。

【0045】

図５は、画像処理装置の別実施形態を示す。なお、図５に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

【0046】

図５に示した画像処理装置１０は、図１に示した抽出部１１と、図１に示した推定部１２に相当する推定部１２ａと、図１に示した補間部１３に相当する補間部１３ａと、図１に示した合成装置ＳＹＮに相当する合成部１４とを含んでいる。更に、画像処理装置１０は、軌跡データベースＤＢを含んでおり、抽出部１１、推定部１２ａ、補間部１３ａは、軌跡データベースＤＢを介して互いに情報の授受が可能である。

【0047】

図５に示した抽出部１１は、撮影装置ＧＲＤによって撮影されたｎ枚の画像ＩＭＧから、撮影順が連続する２枚の画像ＩＭＧを第１画像および第２画像として順次に受ける。そして、抽出部１１は、第１画像あるいは第２画像として受けた画像ＩＭＧに含まれる物体の画像のブレを第１軌跡あるいは第２軌跡として抽出する。そして、抽出部１１は、各画像に含まれる物体の軌跡を示す情報として、各画像から第１軌跡あるいは第２軌跡として抽出した物体の画像のブレを示す情報を軌跡データベースＤＢに蓄積する。

【0048】

ここで、抽出部１１は、３番目以降に撮影された各画像ＩＭＧを受けた際に、受けた画像ＩＭＧの前に撮影された画像ＩＭＧから抽出された軌跡を示す情報を用いて、新たに受けた画像ＩＭＧからの軌跡の抽出を行ってもよい。例えば、画像ＩＭＧ＿１，ＩＭＧ＿２のそれぞれからの軌跡の抽出が完了した後に、３番目に撮影された画像ＩＭＧ＿３を受けた場合に、抽出部１１は、画像ＩＭＧ＿３からの軌跡の抽出に、画像ＩＭＧ＿２から抽出された軌跡を示す情報を用いてもよい。

【0049】

図５に示した推定部１２ａは、算出部１２１と、特定部１２２とを含み、抽出部１１により第１軌跡あるいは第２軌跡として抽出される物体の軌跡に含まれる各画素の色または輝度を示す画素値の位置による変化の特徴に基づいて、物体の動きの方向を推定する。

【0050】

補間部１３ａは、検出部１３１と生成部１３２とを含み、検出部１３１は、更に予測部１３４と照合部１３３と含む。そして、補間部１３ａは、抽出部１１により抽出された第１軌跡のそれぞれと、当該第１軌跡で動きが示された物体の第２画像における動きを示す第２軌跡との間を補間する。

【0051】

また、合成部１４は、図１に示した合成装置ＳＹＮに相当する機能を有し、抽出部１１から最初に撮影された画像ＩＭＧ＿１を受け、補間部１３ａから補間された軌跡を受ける毎に、補間された軌跡を画像ＩＭＧ＿１に追加することで合成画像ＧＳＮを生成する。

【0052】

図６は、図２に示した物体の軌跡Ｔｒ＿ｋにおける画素値の変化の例を示す。図６（Ａ）に示した座標軸Ｘ，Ｙは、推定部１２ａにおいて、各画素の位置関係を示すために用いられる。また、図６(Ｂ)，(Ｃ)に示した座標軸Ｂは、輝度値の大きさを示す。

【0053】

図６(Ａ)は、物体の軌跡Ｔｒ＿ｋにおいて、長円状の閉曲線Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれは、輝度値が数値Ｂ１、Ｂ２，Ｂ３，Ｂ４以上である画素が分布する範囲を示す等高線である。なお、図６では、数値Ｂ１，Ｂ２，Ｂ３，Ｂ４の順に値が大きくなる。また、図６(Ｂ)は、図６(Ａ)に破線で示した方向Ｄｒ１に並んだ各画素の輝度値Ｂの変化を示し、図６(Ｂ)は、図６(Ａ)に一点鎖線で示した方向Ｄｒ２に並んだ各画素の輝度値Ｂの変化を示す。

【0054】

図６(Ａ)の例は、図２に示したボールＢＬが方向Ｄｒ１に動いた場合に画像ＩＭＧ＿ｋから抽出される軌跡Ｔｒ＿ｋを示している。図６(Ａ)から分かるように、方向Ｄｒ１における輝度値の勾配は、方向Ｄｒ１と交差する方向Ｄｒ２を含む他の方向における輝度値の勾配に比べて小さくなっている。つまり、画像ＩＭＧから第１軌跡あるいは第２軌跡として抽出された物体の軌跡における輝度値の勾配と、軌跡を描いた物体が動いた方向との間には相関関係がある。同様に、画像ＩＭＧから第１軌跡あるいは第２軌跡として抽出された物体の軌跡に含まれる各画素の色を示す色度値の勾配と、軌跡を描いた物体が動いた方向との間には相関関係がある。したがって、抽出された軌跡を示す領域において、色または輝度を示す画素値の勾配が他の方向よりも小さい方向は、抽出された軌跡を描いた物体が動いた方向を示す。

【0055】

図５に示した算出部１２１は、抽出部１１によって第１軌跡あるいは第２軌跡として抽出された物体の軌跡のそれぞれに含まれる各画素の色または輝度を示す画素値の位置による変化を示す勾配を算出する。

【0056】

図５に示した特定部１２２は、第１軌跡として抽出された物体の軌跡について算出部１２１により得られた画素値の勾配に基づいて、他の方向よりも小さい勾配が算出された方向を特定する。そして、特定部１２２は、特定した方向を、第１軌跡を含む画像ＩＭＧが撮影された時刻における物体の運動の方向とする。同様に、特定部１２２は、第２軌跡として抽出された物体の軌跡について算出部１２１により得られた画素値の勾配に基づいて、他の方向よりも小さい勾配が算出された方向を特定する。そして、特定部１２２は、特定した方向を、第２画像が撮影された時刻における物体の運動の方向とする。

【0057】

更に、特定部１２２は、第１軌跡および第２軌跡のそれぞれについて、第１軌跡および第２軌跡のそれぞれについて特定した運動の方向に最も離れた点である軌跡の２つの端点間の距離を求める。そして、特定部１２２は、求めた距離と露光時間とに基づいて、第１軌跡および第２軌跡をそれぞれ含む画像ＩＭＧにおける物体の速さを求める。

【0058】

例えば、特定部１２２は、図６(Ａ)に示した軌跡Ｔｒ＿ｋの方向Ｄｒ１の長さＬ＿ｋを求める。例えば、特定部１２２は、図６(Ａ)に示した閉曲線のうち、輝度値が最も小さい閉曲線Ｃ１における方向Ｄｒ１の長さを長さＬ＿ｋとして求める。そして、特定部１２２は、求めた長さＬ＿ｋを露光時間で除算することで、軌跡Ｔｒ＿ｋを含む画像ＩＭＧ＿ｋにおいて、図２に示したボールＢＬが方向Ｄｒ１に動く速さを求めることができる。

【0059】

そして、特定部１２２は、第１軌跡あるいは第２軌跡として抽出された物体の軌跡のそれぞれに対応して、以上に説明したようにして求めた運動の方向と速さとを示す速度ベクトルを軌跡データベースＤＢに蓄積する。また、特定部１２２は、第１軌跡あるいは第２軌跡として抽出された物体の軌跡のそれぞれに対応する情報の一部として、物体の速さを求める過程で軌跡のそれぞれについて検出した両側の端点の位置を示す情報を軌跡データベースＤＢに蓄積することが望ましい。

【0060】

なお、図６(Ａ)に示した例のように、物体の軌跡を示す領域の形状を解析することで、領域の形状の長軸と短軸とを特定可能である場合に、算出部１２１により輝度値あるいは色度値の勾配を求める方向は、長軸方向と短軸方向とに絞り込まれてもよい。この場合に、特定部１２２は、算出部１２１により長軸方向について算出された勾配と短軸方向について算出された勾配とを比較し、勾配が小さいとされた方向を物体の運動の方向として特定し、特定した方向の長さから物体の運動の速さを求める。

【0061】

ところで、図５に示した撮影装置ＧＲＤによって撮影された各画像ＩＭＧは、複数の動く物体を含んでいる場合がある。この場合に、図５に示した抽出部１１は、例えば、各画像ＩＭＧに複数の物体のそれぞれに対応して含まれる物体の軌跡を第１軌跡あるいは第２軌跡として抽出した際に、抽出した物体の軌跡のそれぞれに各画像において一意の番号をつけて区別する。そして、抽出した物体の軌跡を軌跡データベースＤＢに蓄積する際に、抽出部１１は、抽出した物体の軌跡を含む画像ＩＭＧを示す撮影順および物体の軌跡を区別するための番号と物体の軌跡を示す情報とを対応付ける。また、この場合に、図５に示した推定部１２ａは、抽出部１１により、第１軌跡あるいは第２軌跡として各画像ＩＭＧから抽出された物体の軌跡のそれぞれについて、物体の軌跡で示される物体の運動の特徴を示す速度ベクトルを求める。

【0062】

複数の動く物体を含む場合、図５に示した検出部１３１は、抽出部１１により第１画像から抽出された第１軌跡毎に、第２画像から抽出された複数の第２軌跡の中から、第１軌跡について推定された運動の特徴と類似する運動の特徴が推定された第２軌跡を検出する。例えば、検出部１３１は、ｋ番目に撮影された画像ＩＭＧ＿ｋから抽出された複数の物体の軌跡について推定された速度ベクトルと、ｋ＋１番目に撮影された画像ＩＭＧ＿ｋ＋１から抽出された複数の物体の軌跡について推定された速度ベクトルとを互いに照合する。なお、撮影順を示す数値ｋは、ｎ−１以下の正の整数である。そして、検出部１３１は、互いに類似した速度ベクトルが推定された物体の軌跡の組を、画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれにおいて同一の物体の運動を示す第１軌跡と第２軌跡とする。

【0063】

検出部１３１は、例えば、画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれから抽出された複数の物体の軌跡で示される運動の特徴を互いに照合するのに先立って、画像ＩＭＧ＿ｋから抽出された軌跡について推定された運動の特徴に基づく絞込みを行ってもよい。

【0064】

検出部１３１の予測部１３３は、推定部１２ａによって第１軌跡のそれぞれについて推定された速度ベクトルに基づいて、当該第１軌跡を描いた物体が第２画像において存在することが予測される位置を含む領域を求める。また、検出部１３１の照合部１３４は、第１軌跡について推定された速度ベクトルに基づいて、予測部１３３が予測した領域から抽出された第２軌跡の中から、第１軌跡と運動の特徴が類似する第２軌跡を検出する。

【0065】

図７は、図５に示した予測部１３３によって予測される領域の例を示す。図７において網掛けを付して示した領域Ｔｒ１＿ｋは、画像ＩＭＧ＿ｋから抽出された物体の軌跡の一つを示す。また、図７において網掛けを付して示した領域Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれは、画像ＩＭＧ＿ｋ＋１から抽出された物体の軌跡の一つを示す。なお、図７において、網掛けの種類の違いは、網掛けが付された領域が示す色または輝度の違いを示している。即ち、図７に示した物体の軌跡Ｔｒ１＿ｋと物体の軌跡Ｔｒ１＿ｋ＋１とは類似した色または輝度を示し、物体の軌跡Ｔｒ１＿ｋ＋１と物体の軌跡Ｔｒ２＿ｋ＋１とは互いに異なる色または輝度を示す。

【0066】

図７に示した領域ＲＮＧ１，ＲＮＧ２は、軌跡Ｔｒ１＿ｋについて推定された運動の方向Ｄｒ１＿ｋに基づいて、図５に示した予測部１３３により、画像ＩＭＧ＿ｋ＋１の撮影時刻に物体が存在することが予測された領域を示している。

【0067】

図７の例では、領域ＲＮＧ１，ＲＮＧ２は、軌跡Ｔｒ１＿ｋの内部の点を中心とし、２つの速度ベクトルで示される方向が類似すると判定する閾値を示す角度θ（例えば、２０度）の２倍の中心角を持つ扇形で示される。また、領域ＲＮＧ１を示す扇形の弧と軌跡Ｔｒ１＿ｋに基づいて推定された運動の方向Ｄｒ１＿ｋを示す直線との交点から軌跡Ｔｒ１＿ｋの端点Ｑ１ｓ＿ｋまでの距離Ｅｘ＿ｋは、軌跡Ｔｒ１＿ｋに基づいて推定された速さに基づいて設定される。例えば、距離Ｅｘ＿ｋは、軌跡Ｔｒ１＿ｋに基づいて推定された速さで画像ＩＭＧ＿ｋが撮影された時刻から画像ＩＭＧ＿ｋ＋１が撮影された時刻までに物体が動く距離に、数値１．１〜１．５程度の値を持つ所定の係数を乗じた値に設定されることが望ましい。図７においては、図示を省略しているが、領域ＲＮＧ２を示す扇形の中心角および扇形の弧と運動の方向Ｄｒ１＿ｋを示す直線との交点から軌跡Ｔｒ１＿ｋの端点Ｑｅ１＿ｋまでの距離は、領域ＲＮＧ１の対応する要素と同様に設定される。

【0068】

図７に示した領域ＲＮＧ１，ＲＮＧ２を用いることで、画像ＩＭＧ＿ｋ、ＩＭＧ＿ｋ＋１のそれぞれに多数の物体の軌跡が含まれる場合にも、図５に示した照合部１３４による照合の対象となる軌跡を絞り込むことができる。なお、予測部１３３が求める領域の形状は、図７に示した扇形に限らず、先に撮影された画像ＩＭＧ＿ｋに含まれる複数の物体の軌跡から選択した第１軌跡について推定された運動の方向および速さの少なくとも一方を反映した形状であればよい。例えば、予測部１３３は、図７に示した軌跡Ｔｒ１＿ｋを描いた物体の画像ＩＭＧ＿ｋ＋１において予測される位置を含む領域として、軌跡Ｔｒ１＿ｋの端点Ｑｓ１＿ｋ，Ｑｅ１＿ｋのそれぞれを中心とし、半径Ｅｘ＿ｋを持つ円形の領域を求めてもよい。

【0069】

例えば、図７の例では、照合部１３４により、物体の軌跡Ｔｒ１＿ｋについて推定された速度ベクトルと照合される速度ベクトルは、領域ＲＮＧ２に含まれる物体の軌跡Ｔｒ１＿ｋ＋１，Ｔｒ２＿ｋ＋１について推定された速度ベクトルに絞り込まれる。

【0070】

なお、第１画像から抽出された第１軌跡のそれぞれで示される物体の運動の向きが既に判明している場合に、図５に示した予測部１３３は、運動の向きと逆の向きに物体が移動した場合に予測される位置を含む領域の生成を省略してもよい。例えば、図７に示した軌跡Ｔｒ１＿ｋで示される物体の運動について、既に、運動の向きが端点Ｑ１ｓ＿ｋから端点Ｑ１ｅ＿ｋに向かう向きであることが判明している場合に、図５に示した予測部１３３は、図７に示した領域ＲＮＧ１の生成を省略する。また、図７に示した軌跡Ｔｒ１＿ｋで示される物体の運動について、既に、運動の向きが端点Ｑ１ｅ＿ｋから端点Ｑ１ｓ＿ｋに向かう向きであることが判明している場合に、図５に示した予測部１３３は、図７に示した領域ＲＮＧ２の生成を省略する。

【0071】

図５に示した照合部１３４は、軌跡データベースＤＢを参照することで、図７に示した軌跡Ｔｒ１＿ｋに対応して保持された速度ベクトルと、軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれに対応して保持された速度ベクトルとを取得する。次いで、照合部１３４は、取得した速度ベクトルに基づき、軌跡Ｔｒ１＿ｋで示される運動の方向Ｄｒ１＿ｋと、軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれで示される運動の方向Ｄｒ１＿ｋ＋１，Ｄｒ２＿ｋ＋１とがなす角α１、α２の角度をそれぞれ求める。照合部１３４は、例えば、方向Ｄｒ１＿ｋを示す点線で示した直線と、方向Ｄｒ１＿ｋ＋１を示す破線で示した直線とがなす角のうち、鋭角である方を角α１とし、求めた角α１が閾値θ以下である場合に運動の方向が類似すると判断する。同様に、照合部１３４は、方向Ｄｒ１＿ｋを示す点線で示した直線と、方向Ｄｒ２＿ｋ＋１を示す一点鎖線で示した直線とがなす角のうち、鋭角である方を角α２とし、求めた角α２が閾値θ以下である場合に運動の方向が類似すると判断する。

【0072】

例えば、図７に示した角α１が閾値θ以下である場合に、照合部１３４は、軌跡Ｔｒ１＿ｋと軌跡Ｔｒ１＿ｋ＋１とは同一の物体の動きを示すと判断する。一方、図７に示した角α２が閾値θよりも大きい場合に、照合部１３４は、軌跡Ｔｒ１＿ｋと軌跡Ｔｒ２＿ｋ＋１とは異なる物体の動きを示すと判断する。

【0073】

更に、照合部１３４は、取得した速度ベクトルに基づき、軌跡Ｔｒ１＿ｋで示される運動の速さと、軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれで示される運動の速さを照合し、照合した結果を２つの軌跡が同一の物体の動きを示すか否かの判断に用いてもよい。

【0074】

例えば、照合部１３４は、軌跡Ｔｒ１＿ｋの速度ベクトルで示される運動の速さと、軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれの速度ベクトルで示される運動の速さとの比を求め、求めた比が所定の範囲内である場合に同一の物体の動きを示すと判断する。なお、速さの比に基づく判断に用いる所定の範囲は、例えば、数値０．９〜１．１程度の範囲に設定されることが望ましい。

【0075】

以上に説明したように、予測部１３３および照合部１３４を有する検出部１３１は、画像ＩＭＧ＿ｋから抽出された軌跡Ｔｒ１＿ｋと画像ＩＭＧ＿ｋ＋１から抽出された軌跡Ｔｒ１＿ｋ＋１，Ｔｒ２＿ｋ＋１との照合に、個々の軌跡が示す運動の特徴を用いる。これにより、検出部１３１は、例えば、ある時刻に撮影された物体の画像と別の時刻に撮影された物体の画像とを互いの位置関係に基づいて同じ物体を示すか否かを判定する場合に比べて、高い精度で同じ物体の動きを示す軌跡を検出することができる。

【0076】

更に、照合部１３４は、軌跡Ｔｒ１＿ｋを示す画像の領域の色と、軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１のそれぞれを示す画像の領域の色とを照合し、照合された２つの軌跡の色が類似する場合に、照合された２つの軌跡が同一の物体の動きを示すと判断してもよい。

【0077】

照合部１３４は、軌跡データベースＤＢを参照することにより、図７に示した軌跡Ｔｒ１＿ｋとして画像ＩＭＧ＿ｋから抽出された画像と軌跡Ｔｒ１＿ｋ＋１、Ｔｒ２＿ｋ＋１として画像ＩＭＧ＿ｋ＋１から抽出された画像とを取得することができる。そして、照合部１３４は、取得した画像で示される色を互いに比較することで、例えば、図７に示した軌跡Ｔｒ１＿ｋと軌跡Ｔｒ１＿ｋ＋１とが互いに類似した色であるとの照合結果を得る。一方、照合部１３４は、取得した画像で示される色を互いに比較することで、軌跡Ｔｒ１＿ｋが示す色と軌跡Ｔｒ２＿ｋ＋１が示す色とは異なるとの照合結果を得る。

【0078】

照合部１３４により、速度ベクトルの照合とともに、軌跡を示す画像の色の照合を行うことにより、運動の方向および速さの類似に加えて、軌跡を示す画像の特徴の類似性を考慮して、同一の物体の運動を示す軌跡の組を検出することが可能となる。例えば、軌跡を示す画像の色の照合を行う照合部１３４を有する検出部１３１は、図７に示した領域ＲＮＧ２内に、速度ベクトルが類似した別の軌跡が存在する場合にも、軌跡Ｔｒ１＿ｋとの色の類似性を根拠として、軌跡Ｔｒ１＿ｋ＋１を検出することができる。これにより、軌跡を示す画像の特徴の類似性を考慮しない場合に比べて、検出部１３１による同じ物体の運動を示す軌跡の検出の精度を向上することができる。

【0079】

なお、照合部１３４は、以上に説明した速度ベクトルの照合と軌跡の色の照合とをどのような順序で実行してもよいし、両者を並行して実行してもよい。

【0080】

以上に説明した検出部１３１により、撮影順序が連続する画像ＩＭＧである第１画像と第２画像とにおいて同一の物体の運動を示す第１軌跡および第２軌跡として検出された軌跡の組を示す情報は、図５に示した生成部１３２に渡される。

【0081】

生成部１３２は、第１画像から抽出された複数の第１軌跡のそれぞれと、当該第１軌跡について検出部１３１によって検出された第２軌跡との間を補間する軌跡である補間軌跡を生成する。

【0082】

生成部１３２は、例えば、検出部１３１から渡された情報に基づいて、軌跡データベースＤＢを参照し、同一の物体の運動を示す第１軌跡および第２軌跡として検出された軌跡のそれぞれの端点を示す座標を取得する。そして、生成部１３２は、例えば、スプライン関数などを用いて、取得した端点を順次に接続する曲線を求めることで、第１軌跡と第２軌跡との間を補間する補間軌跡を生成する。

【0083】

図８は、図５に示した生成部１３２によって生成される補間軌跡の例を示す。なお、図８に示した要素のうち、図７に示した要素と同等のものは同じ符号で示され、その要素の説明は省略される場合がある。

【0084】

図８は、図５に示した検出部１３１により、図７に示した軌跡Ｔｒ１＿ｋと軌跡Ｔｒ１＿ｋ＋１とが同じ物体の第１軌跡および第２軌跡として検出された場合に、生成部１３２によって生成される補間軌跡Ｔｒｉ＿ｋの例を示す。

【0085】

図８において、破線で示した曲線Ｃｉ＿ｋは、軌跡Ｔｒ１＿ｋの端点Ｑ１ｓ＿ｋ，Ｑ１ｅ＿ｋと、軌跡Ｔｒ１＿ｋ＋１の端点Ｑ１ｓ＿ｋ＋１，Ｑ１ｅ＿ｋ＋１とについて、スプライン補間を行うことで得られた曲線を示す。

【0086】

生成部１３２は、例えば、図８に示した曲線Ｃｉ＿ｋの線幅を拡張し、第１軌跡に相当する軌跡Ｔｒ１＿ｋと第２軌跡に相当する軌跡Ｔｒ１＿ｋ＋１との双方の輪郭に接続させることで、図８において点線で囲んで示した補間軌跡Ｔｒｉ＿ｋを生成する。

【0087】

そして、生成部１３２は、生成された補間軌跡を用いて、図８に示した軌跡Ｔｒ１＿ｋと軌跡Ｔｒ１＿ｋ＋１とを補間することで、軌跡Ｔｒ１＿ｋの端点Ｑ１ｓ＿ｋから軌跡Ｔｒ１＿ｋ＋１の端点Ｑ１ｅ＿ｋ＋１まで連続した軌跡Ｔｒ１ｃ＿ｋを生成する。

【0088】

以上に説明した検出部１３１と生成部１３２とを有する補間部１３ａは、各画像ＩＭＧに複数の物体の軌跡が含まれている場合にも、撮影順が連続する画像において同じ物体の運動をそれぞれ示す軌跡の組を検出し、検出した２つの軌跡の間を補間することができる。

【0089】

即ち、図５に示した画像処理装置１０は、撮影装置ＧＲＤで撮影された各画像ＩＭＧに含まれる運動する物体の数にかかわらず、時間をおいて順次に撮影された画像から、物体の軌跡を連続的に表す画像を生成することができる。

【0090】

合成部１４は、例えば、抽出部１１から渡される最初の画像ＩＭＧ＿１に、２枚目以降の画像ＩＭＧ＿２〜ＩＭＧ＿ｎから抽出された物体の軌跡と、補間部１３ａによって生成された補間軌跡とを順次に合成する。

【0091】

これにより、合成部１４は、撮影装置ＧＲＤによってｎ枚の画像ＩＭＧが撮影された期間における各物体の運動を連続的に示す軌跡を、各物体の周囲の風景などを示す背景とともに提示する合成画像ＧＳＮを生成することができる。更に、合成部１４は、合成画像ＧＳＮにおいて、物体の連続的な軌跡の輪郭を、軌跡の周囲の画像から際立たせる色で表すことにより、物体の軌跡を強調してもよい。

【0092】

以上に説明した本件開示の画像処理装置１０は、例えば、デジタルカメラやカメラ機能を有する携帯端末装置や携帯型ゲーム機などに搭載されたプロセッサやメモリなどのハードウェアを用いて実現することができる。

【0093】

図９は、画像処理装置１０を適用したデジタルカメラのハードウェア構成例を示す。なお、図９に示す構成要素のうち、図１または図５に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

【0094】

図９に示したデジタルカメラ２０は、プロセッサ２１と、メモリ２２と、信号処理部２３と、撮像制御部２４と、操作パネルなどの入力装置２５と、液晶ディスプレイなどの表示装置２６と、メモリカードスロット２７とを含んでいる。図９に例示したプロセッサ２１と、メモリ２２と、信号処理部２３と、撮像制御部２４と、入力装置２５と、表示装置２６と、メモリカードスロット２７とは、バスを介して互いに接続されている。

【0095】

また、デジタルカメラ２０は、更に、撮像素子ＳＮＣと、撮像光学系ＯＰＴとを含んでおり、撮像光学系ＯＰＴは、撮影範囲ＶＷに含まれる運動する物体ＭＶおよび物体の周囲の背景を含む被写体からの光を撮像素子ＳＮＣの受光面に結像させる。撮像素子ＳＮＣの出力信号は、信号処理部２３に入力され、信号処理部２３は、撮像素子ＳＮＣの出力信号から被写体の画像を示す画像データを生成する。また、撮像制御部２４は、プロセッサ２１からの指示に基づいて、撮像光学系ＯＰＴに含まれるレンズの焦点を被写体に合わせる合焦動作や撮像素子ＳＮＣに被写体からの光を入射させる露光時間を制御する。

【0096】

図９に示したプロセッサ２１とメモリ２２とは、画像処理装置１０に含まれ、撮像素子ＳＮＣと信号処理部２３と撮像制御部２４と撮像光学系ＯＰＴとは、図１または図５に示した撮影装置ＧＲＤに含まれる。

【0097】

また、メモリカードスロット２７は、メモリカード２８を装着可能であり、装着したメモリカード２８に記録された情報の読出およびメモリカード２８への情報の記録を行う。

【0098】

図９に示したメモリ２２は、デジタルカメラ２０のオペレーティングシステムとともに、図５〜図８を用いて説明した物体の連続的な軌跡を示す画像を生成する処理をプロセッサ２１が実行するためのアプリケーションプログラムを格納している。なお、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムは、例えば、メモリカード２８に記録して頒布することができる。そして、メモリカード２８をメモリカードスロット２７に装着して読み込み処理を行うことにより、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムを、メモリ２２に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、物体の連続的な軌跡を示す画像を生成する処理のためのアプリケーションプログラムをダウンロードし、ダウンロードしたプログラムをメモリ２２に読み込ませることもできる。

【0099】

そして、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図５に示した抽出部１１、推定部１２ａ、補間部１３ａの機能を果たしてもよい。また、図５に示した軌跡データベースＤＢは、メモリ２２の記憶領域の一部を用いて実現することができる。

【0100】

プロセッサ２１は、例えば、図５に示したｎ枚の画像ＩＭＧ＿１〜ＩＭＧ＿ｎの撮影を開始させる指示が入力装置２５を介して入力された場合に、画像ＩＭＧ＿１〜ＩＭＧ＿ｎから物体の連続的な軌跡を示す画像を生成する処理を実行する。また、プロセッサ２１は、物体の連続的な軌跡を示す画像を生成する処理の実行に先立って、図９に示した撮像制御部２４に対して、画像ＩＭＧ＿１〜ＩＭＧ＿ｎの撮影に用いる露光時間の設定を行う。プロセッサ２１は、露光時間として、例えば、各画像ＩＭＧに含まれる運動する物体ＭＶの像に数画素以上のブレを発生させ、かつ、撮像素子ＳＮＣの出力信号を飽和させない時間を設定する。

【0101】

図１０は、図９に示した画像処理装置１０の動作を示す。図１０に示したステップＳ３０２およびステップＳ３１１〜ステップＳ３１９の各処理は、物体の連続的な軌跡を示す画像を生成する処理のためのアプリケーションプログラムに含まれる処理の一例である。また、ステップＳ３０２およびステップＳ３１１〜ステップＳ３１９の各処理は、図９に示したプロセッサ２１によって実行される。

【0102】

ステップＳ３１１において、プロセッサ２１は、最初に撮影された画像ＩＭＧ＿１を信号処理部２３から取得し、取得した画像ＩＭＧ＿１を初期状態の合成画像としてメモリ２２に格納する。

【0103】

ステップＳ３１２において、プロセッサ２１は、新たに撮影された画像ＩＭＧ＿ｋ＋１(ｋはｎ−１以下の正の整数)を信号処理部２３から取得し、取得した画像ＩＭＧ＿ｋ＋１と画像ＩＭＧ＿ｋとの差を示す差分画像から図９に示した物体ＭＶの軌跡を抽出する。プロセッサ２１は、ステップＳ３１２の処理において、第１画像に相当する画像ＩＭＧ＿ｋと第２画像に相当する画像ＩＭＧ＿ｋ＋１とのそれぞれに、運動する複数の物体が含まれている場合に、複数の物体のそれぞれに対応する軌跡を差分画像から抽出する。また、プロセッサ２１は、抽出した軌跡のそれぞれを示す情報に対応して、各軌跡を表す画像データをメモリ２２あるいはメモリカード２８に設けた軌跡データベースＤＢに蓄積する。

【0104】

ステップＳ３０２において、プロセッサ２１は、ステップＳ３１２の処理で抽出した軌跡のそれぞれを示す画像の特徴に基づいて、各軌跡で示される物体の運動の特徴を推定する。プロセッサ２１は、例えば、図６を用いて説明したようにして、抽出した軌跡のそれぞれを示す画像の領域における輝度値の勾配と軌跡を描いた物体の運動の方向との相関関係に基づいて、物体の運動の方向と、運動の速さとを推定する。また、プロセッサ２１は、各軌跡を示す情報に対応して、各軌跡について推定した運動の方向および速さを示す速度ベクトルを示す情報を軌跡データベースＤＢに蓄積する。

【0105】

ステップＳ３１３において、プロセッサ２１は、ステップＳ３１２の処理により、一つ前の画像ＩＭＧ＿ｋから抽出された軌跡の中の一つを順次に選択し、選択した軌跡を第１軌跡とする。

【0106】

ステップＳ３１４において、プロセッサ２１は、新たな画像ＩＭＧ＿ｋ＋１から抽出された軌跡の中から、ステップＳ３１２の処理で選択した第１軌跡と同じ物体の動きを示す軌跡を検出する。プロセッサ２１は、図１１に示す各処理を実行することにより、撮影順が連続する２枚の画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１において、同じ物体の動きを示す軌跡の組を検出する。

【0107】

図１１は、同じ物体の動きを示す軌跡の組を検出する処理の例を示す。図１１に示したステップＳ３２１〜ステップＳ３２９の各処理は、図１０においてステップＳ３１４で示した同じ物体の動きを示す軌跡の組を検出する処理の一例である。また、ステップＳ３２１〜ステップＳ３２９の各処理は、図９に示したプロセッサ２１によって実行される。

【0108】

ステップＳ３２１において、プロセッサ２１は、図１０に示したステップＳ３１３の処理で選択した第１軌跡を描いて運動する物体が新たな画像ＩＭＧ＿ｋ＋１において存在する位置を含む領域を求める。プロセッサ２１は、第１軌跡について軌跡データベースＤＢを参照することで、第１軌跡で示される運動の特徴を取得する。そして、プロセッサ２１は、取得した運動の特徴で示される運動の方向および速さに基づいて、図７を用いて説明したようにして、第１軌跡を描いて運動する物体が新たな画像ＩＭＧ＿ｋ＋１において存在する位置を含む領域を求める。

【0109】

ステップＳ３２２において、プロセッサ２１は、図１０に示したステップＳ３１２の処理で新たな画像ＩＭＧ＿ｋ＋１から抽出された軌跡から、ステップＳ３２７の処理で一つ前の画像ＩＭＧ＿ｋ内の軌跡との対応関係が登録されていない軌跡を選択する。例えば、プロセッサ２１は、画像ＩＭＧ＿ｋ＋１に対応して軌跡データベースＤＢに登録された軌跡の中で、画像ＩＭＧ＿ｋに含まれる軌跡との対応関係を示す情報が登録されていない軌跡を順次に選択し、選択した軌跡を示す情報を取得する。なお、画像ＩＭＧ＿ｋに含まれる軌跡と画像ＩＭＧ＿ｋ＋１に含まれる軌跡との対応関係の登録については、ステップＳ３２７において後述する。

【0110】

ステップＳ３２３において、プロセッサ２１は、ステップＳ３２２の処理で選択した軌跡が、ステップＳ３２１の処理で求めた領域に含まれているか否かを判定する。

【0111】

例えば、ステップＳ３２２の処理で選択した軌跡に対応して軌跡データベースＤＢに登録された端点の双方が、ステップＳ３２１の処理で求めた領域に含まれる場合に(ステップＳ３２３の肯定判定(ＹＥＳ))、プロセッサ２１は、ステップＳ３２４の処理に進む。

【0112】

ステップＳ３２４において、プロセッサ２１は、ステップＳ３２２の処理で選択された軌跡と、図１０に示したステップＳ３１３の処理で選択された第１軌跡とのそれぞれで示される運動の方向が互いに類似するか否かを判定する。

【0113】

プロセッサ２１は、例えば、ステップＳ３２２の処理で選択した軌跡と図１０に示したステップＳ３１３の処理で選択された第１軌跡とのそれぞれに対応して軌跡データベースＤＢに登録された速度ベクトルで示される運動の方向の差を求める。そして、プロセッサ２１は、求めた差と、方向の類似を判定する閾値(例えば、±２０度)とを比較することで、ステップＳ３２４の判定処理を行い、運動の方向の差が閾値以下である場合に（ステップＳ３２４の肯定判定(ＹＥＳ)）、ステップＳ３２５の処理に進む。

【0114】

ステップＳ３２５において、プロセッサ２１は、ステップＳ３２２の処理で選択された軌跡と、図１０に示したステップＳ３１３の処理で選択された第１軌跡とのそれぞれで示される運動の速さが互いに同等か否かを判定する。

【0115】

プロセッサ２１は、例えば、ステップＳ３２２の処理で選択した軌跡と図１０に示したステップＳ３１３の処理で選択された第１軌跡とのそれぞれに対応して軌跡データベースＤＢに登録された速度ベクトルで示される運動の速さの比を求める。プロセッサ２１は、求めた比が、速さの類似を判定するために設定された範囲(例えば、０．９〜１．１)に含まれるか否かを判定することで、ステップＳ３２５の判定処理を行う。そして、運動の速さの比が設定された範囲内である場合に(ステップＳ３２５の肯定判定(ＹＥＳ))、プロセッサ２１は、両者の速さは同等であると判断し、ステップＳ３２６の処理に進む。

【0116】

ステップＳ３２６において、プロセッサ２１は、ステップＳ３２２の処理で選択された軌跡を示す画像ＩＭＧ＿ｋの領域の色と、図１０に示したステップＳ３１３の処理で選択された第１軌跡を示す画像ＩＭＧ＿ｋの領域の色とが互いに類似するか否かを判定する。

【0117】

プロセッサ２１は、例えば、ステップＳ３２２の処理で選択した軌跡と図１０に示したステップＳ３１３の処理で選択された第１軌跡とのそれぞれに対応して軌跡データベースＤＢに登録された画像の領域において代表的な色を示す代表色をそれぞれ求める。プロセッサ２１は、更に、ステップＳ３２２の処理で選択した軌跡について求めた代表色を示す色度座標の各成分と、ステップＳ３１３の処理で選択された第１軌跡について求めた代表色を示す色度座標の各成分との比を求める。そして、プロセッサ２１は、各成分について求めた比の全てが所定の範囲（例えば、０．９〜１．１など）内である場合に（ステップＳ３２６の肯定判定(ＹＥＳ)）、ステップＳ３２７の処理に進む。

【0118】

以上に説明したステップＳ３２３〜ステップＳ３２５の各処理をプロセッサ２１が実行することにより、撮影順が連続する２枚の画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１において、互いに運動の方向および速さが類似する軌跡を検出することができる。また、プロセッサ２１が、ステップＳ３２６の処理を実行することにより、第１軌跡として選択された軌跡と運動の特徴が類似した軌跡の中で、更に、類似した色を示す軌跡を検出することができる。これにより、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１のそれぞれに運動する多数の物体の軌跡が含まれている場合にも、画像ＩＭＧ＿ｋ，ＩＭＧ＿ｋ＋１において同じ物体の動きを示している軌跡の組を検出することができる。

【0119】

以上に説明したステップＳ３２３〜ステップＳ３２６の各処理の処理順は、図１１に示した順序に限らず、ステップＳ３２３〜ステップＳ３２６の各処理は、どのような順序で実行されてもよい。そして、ステップＳ３２３〜ステップＳ３２６の各処理の全てにおいて肯定判定とした場合に、プロセッサ２１は、ステップＳ３２７の処理に進む。

【0120】

ステップＳ３２７において、プロセッサ２１は、ステップＳ３２２の処理で選択した軌跡を、図１０に示したステップＳ３１３の処理で選択された第１軌跡と同じ物体の動きを示す第２軌跡として検出し、２つの軌跡の対応関係を軌跡データベースＤＢに登録する。例えば、プロセッサ２１は、２つの軌跡の対応関係を示す情報として、第１軌跡として検出された画像ＩＭＧ＿ｋ＋１に含まれる軌跡に対応して軌跡データベースＤＢに登録された情報に、画像ＩＭＧ＿ｋにおいて第１軌跡を示す識別情報を追加する。

【0121】

一方、以上で説明したステップＳ３２３〜ステップＳ３２６のいずれかの処理において否定判定(ＮＯ)となった場合に、プロセッサ２１は、ステップＳ３２８の処理に進む。

【0122】

ステップＳ３２８において、プロセッサ２１は、図１０に示したステップＳ３１２の処理で画像ＩＭＧ＿ｋ＋１から抽出された軌跡の中で、画像ＩＭＧ＿ｋから抽出された軌跡との対応関係が未登録であり、まだ選択されていない軌跡があるか否かを判定する。

【0123】

例えば、プロセッサ２１は、軌跡データベースＤＢを参照し、画像ＩＭＧ＿ｋ＋１に対応して登録された軌跡の中から、第１軌跡との対応関係を示す情報が未登録で、ステップＳ３２２の処理でまだ選択されていない軌跡を検出する。そして、第１軌跡との対応関係を示す情報が未登録で、ステップＳ３２２の処理でまだ選択されていない軌跡を検出した場合に（ステップＳ３２８の肯定判定(ＹＥＳ)）、プロセッサ２１は、ステップＳ３２２の処理に戻る。

【0124】

この場合に、プロセッサ２１は、軌跡データベースＤＢに画像ＩＭＧ＿ｋ＋１に対応して登録された軌跡の中で、第１軌跡との対応関係が未登録の軌跡の中からまだ選択されていない軌跡を選択し、選択した軌跡について、ステップＳ３２３以降の処理を実行する。

【0125】

一方、第１軌跡との対応関係が未登録の軌跡の中に、ステップＳ３２２の処理でまだ選択されていない軌跡が残っていない場合に(ステップＳ３２８の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３２９の処理に進む。

【0126】

ステップＳ３２９において、プロセッサ２１は、図１０に示したステップＳ３１３の処理で第１軌跡として選択された軌跡に対応する軌跡が、新たな画像ＩＭＧ＿ｋ＋１に含まれていないことを示す検出結果を出力する。

【0127】

以上に説明したステップＳ３２７あるいはステップＳ３２９の処理の終了後に、プロセッサ２１は、同じ物体の動きを示す軌跡の組を検出する処理を終了し、図１０に示したステップＳ３１５の処理に進む。

【0128】

ステップＳ３１５において、プロセッサ２１は、図８を用いて説明したようにして、ステップＳ３１３の処理で第１軌跡として選択した軌跡とステップＳ３１４の処理で第２軌跡として検出した軌跡との間を補間する補間軌跡を生成する。なお、図８に示した軌跡Ｔｒ１＿ｋは、ステップＳ３１３の処理で選択した第１軌跡の一例であり、図８に示した軌跡Ｔｒ１＿ｋ＋１は、ステップＳ３１５の処理で検出された第２軌跡の一例である。同様に、図８に示した補間軌跡Ｔｒｉ＿ｋは、ステップＳ３１６の処理で生成される補間軌跡の一例である。また、図１１を用いて説明したステップＳ３１４の処理において、第１軌跡として選択された軌跡に対応する第２軌跡が画像ＩＭＧ＿ｋ＋１に含まれていないことを示す検出結果が得られた場合に、プロセッサ２１は、ステップＳ３１５、Ｓ３１６の処理を省略する。

【0129】

ステップＳ３１６において、プロセッサ２１は、ステップＳ３１５の処理で生成した補間軌跡とステップＳ３１４の処理で第２軌跡として検出した軌跡とを示す画像を、メモリ２２に格納された合成画像に追加する。これにより、図３に示した補間された軌跡Ｔｒｃ＿ｋや図８に示した補間された軌跡Ｔｒｃ１＿ｊのように、撮影順が連続する２枚の画像のそれぞれに含まれる軌跡を含み、物体ＭＶの動きを連続的に表す軌跡を示す合成画像を生成することができる。

【0130】

ステップＳ３１７において、プロセッサ２１は、ステップＳ３１２の処理で画像ＩＭＧ＿ｋから抽出された全ての軌跡をステップＳ３１３の処理で選択したか否かを判定する。

【0131】

ステップＳ３１３の処理で選択されていない軌跡がまだ残っている場合に（ステップＳ３１７の否定判定(ＮＯ)）、プロセッサ２１は、ステップＳ３１３の処理に戻り、新たに選択した軌跡について、ステップＳ３１４〜ステップＳ３１７の処理を実行する。

【0132】

ステップＳ３１２の処理で画像ＩＭＧ＿ｋから抽出された全ての軌跡について、ステップＳ３１３〜ステップＳ３１７の処理が完了した場合に（ステップＳ３１７の肯定判定(ＹＥＳ)）、プロセッサ２１は、ステップＳ３１８の処理に進む。

【0133】

ステップＳ３１８において、プロセッサ２１は、例えば、図９に示した入力装置２５からの指示を示す信号などに基づいて、撮影が継続中であるか否かを判定する。

【0134】

例えば、入力装置２５からの信号により、入力装置２５に設けられたレリーズボタンが押下された状態が継続していることが示された場合に、プロセッサ２１は、デジタルカメラ２０の利用者により撮影の継続が指示されていると判断する。この場合に、プロセッサ２１は、ステップＳ３１８の肯定判定(ＹＥＳ)ルートに従ってステップＳ３１２に進み、新たに撮影された画像についての処理を開始する。

【0135】

一方、入力装置２５からの信号により、レリーズボタンが押下された状態が解除されたことが示された場合に、プロセッサ２１は、デジタルカメラ２０の利用者により撮影の停止が指示されたと判断する。この場合に、プロセッサ２１は、ステップＳ３１８の否定判定(ＮＯ)ルートに従ってステップＳ３１９に進む。

【0136】

ステップＳ３１９において、プロセッサ２１は、メモリ２２に格納された合成画像を表示装置２４に渡し、表示装置２４に含まれる表示画面に表示させることで、デジタルカメラ２０の利用者に、物体ＭＶの連続的な軌跡を含む合成画像を提示する。ステップＳ３１９の処理において提示される合成画像は、物体ＭＶの撮影が開始されてから撮影が終了するまでに物体ＭＶが動いた軌跡を連続的に表している。

【0137】

すなわち、図１０および図１１に示した処理をプロセッサ２１が実行することで、デジタルカメラ２０により、動く物体ＭＶを離散的に撮影する過程の中で、撮影の開始から終了までの期間に物体ＭＶが動いた軌跡を連続的に表す合成画像を生成することができる。

【0138】

また、図１０および図１１に示した処理を実行するプロセッサは、図９に示したデジタルカメラのように撮影機能を含む装置に搭載されたプロセッサに限らず、撮影機能を含まないコンピュータ装置に搭載されたプロセッサによって実行されてもよい。

【0139】

図１２は、画像処理装置１０のハードウェア構成の一例を示す。なお、図１２に示した構成要素のうち、図１または図５に示した構成要素と同等のものは、同じ符号で示すとともに構成要素の説明を省略する場合がある。

【0140】

図１２に示したコンピュータ装置３０は、プロセッサ３１と、メモリ３２と、ハードディスク装置３３と、汎用インタフェース３４と、入力装置３５と、表示装置３６と、ネットワークインタフェース３７と、光学ドライブ３８とを含んでいる。図１２に例示したプロセッサ３１と、メモリ３２と、ハードディスク装置３３と、汎用インタフェース３４と、入力装置３５と、表示装置３６と、ネットワークインタフェース３７と、光学ドライブ３８とは、バスを介して互いに接続されている。

【0141】

また、コンピュータ装置３０は、汎用インタフェース３４を介して、撮影装置ＧＲＤに接続されており、また、ネットワークインタフェース３７を介してインターネットなどのネットワークＮＷに接続されている。図１２に示したプロセッサ３１とメモリ３２とハードディスク装置３３と汎用インタフェース３４とは、画像処理装置１０に含まれる。

【0142】

入力装置３５は、例えば、キーボードやマウスなどであり、コンピュータ装置３０の利用者からの指示の入力に用いられる。また、表示装置３６は、例えば、液晶ディスプレイ装置などであり、利用者に対する画像の提示などに用いられる。

【0143】

また、光学ドライブ３８は、光ディスクなどのリムーバブルディスクＲＭＤを装着可能であり、装着したリムーバブルディスクＲＭＤに記録された情報の読出およびリムーバブルディスクＲＭＤへの情報の記録を行う。

【0144】

図１２に示したメモリ３２は、コンピュータ装置３０のオペレーティングシステムとともに、図１０、図１１に示した物体の連続的な軌跡を示す画像を生成する処理をプロセッサ３１が実行するためのアプリケーションプログラムを格納している。なお、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムは、例えば、リムーバブルディスクＲＭＤに記録して頒布することができる。そして、リムーバブルディスクＲＭＤを光学ドライブ装置３８に装着して読み込み処理を行うことにより、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムを、メモリ３２に格納させてもよい。また、物体の連続的な軌跡を示す画像を生成する処理のためのアプリケーションプログラムは、ネットワークＮＷに接続されたサーバ装置ＳＶから、ネットワークインタフェース３７を介してダウンロードすることもできる。そして、ダウンロードしたプログラムをメモリ３２またはハードディスク装置３３に読み込ませてもよい。

【0145】

そして、プロセッサ３１は、メモリ３２に格納されたアプリケーションプログラムを実行することにより、図５に示した抽出部１１、推定部１２ａ、補間部１３ａの機能を果たす。また、図５に示した軌跡データベースＤＢは、メモリ３２またはハードディスク装置３３の記憶領域の一部を用いて実現することができる。

【0146】

プロセッサ３１は、例えば、撮影装置ＧＲＤにより、図５に示したｎ枚の画像ＩＭＧ＿１〜ＩＭＧ＿ｎの撮影が完了した後に、汎用インタフェース３４を介して、撮影装置ＧＲＤから画像ＩＭＧ＿１〜ＩＭＧ＿ｎを示す画像データを取得する。プロセッサ３１は、取得した画像データをハードディスク装置３３などに蓄積する。また、プロセッサ３１は、蓄積した画像データを順次に読み出し、読み出した画像に基づいて、図１０に示したステップＳ３１２〜ステップＳ３１７の処理を実行することで、物体の連続的な軌跡を示す画像を生成する。

【0147】

図１２に示した画像処理装置１０は、コンピュータ装置３０に搭載されたプロセッサ３１により、運動する物体を離散的に撮影した複数の画像から物体の連続的な軌跡を示す画像を生成する処理を撮影処理とは独立に実行することで、処理の高速化が可能である。

【0148】

また、物体の連続的な軌跡を示す画像を生成する処理は、インターネットなどのネットワークを介したクラウドサービスとして提供することも可能である。

【0149】

図１３は、図５に示した画像処理装置１０のハードウェア構成の別例を示す。なお、図１３に示した構成要素のうち、図１または図５に示した構成要素と同等のものは、同じ符号で示すとともに構成要素の説明を省略する場合がある。

【0150】

図１３に示したサーバ装置４０は、プロセッサ４１と、メモリ４２と、ハードディスク装置４３と、ネットワークインタフェース４４と、光学ドライブ４５とを含んでいる。図１３に示したプロセッサ４１と、メモリ４２と、ハードディスク装置４３と、ネットワークインタフェース４４と、光学ドライブ４５とは、バスを介して互いに接続されている。

【0151】

また、サーバ装置４０は、ネットワークインタフェース４４を介してインターネットなどのネットワークＮＷに接続されている。図１３に示したプロセッサ４１とメモリ４２とハードディスク装置４３とネットワークインタフェース４４とは、画像処理装置１０に含まれる。

【0152】

また、光学ドライブ４５は、光ディスクなどのリムーバブルディスクＲＭＤを装着可能であり、装着したリムーバブルディスクＲＭＤに記録された情報の読出およびリムーバブルディスクＲＭＤへの情報の記録を行う。

【0153】

また、サーバ装置４０は、ネットワークＮＷを介して、物体の連続的な軌跡を示す画像を生成する処理を用いたサービスの利用者が所持する携帯端末ＵＥに接続されている。

【0154】

携帯端末ＵＥは、例えば、スマートフォンなどであり、カメラ機能と無線によるネットワーク接続機能を有している。そして、利用者が携帯端末ＵＥのカメラ機能を用いて撮影した複数の画像は、ネットワークＮＷを介して、ネットワークＮＷに接続された別のサーバ装置ＳＶａに渡され、更に、画像を蓄積する画像蓄積装置Ｇａｃに蓄積されている。図１３に示した画像蓄積装置Ｇａｃに蓄積された画像は、図５に示したｎ枚の画像ＩＭＧ＿１〜ＩＭＧ＿ｎに相当する。

【0155】

図１３に示したメモリ４２は、サーバ装置４０のオペレーティングシステムとともに、図１０、図１１に示した物体の連続的な軌跡を示す画像を生成する処理をプロセッサ４１が実行するためのアプリケーションプログラムを格納している。なお、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムは、例えば、リムーバブルディスクＲＭＤに記録して頒布することができる。そして、リムーバブルディスクＲＭＤを光学ドライブ装置４５に装着して読み込み処理を行うことにより、物体の連続的な軌跡を示す画像を生成する処理を実行するためのアプリケーションプログラムを、メモリ４２に格納させてもよい。また、物体の連続的な軌跡を示す画像を生成する処理のためのアプリケーションプログラムは、ネットワークＮＷに接続されたサーバ装置ＳＶａから、ネットワークインタフェース４４を介してダウンロードすることもできる。そして、ダウンロードしたプログラムをメモリ４２またはハードディスク装置４３に読み込ませてもよい。

【0156】

そして、プロセッサ４１は、メモリ４２に格納されたアプリケーションプログラムを実行することにより、図５に示した抽出部１１、推定部１２ａ、補間部１３ａの機能を果たす。また、図５に示した軌跡データベースＤＢは、メモリ４２またはハードディスク装置４３の記憶領域の一部を用いて実現することができる。

【0157】

プロセッサ４１は、例えば、携帯端末ＵＥからサービスを要求された際に、画像蓄積装置Ｇａｃに予め蓄積された画像の中から、サービスの要求において指定された複数の画像を、サーバ装置ＳＶａを介して取得する。プロセッサ４１は、取得した画像データを、図５に示した画像ＩＭＧ＿１〜ＩＭＧ＿ｎとしてハードディスク装置３３などに蓄積する。また、プロセッサ４１は、蓄積した画像データを順次に読み出し、読み出した画像に基づいて、図１０に示したステップＳ３１２〜ステップＳ３１７の処理を実行することで、物体の連続的な軌跡を示す画像を生成する。

【0158】

図１３に示した画像処理装置１０は、運動する物体を離散的に撮影した複数の画像から物体の連続的な軌跡を示す画像を生成するサービスを、ネットワークＮＷを介して提供することができる。

【0159】

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

【0160】

以上の説明に関して、更に、以下の各項を開示する。
(付記１)
物体を順次に撮影することで得られる第１画像と第２画像とが入力され、前記第１画像に含まれる前記物体のブレを前記物体の第１軌跡として抽出し、前記第２画像に含まれる前記物体のブレを前記物体の第２軌跡として抽出する抽出部と、
前記抽出部によって抽出された前記第１軌跡および前記第２軌跡のそれぞれの画像の特徴に基づいて、前記第１画像と前記第２画像とのそれぞれが撮影された時刻における前記物体の運動の特徴を推定する推定部と、
前記推定部により推定された前記物体の運動の特徴に基づいて、前記第１画像が撮影されてから前記第２画像が撮影されるまでの間における前記物体の軌跡を求め、求めた軌跡を用いて前記第１軌跡と前記第２軌跡との間に軌跡を補間する補間部と、
を備えたことを特徴とする画像処理装置。
(付記２)
付記１に記載の画像処理装置において、
前記推定部は、
前記第１軌跡および前記第２軌跡のそれぞれに含まれる各画素の色または輝度を示す画素値の勾配が他の方向よりも小さい方向を求め、求めた方向を、前記第１画像および前記第２画像のそれぞれが撮影された時刻における前記物体の運動の特徴の一つである前記物体の運動の方向とする
ことを特徴とする画像処理装置。
(付記３)
付記１または付記２に記載の画像処理装置において、
前記第１画像および前記第２画像のそれぞれに複数の物体が含まれ、前記抽出部により、前記第１画像および前記第２画像から前記複数の物体のそれぞれの前記第１軌跡および前記第２軌跡が抽出された場合に、
前記補間部は、
前記抽出部により前記第１画像から抽出された前記第１軌跡毎に、前記第２画像から抽出された複数の前記第２軌跡の中から、前記第１画像から抽出された前記第１軌跡について前記推定部により推定された運動の特徴と類似する運動の特徴が推定された一つの前記第２軌跡を、前記第１軌跡に対応する第２軌跡として検出する検出部と、
前記第１画像から抽出された複数の前記第１軌跡のそれぞれと前記第１軌跡に対応して検出された前記第２軌跡のそれぞれとの間を補間する補間軌跡を生成する生成部とを有する
ことを特徴とする画像処理装置。
(付記４)
付記３に記載の画像処理装置において、
前記検出部は、
前記抽出部により前記第２画像から抽出された複数の前記第２軌跡の中から、前記第１軌跡の画像の特徴に類似した特徴を有する一つの前記第２軌跡を、前記第１軌跡に対応する第２軌跡として検出する
ことを特徴とする画像処理装置。
(付記５)
付記３に記載の画像処理装置において、
前記検出部は、
前記第１軌跡について推定された運動の特徴に含まれる運動の方向と速さとに基づいて、前記第２画像において前記物体が存在することが予測される位置を含む領域を求める予測部を有し、
前記予測部で求められた領域に含まれる前記第２軌跡の中から、前記第１軌跡について推定された運動の特徴と類似した運動の特徴が推定された一つの前記第２軌跡を、前記第１軌跡に対応する第２軌跡として検出する
ことを特徴とする画像処理装置。
(付記６)
物体を順次に撮影することで得られる第１画像と第２画像との入力を受け、前記第１画像に含まれる前記物体のブレを前記物体の第１軌跡として抽出し、前記第２画像に含まれる前記物体のブレを前記物体の第２軌跡として抽出し、
前記抽出された前記第１軌跡および前記第２軌跡のそれぞれの画像の特徴に基づいて、前記第１画像と前記第２画像とのそれぞれが撮影された時刻における前記物体の運動の特徴を推定し、
前記推定された前記物体の運動の特徴に基づいて、前記第１画像が撮影されてから前記第２画像が撮影されるまでの間における前記物体の軌跡を求め、求めた軌跡を用いて前記第１軌跡と前記第２軌跡との間に軌跡を補間する、
ことを特徴とする画像処理方法。

【符号の説明】

【0161】

１０…画像処理装置；１１…抽出部；１２，１２ａ…推定部；１３，１３ａ…補間部；１４…合成部；１２１…算出部；１２２…特定部；１３１…検出部；１３２…生成部；１３３…予測部；１３４…照合部；２０…デジタルカメラ；２１，３１，４１…プロセッサ；２２，３２，４２…メモリ；２３…信号処理部；２４…撮像制御部；２５，３５…入力装置；２６，３６…表示装置；２７…メモリカードスロット；２８…メモリカード；３３，４３…ハードディスク装置；３４…汎用インタフェース；３７，４４…ネットワークインタフェース；３８…光学ドライブ装置；ＧＲＤ…撮影装置；ＳＹＮ…合成装置；ＤＢ…軌跡データベース；ＲＭＤ…リムーバブルディスク；ＮＷ…ネットワーク；ＳＮＣ…撮像素子；ＯＰＴ…撮像光学系；ＳＶ，ＳＶａ…サーバ装置；Ｇａｃ…画像蓄積装置；ＵＥ…携帯端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】