特許 6983364 映像同期装置、映像同期方法、及び、映像同期プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6983364

(24)【登録日】2021年11月25日

(45)【発行日】2021年12月17日

(54)【発明の名称】映像同期装置、映像同期方法、及び、映像同期プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20211206BHJP

   H04N 5/232 20060101ALI20211206BHJP

   H04N 5/04 20060101ALI20211206BHJP

【ＦＩ】

   H04N7/18 K

   H04N7/18 E

   H04N5/232 290

   H04N5/04 Z

【請求項の数】19

【全頁数】21

(21)【出願番号】特願2021-522563(P2021-522563)

(86)(22)【出願日】2020年11月25日

(86)【国際出願番号】JP2020043845

【審査請求日】2021年4月23日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】溝井国際特許業務法人

(72)【発明者】

【氏名】清水 尚吾

(72)【発明者】

【氏名】草野 勝大

(72)【発明者】

【氏名】奥村 誠司

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１４−６４１３５（ＪＰ，Ａ）

【文献】 特開２０１３−１７９４８８（ＪＰ，Ａ）

【文献】 特開平６−３１９０７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／０４

(57)【特許請求の範囲】

【請求項1】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備え、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求める映像同期装置。

【請求項2】

前記時刻補正部は、前記複数の特徴点それぞれの性質に従って前記複数の動き量それぞれに重みを付ける請求項１に記載の映像同期装置。

【請求項3】

前記時刻補正部は、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求める時間シフト部と、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する時間シフト量評価部と
を備える請求項１又は２に記載の映像同期装置。

【請求項4】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備え、
前記時刻補正部は、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求める時間シフト部と、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する時間シフト量評価部と
を備える映像同期装置。

【請求項5】

前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求める請求項４に記載の映像同期装置。

【請求項6】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備え、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求め、
前記時刻補正部は、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求める時間シフト部と、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する時間シフト量評価部と
を備える映像同期装置。

【請求項7】

前記時刻補正部は、前記複数の特徴点それぞれの性質に従って前記複数の動き量それぞれに重みを付ける請求項６に記載の映像同期装置。

【請求項8】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備え、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求める映像同期装置。

【請求項9】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備え、
前記時刻補正部は、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求める時間シフト部と、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する時間シフト量評価部と
を備える映像同期装置。

【請求項10】

前記動き量計算部は、前記少なくとも１つの動き量それぞれとして、前記少なくとも１つの特徴点それぞれの座標値が単位時間に変化した量を求める請求項１から９のいずれか１項に記載の映像同期装置。

【請求項11】

前記複数の映像を受け取り、受け取った複数の映像を一時的に保持する映像バッファ部と、
前記映像バッファ部から前記複数の映像を受け取り、前記時刻補正量に従って前記複数の映像それぞれを送出するタイミングを調整する映像同期部と
を備える請求項１から１０のいずれか１項に記載の映像同期装置。

【請求項12】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期方法であって、
特徴点抽出部が、前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出し、
動き量計算部が、前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求め、
時刻補正部が、前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める映像同期方法であって、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求める映像同期方法。

【請求項13】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期方法であって、
特徴点抽出部が、前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出し、
動き量計算部が、前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求め、
時刻補正部が、前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める映像同期方法であって、
前記時刻補正部は、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求め、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する映像同期方法。

【請求項14】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期方法であって、
特徴点抽出部が、前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出し、
動き量計算部が、前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求め、
時刻補正部が、前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求め、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記時刻補正部は、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求める映像同期方法。

【請求項15】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期方法であって、
特徴点抽出部が、前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出し、
動き量計算部が、前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求め、
時刻補正部が、前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求め、
前記時刻補正部の時間シフト部が、前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求め、
前記時刻補正部の時間シフト量評価部が、前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価する映像同期方法。

【請求項16】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を記憶しているコンピュータに、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出させ、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求めさせ、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求めさせる映像同期プログラムであって、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求めさせる映像同期プログラム。

【請求項17】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を記憶しているコンピュータに、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出させ、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求めさせ、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量の時系列情報に基づいて前記複数の映像を同期することに用いられる時刻補正量を求めさせる映像同期プログラムであって、
前記複数の映像から１つの映像を基準映像として選択させ、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求めさせ、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価させる映像同期プログラム。

【請求項18】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を記憶しているコンピュータに、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出させ、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求めさせ、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求めさせる映像同期プログラムであって、
前記少なくとも１つの特徴点が複数の特徴点である場合において、前記複数の特徴点それぞれに対応する複数の動き量それぞれに重みを付け、前記重みに基づいて前記時刻補正量を求めさせる映像同期プログラム。

【請求項19】

被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を記憶しているコンピュータに、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出させ、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求めさせ、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求めさせる映像同期プログラムであって、
前記複数の映像から１つの映像を基準映像として選択し、前記複数の映像のうち前記基準映像以外の映像である補正対象映像それぞれにおいて、前記基準映像の前記少なくとも１つの動き量と、前記補正対象映像それぞれの前記少なくとも１つの動き量とに基づいて、前記補正対象映像それぞれを前記基準映像と同期することに用いられる量であって、前記少なくとも１つの動き量を時間シフトする量である時間シフト量を求めさせ、
前記補正対象映像それぞれにおいて、前記補正対象映像それぞれに対応する時間シフト量に従って前記少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、前記基準映像の前記少なくとも１つの動き量とに基づいて前記時間シフト量を評価させる映像同期プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像同期装置、映像同期方法、及び、映像同期プログラムに関する。

【背景技術】

【0002】

人物を撮影する際、死角を無くすために同時に複数台のカメラを用いて人物を撮影することがある。複数台のカメラによって撮影した複数の映像間の時刻ずれを解消するために、複数の映像を同期する必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１３／０９４１１５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、複数の映像それぞれのコンテンツを解析することにより映像の時刻ずれ量を計測して複数の映像を同期する装置を開示している。
特許文献１では、各カメラ映像から人物状態を逐次推定し、人物状態が変化したタイミングを合わせることにより時刻ずれ量を計測して補正する。ここで人物状態とは、注目している人物に関する状態であり「着座状態」又は「直立状態」等を指す。具体例として、椅子から立ち上がる人物を撮影した複数の映像を同期する場合、それぞれの映像について「着座状態」から「直立状態」に遷移するフレームを特定し、特定したフレーム間に時刻ずれがないように時刻ずれ量を補正する。
しかしながら、特許文献１が開示している装置は人物状態を認識する状態認識器を用いているため、状態認識器が認識することができない人物状態を伴う映像には適用することができないという課題がある。

【0005】

本開示は、状態認識器を用いずに互いに異なる複数の視点から撮影した複数の映像を同期することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る映像同期装置は、
被写体の動きに伴って座標が変化する位置を示す特徴点を含む前記被写体を互いに異なる複数の視点から撮影した複数の映像を同期する映像同期装置であって、
前記複数の映像それぞれにおいて、前記特徴点の内の少なくとも１つの特徴点を抽出する特徴点抽出部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める動き量計算部と、
前記複数の映像それぞれにおいて、前記少なくとも１つの動き量に基づいて前記複数の映像を同期することに用いられる時刻補正量を求める時刻補正部と
を備える。

【発明の効果】

【0007】

本開示によれば、状態認識器を用いずに互いに異なる複数の視点から撮影した複数の映像を同期することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る映像同期システム９０の構成例。

【図2】実施の形態１に係る特徴点抽出部２１０の動作例を説明する図であり、（ａ）は基準映像に係る具体例、（ｂ）は補正対象映像に係る具体例。

【図3】実施の形態１に係る動き量計算部２２０の動作例を説明する図。

【図4】実施の形態１に係る時刻補正部２４０の構成例。

【図5】実施の形態１に係る映像同期装置２００のハードウェア構成例。

【図6】実施の形態１に係る映像同期装置２００の動作を示すフローチャート。

【図7】実施の形態１に係る時刻補正部２４０の動作を示すフローチャート。

【図8】実施の形態１の変形例に係る映像同期装置２００のハードウェア構成例。

【発明を実施するための形態】

【0009】

実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「手段」、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。

【0010】

実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。

【0011】

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る映像同期システム９０の構成例を示している。本図に示すように、映像同期システム９０は、映像取得手段１００と、映像同期装置２００と、映像出力手段３００とを備える。
映像同期システム９０において、映像同期装置２００は、映像取得手段１００から非同期に撮影された複数の映像を受け取り、映像出力手段３００に対して同期した複数の映像を送出する。映像取得手段１００と、映像同期装置２００と、映像出力手段３００との少なくとも２つが一体的に構成されていてもよい。映像は被写体が動いている様子を示す情報を含む。映像は動画に読み替えられてもよい。

【0012】

映像同期システム９０は、複数の映像を同期することができる。しかしながら、説明の便宜上、特に断りがない限り、以下では映像同期システム９０が２つの映像を同期する例について説明する。なお、映像同期システム９０は、撮影時刻を補正することにより複数の映像を同期する。
典型的には、複数の映像それぞれには撮影時刻を示す情報が含まれており、複数の映像は互いに異なる複数の視点から非同期に撮影されたものである。複数の視点は、互いに異なる複数の地点に設置された複数のカメラにより実現される。典型的には、複数のカメラそれぞれは複数の地点それぞれに固定されており、複数の映像それぞれの撮影範囲はそれぞれ一定である。
複数の映像のいずれも、ある撮影期間における映像を有する。複数の映像それぞれの撮影期間は異なってもよい。複数の映像それぞれの撮影期間において、対象の被写体の少なくとも一部が常に写っていなくてもよい。対象の被写体は、映像同期装置２００が動きを検出する対象を指す。即ち、複数の映像それぞれの撮影期間において、対象の被写体は常には静止していない。対象の被写体の数は、２以上であってもよい。以下、対象の被写体を単に被写体と表記することもある。被写体は、具体例として、人物、動物、ロボット、移動体又はこれらの組み合わせである。

【0013】

映像取得手段１００は少なくとも２つあり、映像取得手段１００それぞれは被写体が含まれている映像を取得する。即ち、映像取得手段１００は少なくとも２つの映像を取得する。映像取得手段１００は、カメラから映像を取得してもよく、映像を保存しているサーバ等から映像を取得してもよい。以下、映像取得手段１００は２つの映像を取得するものとする。２つの映像のうち、一方は時刻補正の基準となる基準映像であり、他方は時刻を補正される補正対象映像である。映像同期システム９０が複数の映像を同期する場合において、複数の映像のうちいずれか１つの映像が基準映像であり、他の映像が補正対象映像である。
また、図１において、映像取得手段１００について、基準映像を取得する手段と、補正対象映像を取得する手段とを区別するために、基準映像を取得する手段を映像取得手段１００−１と表記し、補正対象映像を取得する手段を映像取得手段１００−２と表記する。同様に、映像同期装置２００の各部についても、適宜、基準映像を処理する部に“−１”を付与し、補正対象映像を処理する部に“−２”を付与して表記する。

【0014】

映像同期装置２００は、本図に示すように、特徴点抽出部２１０と、動き量計算部２２０と、映像バッファ部２３０と、時刻補正部２４０と、補正量記憶部２５０と、映像同期部２６０とを備える。時刻補正部２４０は、時刻補正量計算手段とも呼ばれる。補正量記憶部２５０は、時刻補正量記憶手段とも呼ばれる。映像同期装置２００は、特徴点を含む被写体を互いに異なる複数の視点から撮影した複数の映像を同期する。

【0015】

特徴点抽出部２１０は、複数の映像それぞれにおいて、被写体が含む特徴点の内の少なくとも１つの特徴点を抽出する。特徴点は、被写体の動きに伴って座標が変化する位置を示す。特徴点は、ある領域を指すものであってもよく、映像に映っている点を指すものであってもよく、映像に映っていない点を間接的に指すものであってもよい。被写体は少なくとも１つの特徴点を含む。即ち、被写体は少なくとも１つの特徴点に相当する位置を有する。特徴点抽出部２１０は、具体例として、動画のフレームごとに、ある性質を満たす点を特徴点として抽出する。
特徴点は、具体例として、人物の肩、肘、又は手首等の関節位置である。特徴点抽出部２１０は、人物の画像から関節位置を推論するよう学習させたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて関節位置を抽出してもよく、人物が装着しているマーカの位置を関節位置として抽出してもよい。また、特徴点抽出部２１０は、関節位置を特徴点に含める必要はなく、前景抽出処理等を用いて抽出された人物画像の中心位置を特徴点として抽出してもよい。

【0016】

図２は、特徴点抽出部２１０の動作例を説明する図である。本図は、被写体が人物である場合において、特徴点抽出部２１０が、特徴点として、人物の肩と、肘と、手首等の関節位置を抽出する具体例を示している。（ａ）は、人物の右側面を映している映像であり、基準映像のある時点における映像を示している。（ｂ）は、人物の左側面を映している映像であり、補正対象映像の当該ある時点における映像を示している。本図において、基準映像又は補正対象映像から取り出した映像を左側に示しており、左側に示す映像に特徴点を丸印により付与した映像を右側に示している。本例において、（ａ）は（ｂ）の死角を映しており、（ｂ）は（ａ）の死角を映している。
Ｍは特徴点抽出部２１０が抽出可能な特徴点の最大数を示す。即ち、Ｍは被写体ごとの特徴点の最大数であり、基準映像と補正対象映像とで共通の定数である。ｍは特徴点番号を示す。即ち、ｍは特徴点を識別する変数であり、１以上Ｍ以下の整数である。特徴点ｐ_１，ｍは、基準映像から抽出した特徴点の内、ｍ番目の特徴点を示していることを意味する。特徴点ｐ_２，ｍは、補正対象映像から抽出した特徴点の内、ｍ番目の特徴点を示していることを意味する。即ち、本図において、特徴点ｐ_１，ｍと特徴点ｐ_２，ｍとは、それぞれ映像における位置は異なっているが、対象被写体における同じ特徴点であることを示しており、どちらとも同じｍ番目の関節を指している。ここで、特徴点抽出部２１０が抽出した特徴点を用いて基準映像と補正対象映像との関係性を定義することができる。基準映像が示す被写体と補正対象映像が示す被写体とが同じ被写体である場合、特徴点抽出部２１０が抽出する特徴点は基準映像と補正対象映像との間で共通する。なお、基準映像が示す被写体と補正対象映像が示す被写体とが異なる場合、特徴点抽出部２１０が抽出する特徴点は基準映像と補正対象映像との間で異なる。また、被写体の一部のみが映像に写っており映像に映っていない部分に被写体の特徴点がある場合、特徴点が映像に映っていない点を間接的に指すものである場合を除いて、抽出される特徴点の特徴点番号は連続ではなく、飛び飛びの値となる。

【0017】

動き量計算部２２０は、複数の映像それぞれにおいて、少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める。少なくとも１つの動き量それぞれは、少なくとも１つの特徴点それぞれが動いた量を示す。動き量は、被写体の少なくとも一部が単位時間あたりに動いた量を示す。動き量計算部２２０は、少なくとも１つの動き量それぞれとして、少なくとも１つの特徴点それぞれの座標値が単位時間に変化した量を求めてもよい。動き量は、比較する基準映像と補正対象映像との間において、動き量の値の増減が映像の視点に依存しない物理量であればよい。物理量は全ての時点において観測されなくてもよい。即ち、動き量は、複数の映像間で同様の増減を観測することができる物理量である。ここで、物理量の増減が映像の視点に依存する場合の具体例を２つ示す。１つ目は、被写体の少なくとも一部が動いている場合において、少なくとも１つの映像において動いている部分の動きを示す物理量に変化がないこと、即ち、当該動きを少なくとも１つの映像において観測することができないことである。２つ目は、被写体の少なくとも一部が動いている場合において、全ての映像において動いている部分の動きを示す物理量の増減が揃っていないことである。即ち、具体例として、一方の映像においては当該動きを示す物理量が増加傾向であるものの、他方の映像においては当該動きを示す物理量が減少傾向であることである。動き量は、具体例として、特徴点を示す座標値の単位時間当たりの変化量である。

【0018】

図３は、動き量計算部２２０の動作例を説明する図であり、図２と対応する図である。本図において、ｐ_{ｎ，ｍ，ｔ}は、時刻ｔにおける特徴点ｐ_ｎ，ｍの座標を示す。ｔの値が小さいほど時刻が早いことを示す。２つの特徴点におけるｔの値が連続する場合において、２つの特徴点それぞれを含む２つの映像が撮影された時刻の間隔は一定である。ｎは、映像を識別する変数であり、１又は２である。
図３は、人物が片手を振った場合における、人物の手首を示す特徴点が移動する様子を示している。本図は、基準映像から単位時間間隔でフレームを取り出すことにより複数のフレームを取り出し、複数のフレームそれぞれにおける特徴点を抽出し、抽出した特徴点を重ね合わせて表示したものである。

【0019】

図３の中央に示す特徴点の時間的な分布には、人物の動きの緩急に応じて粗密が生じている。特徴点の時間的な分布は、離散時間系において、各時間における特徴点の位置を示すものである。動き量は、具体例として、特徴点の時間的な分布の粗密の程度を表現した物理量である。動き量計算部２２０は、具体例として、人物の動きの速さが、相対的に速い場合に相対的に大きな値となり、相対的に遅い場合に相対的に小さな値となるように動き量を求める。
［数１］は、動き量計算部２２０が動き量を求める計算手法の具体例を示している。［数２］は、［数１］の一部を具体的に示している。［数１］及び［数２］において使われている記号は、図２及び図３と共通である。
［数１］は、分散に類する値を求める数式である。そのため、動き量計算部２２０が［数１］を用いて動き量を求めた場合、特徴点の時間的な分布が疎である程、動き量が大きな値となる。
ｖａｒ_{ｎ，ｍ，ｔ}は、ｐ_{ｎ，ｍ，ｔ}の動き量を示す。本図の中央に示す図において、ｐ_{ｎ，ｍ，ｔ’}を中心とし、ｖａｒ_{ｎ，ｍ，ｔ’}を半径とする円を示すことにより、ｖａｒ_{ｎ，ｍ，ｔ’}の大きさを示している。ここで、ｖａｒ_{ｎ，ｍ，ｔ’}は、［数１］により求まるｐ_{ｎ，ｍ，ｔ’}の動き量である。
本図の右に示すグラフは、特徴点の時間的な分布をグラフ化したものであり、動き量の時間推移を示している。横軸は時刻を示しており、縦軸は動き量を示している。本グラフは、特徴点に対応する点をプロットし、プロットした点を滑らかな線により補完したものである。本グラフに示すように、特徴点の時間的な分布が疎になるほど動き量が大きな値となり、また、特徴点の時間的な分布の粗密の変化が大きいほど曲線の傾きが急峻になる。本グラフは、動き量の時系列情報を示すグラフでもある。動き量の時系列情報は、動き量の時間推移を示す情報である。

【0020】

【数1】

【数2】

【0021】

映像バッファ部２３０は、映像取得手段１００から複数の映像を受け取り、受け取った複数の映像を一時的に保持し、映像同期部２６０に保持している映像を送出する。

【0022】

時刻補正部２４０は、複数の映像それぞれにおいて、動き量計算部２２０が求めた少なくとも１つの動き量に基づいて時刻補正量を求める。時刻補正量は、複数の映像を同期することに用いられ、また、典型的には補正対象映像において撮影時刻を示すタイムスタンプを補正する量を示す。時刻補正部２４０は基準映像のタイムスタンプを補正しないが、時刻補正部２４０が基準映像の時刻補正量として０を求めたとみなされてもよい。
少なくとも１つの特徴点が複数の特徴点である場合において、時刻補正部２４０は、複数の特徴点それぞれに対応する複数の動き量から計算した時間シフト量の評価値それぞれに重みを付け、重みに基づいて時刻補正量を求めてもよい。時間シフト量の評価値については後述する。時刻補正部２４０は、複数の特徴点それぞれの性質に従って複数の動き量それぞれに重みを付けてもよい。時刻補正部２４０は、各特徴点の抽出率、尤度、又は平均変化量に応じた重みを自動的に設定してもよく、手動で設定された重みを用いてもよい。ここで、抽出率、尤度、平均変化量について説明する。まず、抽出率とは、特徴点抽出部２１０に入力された少なくとも２つの映像の総フレーム数に対する当該特徴点を抽出することができたフレーム数の割合である。抽出率が高いほど、少なくとも２つの映像の多くのシーンで当該特徴点が抽出されていることを意味する。次に、尤度とは、ＣＮＮを用いて映像から特徴点を抽出した際に付随して得られる情報であり、当該特徴点の抽出結果が正しい確率を意味する。最後に、平均変化量とは、当該特徴点の動き量の平均値である。平均変化量が大きいほど活発に動いている特徴点であることを意味する。なお、時刻補正部２４０は、動き量が増減するタイミングを合わせることにより補正量を計算しているため、平均変化量が大きい、つまり動き量が平均的に大きい場合、より正確な補正量を計算することができる点に注意されたい。上記をまとめると、抽出率と、尤度と、平均変化量とのそれぞれが高いほど正確な補正量を計算することができる可能性が高くなる。そのため、抽出率と、尤度と、平均変化量との少なくともいずれかが高い特徴点に対して相対的に大きな重みを与えることが妥当と考えられる。時刻補正部２４０は、動き量の次元が２以上である場合、即ち、特徴点の数が２以上である場合、各次元に重みを付けて時刻補正量を計算してもよい。

【0023】

補正量記憶部２５０は、時刻補正部２４０が求めた時刻補正量を保持する。

【0024】

映像同期部２６０は、映像バッファ部２３０から複数の映像を受け取り、補正量記憶部２５０が保持している時刻補正量に従って補正対象映像のタイムスタンプを更新することにより、補正対象映像を基準映像と同期し、同期した映像を映像出力手段３００に送出する。即ち、映像同期部２６０は、時刻補正量に従って複数の映像それぞれを送出するタイミングを調整する。

【0025】

図４は、時刻補正部２４０の構成例を示している。時刻補正部２４０は、本図に示すように、時間シフト部２４１と、時間シフト量評価部２４２と、時間シフト量記憶部２４３とを備える。

【0026】

時間シフト部２４１は、動き計算部２２０−２が求めた動き量の時系列情報に対して時間シフトを実行する。
基準映像が固定されている場合において、時間シフト部２４１が複数の映像から１つの映像を基準映像として選択したとみなしてもよい。時間シフト部２４１は、補正対象映像それぞれにおいて、基準映像の少なくとも１つの動き量と、補正対象映像それぞれの少なくとも１つの動き量とに基づいて、時間シフト量を求める。この際、時間シフト部２４１は、基準映像と補正対象映像とのそれぞれに対応する動き量であって、同一の特徴点から計算された動き量を比較する。補正対象映像は、複数の映像のうち基準映像以外の映像である。時間シフト量は、補正対象映像それぞれを基準映像と同期することに用いられる量であって、少なくとも１つの動き量を時間シフトする量である。

【0027】

時間シフト量評価部２４２は、動き量計算部２２０−１が求めた動き量の時系列情報と、時間シフト部２４１が時間シフトした動き量の時系列情報とに基づいて、時間シフト部２４１による時間シフト量の妥当性を評価する。ここで、動き量の時系列情報は非同期に取得された２つの映像から計算されたものであるから、典型的には、動き量の値が増減するタイミングも２つの映像間において同様に非同期的である。しかし、時間シフト部２４１が補正対象映像に対応する時系列情報を適切に時間シフトすると、２つの映像間において動き量の値が増減するタイミングが一致する。なお、動画のフレームレートの性質により、２つの映像間において動き量の値が増減するタイミングを完全に一致するよう時系列情報を時間シフトすることができない場合もある。そのため、タイミングが一致することには、タイミングが少しずれることが含まれてもよい。
時間シフト量評価部２４２は、補正対象映像それぞれにおいて、補正対象映像それぞれに対応する時間シフト量に従って少なくとも１つの動き量を時間シフトした少なくとも１つの動き量と、基準映像の少なくとも１つの動き量とに基づいて時間シフト量を評価する。
［数３］は、最適な時間シフト量を示す数式である。［数３］の左辺は時間シフト量を示し、右辺は最大の評価値を時間シフト量に変換する関数を示す。ｓｃｏｒｅ_ｓは、補正量の適切さを示す評価値を示す。評価値は、具体例として、動き量の時系列情報間の相関係数である。一般に、値の増減するタイミングが一致した信号同士の相関係数は大きくなるため、評価値が相関係数である場合、評価値の値が大きいほど時間シフト量が適切である。即ち、時間シフト量評価部２４２は、基準映像と時間シフトした補正対象映像とに対応する相関係数が最大となる時間シフト量を探索すればよい。

【0028】

【数3】

【0029】

時間シフト量記憶部２４３は、時間シフト量評価部２４２が最適と評価した時間シフト量を記憶する。

【0030】

映像出力手段３００は、映像を出力する機能を備える。映像出力手段３００は、具体例として、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。

【0031】

図５は、本実施の形態に係る映像同期装置２００のハードウェア構成例を示している。映像同期装置２００は、コンピュータ１０から成る。映像同期装置２００は、複数のコンピュータ１０から成ってもよい。

【0032】

コンピュータ１０は、本図に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５と等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して互いに接続されている。

【0033】

プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
映像同期装置２００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１１の役割を分担する。

【0034】

メモリ１２は、典型的には、揮発性の記憶装置である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２は、具体例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。

【0035】

補助記憶装置１３は、典型的には、不揮発性の記憶装置である。補助記憶装置１３は、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
メモリ１２と、補助記憶装置１３とは、一体的に構成されていてもよい。

【0036】

入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。

【0037】

通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

【0038】

映像同期装置２００の各部は、他の装置等と通信する際に、通信装置１５を適宜用いてもよい。
映像同期装置２００の各部がデータを受け付ける場合、映像同期装置２００の各部は、入出力ＩＦ１４を介してデータを受け付けても良く、また、通信装置１５を介してデータを受け付けてもよい。

【0039】

補助記憶装置１３は、映像同期プログラムを記憶している。映像同期プログラムは、映像同期装置２００が備える各部の機能をコンピュータに実現させるプログラムである。映像同期プログラムは、複数のファイルから成ってもよい。映像同期プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。映像同期装置２００が備える各部の機能は、ソフトウェアにより実現される。

【0040】

映像同期プログラムを実行する際に用いられるデータと、映像同期プログラムを実行することによって得られるデータと等は、記憶装置に適宜記憶される。映像同期装置２００の各部は、適宜記憶装置を利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データと、情報とは、同等の意味を有することもある。記憶装置は、コンピュータ１０と独立したものであってもよい。映像バッファ部２３０と時間シフト量記憶部２４３と補正量記憶部２５０とのそれぞれは、記憶装置により実現される。
メモリ１２の機能と、補助記憶装置１３の機能とのそれぞれは、他の記憶装置によって実現されてもよい。

【0041】

映像取得手段１００と映像出力手段３００とのそれぞれは、それぞれコンピュータ１０であってもよい。

【0042】

映像同期プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。映像同期プログラムは、プログラムプロダクトとして提供されてもよい。

【0043】

＊＊＊動作の説明＊＊＊
映像同期装置２００の動作手順は、映像同期方法に相当する。また、映像同期装置２００の動作を実現するプログラムは、映像同期プログラムに相当する。

【0044】

図６は、映像同期装置２００の動作の一例を示すフローチャートである。本図を用いて、映像同期装置２００の動作例を説明する。

【0045】

（処理Ｓ０１：映像取得処理）
映像バッファ部２３０は、映像取得手段１００から映像を取得する。

【0046】

（処理Ｓ０２：特徴点抽出処理）
特徴点抽出部２１０は、複数の映像を取得し、複数の映像それぞれにおいて特徴点を抽出する。

【0047】

（処理Ｓ０３：動き量計算処理）
動き量計算部２２０は、処理Ｓ０２で抽出された特徴点それぞれに基づいて動き量を求める。

【0048】

（処理Ｓ０４：時刻補正量計算処理）
時刻補正部２４０は、処理Ｓ０３で求められた動き量に基づいて時刻補正量を求める。

【0049】

（処理Ｓ０５：映像同期処理）
映像同期部２６０は、映像バッファ部２３０から複数の映像を取得し、取得した複数の映像を同期し、同期した複数の映像を映像出力手段３００に出力する。

【0050】

図７は、時刻補正部２４０の動作の一例を示すフローチャートである。時刻補正部２４０は、本フローチャートに示す処理において、最適な時間シフト量を探索する。本図を用いて、時刻補正部２４０の動作例を説明する。

【0051】

（処理Ｓ１１：探索処理）
本処理は、探索処理内において内包する処理Ｓ１２と、処理Ｓ１３と、処理Ｓ１４と、処理Ｓ１５とを繰り返し実行することを意味する。時刻補正部２４０は、時間シフト量を少しずつ変更しながらこれらの処理を繰り返し実行する。時刻補正部２４０が探索する探索範囲は、具体例として、基準映像の時間長さをＸ秒、補正対象映像の時間長さをＹ秒、時間シフト量をＳとした場合、探索範囲は−Ｙ＜Ｓ＜Ｘであり、探索処理の終了条件はＳ＝Ｘとなったときである。なお、最適な時間シフト量についておおよその見当がついている場合等に、時刻補正部２４０が探索範囲を自動的に設定してもよく、ユーザが探索範囲を手動で設定してもよい。ユーザは、映像同期システム９０の利用者である。

【0052】

（処理Ｓ１２：時間シフト処理）
時間シフト部２４１は、補正対象映像に対応する動き量の時系列情報にのみ時間シフトを加える。

【0053】

（処理Ｓ１３：時間シフト量評価処理）
時間シフト量評価部２４２は、基準映像の動き量の時系列情報と、時間シフトが加えられた補正対象映像の動き量の時系列情報との相関係数から時間シフト量の妥当性を評価する。［数４］は、［数３］において用いられる評価値の具体例を示している。［数５］と、［数６］と、［数７］と、［数８］とのそれぞれは、［数４］の一部を具体的に示している。
［数４］におけるＣｍは、ｍ番目の特徴点に対する重み係数を示す。各特徴点の抽出率、尤度、又は平均変化量に応じた重みなど、複数の映像の同期において相対的に役立つと考えられる特徴点、又は多くのフレームにおいて抽出される特徴点に対して相対的に大きな重みを時間シフト量評価部２４２が与えることにより、適切な同期結果を得ることができる可能性が高くなる。特徴点に関する事前情報又は知見等が与えられていない場合において、時間シフト量評価部２４２は重み係数の値を一律で同じ値としてもよい。

【0054】

【数4】

【数5】

【数6】

【数7】

【数8】

【0055】

（処理Ｓ１４：分岐処理）
時間シフト量評価部２４２は、処理Ｓ１３で求めた評価値とこれまでの最適評価値とを比較する。
評価値がこれまでの最適評価値よりも大きい場合、時刻補正部２４０は処理Ｓ１５に進む。それ以外の場合、時刻補正部２４０は処理Ｓ１５をスキップする。

【0056】

（処理Ｓ１５：代入処理）
時間シフト量評価部２４２は、最適評価値を処理Ｓ１３で求めた評価値により更新し、最適時間シフト量を処理Ｓ１２で用いた時間シフトの量により更新する。最適評価値は、最適時間シフト量に対応する評価値である。最適評価値は、理想的な最適値でなくてもよく、実用上求められる最も良い値であってもよい。時間シフト量記憶部２４３は、最適時間シフト量と、最適評価値とを記憶する。最適評価値及び最適時間シフト量は、それぞれ、繰り返し処理の途中で得られる値を指すこともある。

【0057】

時間シフト量評価部２４２は、探索範囲において算出された全ての時間シフト量を評価する。そのため、処理Ｓ１１に示す繰り返し処理を終えたときに最適時間シフト量が示す値が時刻補正量である。

【0058】

時刻補正部２４０は、映像取得手段１００が映像を受信する度に映像の時刻を補正する必要はない。時刻補正部２４０は、具体例として、映像同期システム９０の使用開始直後のみ、もしくは１日に１回程度実行する。そのため、時刻補正部２４０が求めた時刻補正量を補正量記憶部２５０が保持しておき、映像同期部２６０は、時刻補正処理が新たに実行されるまで補正量記憶部２５０が保持している時刻補正量を使い続けてもよい。

【0059】

＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、本実施の形態によれば、状態認識器を用いずに互いに異なる複数の視点から撮影された複数の映像を同期することができる。従って、本開示に係る映像同期装置２００が同期することができる映像の範囲は、特許文献１が開示する装置が同期することができる映像の範囲と比較して広い。
また、本開示によれば、同期サーバ又は同期専用のカメラ等の高価な装置を用いなくても、複数の映像を同期することができる。

【0060】

＊＊＊他の構成＊＊＊
＜変形例１＞
図８は、本変形例に係る映像同期装置２００のハードウェア構成例を示している。
映像同期装置２００は、本図に示すように、プロセッサ１１とメモリ１２と補助記憶装置１３との少なくとも１つに代えて、処理回路１８を備える。
処理回路１８は、映像同期装置２００が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであっても良く、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。

【0061】

処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
映像同期装置２００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。

【0062】

映像同期装置２００において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。

【0063】

処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、映像同期装置２００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。

【0064】

＜変形例２＞
実施の形態１において、基準映像が固定されている例について説明したがこの例に限定されず、時刻補正部２４０は状況によって基準映像を変更してもよい。具体例として、時刻補正部２４０は最も多くの特徴点が抽出された映像を基準映像としてもよい。このようにすることにより、時刻補正部２４０は最も多くのフレームにおいて被写体が写っている映像を基準映像とすることができる。
あるいは、時刻補正部２４０は補正対象映像の映像取得手段１００に近い位置の映像取得手段１００の映像を基準映像としてもよい。ここで、近い位置の映像取得手段１００の選択手法としては、補正対象映像の映像取得手段１００に最も近い映像取得手段１００を選択する手法、又は、映像取得手段１００の組合せを考慮し、同じ組合せ（基準映像と補正対象映像とを入れ替えた場合も含む）にならない組合せから最も近接している２つの映像取得手段１００を選択する手法が挙げられる。この場合、時刻補正部２４０は、全ての補正対象映像と基準映像との時間シフト量を算出した後に、全ての映像の時刻を同期するために時間シフト量を調整する。具体的には、基準映像に対して時間シフト量が算出されている場合、時刻補正部２４０はその値の累積値を調整後の時間シフト量とする。これにより、映像同期装置２００は位置の近い映像取得手段１００同士に対応する複数の映像を比較することができるため、特徴点の差分を少なくすることができ、さらに、処理精度の向上を実現することができる。

【0065】

以下、本変形例を具体例を用いて説明する。映像同期システム９０は、映像取得手段１００として、映像取得手段１００−１と、映像取得手段１００−２と、映像取得手段１００−３とを備えるものとする。また、映像Ａを映像取得手段１００−１から取得した映像とし、映像Ｂを映像取得手段１００−２から取得した映像とし、映像Ｃを映像取得手段１００−３から取得した映像とする。
ここで、映像Ａを基準映像とし映像Ｂを補正対象映像とする組合せである組ａと、映像Ｂを基準映像とし映像Ｃを補正対象映像とする組合せである組ｂとを考える。なお、映像Ｂを基準映像とし映像Ａを補正対象映像とする組合せは、組ａと同じ組合せに当たる。
さらに、組ａにおける時間シフト量がα、組ｂにおける時間シフト量がβと求められているものとする。それぞれの時間シフト量は、それぞれの組合せにおける相対的な差を示している。
このとき、映像Ｂ及び映像Ｃの時刻補正量を求めることを考える。この際、映像Ｂの時刻補正量をαとし、映像Ｃの時刻補正量をβとすると、映像Ｂにおける時刻の基準は映像Ａが示す時刻であり、映像Ｃにおける時刻の基準は映像Ｂが示す時刻である。即ち、映像Ｂと映像Ｃとでは時刻の基準が異なる。そこで、映像Ｃの時刻補正量を組ｂにおける時間シフト量とするのではなく、組ａにおける時間シフト量と組ｂにおける時間シフト量との累積値（即ち、α＋β）とすることにより、映像Ｃにおける時刻の基準は映像Ａが示す時刻となる。その結果、映像同期装置２００は、映像Ａと映像Ｂと映像Ｃとの間で時刻を適切に補正することができる。

【0066】

＊＊＊他の実施の形態＊＊＊
実施の形態１について説明したが、本実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、本実施の形態を部分的に実施しても構わない。その他、本実施の形態は、必要に応じて種々の変更がなされても構わず、全体としてあるいは部分的に、どのように組み合わせて実施されても構わない。
なお、上述した実施の形態は、本質的に好ましい例示であって、本開示と、その適用物と、用途の範囲とを制限することを意図するものではない。フローチャート等を用いて説明した手順は、適宜変更されてもよい。

【符号の説明】

【0067】

１０ コンピュータ、１１ プロセッサ、１２ メモリ、１３ 補助記憶装置、１４ 入出力ＩＦ、１５ 通信装置、１８ 処理回路、１９ 信号線、９０ 映像同期システム、１００ 映像取得手段、２００ 映像同期装置、２１０ 特徴点抽出部、２２０ 動き量計算部、２３０ 映像バッファ部、２４０ 時刻補正部、２４１ 時間シフト部、２４２ 時間シフト量評価部、２４３ 時間シフト量記憶部、２５０ 補正量記憶部、２６０ 映像同期部、３００ 映像出力手段。

【要約】

映像同期装置（２００）は、特徴点抽出部（２１０）と、動き量計算部（２２０）と、時刻補正部（２４０）とを備える。特徴点抽出部（２１０）は、被写体の動きに伴って座標が変化する位置を示す特徴点を含む被写体を互いに異なる複数の視点から撮影した複数の映像それぞれにおいて、特徴点の内少なくとも１つの特徴点を抽出する。動き量計算部（２２０）は、複数の映像それぞれにおいて、少なくとも１つの特徴点それぞれが動いた量を示す少なくとも１つの動き量を求める。時刻補正部（２４０）は、複数の映像それぞれにおいて、少なくとも１つの動き量に基づいて複数の映像を同期することに用いられる時刻補正量を求める。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】