特許 7130144 情報処理方法、情報処理装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-25

(45)【発行日】2022-09-02

(54)【発明の名称】情報処理方法、情報処理装置、およびプログラム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20220826BHJP

   H04N 21/234 20110101ALI20220826BHJP

   H04N 21/242 20110101ALI20220826BHJP

   H04N 21/854 20110101ALI20220826BHJP

【ＦＩ】

H04N21/44

H04N21/234

H04N21/242

H04N21/854

【請求項の数】 12

(21)【出願番号】P 2021543921

(86)(22)【出願日】2019-09-06

(86)【国際出願番号】 JP2019035246

(87)【国際公開番号】W WO2021044621

(87)【国際公開日】2021-03-11

【審査請求日】2022-01-28

(73)【特許権者】

【識別番号】000116068

【氏名又は名称】ローランド株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】斎藤 康人

【審査官】篠塚 隆

(56)【参考文献】

【文献】特開２００４－２４７９３７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５３８５７（ＷＯ，Ａ１）

【文献】特開２００４－３１２２９５（ＪＰ，Ａ）

【文献】特開２０１６－１００７７８（ＪＰ，Ａ）

【文献】特開２０１１－５５２９４（ＪＰ，Ａ）

【文献】特開２００６－１８００７４（ＪＰ，Ａ）

【文献】特開２０１３－１８７８２６（ＪＰ，Ａ）

【文献】特開２００２－３２５２１６（ＪＰ，Ａ）

【文献】特開２０１１－２９９６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第一の撮影装置および第二の撮影装置を用いて対象物を撮影する映像システムにおいて、前記第一の撮影装置が実行する情報処理方法であって、
前記第一の撮影装置が録画を開始してからの経過時間を表す第一の経過時間を取得する第一取得ステップと、
前記第二の撮影装置に対して、前記第二の撮影装置が録画を開始してからの経過時間を表す第二の経過時間の送信を要求し、前記第二の経過時間を受信する第二取得ステップと、
前記要求を行ってから、前記第二の経過時間を受信するまでの所要時間を取得する第三取得ステップと、
前記第一の経過時間と、前記第二の経過時間と、前記所要時間と、に基づいて、前記第一の撮影装置によって録画された第一の動画像と、前記第二の撮影装置によって録画された第二の動画像とを同期させるためのオフセット時間を算出する算出ステップと、
を含むことを特徴とする、情報処理方法。

【請求項2】

前記第一の経過時間をＴ₁、前記第二の経過時間をＴ₂、前記所要時間をＴ₃とした場合
に、
前記算出ステップでは、Ｔ₁＋（Ｔ₃／２）と、Ｔ₂との差を、前記オフセット時間とす
る
ことを特徴とする、請求項１に記載の情報処理方法。

【請求項3】

前記第一の撮影装置が、前記第二の撮影装置から前記第二の動画像を取得し、前記オフセット時間と関連付けて記憶する
ことを特徴とする、請求項１または２に記載の情報処理方法。

【請求項4】

前記オフセット時間を用いて、前記第一の動画像と前記第二の動画像の同期を取り、前記同期後の動画像を合成して第三の動画像を生成する生成ステップをさらに含む
ことを特徴とする、請求項３に記載の情報処理方法。

【請求項5】

所定の時間幅内において、前記オフセット時間の算出を周期的に行い、得られた複数の前記オフセット時間の代表値を取得するステップをさらに含み、
前記算出ステップでは、前記代表値を、前記所定の時間幅内における前記第一の動画像
と前記第二の動画像とのオフセット時間とする
ことを特徴とする、請求項１から４のいずれかに記載の情報処理方法。

【請求項6】

第一の撮影装置および第二の撮影装置を用いて対象物を撮影する映像システムにおいて、前記第一の撮影装置および前記第二の撮影装置として動作可能な情報処理装置が実行する情報処理方法であって、
自装置が前記第一の撮影装置である場合に、
前記第一の撮影装置が録画を開始してからの経過時間を表す第一の経過時間を取得する第一取得ステップと、
前記第二の撮影装置に対して、前記第二の撮影装置が録画を開始してからの経過時間を表す第二の経過時間の送信を要求する要求ステップと、
前記要求を行ってから、前記第二の経過時間を受信するまでの所要時間を取得する第二取得ステップと、
前記第一の経過時間と、前記第二の経過時間と、前記所要時間と、に基づいて、前記第一の撮影装置によって録画された第一の動画像と、前記第二の撮影装置によって録画された第二の動画像とを同期させるためのオフセット時間を算出する算出ステップと、を実行し、
自装置が前記第二の撮影装置である場合に、
前記要求に応じて、前記第二の経過時間を取得して前記第一の撮影装置に送信する送信ステップと、を実行する
ことを特徴とする、情報処理方法。

【請求項7】

請求項１から６のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。

【請求項8】

第一の撮影装置および第二の撮影装置を用いて対象物を撮影する映像システムにおいて、前記第一の撮影装置として動作する情報処理装置であって、
録画を開始してからの経過時間を表す第一の経過時間を取得する第一取得手段と、
前記第二の撮影装置に対して、前記第二の撮影装置が録画を開始してからの経過時間を表す第二の経過時間の送信を要求し、前記第二の経過時間を受信する第二取得手段と、
前記要求を行ってから、前記第二の経過時間を受信するまでの所要時間を取得する第三取得手段と、
前記第一の経過時間と、前記第二の経過時間と、前記所要時間と、に基づいて、自装置によって録画された第一の動画像と、前記第二の撮影装置によって録画された第二の動画像とを同期させるためのオフセット時間を算出する算出手段と、
を有することを特徴とする、情報処理装置。

【請求項9】

前記第一の経過時間をＴ ₁ 、前記第二の経過時間をＴ ₂ 、前記所要時間をＴ ₃ とした場合
に、
前記算出手段は、Ｔ ₁ ＋（Ｔ ₃ ／２）と、Ｔ ₂ との差を、前記オフセット時間とする
ことを特徴とする、請求項８に記載の情報処理装置。

【請求項10】

前記第二の撮影装置から前記第二の動画像を取得し、前記オフセット時間と関連付けて記憶する手段をさらに有する
ことを特徴とする、請求項８または９に記載の情報処理装置。

【請求項11】

前記オフセット時間を用いて、前記第一の動画像と前記第二の動画像の同期を取り、前記同期後の動画像を合成して第三の動画像を生成する生成手段をさらに含む
ことを特徴とする、請求項１０に記載の情報処理装置。

【請求項12】

所定の時間幅内において、前記オフセット時間の算出を周期的に行い、得られた複数の前記オフセット時間の代表値を取得する手段をさらに含み、
前記算出手段は、前記代表値を、前記所定の時間幅内における前記第一の動画像と前記第二の動画像とのオフセット時間とする
ことを特徴とする、請求項８から１１のいずれかに記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の装置で撮影した映像の同期を取る技術に関する。

【背景技術】

【0002】

アーティストやミュージシャンの歌唱や演奏を複数のアングルで撮影し、得られた映像を繋ぎ合わせることで一本のミュージックビデオを作成する手法が知られている。かかる手法においては、異なるアングルで配置された複数のカメラによって映像を撮影し、編集によって複数の映像をつなぎ合わせる必要がある。

【0003】

複数のカメラによって対象物を撮影する場合であって、撮影を開始するタイミングがまちまちである場合、何らかの方法によって映像間の同期を取る必要がある。映像間の同期を取る一般的な方法として、カチンコなどによって撮影開始時に合図を入れる手法が多く利用されている。例えば、特許文献１には、合図を検出して映像間のずれ量を判定し、位置合わせを行う方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平６－１６２７３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の装置では、合図となる現象（例えば、カチンコの動きや音）を全ての撮影装置で捉える必要がある。しかし、コンサートや発表会など、合図を入れることが困難なシーンでは当該装置を利用することができない。

【0006】

本発明は上記の課題を考慮してなされたものであり、複数の撮影装置を用いて記録対象を撮影するシステムにおいて、撮影された映像間の同期を取る技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る情報処理方法は、
第一の撮影装置および第二の撮影装置を用いて対象物を撮影する映像システムにおいて、前記第一の撮影装置が実行する情報処理方法であって、前記第一の撮影装置が録画を開始してからの経過時間を表す第一の経過時間を取得する第一取得ステップと、前記第二の撮影装置に対して、前記第二の撮影装置が録画を開始してからの経過時間を表す第二の経過時間の送信を要求し、前記第二の経過時間を受信する第二取得ステップと、前記要求を行ってから、前記第二の経過時間を受信するまでの所要時間を取得する第三取得ステップと、前記第一の経過時間と、前記第二の経過時間と、前記所要時間と、に基づいて、前記第一の撮影装置によって録画された第一の動画像と、前記第二の撮影装置によって録画された第二の動画像とを同期させるためのオフセット時間を算出する算出ステップと、を含むことを特徴とする。

【0008】

第一の撮影装置と、第二の撮影装置は、ともに対象物を撮影する装置である。このうち、第一の撮影装置は、録画開始からの経過時間を表す第一の経過時間を取得するとともに、第二の撮影装置に対して第二の経過時間の送信を要求し、得られた経過時間と、第一の経過時間とを比較する。さらに、問い合わせに要した時間を用いて、動画像間におけるずれ時間（オフセット時間）を算出する。経過時間の送信要求は、第一および第二の撮影装置が録画を行っている任意のタイミングで行うことができる。例えば、録画開始時に実行してもよいし、録画中において周期的に実行してもよい。第一の撮影装置によって録画された第一の動画像と、第二の撮影装置によって録画された第二の動画像との間のオフセット時間を取得することで、複数の動画像間を編集する際のずれ量を算出することができる。
なお、本願において、オフセット時間とは、動画像同士の絶対時刻のずれ量を指し、同期とは、編集の過程において、動画像同士の絶対時刻を一致させることを指す。

【0009】

また、前記第一の経過時間をＴ₁、前記第二の経過時間をＴ₂、前記所要時間をＴ₃とした場合に、前記算出ステップでは、Ｔ₁＋（Ｔ₃／２）と、Ｔ₂との差を、前記オフセット時間とすることを特徴としてもよい。かかる構成によると、簡便な処理でオフセット時間を算出することができる。

【0010】

また、前記第一の撮影装置が、前記第二の撮影装置から前記第二の動画像を取得し、前記オフセット時間と関連付けて記憶することを特徴としてもよい。

【0011】

動画像とオフセット時間とを互いに関連付けて記憶することで、従となる撮影装置（第二の撮影装置）が２台以上に増えた場合や、録画を繰り返した場合であっても、適切に管理を行うことができる。

【0012】

また、前記オフセット時間を用いて、前記第一の動画像と前記第二の動画像の同期を取り、前記同期後の動画像を合成して第三の動画像を生成する生成ステップをさらに含むことを特徴としてもよい。

【0013】

例えば、編集の過程において、各動画像をタイムライン上に配置する際に、互いにオフセット時間だけずらすことで、動画像間の同期を取ることができる。

【0014】

また、所定の時間幅内において、前記オフセット時間の算出を周期的に行い、得られた複数の前記オフセット時間の代表値を取得するステップをさらに含み、前記算出ステップでは、前記代表値を、前記所定の時間幅内における前記第一の動画像と前記第二の動画像とのオフセット時間とすることを特徴としてもよい。

【0015】

第一の撮影装置と第二の撮影装置が、互いに異なるクロックによって動作しているような場合、先頭が同期していても、時間の経過とともにずれ幅が拡大してしまう場合がある。これに対応するため、オフセット時間の算出を、録画中において複数回行うようにしてもよい。
例えば、周期的にオフセット時間の算出を行ったうえで、所定の時間幅（例えば３０秒）内における複数のオフセット時間の代表値（例えば平均値）を求める。この代表値を、所定の時間幅内（例えば３０秒間）におけるオフセット時間として扱うことで、ずれ時間の補正を適切に行うことが可能になる。

【0016】

また、本発明の別形態に係る情報処理方法は、
第一の撮影装置および第二の撮影装置を用いて対象物を撮影する映像システムにおいて、前記第一の撮影装置および前記第二の撮影装置として動作可能な情報処理装置が実行する情報処理方法であって、自装置が前記第一の撮影装置である場合に、前記第一の撮影装置が録画を開始してからの経過時間を表す第一の経過時間を取得する第一取得ステップと、前記第二の撮影装置に対して、前記第二の撮影装置が録画を開始してからの経過時間を表す第二の経過時間の送信を要求する要求ステップと、前記要求を行ってから、前記第二の経過時間を受信するまでの所要時間を取得する第二取得ステップと、前記第一の経過時間と、前記第二の経過時間と、前記所要時間と、に基づいて、前記第一の撮影装置によって録画された第一の動画像と、前記第二の撮影装置によって録画された第二の動画像とを同期させるためのオフセット時間を算出する算出ステップと、を実行し、自装置が前記第二の撮影装置である場合に、前記要求に応じて、前記第二の経過時間を取得して前記第一の撮影装置に送信する送信ステップと、を実行することを特徴とする。

【0017】

なお、本発明は、上記ステップの少なくとも一部を含む情報処理方法として特定することができる。また、前記情報処理方法を実行する情報処理装置として特定することもできる。また、前記方法を実行させるためのプログラムや、当該プログラムが記録された非一時的記憶媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【図面の簡単な説明】

【0018】

【図1】映像処理システムの全体構成図である。

【図2】複数の映像ソースを結合して出力する例である。

【図3】従来技術の問題点を説明する図である。

【図4】情報処理装置のハードウェア構成図である。

【図5】情報処理装置（制御部）のモジュール構成図である。

【図6】マスタ装置とスレーブ装置が行う処理のフロー図である。

【図7】マスタ装置とスレーブ装置が行う処理のフロー図である。

【図8】タイムスタンプおよび通信所要時間の関係を示した図である。

【図9】マスタ装置に記憶されるオフセット情報の例である。

【図10】マスタ装置によって提供される編集画面の例である。

【図11】第二の実施形態でマスタ装置が行う処理を説明する図である。

【図12】第二の実施形態で生成されるオフセット情報の例である。

【図13】第二の実施形態における補正タイミングを説明する図である。

【発明を実施するための形態】

【0019】

（第一の実施形態）
本実施形態に係る映像処理システムは、奏者による楽器の演奏を複数台の装置で撮影し、取得した映像を編集して出力するシステムである。本実施形態に係る映像処理システムは、カメラを有する複数の携帯型コンピュータ（タブレットコンピュータ）によって対象の撮影を行い、そのうちの一台によって映像の編集を行う。

【0020】

図１に、本実施形態に係る映像処理システムの構成図を示す。
情報処理装置１００Ａおよび１００Ｂは、楽器を演奏する奏者を撮影する装置である。情報処理装置１００Ａおよび１００Ｂは、カメラおよびマイクを内蔵しており、それぞれ異なるアングルから奏者を捉えることができる。
なお、以下の説明において、情報処理装置１００Ａは、映像の録画等を行うとともに、複数台の情報処理装置を統括する装置として機能し、情報処理装置１００Ｂは、情報処理装置１００Ａから得た指示に従って映像の録画等を行う装置として機能する。本明細書では、前者をマスタ装置、後者をスレーブ装置と称する。
なお、マスタ／スレーブの区別をする必要が無い場合、単に情報処理装置１００と総称する。情報処理装置１００は、撮影装置とも呼ばれる。
本実施形態に係る情報処理装置１００は、マスタ装置、スレーブ装置のいずれかとして動作可能である。

【0021】

マスタ装置は、自装置とスレーブ装置の双方に対して録画の開始および終了を指示し、録画終了後に、スレーブ装置によって録画された映像ソースを取得する。さらに、マスタ装置は、取得した複数の映像ソースを、ユーザの操作に基づいて再編成し、出力することができる。具体的には、図２に示したように、取得した複数の映像ソースを結合し、出力する。

【0022】

次に、複数の装置によって演奏を撮影する場合における問題点について、図３（Ａ）を参照しながら説明する。
問題点の一つに、それぞれの撮影装置が録画を開始するタイミングが同時ではないという点がある。例えば、図示した映像ソースＡは、時刻１から始まっているが、映像ソースＢは、時刻１を経過したタイミングから始まっている。すなわち、映像ソースＡと映像ソースＢの先頭が一致していない。これは、撮影装置が録画を開始するタイミングが互いに一致していないことに起因する。時刻を一致させないまま編集を行うと、互いの映像のタイミングが一致せず、視聴者に違和感を与えるなどの問題が発生してしまう。

【0023】

第一の実施形態に係る情報処理装置１００Ａは、この問題を解決するため、映像の録画中において情報処理装置１００Ｂと通信を行い、映像ソース間のずれ時間に関する情報を収集する。また、編集の過程において、当該情報を用いて自動的に映像ソース間のずれを補正する。

【0024】

次に、情報処理装置１００のハードウェア構成について説明する。
情報処理装置１００は、制御部１０１、補助記憶装置１０２、主記憶装置１０３、入出力部１０４、カメラ１０５、マイク１０６、通信部１０７を有して構成される。これらの手段は、充電式のバッテリから供給される電力によって駆動される。

【0025】

制御部１０１は、情報処理装置１００が行う制御を司る演算装置である。制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）等によって構成される。
具体的には、制御部１０１は、後述するカメラ１０５およびマイク１０６を用いて対象物を録画（録音）する処理を行う。さらに、制御部１０１は、録画開始からの経過時間（タイムスタンプ）を取得する処理、複数の情報処理装置１００から取得したタイムスタンプに基づいて、複数の情報処理装置１００が取得した映像ソース間のオフセット時間を算出する処理などを実行する。処理の詳細については、図面を参照しながら後述する。

【0026】

補助記憶装置１０２は、書き換え可能な不揮発性メモリである。補助記憶装置１０２には、制御部１０１において実行される制御プログラムや、当該制御プログラムが利用するデータが記憶される。また、補助記憶装置１０２には、録画された映像ファイルが記録される。当該映像ファイルは、制御部１０１の指示によって読み出され、他の装置への送信または編集の用に供される。

【0027】

主記憶装置１０３は、制御部１０１によって実行される制御プログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置１０２に記憶されたプログラムが主記憶装置１０３にロードされ、制御部１０１によって実行されることで、以降に説明する処理が行われる。また、主記憶装置１０３は、録画の過程においてデータを一時的に記憶する。

【0028】

入出力部１０４は、ユーザに対して情報を提示し、また、ユーザからの操作を受け付ける複数のインタフェース装置を含む。入出力部１０４は、例えば、タッチパネルディスプレイとその制御ユニットから構成される。
カメラ１０５は、対象物を撮影するためのカメラユニットである。カメラ１０５は、装置の前面または背面に配置される。カメラ１０５は、切り替え可能な複数のカメラユニットを含んでいてもよい。
マイク１０６は、音声を取得するためのユニットである。

【0029】

通信部１０７は、他の情報処理装置１００と無線通信を行うためのインタフェースである。通信部１０７は、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格によって、他の情報処理装置１００とのデータの送受信が可能となるように構成される。

【0030】

次に、制御部１０１が行う処理について説明する。
図５は、情報処理装置１００が有する制御部１０１によって実行される処理を機能ブロックによって表した図である。制御部１０１は、機能ブロックとして、録画部１０１１、他装置制御部１０１２、オフセット算出部１０１３、動画管理部１０１４の４つを有している。

【0031】

制御部１０１は、情報処理装置１００がマスタ装置として動作する場合と、スレーブ装置として動作する場合とで、その動作内容を変更する。
情報処理装置１００のユーザは、事前に、当該装置をマスタ装置として動作させるか、スレーブ装置として動作させるかを指定する。また、この際、マスタ装置とスレーブ装置のペアリングを行うようにしてもよい。

【0032】

情報処理装置１００がマスタ装置として動作する場合、制御部１０１は、自装置における録画の制御と、スレーブ装置に対する録画の制御を行う。また、自装置のタイムスタンプと、スレーブ装置のタイムスタンプの双方を取得し、映像ソース間のオフセット時間を算出する制御を行う。さらに、スレーブ装置から、当該スレーブ装置によって録画された映像ファイルを取得し、算出したオフセット時間を用いて、複数の映像ソースの編集を行う制御などを実行する。

【0033】

情報処理装置１００がスレーブ装置として動作する場合、制御部１０１は、マスタ装置からの指示に基づき、録画の開始および終了を行う。また、マスタ装置からの指示に基づき、自装置のタイムスタンプを取得し、マスタ装置に送信する。

【0034】

以下、前述した機能を実行するための、モジュールの役割分担について説明する。

【0035】

録画部１０１１は、自装置が有するカメラ１０５およびマイク１０６を用いて映像および音声を取得する。
自装置がマスタ装置である場合、録画部１０１１は、入出力部１０４を介して行われたユーザの操作に基づいて、録画の開始および終了を行う。
また、自装置がスレーブ装置である場合、録画部１０１１は、マスタ装置から送信された指示に基づいて、録画の開始および終了を行う。
取得された映像および音声は、所定のフォーマットに変換され、映像ファイルとして補助記憶装置１０２に記録される。

【0036】

他装置制御部１０１２は、スレーブ装置である他の情報処理装置１００に対して、録画の開始および終了を指示する。他装置制御部１０１２は、スレーブ装置に関する情報を予め有しており、マスタ装置である自装置が録画を開始した場合に、スレーブ装置に対して録画の開始を指示する。また、自装置が録画を終了した場合に、スレーブ装置に対して録画の終了を指示する。また、スレーブ装置における録画が終了した際に、映像ファイルをスレーブ装置から自装置に転送する。

【0037】

オフセット算出部１０１３は、マスタ装置である自装置によって録画された映像ソースと、スレーブ装置である他装置によって録画された映像ソースとのずれ量（オフセット）を算出する。具体的な方法については後述する。

【0038】

動画管理部１０１４は、スレーブ装置である他の情報処理装置１００によって録画された映像ソースと、マスタ装置である自装置によって録画された映像ソースを用いて編集を実行する。
動画管理部１０１４は、入出力部１０４を介して映像編集画面をユーザに提供し、ユーザが行った操作に基づいて映像ソースの編集を実行する。編集後の映像は補助記憶装置１０２に記憶されるが、通信部１０７を介して装置の外部に送信することもできる。

【0039】

次に、第一の実施形態に係る映像処理システムが、対象物の録画を行う処理について説明する。
ここでは、マスタ装置として情報処理装置１００Ａ、スレーブ装置として情報処理装置１００Ｂを用い、二台の装置によって撮影を行う例を述べる。図６は、マスタ装置である情報処理装置１００Ａと、スレーブ装置である情報処理装置１００Ｂが行う処理、および、各装置間で送受信されるデータの流れを示したフロー図である。

【0040】

ステップＳ１１Ａで、ユーザが、マスタ装置の入出力部１０４を介して録画を開始する操作を行うと、ステップＳ１１Ｂで、録画部１０１１が録画を開始する。
また、他装置制御部１０１２が、スレーブ装置に対して、録画の開始を指示する信号（録画開始要求）を送信する（ステップＳ１２）。スレーブ装置が有する録画部１０１１は、当該信号を受信すると、マスタ装置と同様に録画を開始する（ステップＳ１３）。なお、ここで、スレーブ装置からマスタ装置に対して、正常に録画が開始された旨の応答を送信してもよい。

【0041】

ここで、マスタ装置によって録画された映像と、スレーブ装置によって録画された映像のオフセットを算出する処理について説明する。図７は、映像間のオフセットを算出する処理のフロー図である。当該処理は、全ての装置が録画を開始した後で、マスタ装置のオフセット算出部１０１３によって実行される。

【0042】

まず、ステップＳ２１で、自装置が録画を開始してからの経過時間（タイムスタンプ）を取得する。経過時間は、例えば、録画部１０１１が管理している時刻情報を参照することで取得することができる。ここで取得されたタイムスタンプをＴ１とする。
次に、ステップＳ２２で、スレーブ装置に対して、タイムスタンプの送信を要求する信号（タイムスタンプ要求）を送信する。また、当該信号を送信したタイミングで、通信所要時間の計測を開始する。通信所要時間とは、スレーブ装置に対してタイムスタンプ要求を送信してから、実際にタイムスタンプを受信するまでに要した時間である。

【0043】

スレーブ装置が有するオフセット算出部１０１３は、タイムスタンプ要求を受信すると、自装置が録画を開始してからの経過時間（タイムスタンプ）を取得する（ステップＳ２３）。ここで取得されたタイムスタンプをＴ２とする。タイムスタンプＴ２は、ステップＳ２４でマスタ装置に対して送信される。

【0044】

マスタ装置がタイムスタンプＴ２を受信すると、通信所要時間の計測を終了させる（ステップＳ２５）。ここで得られた時間を、通信所要時間Ｔ３とする。
このようにして得られたＴ１，Ｔ２，Ｔ３の関係を図示すると、図８のようになる。
ステップＳ２６では、得られたＴ１，Ｔ２，Ｔ３に、式（１）を適用する。ここで得られた時間ΔＴが、マスタ装置によって録画された映像と、スレーブ装置によって録画された映像とのずれ時間（オフセット時間）となる。
ΔＴ＝Ｔ１＋（Ｔ３／２）－Ｔ２ ・・・式（１）
算出されたオフセット時間ΔＴは、オフセット算出部１０１３によって一時的に記憶される。

【0045】

図６に戻り、説明を続ける。
ステップＳ１４Ａで、ユーザが、マスタ装置の入出力部１０４を介して録画を終了する操作を行うと、ステップＳ１４Ｂで、録画部１０１１が録画を停止する。
また、他装置制御部１０１２が、スレーブ装置に対して、録画の停止を指示する信号（録画終了要求）を送信する（ステップＳ１５）。スレーブ装置が有する録画部１０１１は、当該信号を受信すると、マスタ装置と同様に録画を停止する（ステップＳ１６）。なお、ここで、スレーブ装置からマスタ装置に対して、正常に録画が停止した旨の応答を送信してもよい。

【0046】

録画が正常に終了すると、マスタ装置の他装置制御部１０１２が、スレーブ装置から、映像ファイルを受信する（ステップＳ１７）。なお、本ステップは、録画が終了した際に自動的に実行してもよいが、ユーザの指示に基づいて実行するようにしてもよい。

【0047】

次に、ステップＳ１８で、マスタ装置のオフセット算出部１０１３が、以下の情報を記憶する。
・マスタ装置が録画した映像ファイルのファイル名
・スレーブ装置が録画した映像ファイルのファイル名
・マスタ装置が取得したタイムスタンプ（Ｔ１）
・スレーブ装置が取得したタイムスタンプ（Ｔ２）
・通信所要時間（Ｔ３）
・算出されたオフセット（ΔＴ）
オフセット算出部１０１３は、映像ファイルとともに、これらの情報（以下、オフセット情報）を補助記憶装置１０２に記憶する。図９は、ステップＳ１８でマスタ装置に記憶されるオフセット情報の例である。

【0048】

映像ファイルの転送およびオフセット情報の取得が完了すると、マスタ装置（動画管理部１０１４）による動画の編集が可能になる。動画管理部１０１４は、複数の動画ファイルをタイムライン上に配置し、ユーザからの編集操作を受け付ける。

【0049】

図１０は、情報処理装置１００Ａのユーザに提供される編集画面の例である。
編集画面は、ソース画面およびコントロールボタン等が出力されるエリア１００１と、タイムラインが出力されるエリア１００２を含んで構成される。本例では、複数の映像ソースにそれぞれレイヤーが一つずつ割り当てられ、レイヤー間のトランジション（例えば、クロスディゾルブ、ホワイトアウト、ブラックアウト、ワイプ、押し出し、アイリスなど）や、マルチアングル化の指定が可能になっている。

【0050】

当該画面で編集を行った後、ユーザが出力操作を行うと、編集内容が反映された映像が最終的に出力される。なお、出力時の音声トラックは、いずれかの映像ソースに含まれるものを使用することができる。例えば、マスタ装置が収録した音声を、全体の音声ソースとして採用することができる。

【0051】

本実施形態では、オフセット情報に定義された複数のファイルがタイムライン上に配置された場合に、動画管理部１０１４が、双方の映像ソースが同期するようにその配置位置を調整する。
図９に示したオフセット情報を例に説明する。この場合、映像ファイル「MOV0001A」に含まれる映像ソースと、「MOV0001B」に含まれる映像ソースとの間に０．２５秒のオフセット時間が存在することを示している。この場合、タイムラインに「MOV0001A」と「MOV0001B」に対応する映像ソースが配置された時点で、いずれか（好ましくは後から配置した映像ソース）の開始時間を、オフセット時間の分だけずらす。例えば、図１０の例では、「MOV0001B」に対応する映像ソースを後方に０．２５秒（符号１００３）だけずらして配置する。換言すると、「MOV0001B」に対応する映像ソースの先頭に、空白時間を挿入する。なお、オフセット値がマイナスであった場合、映像を一部カットしてもよい。
第一の実施形態では、動画管理部１０１４がこのような処理を行うことで、複数の映像ソース間の同期を取る。

【0052】

なお、オフセット時間に対応する空白時間は、ユーザが判別できるようにグラフィカルに示してもよい。また、双方の映像ソースが同期している場合、その旨を示すインジケータを画面に表示するようにしてもよい。
また、映像ソースのそれぞれは、タイムライン上の任意の位置に移動可能としてもよい。さらに、ある映像ソースが移動された場合に、対となる他の映像ソースを追従させてもよい。すなわち、オフセット時間が保持されるように、映像ソース間の相対位置を自動的に保つようにしてもよい。

【0053】

以上説明したように、第一の実施形態によると、マスタ装置とスレーブ装置が対象物を撮影するシステムにおいて、装置同士が互いに通信を行うことで、映像ソース間のオフセット時間を取得し、かつ、編集の過程において、算出したオフセット時間に基づいて映像ソースの位置を自動的に補正する。かかる構成によると、録画を開始したタイミングが装置間でまちまちな状況であっても、映像ソース間の同期をとることができる。

【0054】

なお、第一の実施形態では、オフセット時間の算出を一回のみ実行したが、オフセット時間の算出は複数回実行してもよい。この場合、図７に示した処理を複数回行い、得られたオフセット時間の代表値（例えば、平均値）を取得してもよい。装置間の通信所要時間は非常に短いため、一回の通信のみでは正確なオフセット時間が算出できない場合があるが、オフセット時間の算出を複数回行って代表値を得ることで、その精度を向上させることができる。

【0055】

（第二の実施形態）
第一の実施形態では、マスタ装置とスレーブ装置の双方が録画を開始した後で、マスタ装置が図７に示した処理を実行することでオフセット時間を取得した。しかし、当該形態では十分に映像ソース間の同期を取ることができないケースが存在する。

【0056】

この問題について、図３（Ｂ）を参照しながら説明する。
問題の一つに、撮影装置間でクロックが同期していないという点がある。例えば、図示した映像ソースＡを取得する撮影装置と、映像ソースＣを取得する撮影装置は、別々のクロックによって動作しているため、計時能力に差があり、これに起因した時間のずれが発生しうる。例えば、同一の長さ（１０分０秒）の演奏を録画したにもかかわらず、ある撮影装置は９分５９秒を計時し、別の撮影装置は１０分１秒を計時するといったケースが生ずる。このずれに対処しないと、時間の経過とともに（例えば、楽曲の進行とともに）ずれ幅が拡大するといった問題が発生してしまう。

【0057】

第二の実施形態は、これに対応するため、第一の実施形態で述べたオフセット時間の取得処理を周期的に実行する。
第二の実施形態では、マスタ装置が、ステップＳ１３とステップＳ１４Ａの間で、図７に示した処理を、所定の周期（以下、第一の周期）ごとに実行し、オフセット時間に関する情報を蓄積する。
この結果、第一の周期ごとに複数のオフセット時間が取得される。第二の実施形態では、このようにして得られた複数のオフセット時間を、さらに第二の周期ごとに統合し、その代表値を取得する。図１１は、第一の周期と第二の周期との関係を示した図である。

【0058】

図１２は、第一の周期ごとに取得された複数のオフセット時間を示した図である。本例では、オフセット時間の算出処理を５秒ごとに実行し、その代表値を３０秒ごとに取得する。代表値は、例えば、平均値や中央値を採用することができる。そして、このようにして取得したオフセット時間の代表値を、第二の周期におけるずれ時間として扱う。図示した例の場合、オフセット時間の平均値０．３秒が、３０秒間におけるオフセット時間の代表値として扱われる。

【0059】

第一の実施形態では、符号１００３に示した時間を挿入することで映像ソース間の同期を取った。すなわち、映像ソースの位置補正を一回のみ行った。これに対し、第二の実施形態では、映像ソースの切り替えを行うタイミングごとに、映像ソースの位置補正を実施する。これは、時間の経過とともにずれ幅が拡大してしまうため、一回の補正のみでは十分な効果を得ることができないためである。

【0060】

図１３は、補正を行うタイミングを説明する図である。本例では、新たな映像が画面に現れるタイミングで、当該映像の位置を補正する。具体的には、符号１３０１で示したタイミングで映像ソースＢの位置を補正し、符号１３０２で示したタイミングで映像ソースＣの位置を補正する。符号１３０１で示したタイミングでは、周期２に対応するオフセット時間を用いて補正を行い、符号１３０２で示したタイミングでは、周期３に対応するオフセット時間を用いて補正を行う。補正は、オフセット時間が正値であった場合は空白時間を挿入することで行ってもよいし、負値であった場合は映像の一部をカットすることで行ってもよい。

【0061】

以上に説明したように、第二の実施形態によると、第一の周期ごとにオフセット時間を周期的に算出したうえで、当該オフセット時間の代表値を用いて映像ソースの位置補正を行う。かかる構成によると、時間の経過とともにずれが拡大してしまうようなケースにも対応することができる。

【0062】

なお、第二の実施形態では、第一の周期ごとに算出したオフセット時間の代表値を第二の周期ごとに算出したが、オフセット時間の代表値を算出せず、第一の周期ごとに算出したオフセット時間をそのまま用いて、映像ソースの位置補正を行ってもよい。

【0063】

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、例示した各実施形態は組み合わせて実施してもよい。

【0064】

また、実施形態の説明では、撮影装置として、カメラを内蔵したタブレットコンピュータを例示したが、撮影装置は他の形態であってもよい。

【0065】

また、実施形態の説明では、マスタ装置、スレーブ装置ともに一台である例を示したが、スレーブ装置は複数台であってもよい。この場合、ステップＳ１２～Ｓ１３、および、Ｓ１５～Ｓ１８に示した処理を、スレーブ装置の台数分実行するようにしてもよい。また、図７に示した処理も、同様にスレーブ装置の台数分実行し、オフセット情報をそれぞれ取得するようにしてもよい。この場合、映像ソースの位置補正を、映像ソースのペアごとに実施するようにしてもよい。例えば、マスタ装置によって映像ソースＡが取得され、スレーブ装置によって映像ソースＢおよびＣが取得された場合、映像ソースＡを基準として、映像ソースＢおよびＣの位置をそれぞれ補正するようにしてもよい。

【0066】

さらに、実施形態の説明では、マスタ装置が主体となって、全てのスレーブ装置についてのオフセット時間を管理したが、必ずしも、撮影装置を兼ねる一台のマスタ装置がオフセット時間を管理する必要はない。例えば、複数の情報処理装置が分散してオフセット時間の管理を行ってもよいし、複数台の撮影装置を管理する（撮影機能を有さない）サーバ装置が、オフセット時間を算出および管理してもよい。
また、映像の編集も、必ずしもマスタ装置によって実行される必要はない。例えば、複数台の撮影装置を管理するサーバ装置が、複数の情報処理装置から映像ソースを受信し、編集を実行するようにしてもよい。

【0067】

また、実施形態の説明では、図８に示したように、タイムスタンプＴ２が示す時刻が、通信所要時間Ｔ３の半分に該当するタイミングに存在するものと仮定したが、必ずしもこの形態に限られない。例えば、装置内での処理にかかる時間（要求を受信してから応答を返すまでにかかる時間）が既知である場合、当該時間を考慮したうえでオフセット時間を算出してもよい。
また、実施形態の説明では、マスタ装置がスレーブ装置に対して録画の開始および終了を指示したが、録画の開始および終了は手動で行われてもよい。

【符号の説明】

【0068】

１００：情報処理装置
１０１：制御部
１０２：補助記憶装置
１０３：主記憶装置
１０４：入出力部
１０５：カメラ
１０６：マイク
１０７：通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】