特開 2022-36376 ＡＲ動画再生システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022036376

(43)【公開日】2022-03-08

(54)【発明の名称】ＡＲ動画再生システム

(51)【国際特許分類】

   H04N 21/43 20110101AFI20220301BHJP

   H04N 21/436 20110101ALI20220301BHJP

   H04N 21/44 20110101ALI20220301BHJP

   G06F 13/00 20060101ALI20220301BHJP

【ＦＩ】

H04N21/43

H04N21/436

H04N21/44

G06F13/00 550A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020140542

(22)【出願日】2020-08-24

(71)【出願人】

【識別番号】501379889

【氏名又は名称】株式会社イメージソース

(74)【代理人】

【識別番号】230122390

【弁護士】

【氏名又は名称】石原 一樹

(72)【発明者】

【氏名】吉井 正宣

(72)【発明者】

【氏名】石川 達哉

【テーマコード（参考）】

5B084

5C164

【Ｆターム（参考）】

5B084AA01

5B084AA02

5B084AA05

5B084AA12

5B084AB31

5B084BA03

5B084BB04

5B084CA07

5B084CB06

5B084CB24

5B084CD25

5B084DB01

5B084DC02

5B084DC13

5B084EA47

5C164FA06

5C164TB31S

5C164UA02S

5C164UA04S

5C164UA42S

5C164UB01P

5C164UB04P

5C164UB36S

5C164UB71P

(57)【要約】      （修正有）

【課題】再生される動画と、同期するＡＲ画像との間その同期のずれを極力抑制する動画再生システムを提供する。
【解決手段】ＡＲ動画再生システム１００は、基準時刻を管理する時間管理部を有するタイムサーバ（配信サーバ）と、ＰＣ及びスマートフォンにおける端末時刻情報を取得し、タイムサーバから基準時刻を取得して、端末時刻情報との差分を算出して推定端末時刻を算出する推定端末時刻算出部を有するスマートフォン３０と、ＰＣ及びスマートフォン内で同時に再生が開始される再生開始時刻を設定する再生時刻管理部を有するＰＣ２０と、を備える。動画再生部は、ＰＣにおける推定端末時刻が再生開始時刻になった際に、動画の第1表示部における再生を開始し、ＡＲ再生部は、スマートフォンにおける推定端末時刻が再生開始時刻になったときにＡＲ画像の第２表示部における再生を開始する。
【選択図】図２

【特許請求の範囲】

【請求項1】

再生された動画と連動するＡＲ画像を動画とともに再生可能なＡＲ動画再生システムであって、
動画を再生可能な第1の表示部と、ストリーミング形式で配信された動画、またはダウンロードされた動画を前記第１の表示部に表示させる動画再生部と、を有する第1の情報端末と、
前記第１の情報端末で再生されている動画を撮影することで、自らの端末上の第２の表示部において、撮影している動画と同期した前記ＡＲ画像を表示させるＡＲ再生部を有する第2の情報端末と、
前記第1及び第2の情報端末をペアリングするペアリング部と、基準時刻を管理する時間管理部を有するタイムサーバと、
前記第1及び第2の情報端末における端末内の端末時刻情報を取得し、タイムサーバから推定基準時刻を取得して、前記端末時刻情報との差分を算出して推定端末時刻を算出する推定端末時刻算出部と、
前記前記第1、及び第2の情報端末内で同時に再生が開始される再生開始時刻を設定する再生時刻管理部と、
を備えるとともに、
前記動画再生部は、前記第1の情報端末における前記推定端末時刻が前記再生開始時刻になった際に動画の前記第1の表示部における再生を開始し、
前記ＡＲ再生部は、前記第２の情報端末における前記推定端末時刻が前記再生開始時刻になったときに前記ＡＲ画像の前記第２の表示部における再生を開始する
ことを特徴とするＡＲ動画再生システム。

【請求項2】

前記第２の情報端末は、
前記第１の表示部で再生中の動画をその途中から撮影を開始した場合に、前記再生開始時刻からの経過時間を算出する経過時間取得部と、
をさらに備え、
前記ＡＲ再生部は、前記推定端末時刻が、前記再生開始時刻から前記経過時間が過ぎた時点の前記ＡＲ画像の再生を開始する
ことを特徴とする請求項１に記載のＡＲ動画再生システム。

【請求項3】

前記動画再生部は、ストリーミング形式で配信された動画を再生するものであって、
配信する動画内に動画を撮影時点における撮影時刻をエンコードする時刻エンコーディング部と、
前記第1の表示部にて前記動画を再生時に、エンコーディングされた前記撮影時刻をデコードするデコード部と、再生が開始された時点での第1の情報端末の前記推定端末時刻と前記撮影時刻とのずれを検出して、その再生の遅延時間を算出する遅延時間算出部と、
をさらに備え、
前記再生時刻管理部は、前記タイムサーバから通知された基準再生開始時刻に算出された前記遅延時間を加味して前記再生開始時刻を設定する
ことを特徴とする請求項１又は２に記載のＡＲ動画再生システム。

【請求項4】

前記動画再生部は、ダウンロード形式で配信された動画を再生するものであって、
前記再生時刻管理部は、前記第1の情報端末において、前記動画の再生が開始されたことをトリガーに前記再生開始時刻を設定し、前記タイムサーバを介して前記第2の情報端末に対して前記再生開始時刻を通知する
ことを特徴とする請求項１または２に記載のＡＲ動画再生システム。

【請求項5】

前記再生時刻管理部は、前記第1の情報端末に設けられ、前記再生開始時刻を設定後、前記タイムサーバを介して前記第2の端末に前記再生開始時刻を通知する
ことを特徴とする請求項３に記載のＡＲ動画再生システム。

【請求項6】

前記再生時刻管理部は、前記第2の情報端末に設けられ、
前記遅延時間算出部は、前記遅延時間を前記タイムサーバを介して前記第2の情報端末に対して通知し、
前記再生時刻管理部は、通知された前記遅延時間と前記基準再生開始時刻から前記推定再生時間を設定する
ことを特徴とする請求項３に記載のＡＲ動画再生システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲ動画再生システムに関する。

【背景技術】

【0002】

従来、ＰＣのディスプレイやデジタルサイネージなどで再生される動画をスマートフォンで撮影することで、その動画に連動する形でＡＲ画像をスマートフォン上に表示させる技術が知られている。例えば、非特許文献１に記載の技術であれば、再生される動画内に電子透かしを埋め込み、スマートフォンなどで読み込んだ際に電子透かしと対応するクーポンや演出が表示されるようになっている。電子透かしの形態としては、動画の４辺に細い枠が設定されており、スマートフォンをかざすと、まずこの領域が検出される。次いで、この検出された領域からIDを暗号化したデータが読みだされ、IDと対応するデータにアクセスすることで、画面上に任意の演出等の表示が可能となる。この技術では、読み込みをしてから約１秒ほどで表示が可能となっており、ユーザーに対して動画と同期する様々なＡＲの表示態様を提供することができる。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】NTTメディアインテリジェンス研究所「見えない透かしが映像と情報をつなぐ：モバイル動画透かし技術」

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば広告やクーポンのようなＡＲを対象とする場合、動画とＡＲとの間に多少のずれがあってもそれほど問題とならないため、上記の技術で対応が可能である。一方、音楽ライブや演劇などを対象にこのＡＲ同期技術を用いる場合、映像と演出のＡＲとの間に少しでもずれがあると、その演出の正確性を損なってしまうため好ましくない。本発明は、このような課題に対するものであり、再生される動画と、同期するＡＲ画像との間で、その同期のずれを極力抑制することを目的とするものである。

【課題を解決するための手段】

【0005】

上記課題を解決するために、第１の発明は、再生された動画と連動するＡＲ画像を動画とともに再生可能なＡＲ動画再生システムであって、動画を再生可能な第1の表示部と、ストリーミング形式で配信された動画、またはダウンロードされた動画を前記第１の表示部に表示させる動画再生部と、を有する第1の情報端末と、前記第１の情報端末で再生されている動画を撮影することで、自らの端末上の第２の表示部において、撮影している動画と同期した前記ＡＲ画像を表示させるＡＲ再生部を有する第2の情報端末と、前記第1及び第2の情報端末をペアリングするペアリング部と、基準時刻を管理する時間管理部を有するタイムサーバと、前記第1及び第2の情報端末における端末内の端末時刻情報を取得し、タイムサーバから基準時刻を取得して、前記端末時刻情報との差分を算出して推定端末時刻を算出する推定端末時刻算出部と、前記前記第1、及び第2の情報端末内で同時に再生が開始される再生開始時刻を設定する再生時刻管理部と、を備える。

【0006】

そして、前記第1の情報端末は、前記動画再生部は、前記第1の情報端末における前記推定端末時刻が前記再生開始時刻になった際に動画の前記第1の表示部における再生を開始し、前記ＡＲ再生部は、前記第２の情報端末における前記推定端末時刻が前記再生開始時刻になったときに前記ＡＲ画像の前記第２の表示部における再生を開始することを特徴とする。

【0007】

第２の発明は、請求項1に記載のＡＲ動画再生システムにおいて、前記第２の情報端末は、前記第１の表示部で再生中の動画をその途中から撮影を開始した場合に、前記再生開始時刻からの経過時間を算出する経過時間取得部と、をさらに備え、前記ＡＲ再生部は、前記推定端末時刻が、前記再生開始時刻から前記経過時間が過ぎた時点の前記ＡＲ画像の再生を開始することを特徴とする。

【0008】

第３の発明は、請求項１または２に記載のＡＲ動画再生システムにおいて、前記第２の情報端末は、前記第１の表示部で再生中の動画をその途中から撮影を開始した場合に、ペアリングされている前記第１の情報端末で再生されている動画の現在の再生開始からの経過時間を前記再生時刻管理部から取得する経過時間取得部と、をさらに備え、前記ＡＲ再生部は、取得した前記経過時間における前記ＡＲ画像の再生を開始することを特徴とする。

【0009】

第４の発明は、請求項1または２に記載のＡＲ動画再生システムにおいて、前記動画再生部は、ダウンロード形式で配信された動画を再生するものであって、前記再生時刻管理部は、前記第1の情報端末において、前記動画の再生が開始されたことをトリガーに前記再生開始時刻を設定し、前記タイムサーバを介して前記第2の情報端末に対して前記再生開始時刻を通知することを特徴とする。

【0010】

第５の発明は、請求項３に記載のＡＲ動画再生システムにおいて、前記再生時刻管理部は、前記第1の情報端末に設けられ、前記再生開始時刻を設定後、前記タイムサーバを介して前記第2の端末に前記再生開始時刻を通知することを特徴とする。

【0011】

第６の発明は、請求項３に記載のＡＲ動画再生システムにおいて、前記再生時刻管理部は、前記第２の情報端末に設けられ、前記遅延時間算出部は、前記遅延時間を前記タイムサーバを介して前記第2の情報端末に対して通知し、前記再生時刻管理部は、通知された前記遅延時間と前記基準再生開始時刻から前記推定再生時間を設定することを特徴とする。

【発明の効果】

【0012】

本発明のＡＲ動画再生システムによれば、動画の再生とＡＲ画像の表示との間のずれを極力抑えて同期させることができるようになる。

【図面の簡単な説明】

【0013】

【図1】第1の実施形態のＡＲ動画再生システムの利用態様を示す概要図である。

【図2】第1の実施形態のＡＲ動画再生システムの機能構成を示すブロック図である。

【図3】第1の実施形態のＡＲ動画再生システムにおけるＡＲ画像システムの処理の流れを示すシーケンス図である。

【図4】第1の実施形態のＡＲ動画再生システムの動画に埋め込まれたＡＲ画像同期のための電子透かしを示すイメージ図である。

【図5】第1の実施形態のユーザーＰＣにおける動画再生の処理の流れを示すフロー図である。

【図6】第１の実施形態の情報端末における端末時刻の遅延の調整にかかる処理の流れを示すフロー図である。

【図7】第１の実施形態のスマートフォンにおけるＡＲ画像の再生処理の流れを示すフロー図である。

【図8】第２の実施形態のＡＲ動画再生システムの機能構成を示すブロック図である。

【図9】第２の実施形態のＡＲ動画再生にかかる処理の流れを示すフロー図である。

【図10】第２の実施形態のＡＲ動画再生にかかる処理の流れを示すフロー図である。

【図11-1】第２の実施形態におけるＰＣ、スマートフォンの両方で遅延がなかった場合の動画、ＡＲの再生を行った場合を示すシーケンス図である。

【図11-2】第２の実施形態においてＰＣの端末時刻が早くなっている場合の動画、ＡＲの再生を行った場合を示すシーケンス図である。

【図11-3】第２の実施形態においてスマートフォンの端末時刻が早くなっている場合の動画、ＡＲの再生を行った場合を示すシーケンス図である。

【発明を実施するための形態】

【0014】

以下、本発明を具体的に記した実施の形態について図を参照して説明する。図１は、本発明のＡＲ動画再生システムの利用態様を示す図である。図１に示されるように、ＡＲ動画再生システムは、ライブや演劇といったライブパフォーマンスをビデオカメラ２によって撮影し、配信サーバ１０を通じてインターネット配信することを想定しているものである。ビデオカメラ２によって撮影された動画は、配信事業者によって配信サーバにアップロードされる。ユーザーはこの配信サーバにアクセスし、アップロードされた動画をダウンロード形式、またはストリーミング形式で視聴することができるが、第１の実施形態ではダウンロード形式の場合について説明する。

【0015】

配信サーバ１０はインターネットを通じて第１の情報端末であるＰＣ２０や、第２の情報端末であるスマートフォン３０と通信可能となっている。ＰＣ２０は配信サーバ１０から動画をダウンロードして保存し、ＰＣ内で再生してそのディスプレイに再生される動画を表示する。また、スマートフォン３０は、タッチパネルディスプレイなどによって構成される第２の表示部を備えており、デバイスに付属しているカメラ等で撮影をすると、リアルタイムで撮影中の画像がこのタッチパネルディスプレイ上に表示される。本実施形態のスマートフォン３０は、所定の動画を撮影している場合に、このタッチパネルディスプレイに動画と同期したＡＲを表示可能に構成されている。このようなＡＲ画像の表示機能を発揮するためには、スマートフォン３０は所定のアプリケーションをＡｐｐｌｅＳｔｏｒｅ（登録商標）や、Ｇｏｏｇｌｅストア（登録商標）などからダウンロードし、そのアプリケーションを立ち上げて、動画を撮影することで利用することができる。

【0016】

続いて、本実施形態のＡＲ動画再生システムの機能構成を図２のブロック図を参照して説明する。図２に示されるようにＡＲ動画再生システム１００は、配信サーバ１０、ＰＣ２０、スマートフォン３０を含んでいる。配信サーバ１０は、図３で示すＷｅｂｓｏｃｋｅｔサーバ１０ａ、およびＨＴＴＰサーバ１０ｂ、および特に図示していなが動画を配信する動画配信サーバを備えている。Ｗｅｂｓｏｃｋｅｔはウェブアプリケーションにおいて双方向通信をするための通信規格であり、ＦｉｒｅｂａｓｅＲｅａｌＴｉｍｅＤａｔａｂａｓｅを用いて実現することも可能である。

【0017】

配信サーバ１０は、機能としてはペアリング部１１、および時間管理部１２を備えている。ペアリング部１１は、ＰＣ２０、およびスマートフォン３０とをペアリングする。ペアリングの方法としては、ＰＣ２０事に固有の識別情報を有するQRコード（登録商標）を配信し、スマートフォン３０でＱＲコード（登録商標）を読み込んで識別情報を取得し、スマートフォン３０から配信サーバ１０へと通信する際に、この固有の識別情報も含めて送信する。そして、共通の識別情報をもったＰＣ２０とスマートフォン３０とをペアリングする方式である。また、ＰＣ２０とスマートフォン３０とでともに共通のＩＤでログイン処理を行い、ＩＤが共通のログイン中の情報端末をペアリングするようにしてもよい。時間管理部１２は、正確な誤差のない時間情報を管理しており、時間管理部１２によって推定基準時刻が管理されている。

【0018】

次いで、ＰＣ２０の機能構成について説明する。ＰＣ２０は、一般的にはユーザーが所有するノートパソコンなどを想定しているが、例えば映画館などでのライブビューイングなどの場合、ＰＣに接続されたプロジェクターで投射される映像を再生するようなものであってもよい。ＰＣ２０は、動画再生部２１、第１表示部２２、推定端末時刻算出部２３、再生時刻管理部２４を備えている。動画再生部２１は、配信サーバ１０からダウンロードした動画を再生し、第１の表示部２２に表示させる。第１の表示部２２は、ＰＣ付属のディスプレイなどを想定しているが、前述のようにプロジェクターなどによる投影であってもよい。

【0019】

推定端末時刻算出部２３は、ＰＣ２０の推定端末時刻を算出する。ＰＣなどには内部にタイマーを有しており、そこに現在時刻を管理しているが、この現在時刻は端末ごとに多少のずれが生じるケースがある。推定端末時刻算出部２３は、こうしたずれを測定し、正確な時刻を算出する機能を有する。

【0020】

再生時刻管理部２３は、ＰＣ２０、およびスマートフォン３０において動画やＡＲ画像を再生開始する時刻（再生開始時刻）を設定して通知する。再生時刻管理部２３は、ペアリングされたスマートフォン３０との間で動画とＡＲ画像が同期するように再生開始時刻を設定し、再生開始時刻は配信サーバ１０を通じてスマートフォン３０にも通知される。

【0021】

次いで、スマートフォン３０の機能構成について説明する。スマートフォン３０には、ＡＲ再生部３１、第２表示部３２、撮影部３３、経過時間取得部３４、推定端末時刻算出部３５を備えている。ＡＲ再生部３１は、撮影部３３でＰＣ２０の画面を撮影した際に、再生されている動画と同期したＡＲ画像を第２表示部３３に表示させる。また、ＡＲ再生部３１はあらかじめ決まったＡＲ画像を表示させるだけでなくユーザーの操作、例えばスマートフォンを振ったり、タッチパネルにタッチしたりといった操作によって、ＡＲをインタラクティブに変化させるような態様でＡＲ画像を表示させることも可能である。

【0022】

撮影部３３は、スマートフォン３０に設けられたカメラや外付けのカメラなどであり、撮影しているものをリアルタイムで第２表示部３２に表示させることができる。撮影部３３が図４で示すＡＲの読み出し用のマーカーを検出すると、スマートフォン３０が配信サーバ１０と通信を行ってマーカーと対応するＡＲを識別するための情報を受け取り、ＡＲ画像の再生を行う。なお、配信サーバ１０とは通信を行わず、スマートフォン３０のＡＲ画像再生用アプリにＡＲコンテンツに関する情報を持たせ、アプリ内で完結してコンテンツの読み出しを行うようにすることもできる。ＡＲ画像読み取り用のマーカー（電子透かし）は、動画の周縁部に設けられており、動画内に埋め込むのではなく、動画と区別可能な形で表示されている。また、撮影時にユーザーがこのマーカーを認識しやすい用にガイドなどを表示するようにしてもよい。また、ライブなどでの利用のため、観客の頭部などで隠れやすい画面下側部分にはマーカーを設けないようにするといった工夫も環境によっては必要である。

【0023】

経過時間取得部３４は、ＰＣ２０において動画の再生が開始されてからの経過時間を取得することができる。経過時間は、配信サーバ１０によって管理されており、サーバ内の基準時刻とＰＣ２０が設定した再生開始時刻との差異によって算出することができる。経過時間取得部３４は、配信サーバ１０にこの経過時間をリクエストして取得する。推定端末時刻算出部３５は、ＰＣ２０の推定端末時刻算出部２３と同様の動作をする。

【0024】

続いて、ＰＣ２０、スマートフォン３０が配信サーバ１０と通信する流れを図３を用いて説明する。図３に示されるように、ＰＣ２０はＨＴＴＰサーバ１０ｂに対して、時間管理部１２が管理するサーバ時間（基準時刻）のリクエスト要求を出す（ステップＳ１０１）。ＨＴＴＰサーバ１０ｂはリクエスト要求に対してサーバ時間を送信する（ステップＳ１０２）。同様に、スマートフォン３０はＨＴＴＰサーバ１０ｂに対して、時間管理部１２が管理するサーバ時間（基準時刻）のリクエスト要求を出す（ステップＳ１０３）。ＨＴＴＰサーバ１０ｂはリクエスト要求に対してサーバ時間を送信する（ステップＳ１０４）。

【0025】

次いで、Ｗｅｂｓｏｃｋｅｔサーバ１０ａは、ＰＣ２０とスマートフォン３０とのペアリング処理を行う。ペアリング処理にあたっては、まずＷｅｂｓｏｃｋｅｔサーバ１０ａは、ペアリング用のＰＣ事の固有の読み取り用のＱＲコード（登録商標）を発行し、ＰＣ２０に送信する（ステップＳ１０５）。なお、Ｗｅｂｓｏｃｋｅｔサーバ１０ａでは、識別情報の発行と送信のみを行い、ＰＣ２０が識別情報と対応するＱＲコード（登録商標）を生成して表示するようにしてもよい。ＱＲコード（登録商標）を受信したＰＣ２０は、ディプレイ上にＱＲコード（登録商標）を表示し、スマートフォン３０によって読み取りが行われる（ステップＳ１０６）。ＱＲコード（登録商標）の読み取りが終わると、Ｗｅｂｓｏｃｋｅｔサーバ１０ａには、読み取りを行ったスマートフォン３０とＰＣ２０の識別情報が送られ、これらがペアリングされる（ステップＳ１０７）。

【0026】

そして、ＰＣ２０において動画の再生の操作が行われると、ＰＣ２０の再生時刻管理部２３は、動画、およびＡＲ画像の再生開始時刻を設定して、Ｗｅｂｓｏｃｋｅｔサーバ１０ａに通知する（ステップＳ１０８）。Ｗｅｂｓｏｃｋｅｔサーバ１０ｂは、再生開始時刻を受信すると、そのままスマートフォン３０へと通知する（ステップＳ１０９）。動画再生部２１、およびＡＲ再生部３１は、再生開始時刻になるまで待機し、時刻になることで再生を開始する。

【0027】

続いて、ＰＣ２０における動画再生にかかる処理の流れを図５を参照して説明する。図５５に示されるように、まずＰＣ２０は配信サーバ１０に対するログイン処理を実行する（ステップＳ２０１）。本処理は、ＰＣ２０をサーバ１０において識別可能とするための処理であるが、ログイン認証をしなくてもＰＣ２０とスマートフォン３０とがペアリングできていれば以下で示す同期の処理は可能なため、本ステップは省略することもできる。

【0028】

次いでＰＣ２０は、端末内時刻の調整処理を実行する（ステップＳ２０２）。端末内時刻の調整処理は、ＰＣ２０の内部時間と配信サーバ１０の基準時刻のずれを修正する処理です。図６に端末内時刻調整の処理の詳細の流れを示す。図６に示されるように、端末時刻調整処理はＮ回繰り返して実行される（ステップＳ２０２ａ）。まず推定端末時刻算出部２３は、ＨＴＴＰサーバ１０ｂの時間管理部１２に対して基準時刻の取得リクエストを送信するとともに、送信時におけるリクエスト送信時刻を取得する（ステップＳ２０２ｂ）。取得リクエストを受け取ったＨＴＴＰサーバ１０ｂの時間管理部１２は、リクエストを受け取った時点における基準時刻を取得して、推定端末時刻算出部２３に返信する（ステップＳ２０２ｃ）。

【0029】

ＨＴＴＰサーバ１０ｂから基準時刻を受け取った推定端末時刻算出部２３は、受け取った時点におけるレスポンス到着時刻を取得する（ステップＳ２０２ｄ）。推定端末時刻算出部２３は、端末とサーバの時刻の差である推定時刻誤差を以下の式で算出する（ステップＳ２０２ｅ）。

推定時刻誤差 ＝（リクエスト送信時刻 ＋ レスポンス到着時刻）/ 2－ 基準時刻

すなわち、ＨＴＴＰサーバ１０ｂで基準時刻を取得した瞬間は、デバイス時刻でのリクエスト送信時刻とレスポンス到着時間の中間に近似するという仮定のもと、デバイス時刻とサーバ時刻の差を算出する。以上の処理をＮ回繰り返す。

【0030】

そして、Ｎ回推定時刻誤差を算出した推定端末時刻算出部２３は、Ｎ回分の推定時刻誤差の平均値である平均推定時刻誤差を算出する（ステップＳ２０２ｆ）。時刻の誤差を複数回繰り返すことによって、サーバと端末内の時間のずれの誤差を極力抑制することができる。そして、最後に推定端末時刻算出部２３は、｛推定端末時刻 = デバイス時刻 - 平均推定時刻誤差}の式によって、推定端末時刻を算出する（ステップＳ２０２ｇ）。

【0031】

図５に説明をもどし、推定端末時刻を取得したＰＣ２０は、スマートフォン３０からの動画の撮影をして接続要求があるまで待機する（ステップＳ２０３）。接続要求は再生中の動画を読み取ることによって送信されるようにしてもよいし、再生前の動画の待機中画面に表示される電子透かしを読み込んで送信されるようにしてもよい。なお、ステップＳ２０３のスマートフォン３０からの接続要求の有無にかかわらず、動画を再生開始するようにしてもよい。次いで、ＰＣ２０は動画の再生処理の操作を受けつけると（ステップＳ２０４）、再生時刻管理部２３は操作のあった時点を起点として再生時刻を設定する（ステップＳ２０５）。再生時刻は算出された推定端末時刻を基準に設定しており、すなわち推定端末時刻が再生時刻になった時点で動画の再生が開始される時間である。動画再生部２１は、推定端末時刻が再生時刻になるまで待機し（ステップＳ２０６）、再生時刻になると動画の再生を開始する（ステップＳ２０７）。

【0032】

次いで、図７を参照して、スマートフォン３０におけるＡＲ画像の再生の処理の流れを説明する。図７に示されるように、スマートフォン３０もまず配信サーバ１０に対してログイン処理を行う（ステップＳ３０１）。当処理もＰＣ２０と同様省略可能である。次いで、推定端末時刻算出部３５が端末時刻の調整処理を実施する（ステップＳ３０２）。端末時刻の調整処理の流れもＰＣ２０における処理と同様である。

【0033】

次いで、撮影部３３によってＰＣ２０の第1表示部２２に表示された動画を撮影すると、動画内に受けこまれたコードを読み込んで配信サーバ１０に対して再生開始時刻の取得要求を行う（ステップＳ３０３）。なお、撮影開始時刻の取得要求は、動画の撮影とは独立して実行するようにしてもよい。再生開始時刻はＰＣ２０が配信サーバ１０を介してスマートフォン３０に送信するため、スマートフォン３０では再生開始時刻が送信されてくるまで待機し再生開始時刻の取得を行う（ステップＳ３０４）。そして、ＡＲ再生部３１は、再生開始時刻になるまで待機し（ステップＳ３０５）、次いで再生開始時刻後に再生開始時刻からの経過時間を取得する（ステップＳ３０６）。そして、取得した経過時間により再生開始時刻よりも経過している場合（ステップＳ３０７：Ｙｅｓ）、ＡＲ再生部３１はその経過時間の時点からＡＲ画像を再生する（ステップＳ３０９）。一方、取得した経過時間が再生開始時刻を経過していない場合（ステップＳ３０７：Ｎｏ）、ＡＲ再生部３１はＡＲ画像を最初から再生する（ステップＳ３０８）。

【0034】

以上に示した本実施形態のＡＲ動画再生システム１００においては、ＰＣ２０、及びスマートフォン３０のそれぞれにおいて配信サーバ１０との基準時間のずれを取得した上でこれらの間に誤差の内容に端末時刻を揃える処理を行う。したがって、再生開始時刻において同時に動画とＡＲ画像の再生を開始することができるようになるため、秒以下の細かい動画とＡＲの演出の同期を行うことができるようになる。

【0035】

また、各端末の時間の誤差を測定するために、タイムサーバーに対して基準時刻の取得のリクエストの発信を行った時刻と、返信があった時刻における端末内の時刻の中間値とサーバーの基準時刻との差異を複数回にわたって測定し、その平均値を求めるようにしたため、通信状況の差を抑制した時間の誤差を算出することができるようになる。

【0036】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、ライブ会場などでライブをカメラ中継し、そのままストリーミング配信する形式を想定している。この場合、第１の実施形態で言及した端末の内部時刻の誤差以外に、配信の際に発生する配信遅延の誤差がＡＲ画像と動画との同期を妨げる要因となるため、この課題に対する解決を図るものである。

【0037】

図８は、第２の実施形態におけるＡＲ動画再生システムの機能構成を示す図である。第１の実施形態と異なる点は、配信サーバ１０にエンコード部１３が設けられ、ＰＣ２０にデコード部２５が設けられている点である。エンコード部１３は、撮影した動画を配信サーバ１０にアップロードする際に、その撮影時刻がタイムコードとしてエンコードして動画内に埋め込む処理を行う。また、デコード部２５は、動画を再生する際にエンコードされたタイムコードを読み出し、その動画の撮影時刻を取得する。

【0038】

エンコード部１３は、例えば動画の撮影された時刻が19時00分である場合、そのシーンに対して19時00分の撮影時刻の情報をエンコードする。なお、エンコードする時刻は撮影開始時点だけではなく、例えば1分毎のように各動画のシーンに対して撮影時刻の情報をエンコードするようにしてもよい。デコード部２５は、動画を配信サーバ１０から受け取るとそのシーンごとに埋め込まれた撮影時刻の情報を読みだして取得する。そして、再生時刻管理部２４はこのデコードした時刻情報と、動画取得時の誤差修正した推定端末時刻との差から配信時の遅延時間を算出する。例えば19時00分にエンコードされたシーンが、19時00分10秒に受信されている場合は、遅延時間が10秒あったと判断し、対応するＡＲ画像の再生開始時間を10秒遅らせるよう処理する。

【0039】

図９は、第２の実施形態における動画の配信とＡＲの再生の処理の流れを示すシーケンス図である。図９に示されるように、本実施形態では動画の再生がユーザーの任意のタイミングではなく、ライブを一斉配信する形式であるため、配信者が動画の再生の操作を行う（ステップＳ４０１）。動画再生の処理が行われると配信サーバ１０の時間管理部１２は、マスター再生開始時刻を取得してＷｅｂｓｏｃｋｅｔサーバ１０ａに送る（ステップＳ４０２，Ｓ４０３）。マスター再生開始時刻は、ライブストリーミングであることから、配信サーバ１０側で設定する時間であり、例えば１９時からライブを開始して撮影する場合、多少の時間の余裕をみて１９時０１分に設定する。Ｗｅｂｓｏｃｋｅｔサーバ１０ａは、受け取ったマスター再生開始時刻を接続要求のあった各ユーザーのＰＣ２０に対して送信する（ステップＳ４０４）。

【0040】

マスター再生開始時刻を取得した再生時刻管理部２４は（ステップＳ４０６）、先ほどの撮影時刻情報から算出した配信遅延の時間を加味して推定再生開始時刻を算出する（ステップＳ４０７）。例えば、配信が上述したように10秒遅れている場合、１９時０１分１０秒が推定再生開始時刻となる。再生時刻管理部２４は、算出した推定再生開始時刻をＷｅｂｓｏｃｋｅｔサーバ１０ｂを通じてスマートフォン３０へと送信する（ステップＳ４０８，Ｓ４０９）。スマートフォン３０のＡＲ再生部３１は、推定再生開始時刻を取得し（ステップＳ４１０）、推定再生開始時刻に推定端末時刻がなるまで待機する（ステップＳ４１１）。そして、推定再生開始時刻になったら、ＡＲ再生部３１はＡＲ画像の再生を開始する（ステップＳ４１２）。

【0041】

図９では推定再生開始時刻をＰＣ２０において設定したがこちらの別例としては、配信遅延の時間の計算はＰＣ２０において行うが、推定再生開始時刻の計算自体はスマートフォン３０で行う場合もありえる。この場合について図１０を用いて説明する。図１０に示されるように、ＰＣ２０の再生時刻管理部２４は、配信サーバ１０から送られる動画中の撮影時刻情報をデコードして取り出し、配信の遅延時間を算出する（ステップＳ５０１）。再生時刻管理部２４は、Ｗｅｂｓｏｃｋｅｔサーバ１０ｂを通じて、算出した遅延時間の情報をペアリングされているスマートフォン３０へと送信する（ステップＳ５０２，Ｓ５０３）。そして、スマートフォン３０の推定再生時刻管理部（図示せず）は、遅延時刻を取得し、配信サーバ１０からマスター再生開始時間が送られてくるまで待機する（ステップＳ５０４）。

【0042】

並行して配信サーバ１０は、ライブ配信のための再生操作が実施され（ステップＳ５０５）、この時点で時間管理部１２がマスター再生開始時刻を取得する（ステップＳ５０６）。時間管理部１２はＷｅｂｓｏｃｋｅｔサーバ１０ｂを介して各スマートフォン３０に対してマスター再生開始時刻を送信する（ステップＳ５０７、Ｓ５０８）。スマートフォン３０の推定再生時刻管理部は、送られたマスター再生開始時刻を取得し（ステップＳ５０９）、受け取った遅延時間を加味して推定再生開始時刻を算出する（ステップＳ５１０）。以降の処理については図９と同様のため説明は省略する。

【0043】

このような配信遅延にかかる処理と情報端末内の時刻のずれの調整が必要となるのは、以下で示すような場合があるためである。ここにその本実施形態が解決すべき状況について言及する。図１１－１においては、ＰＣ２０とスマートフォン３０の両方において端末内時刻のずれがない場合である。この場合、配信遅延が10秒あり、マスター再生開始時刻として19時01分00秒が通知された場合に、ＰＣ２０は遅延を含めて19時01分10秒を推定再生開始時刻とする。ＰＣ２０とスマートフォン３０との端末時刻のずれはないため、この場合は動画とＡＲ画像は同期して再生される。

【0044】

一方、図１１－２はＰＣ２０の端末内時刻が20秒進んでいる場合であり、この場合端末内時刻を調整していないと、ＰＣ２０にとっては遅延は30秒あると判断されてしまう。そのため、推定再生開始時刻はマスター再生開始時刻が19時01分00秒が通知された場合であっても、19時01分30秒が推定再生開始時刻ととってしまい、この値をスマートフォン３０が参照してＡＲ画像を再生するとＡＲ画像が動画の再生と比較して20秒遅れて再生されるようになってしまう。

【0045】

また、図１１－３はスマートフォン３０の端末内時刻が20秒進んでいる場合であり、この場合、ＰＣ２０の端末時刻は正しいため、推定再生開始時刻はマスター再生開始時刻が19時01分00秒が通知された場合には、19時01分10秒が推定再生開始時刻に設定される。この推定再生開始時刻がスマートフォン３０に通知されると、スマートフォン３０では端末内時間が20秒早いため、19時00分50秒の時点でＡＲ画像が再生されてしまうため、この場合も動画とＡＲ画像とが同期せずにずれて再生されてしまう。

【0046】

以上に示したように本実施形態のＡＲ動画再生システムにおいては、ライブストリーミング形式でリアルタイムで動画を配信する場合であっても、動画内に撮影時刻を埋め込み、ＰＣ２０側で読み出しすることで、配信の際の遅延がどれだけあったのかを把握することができ、配信の遅延も加味して再生開始時刻を設定することができる。そのため、リアルタイムのストリーミング配信であっても動画とＡＲ画像との同期がずれてしまう、という問題を抑制することができるようになる。

【0047】

以上に示した実施形態は、本発明のＡＲ画像再生システムの一例を示すものであり、本実施形態に発明は限定されない。サーバー構成や動画やＡＲ画像を再生する端末の構成は適宜変更可能であり、上記で示した構成以外でも利用することも可能です。

【符号の説明】

【0048】

１０・・・配信サーバ
１１・・・ペアリング部
１２・・・時間管理部
２０・・・ＰＣ
２１・・・動画再生部
２２・・・第１表示部
２３・・・推定端末時刻管理部
２４・・・再生時刻管理部
３０・・・スマートフォン
３１・・・ＡＲ再生部
３２・・・第２表示部
３３・・・撮影部
３４・・・経過時間取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11-1】

【図11-2】

【図11-3】