特許 7184192 遅延測定装置、遅延測定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】遅延測定装置、遅延測定方法及びプログラム

(51)【国際特許分類】

   G06F 11/34 20060101AFI20221129BHJP

【ＦＩ】

G06F11/34 119

【請求項の数】 6

(21)【出願番号】P 2021529564

(86)(22)【出願日】2019-07-01

(86)【国際出願番号】 JP2019026092

(87)【国際公開番号】W WO2021001883

(87)【国際公開日】2021-01-07

【審査請求日】2021-11-01

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】玉置 真也

(72)【発明者】

【氏名】桑原 健

(72)【発明者】

【氏名】川上 健太

(72)【発明者】

【氏名】浦田 悠介

(72)【発明者】

【氏名】岩澤 宏紀

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開２０１７－２１５８７５（ＪＰ，Ａ）

【文献】特開２０１６－１９２１３７（ＪＰ，Ａ）

【文献】特開２０１０－１９１５５３（ＪＰ，Ａ）

【文献】特開２００４－１９２６４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／３４

Ｇ０６Ｔ １／２０

Ｇ０６Ｔ １５／００

Ａ６３Ｆ １３／３５５

(57)【特許請求の範囲】

【請求項1】

画像のレンダリング処理を行うレンダリングサーバと通信ネットワークを介して接続される遅延測定装置であって、
前記遅延測定装置に含まれるセンサから取得されたセンサ情報と、所定の時間周期で取得されるトリガ情報とを前記レンダリングサーバに送信する送信手段と、
前記センサ情報と前記トリガ情報とに基づき前記レンダリングサーバでのレンダリング処理によって生成されたレンダリング画像を受信する受信手段と、
前記トリガ情報を前記レンダリングサーバに送信した時刻を示す第１の時刻と、前記レンダリング画像又は所定の画像が表示された時刻を示す第２の時刻との差分から所定の遅延を測定する測定手段と、
を有することを特徴とする遅延測定装置。

【請求項2】

前記レンダリング処理では、前記トリガ情報に基づいて、前記レンダリング画像に含まれる所定の部分領域が表す情報を変化させ、
前記測定手段は、
前記レンダリング画像に含まれる前記部分領域が表す情報が変化した時刻を前記第２の時刻として、前記第１の時刻と前記第２の時刻との差分から、前記表示に関する遅延を除くＥｎｄ－ｔｏ－Ｅｎｄ遅延を測定する、ことを特徴とする請求項１に記載の遅延測定装置。

【請求項3】

前記レンダリングサーバは、前記レンダリング画像がエンコードされる前に、前記レンダリング画像に含まれる所定の部分領域が表す情報が変化したか否かを判定した判定結果を前記遅延測定装置に送信し、
前記測定手段は、
前記判定結果に基づく画像が表示された時刻を前記第２の時刻として、前記第１の時刻と前記第２の時刻との差分から、前記表示に関する遅延と前記エンコード及びデコードに関する遅延とを除くＥｎｄ－ｔｏ－Ｅｎｄ遅延を測定する、ことを特徴とする請求項１に記載の遅延測定装置。

【請求項4】

前記レンダリングサーバは、前記トリガ情報を受信すると、応答情報を前記遅延測定装置に送信し、
前記測定手段は、
前記応答情報に基づく画像が表示された時刻を前記第２の時刻として、前記第１の時刻と前記第２の時刻との差分からネットワーク遅延を測定する、ことを特徴とする請求項１に記載の遅延測定装置。

【請求項5】

画像のレンダリング処理を行うレンダリングサーバと通信ネットワークを介して接続される遅延測定装置が、
前記遅延測定装置に含まれるセンサから取得されたセンサ情報と、所定の時間周期で取得されるトリガ情報とを前記レンダリングサーバに送信する送信手順と、
前記センサ情報と前記トリガ情報とに基づき前記レンダリングサーバでのレンダリング処理によって生成されたレンダリング画像を受信する受信手順と、
前記トリガ情報を前記レンダリングサーバに送信した時刻を示す第１の時刻と、前記レンダリング画像又は所定の画像が表示された時刻を示す第２の時刻との差分から所定の遅延を測定する測定手順と、
を実行することを特徴とする遅延測定方法。

【請求項6】

コンピュータを、請求項１乃至４の何れか一項に記載の遅延測定装置における各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遅延測定装置、遅延測定方法及びプログラムに関する。

【背景技術】

【0002】

近年、クラウド技術の発達や高速な通信環境の普及等により、サーバ側で画像のレンダリング処理を行って、ユーザ端末に画像を提供するサービスが増加している。このようなサービスはストリーミングサービスとも呼ばれる。ストリーミングサービスでは、ＧＰＵ（Graphics Processing Unit）等を搭載した機器をユーザ側に必要とせずに、例えばスマートフォン等の汎用端末に対してＶＲ（Virtual Reality）等の様々なアプリケーションが提供可能である。

【0003】

ここで、ＶＲ等のアプリケーションでは、ユーザ端末（例えば、ＨＤＭ（Head Mounted Display）等）のセンサ情報がサーバに送信されてから、このセンサ情報に基づいたカメラ視点の画像がサーバで描画されてユーザ端末に表示されるまでの遅延（この遅延は、「Motion-to-Photon Latency」又は「Motion-to-Photon遅延」等とも呼ばれる。）がユーザ体感品質に大きく影響する。また、この遅延以外にも様々な遅延要因があり、これらの遅延を把握することが、サービスの開発や構築、保守等において重要である。

【0004】

Motion-to-Photon遅延を測定するための技術として、ＨＭＤを自動回転させる測定装置を構築し、回転制御の信号とフォトダイオードの受光量の変化量の追随レスポンスとを比較して遅延量を算出する技術が知られている（非特許文献１）。また、人間の頭部の動きを模擬する測定装置を構築し、制御信号とフォトダイオードの受光量の変化量の追随レスポンスとを比較して遅延量を算出する技術が知られている（非特許文献２及び３）。

【先行技術文献】

【非特許文献】

【0005】

【文献】Jingbo Zhao et al., "Estimating the motion-to-photon latency in head mounted displays," 2017 IEEE Virtual Reality (VR), March 18-22, 2017.

【文献】Song-Woo Choi et al., "Time Sequential Motion-to-Photon Latency Measurement System for Virtual Reality Head-Mounted Displays," Electronics 2018, 7, 171.

【文献】4Gamer.net, 「Futuremark，VRの遅延を計測するプラットフォームをGDCとMobile World Congressで公開」, Feb.2017. ＜ＵＲＬ：http://jp.gamesindustry.biz/article/1702/17022203/＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の従来技術では、例えば、ＨＭＤを自動回転させる測定装置を構築したり、人間の頭部の動きを模擬する測定装置を構築したりする等、Motion-to-Photon遅延の測定のために専用の測定装置を構築する必要があった。また、上記の従来技術は、サービス提供中は測定を行うことができず、更に、Motion-to-Photon遅延の測定のみであり、遅延の内訳を解析することはできなかった。

【0007】

本発明の実施の形態は、上記の点に鑑みてなされたもので、レンダリングサーバで描画された画像をユーザ端末に表示する際の様々な遅延を簡易に測定することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の実施の形態では、画像のレンダリング処理を行うレンダリングサーバと通信ネットワークを介して接続される遅延測定装置であって、前記遅延測定装置に含まれるセンサから取得されたセンサ情報と、所定の時間周期で取得されるトリガ情報とを前記レンダリングサーバに送信する送信手段と、前記センサ情報と前記トリガ情報とに基づき前記レンダリングサーバでのレンダリング処理によって生成されたレンダリング画像を受信する受信手段と、前記トリガ情報を前記レンダリングサーバに送信した時刻を示す第１の時刻と、前記レンダリング画像又は所定の画像が表示された時刻を示す第２の時刻との差分から所定の遅延を測定する測定手段と、を有することを特徴とする。

【発明の効果】

【0009】

レンダリングサーバで描画された画像をユーザ端末に表示する際の様々な遅延を簡易に測定することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１における遅延測定システムの全体構成の一例を説明するための図である。

【図2】実施例１における遅延測定システムの機能構成の一例を説明するための図である。

【図3】実施例１における遅延測定処理の流れを説明するための図である。

【図4】実施例１におけるレンダリング結果として得られた画像の一例を説明するための図である。

【図5】実施例１における遅延測定結果の一例を説明するための図である。

【図6】実施例２における遅延測定システムの機能構成の一例を説明するための図である。

【図7】実施例２における遅延測定処理の流れを説明するための図である。

【図8】実施例３における遅延測定システムの機能構成の一例を説明するための図である。

【図9】実施例３における遅延測定処理の流れを説明するための図である。

【図10】実施例４における遅延測定システムの機能構成の一例を説明するための図である。

【図11】実施例４における遅延測定処理の流れを説明するための図である。

【図12】実施例５における遅延測定システムの機能構成の一例を説明するための図である。

【図13】実施例５における遅延測定処理の流れを説明するための図である。

【図14】実施例６における遅延測定システムの機能構成の一例を説明するための図である。

【図15】実施例６における遅延測定処理の流れを説明するための図である。

【図16】実施例６におけるレンダリング結果として得られた画像の一例を説明するための図（その１）である。

【図17】実施例６におけるレンダリング結果として得られた画像の一例を説明するための図（その２）である。

【図18】実施例７における遅延測定システムの機能構成の一例を説明するための図である。

【図19】コンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について説明する。本発明の実施の形態では、レンダリングサーバで描画された画像をユーザ端末に表示する際の様々な遅延を簡易に測定することができる遅延測定システム１について説明する。本発明の実施の形態では、後述するように、センサ情報（主信号、Ｕ－ｐｌａｎｅパケット）に最小限の計測用情報（トリガ情報等）を加えるだけで各種遅延の計測が可能になるため、例えば、通信ネットワークや仮想化基盤等に対しても低負荷に各種遅延の計測が可能になる。

【0012】

以降では、本発明の実施の形態における遅延測定システム１の実施例１～実施例７について説明する。なお、各実施例で同一の構成要素については同一の符号を付与し、その説明を省略するものとする。

【0013】

［実施例１］
まず、実施例１として、ユーザ端末での表示に関する遅延（以降、「端末遅延」とも表す。）を除くＥ２Ｅ（End-to-End）遅延を測定する場合について説明する。なお、Ｅ２Ｅ遅延とは、ユーザ端末がセンサ情報をレンダリングサーバに送信してから、レンダリングサーバで描画（レンダリング）された画像が当該ユーザ端末に表示されるまでの遅延（つまり、Motion-to-Photon遅延）のことである。

【0014】

（全体構成）
実施例１における遅延測定システム１の全体構成について、図１を参照しながら説明する。図１は、実施例１における遅延測定システム１の全体構成の一例を説明するための図である。

【0015】

図１に示すように、実施例１における遅延測定システム１には、ユーザ端末１０と、レンダリングサーバ２０と、モニタリングサーバ３０とが含まれる。また、ユーザ端末１０とレンダリングサーバ２０とモニタリングサーバ３０とは、例えばインターネット等の通信ネットワークＮを介して通信可能に接続される。

【0016】

ユーザ端末１０は、レンダリングサーバ２０で描画（レンダリング）された画像を利用するアプリケーションのユーザの端末である。ユーザ端末１０は各種センサ（例えば、モーションセンサ等）を備えており、これらのセンサから取得したセンサ情報をレンダリングサーバ２０に送信する。ユーザ端末１０としては、例えば、ＨＭＤやスマートフォン、タブレット端末、携帯型ゲーム機器等が用いられる。

【0017】

なお、レンダリングサーバ２０でレンダリングされた画像を利用するアプリケーションとしては様々なものがあるが、一例としては、ＶＲ、ゲーム、３Ｄ ＣＡＤ（Computer Aided Design）等が挙げられる。

【0018】

レンダリングサーバ２０は、ユーザ端末１０からセンサ情報を受信すると、このセンサ情報に基づくカメラ視点の画像を描画（レンダリング）するコンピュータ又はコンピュータシステムである。レンダリングサーバ２０でレンダリングされた画像（より正確には、レンダリングされた画像をエンコード（圧縮）した情報）はユーザ端末１０に送信され、当該ユーザ端末１０に表示（より正確には、当該ユーザ端末１０が備えるディスプレイ等に表示）される。

【0019】

モニタリングサーバ３０は、各種遅延を測定するためのコンピュータ又はコンピュータシステムである。モニタリングサーバ３０には、例えば、各種遅延の測定結果等が表示される。また、モニタリングサーバ３０は、測定モードを示す情報（測定モード情報）をユーザ端末１０に送信する。

【0020】

測定モードとは、どのような遅延を測定するかを示すモードのことであり、本発明の実施の形態では、例えば、「端末遅延を除くＥ２Ｅ遅延測定」、「ネットワーク遅延測定」、「端末遅延及びエンコード・デコード遅延を除く遅延」等がある。

【0021】

（機能構成）
実施例１における遅延測定システム１の機能構成について、図２を参照しながら説明する。図２は、実施例１における遅延測定システム１の機能構成の一例を説明するための図である。

【0022】

図２に示すように、実施例１におけるユーザ端末１０には、情報送信部１０１と、情報受信部１０２と、内部センサ情報取得部１０３と、内部センサ１０４と、クロック１０５と、トリガ情報送出部１０６と、トリガ情報取得部１０７と、デコード部１０８と、フレームバッファ１０９と、表示部１１０と、フレームバッファ読み出し部１１１と、判定部１１２とが含まれる。

【0023】

クロック１０５は、自走クロック（又は、ＧＰＳ（Global Positioning System）等から取得される他走クロック）である。トリガ情報送出部１０６は、クロック１０５のクロック信号に基づいて、周期的にトリガ情報を送出する。トリガ情報取得部１０７は、トリガ情報送出部１０６から送出されたトリガ情報を取得する（つまり、トリガ情報は周期的に取得される。）。なお、トリガ情報は「トリガ信号」等と称されてもよい。

【0024】

内部センサ情報取得部１０３は、内部センサ１０４からセンサ情報を取得する。内部センサ１０４とは、ユーザ端末１０の向きや位置、各種ボタンの押下やジョイスティックによる操作等を検出するセンサである。したがって、センサ情報とは、例えば、ユーザ端末１０の向きを示す情報やユーザ端末１０の位置を示す情報、ユーザによって押下されたボタンを示す情報、ユーザによって操作されたジョイスティックの操作方向を示す情報等である。

【0025】

情報送信部１０１は、トリガ情報が取得されたタイミングでは、トリガ情報とタイムスタンプとをモニタリングサーバ３０に送信する。また、同様に、トリガ情報が取得されたタイミングでは、情報送信部１０１は、センサ情報とトリガ情報とをレンダリングサーバ２０に送信する。一方で、情報送信部１０１は、トリガ情報が取得されていないタイミングでは、トリガ情報は送信せずに、センサ情報をレンダリングサーバ２０に送信する。

【0026】

情報受信部１０２は、レンダリングサーバ２０からエンコード情報（つまり、レンダリングされた画像をエンコード（圧縮）した情報）を受信する。また、情報受信部１０２は、モニタリングサーバ３０から測定モード情報等を受信する。ここで、後述するように、レンダリングされた画像（以降、「レンダリング画像」とも表す。）として、このレンダリング画像の一部の部分領域が２値情報のいずれかを表すように加工された画像をエンコードした情報がレンダリングサーバ２０から送信される。

【0027】

デコード部１０８は、情報受信部１０２により受信されたエンコード情報をデコードする。デコード部１０８によりデコードされた情報（つまり、レンダリング画像）は、フレームバッファ１０９に格納される。

【0028】

ここで、ユーザ端末１０の表示部１１０は少なくとも２つの画像表示レイヤを備えているものとして、２つの画像表示レイヤを第１レイヤ１３１及び第２レイヤ１３２とする。第１レイヤ１３１は最表面の画像表示レイヤであり、第２レイヤ１３２は最表面レイヤの１つ下の画像表示レイヤである。レンダリングサーバ２０から受信したエンコード情報をデコードした画像は、第２レイヤ１３２に表示される。

【0029】

フレームバッファ１０９には、第１レイヤ１３１に表示される画像が格納される第１レイヤバッファ１２１と、第２レイヤ１３２に表示される画像が格納される第２レイヤバッファ１２２とが含まれる。デコード部１０８でデコードされた情報（つまり、レンダリングされた画像）は、第２レイヤバッファ１２２に格納される。

【0030】

表示部１１０は、フレームバッファ１０９から画像を読み出して、この画像を表示する。上述したように、表示部１１０には、第１レイヤ１３１と第２レイヤ１３２とが含まれる。

【0031】

フレームバッファ読み出し部１１１は、フレームバッファ１０９に格納されている画像（より正確には、第２レイヤバッファ１２２に格納されている画像）の所定の部分領域を読み出す。すなわち、フレームバッファ読み出し部１１１は、レンダリング画像中で、２値情報を表す部分領域を読み込む。

【0032】

判定部１１２は、フレームバッファ読み出し部１１１により読み出された部分領域に基づいて、この部分領域が表す２値情報を判定する。すなわち、例えば、２値情報が「白」又は「黒」のいずれかである場合、判定部１１２は、当該部分領域が黒又は白のいずれを表すかを判定する。なお、この判定結果とタイムスタンプとがモニタリングサーバ３０に送信される。

【0033】

また、図２に示すように、実施例１におけるレンダリングサーバ２０には、情報受信部２０１と、情報送信部２０２と、遅延測定アプリケーション２０３と、レンダリングアプリケーション２０４と、ＧＰＵ２０５と、ＶＲＡＭ（Video RAM）２０６とが含まれる。

【0034】

情報受信部２０１は、ユーザ端末１０からセンサ情報又はセンサ情報とトリガ情報とを受信する。

【0035】

遅延測定アプリケーション２０３は、遅延測定のためにレンダリングサーバ２０にインストールされたアプリケーションプログラムである。実施例１では、遅延測定アプリケーション２０３には、振り分け部２１１が含まれる。振り分け部２１１は、センサ情報及びトリガ情報を受信した場合に、測定モードに応じた振り分けを行う。実施例１では、測定モードが「端末遅延を除くＥ２Ｅ遅延測定」である場合に、振り分け部２１１は、センサ情報及びトリガ情報をそのままレンダリングアプリケーション２０４に送信する。

【0036】

レンダリングアプリケーション２０４は、レンダリングを行うためにレンダリングサーバ２０にインストールされたアプリケーションプログラムである。実施例１では、レンダリングアプリケーション２０４には、レンダリング指示部２２１と、エンコード指示部２２２と、ＶＲＡＭ読み出し部２２３とが含まれる。

【0037】

レンダリング指示部２２１は、ＧＰＵ２０５に対してレンダリング指示を行う。このとき、レンダリング指示部２２１は、ユーザ端末１０からセンサ情報及びトリガ情報を受信した場合には、センサ情報に基づく視点の画像中の所定の部分領域が表す２値情報を変化させる（つまり、例えば、当該部分領域が「黒」を表す場合は「白」を表すように変化させる一方で、当該部分領域が「白」を表す場合は「黒」を表すように変化させる）加工をするレンダリング指示を行う。

【0038】

エンコード指示部２２２は、ＧＰＵ２０５に対してエンコード指示を行う。ＶＲＡＭ読み出し部２２３は、ＶＲＡＭ２０６からエンコード情報を読み出す。

【0039】

ＧＰＵ２０５は、レンダリングやエンコード等の処理を行うプロセッサである。ＧＰＵ２０５が処理を実行することで、レンダリング部２３１と、エンコード部２３３とが実現される。また、ＧＰＵ２０５には、フレームバッファ２３２が含まれる。ただし、フレームバッファ２３２は、ＶＲＡＭ２０６と同一ハードウェアであってもよい。

【0040】

レンダリング部２３１は、レンダリング指示部２２１からのレンダリング指示に応じて、センサ情報に基づく視点の画像を描画してレンダリング画像を生成する。このレンダリング画像はフレームバッファ２３２に格納される。

【0041】

エンコード部２３３は、エンコード指示部２２２からのエンコード指示に応じて、フレームバッファ２３２に格納されているレンダリング画像をエンコードして、エンコード情報を生成する。エンコード情報はＶＲＡＭ２０６に格納される。

【0042】

情報送信部２０２は、ＶＲＡＭ読み出し部２２３により読み出されたエンコード情報をユーザ端末１０に送信する。

【0043】

また、図２に示すように、実施例１におけるモニタリングサーバ３０には、情報受信部３０１と、情報送信部３０２と、モード指示部３０３と、表示部３０４と、保存部３０５とが含まれる。

【0044】

モード指示部３０３は、例えばユーザによる操作に応じて測定モードの指示を受け付ける。このとき、モード指示部３０３は、例えば、トリガ情報が送出される周期の指示を受け付けてもよい。

【0045】

情報送信部３０２は、モード指示部３０３が受け付けた測定モードの指示に応じて、この測定モードを示す情報（測定モード情報）をユーザ端末１０に送信する。なお、モード指示部３０３によってトリガ情報が送出される周期（つまり、トリガ周期）の指示も受け付けられた場合、情報送信部３０２は、当該周期を示す情報（トリガ周期情報）もユーザ端末１０に送信する。これにより、ユーザ端末１０では、測定モード（及びトリガ情報が送出される周期）が設定される。

【0046】

情報受信部３０１は、ユーザ端末１０からのトリガ情報とタイムスタンプ（以降では、このタイムスタンプを「第１タイムスタンプ」と表す。）とを受信する。また、情報受信部３０１は、ユーザ端末１０からの判定結果とタイムスタンプ（以降では、このタイムスタンプを「第２タイムスタンプ」と表す。）とを受信する。これらのトリガ情報及び第１タイムスタンプと、判定結果及び第２タイムスタンプとは、保存部３０５に保存される。

【0047】

表示部３０４は、保存部３０５に保存されているトリガ情報、第１タイムスタンプ、判定結果及び第２タイムスタンプを用いて、遅延測定結果を表示する。遅延測定結果は、例えば、第１タイムスタンプと、判定結果毎の第２タイムスタンプ（つまり、判定結果が「黒」であった場合の第２タイムスタンプ、判定結果が「白」であった場合の第２タイムスタンプ）とをグラフとしてプロットすることで表示される。

【0048】

なお、図２に示す遅延測定システム１の機能構成は一例であって、他の構成であってもよい。例えば、モニタリングサーバ３０の各機能がユーザ端末１０に包含されていてもよいし、又はモニタリングサーバ３０の各機能がレンダリングサーバ２０に包含されていてもよい。又は、例えば、モニタリングサーバ３０の各機能が、互いに異なる複数のノードに分散されていてもよい。

【0049】

（遅延測定処理の流れ）
実施例１の遅延を測定する処理（遅延測定処理）の流れについて、図３を参照しながら説明する。図３は、実施例１における遅延測定処理の流れを説明するための図である。

【0050】

モニタリングサーバ３０の情報送信部３０２は、モード指示部３０３が受け付けた測定モードの指示とトリガ周期の指示とに応じて、測定モード情報とトリガ周期情報とをユーザ端末１０に送信する（ステップＳ１０１）。ここで、実施例１では、測定モードとして、「端末遅延を除くＥ２Ｅ遅延測定」が設定されたものとする。これにより、ユーザ端末１０には、測定モード「端末遅延を除くＥ２Ｅ遅延測定」と、トリガ情報送出部１０６がトリガ情報を送出する周期を示すトリガ周期とが設定される。

【0051】

ユーザ端末１０のトリガ情報取得部１０７は、トリガ情報送出部１０６からトリガ周期毎に送出されるトリガ情報を取得する（ステップＳ１０２）。なお、トリガ周期は任意に設定することができるが、例えば、２０［ｍｓ］～１［ｓ］程度に設定することが考えられる。トリガ周期をＴとして、例えばＴ＝２０［ｍｓ］とした場合、トリガ情報送出部１０６によりＴ＝２０［ｍｓ］毎にトリガ情報が送出されるため、トリガ情報取得部１０７は、Ｔ＝２０［ｍｓ］毎にトリガ情報を取得することになる。

【0052】

なお、トリガ情報としては任意の情報を用いることができるが、例えば、トリガ周期毎に「０」と「１」とが交互に含まれる情報（つまり、フラグ）とすることが考えられる。

【0053】

ユーザ端末１０の内部センサ情報取得部１０３は、内部センサ１０４からセンサ情報を取得する（ステップＳ１０３）。

【0054】

上記のステップＳ１０２でトリガ情報が取得された場合、ユーザ端末１０の情報送信部１０１は、トリガ情報と第１タイムスタンプとをモニタリングサーバ３０に送信する（ステップＳ１０４）。これにより、モニタリングサーバ３０では、トリガ情報と第１タイムスタンプとが対応付けて保存部３０５に保存される。ここで、第１タイムスタンプはトリガ情報をモニタリングサーバ３０に送信した時刻等を示す情報であり、例えば、クロック１０５から取得可能である。

【0055】

なお、例えば、ユーザ端末１０とモニタリングサーバ３０との間の通信品質が安定している場合には、上記のステップＳ１０４で情報送信部１０１は第１タイムスタンプを送信せずに、モニタリングサーバ３０でトリガ情報を受信したときに第１タイムスタンプを生成及び保存してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることが可能になる。

【0056】

上記のステップＳ１０２でトリガ情報が取得されなかった場合（例えば、トリガ情報が取得された後で、かつ、トリガ周期が経過する前に、上記のステップＳ１０３でセンサ情報が取得された場合）、情報送信部１０１は、上記のステップＳ１０３で取得されたセンサ情報をレンダリングサーバ２０に送信する（ステップＳ１０５）。

【0057】

一方で、上記のステップＳ１０２でトリガ情報が取得された場合、ユーザ端末１０の情報送信部１０１は、上記のステップＳ１０３で取得されたセンサ情報と、上記のステップＳ１０２で取得されたトリガ情報とをレンダリングサーバ２０に送信する（ステップＳ１０６）。このとき、情報送信部１０１は、測定モード情報もレンダリングサーバ２０に送信する。なお、測定モード情報はトリガ情報に含まれていてもよい（例えば、どの測定モードであるかを示すフラグがトリガ情報に含まれていてもよい。）。

【0058】

レンダリングサーバ２０の振り分け部２１１は、測定モードが「端末遅延を除くＥ２Ｅ遅延測定」である場合、情報受信部２０１が受信した情報（センサ情報、又は、センサ情報及びトリガ情報）をそのままレンダリングアプリケーション２０４に送信する。そして、レンダリングサーバ２０のレンダリング指示部２２１は、情報受信部２０１が受信した情報に応じて、レンダリング指示をＧＰＵ２０５に行う（ステップＳ１０７）。これにより、レンダリング画像が生成され、フレームバッファ２３２に格納される。

【0059】

ここで、情報受信部２０１がセンサ情報とトリガ情報とを受信した場合（つまり、上記のステップＳ１０６が実行された場合）、レンダリング指示部２２１は、レンダリング指示として、このセンサ情報に基づくカメラ視点の画像の生成を指示すると共に、この画像中の所定の部分領域が表す２値情報を変化させる（つまり、例えば、当該部分領域が「黒」を表す場合は「白」を表すように変化させる一方で、当該部分領域が「白」を表す場合は「黒」を表すように変化させる）加工をする指示を行う。

【0060】

一方で、情報受信部２０１がセンサ情報を受信した場合（つまり、上記のステップＳ１０５が実行された場合）、レンダリング指示部２２１は、レンダリング指示として、このセンサ情報に基づくカメラ視点の画像の生成を指示すると共に、この画像中の所定の部分領域が表す２値情報をそのまま（つまり、例えば、当該部分領域が「黒」を表す場合は「黒」のまま、当該部分領域が「白」を表す場合は「白」のまま）とする指示を行う。

【0061】

これにより、レンダリング部２３１によって２値情報を表す部分領域が含まれるレンダリング画像が生成される。このとき、このレンダリング画像に含まれる部分領域は、トリガ情報を受信する度に、「白」を表す部分領域と「黒」を表す部分領域とが相互に切り替わる。ここで、上記のステップＳ１０７のレンダリング結果として得られる画像（レンダリング画像）の一例を図４に示す。図４に示すレンダリング画像１０００には、予め決められた位置の部分領域１１００が含まれる。トリガ情報を受信する度に、この部分領域１１００が「白」又は「黒」に相互に切り替わる。なお、図４に示す例では、部分領域１１００はレンダリング画像１０００の右下に位置する領域としたが、これは一例であって、部分領域は、レンダリング画像中の予め決められた任意の位置にある領域でよい。ただし、部分領域は、レンダリング画像中の右下や左下等の目立たない位置にあることが好ましい。

【0062】

レンダリングサーバ２０のエンコード指示部２２２は、フレームバッファ２３２に格納されているレンダリング画像のエンコードを指示する。そして、レンダリングサーバ２０のエンコード部２３３は、フレームバッファ２３２に格納されているレンダリング画像をエンコードして、エンコード情報を生成する（ステップＳ１０８）。このエンコード情報は、ＶＲＡＭ２０６に格納される。

【0063】

レンダリングサーバ２０の情報送信部２０２は、ＶＲＡＭ読み出し部２２３によりエンコード情報をフレームバッファ２３２から読み出して、ユーザ端末１０に送信する（ステップＳ１０９）。

【0064】

ユーザ端末１０のデコード部１０８は、情報受信部１０２により受信されたエンコード情報をデコードする（ステップＳ１１０）。これにより、レンダリング画像がフレームバッファ１０９（より正確には、第２レイヤバッファ１２２）に格納される。

【0065】

ユーザ端末１０のフレームバッファ読み出し部１１１は、フレームバッファ１０９に格納されているレンダリング画像中の所定の部分領域（つまり、例えば「黒」又は「白」のいずれかの２値情報を表す部分領域）を読み出す（ステップＳ１１１）。これにより、レンダリング画像を全て読み出す場合と比較して、ユーザ端末１０の負荷を軽減させることができる。ただし、レンダリング画像中の部分領域を読み出す場合に限られず、例えば、毎フレームのレンダリング画像を読み出すのではなく、或る所定のフレーム数毎にレンダリング画像（又は、このレンダリング画像中の部分領域）を読み出してもよい。

【0066】

ユーザ端末１０の判定部１１２は、上記のステップＳ１１１で読み出された部分領域が表す２値情報を判定する（ステップＳ１１２）。すなわち、判定部１１２は、例えば、当該部分領域が「白」又は「黒」のいずれを表すかを判定する。このとき、判定部１１２は、例えば、クロック１０５から第２タイムスタンプを取得する。第２タイムスタンプはレンダリング画像が表示部１１０に表示された時刻（より正確には、判定部１１２による判定が行われた時刻）を示す情報であり、例えば、クロック１０５から取得される。

【0067】

ユーザ端末１０の情報送信部１０１は、上記のステップＳ１１２の判定結果と第２タイムスタンプとをモニタリングサーバ３０に送信する（ステップＳ１１３）。これにより、モニタリングサーバ３０では、判定結果と第２タイムスタンプとが対応付けて保存部３０５に保存される。ただし、情報送信部１０１は、例えば、判定結果が前回の判定結果と異なった場合（つまり、前回の判定結果が「黒」で今回の判定結果が「白」である場合又は前回の判定結果が「白」で今回の判定結果が「黒」である場合等）にのみ、上記のステップＳ１１２の判定結果と第２タイムスタンプとをモニタリングサーバ３０に送信してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることができる。

【0068】

なお、上記のステップＳ１１３では、上記のステップＳ１０４と同様に、例えば、ユーザ端末１０とモニタリングサーバ３０との間の通信品質が安定している場合には、情報送信部１０１は第２タイムスタンプを送信せずに、モニタリングサーバ３０で判定結果を受信したときに第２タイムスタンプを生成及び保存してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることが可能になる。

【0069】

モニタリングサーバ３０の表示部３０４は、保存部３０５に保存されている第１タイムスタンプ、判定結果及び第２タイムスタンプを用いて、遅延測定結果を表示する（ステップＳ１１４）。ここで、遅延測定結果の一例を図５に示す。図５に示す遅延測定結果では、トリガ情報に関する時刻を実線で、判定結果に関する時刻を破線で表している。トリガ情報が送出された時刻は第１タイムスタンプで表され、「白」を示す判定結果と「黒」を示す判定結果とは第２タイムスタンプで表される。これにより、端末遅延を除くＥ２Ｅ遅延は、トリガ情報が送出された時刻と、判定結果が変化した時刻（図５に示す例では、判定結果が「黒」から「白」に変化した時刻）との差分で測定される。したがって、モニタリングサーバ３０のユーザは、端末遅延を除くＥ２Ｅ遅延を知ることができる。

【0070】

一方で、ユーザ端末１０の表示部１１０は、フレームバッファ１０９に格納されているレンダリング画像（より正確には、第２レイヤバッファ１２２に格納されているレンダリング画像）を第２レイヤ１３２に埋め込むことで、当該レンダリング画像を表示する（ステップＳ１１５）。

【0071】

なお、本実施例では、レンダリング画像の部分領域は２値情報のいずれかを表すものとしたが、これに限られず、当該部分領域は、例えば、３値以上の情報のいずれかを表してもよい。また、２値情報を表す画像（部分領域）は黒や白に限られず、例えば、文字や模様（例えば、バーコード等のコード情報を表す模様）等であってもよい。これらのことは以降の各実施例でも同様である。

【0072】

［実施例２］
次に、実施例２として、ユーザ端末１０とレンダリングサーバ２０との間のネットワーク遅延を測定する場合について説明する。なお、全体構成は実施例１と同様であるため、その説明を省略する。

【0073】

（機能構成）
実施例２における遅延測定システム１の機能構成について、図６を参照しながら説明する。図６は、実施例２における遅延測定システム１の機能構成の一例を説明するための図である。なお、実施例２では、主に、実施例１との相違点について説明する。

【0074】

実施例２では、測定モードが「ネットワーク遅延測定」である場合に、レンダリングサーバ２０の振り分け部２１１は、折り返し通信処理を行う。そして、折り返し通信処理では、情報送信部２０２が応答情報をユーザ端末１０に送信する。

【0075】

また、実施例２では、ユーザ端末１０の情報受信部１０２は、レンダリングサーバ２０から応答情報を受信した場合、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する。そして、フレームバッファ読み出し部１１１は、第１レイヤバッファ１２１から画像を読み出す。これにより、当該画像が２値情報のいずれを表すかが判定部１１２により判定される。

【0076】

（遅延測定処理の流れ）
実施例２の遅延を測定する処理（遅延測定処理）の流れについて、図７を参照しながら説明する。図７は、実施例２における遅延測定処理の流れを説明するための図である。

【0077】

モニタリングサーバ３０の情報送信部３０２は、モード指示部３０３が受け付けた測定モードの指示とトリガ周期の指示とに応じて、測定モード情報とトリガ周期情報とをユーザ端末１０に送信する（ステップＳ２０１）。ここで、実施例２では、測定モードとして、「ネットワーク遅延測定」が設定されたものとする。これにより、ユーザ端末１０には、測定モード「ネットワーク遅延測定」と、トリガ情報送出部１０６がトリガ情報を送出する周期を示すトリガ周期とが設定される。

【0078】

以降のステップＳ２０２～ステップＳ２０４は、図３のステップＳ１０２～ステップＳ１０４と同様であるため、その説明を省略する。

【0079】

ステップＳ２０２でトリガ情報が取得されなかった場合、情報送信部１０１は、ステップＳ２０３で取得されたセンサ情報をレンダリングサーバ２０に送信する（ステップＳ２０５）。

【0080】

レンダリングサーバ２０の振り分け部２１１は、測定モードが「ネットワーク遅延測定」である場合、情報受信部２０１が受信したセンサ情報をそのままレンダリングアプリケーション２０４に送信する。そして、レンダリングサーバ２０のレンダリング指示部２２１は、レンダリング指示をＧＰＵ２０５に行う（ステップＳ２０６）。これにより、レンダリング部２３１により当該センサ情報に基づく視点の画像がレンダリング画像として生成され、フレームバッファ２３２に格納される。

【0081】

レンダリングサーバ２０のエンコード指示部２２２は、フレームバッファ２３２に格納されているレンダリング画像のエンコードを指示する。そして、レンダリングサーバ２０のエンコード部２３３は、フレームバッファ２３２に格納されているレンダリング画像をエンコードして、エンコード情報を生成する（ステップＳ２０７）。このエンコード情報は、ＶＲＡＭ２０６に格納される。

【0082】

レンダリングサーバ２０の情報送信部２０２は、ＶＲＡＭ読み出し部２２３によりエンコード情報をフレームバッファ２３２から読み出して、ユーザ端末１０に送信する（ステップＳ２０８）。

【0083】

ユーザ端末１０のデコード部１０８は、情報受信部１０２により受信されたエンコード情報をデコードする（ステップＳ２０９）。これにより、レンダリング画像がフレームバッファ１０９（より正確には、第２レイヤバッファ１２２）に格納される。

【0084】

そして、ユーザ端末１０の表示部１１０は、フレームバッファ１０９に格納されているレンダリング画像（より正確には、第２レイヤバッファ１２２に格納されているレンダリング画像）を第２レイヤ１３２に埋め込むことで、当該レンダリング画像を表示する（ステップＳ２１０）。

【0085】

一方で、ステップＳ２０２でトリガ情報が取得された場合、情報送信部１０１は、ステップＳ２０３で取得されたセンサ情報と、ステップＳ２０２で取得されたトリガ情報とをレンダリングサーバ２０に送信する（ステップＳ２１１）。このとき、情報送信部１０１は、測定モード情報もレンダリングサーバ２０に送信する。なお、測定モード情報はトリガ情報に含まれていてもよい（例えば、どの測定モードであるかを示すフラグがトリガ情報に含まれていてもよい。）。

【0086】

レンダリングサーバ２０の振り分け部２１１は、測定モードが「ネットワーク遅延測定」である場合、折り返し通信処理を行うための通知を情報送信部２０２に行う。これにより、レンダリングサーバ２０の情報送信部２０２は、応答情報をユーザ端末１０に送信する（ステップＳ２１２）。

【0087】

ユーザ端末１０の情報受信部１０２は、応答情報を受信すると、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する（ステップＳ２１３）。ここで、情報受信部１０２は、前回の２値情報と異なる値を表す画像を第１レイヤバッファ１２１に格納する（すなわち、情報受信部１０２は、当該画像が表す２値情報を変化させる。）。例えば、１つ前に第１レイヤバッファ１２１に格納された画像が「白」を表す画像である場合、情報受信部１０２は、「黒」を表す画像を第１レイヤバッファ１２１に格納すればよい。一方で、例えば、１つ前に第１レイヤバッファ１２１に格納された画像が「黒」を表す画像である場合、情報受信部１０２は、「白」を表す画像を第１レイヤバッファ１２１に格納すればよい。

【0088】

ユーザ端末１０のフレームバッファ読み出し部１１１は、フレームバッファ１０９の第１レイヤバッファ１２１に格納されている画像（又は、この画像中の所定の部分領域）を読み出す（ステップＳ２１４）。

【0089】

ユーザ端末１０の判定部１１２は、上記のステップＳ２１４で読み出された画像（又は部分領域）が表す２値情報を判定する（ステップＳ２１５）。すなわち、判定部１１２は、例えば、当該画像（又は部分領域）が「白」又は「黒」のいずれを表すかを判定する。このとき、判定部１１２は、例えば、クロック１０５から第２タイムスタンプを取得する。

【0090】

ユーザ端末１０の情報送信部１０１は、上記のステップＳ２１５の判定結果と第２タイムスタンプとをモニタリングサーバ３０に送信する（ステップＳ２１６）。これにより、モニタリングサーバ３０では、判定結果と第２タイムスタンプとが対応付けて保存部３０５に保存される。ただし、情報送信部１０１は、例えば、判定結果が前回の判定結果と異なった場合（つまり、前回の判定結果が「黒」で今回の判定結果が「白」である場合又は前回の判定結果が「白」で今回の判定結果が「黒」である場合等）にのみ、上記のステップＳ２１５の判定結果と第２タイムスタンプとをモニタリングサーバ３０に送信してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることができる。

【0091】

モニタリングサーバ３０の表示部３０４は、保存部３０５に保存されている第１タイムスタンプ、判定結果及び第２タイムスタンプを用いて、遅延測定結果を表示する（ステップＳ２１７）。ネットワーク遅延は、トリガ情報が送出された時刻（第１タイムスタンプが表す時刻）と、当該トリガ情報の送出時から判定結果が変化した時刻（第２タイムスタンプが表す時刻）との差分で測定される。

【0092】

なお、以降のステップＳ２１８～ステップＳ２２２は、上記のステップＳ２０６～ステップＳ２１０とそれぞれ同様であるため、その説明を省略する。

【0093】

［実施例３］
次に、実施例３として、端末遅延及びエンコード・デコード遅延を除く遅延（つまり、端末遅延と、エンコード及びデコードで発生する遅延とを除いたＥ２Ｅ遅延）を測定する場合について説明する。なお、全体構成は実施例１と同様であるため、その説明を省略する。

【0094】

（機能構成）
実施例３における遅延測定システム１の機能構成について、図８を参照しながら説明する。図８は、実施例３における遅延測定システム１の機能構成の一例を説明するための図である。なお、実施例３では、主に、実施例１及び２との相違点について説明する。

【0095】

実施例３では、レンダリングサーバ２０の遅延測定アプリケーション２０３には、フレームバッファ読み出し部２１２と、判定部２１３とが含まれる。実施例３では、測定モードが「端末遅延及びエンコード・デコード遅延を除く遅延」である場合に、振り分け部２１１は、レンダリング画像中の所定の部分領域をフレームバッファ２３２から読み出すための指示をフレームバッファ読み出し部２１２に行う。これにより、フレームバッファ読み出し部２１２は、レンダリング画像中の所定の部分領域をフレームバッファ２３２から読み出す。

【0096】

そして、判定部２１３は、フレームバッファ読み出し部２１２により読み出された部分領域が表す２値情報を判定する。その後、情報送信部２０２により、この判定結果がユーザ端末１０に送信される。これにより、ユーザ端末１０では、この判定結果を表す画像（つまり、２値情報のいずれかを表す画像）が第１レイヤバッファ１２１に格納される。

【0097】

（遅延測定処理の流れ）
実施例３の遅延を測定する処理（遅延測定処理）の流れについて、図９を参照しながら説明する。図９は、実施例３における遅延測定処理の流れを説明するための図である。

【0098】

モニタリングサーバ３０の情報送信部３０２は、モード指示部３０３が受け付けた測定モードの指示とトリガ周期の指示とに応じて、測定モード情報とトリガ周期情報とをユーザ端末１０に送信する（ステップＳ３０１）。ここで、実施例３では、測定モードとして、「端末遅延及びエンコード・デコード遅延を除く遅延」が設定されたものとする。これにより、ユーザ端末１０には、測定モード「端末遅延及びエンコード・デコード遅延を除く遅延」と、トリガ情報送出部１０６がトリガ情報を送出する周期を示すトリガ周期とが設定される。

【0099】

以降のステップＳ３０２～ステップＳ３０４は、図３のステップＳ１０２～ステップＳ１０４と同様であるため、その説明を省略する。また、ステップＳ３０２でトリガ情報が取得されなかった場合は、図７のステップＳ２０５～ステップＳ２１０と同様であるため、その説明を省略する。

【0100】

ステップＳ３０２でトリガ情報が取得された場合、情報送信部１０１は、ステップＳ３０３で取得されたセンサ情報と、ステップＳ３０２で取得されたトリガ情報とをレンダリングサーバ２０に送信する（ステップＳ３０５）。このとき、情報送信部１０１は、測定モード情報もレンダリングサーバ２０に送信する。なお、測定モード情報はトリガ情報に含まれていてもよい（例えば、どの測定モードであるかを示すフラグがトリガ情報に含まれていてもよい。）。

【0101】

レンダリングサーバ２０の振り分け部２１１は、測定モードが「端末遅延及びエンコード・デコード遅延を除く遅延」である場合、情報受信部２０１が受信したセンサ情報及びトリガ情報をそのままレンダリングアプリケーション２０４に送信する。そして、レンダリングサーバ２０のレンダリング指示部２２１は、情報受信部２０１が受信したセンサ情報及びトリガ情報に応じて、レンダリング指示をＧＰＵ２０５に行う（ステップＳ３０６）。これにより、レンダリング画像が生成され、フレームバッファ２３２に格納される。

【0102】

ここで、情報受信部２０１がセンサ情報及びトリガ情報を受信した場合、レンダリング指示部２２１は、レンダリング指示として、このセンサ情報に基づくカメラ視点の画像の生成を指示すると共に、この画像中の所定の部分領域が表す２値情報を変化させる（つまり、例えば、当該部分領域が「黒」を表す場合は「白」を表すように変化させる一方で、当該部分領域が「白」を表す場合は「黒」を表すように変化させる）加工をする指示を行う。

【0103】

レンダリングサーバ２０のフレームバッファ読み出し部２１２は、フレームバッファ２３２に格納されているレンダリング画像中の所定の部分領域（つまり、例えば「黒」又は「白」のいずれかの２値情報を表す部分領域）を読み出す（ステップＳ３０７）。

【0104】

レンダリングサーバ２０の判定部２１３は、上記のステップＳ３０７で読み出された部分領域が表す２値情報を判定する（ステップＳ３０８）。すなわち、判定部１１２は、例えば、当該部分領域が「白」又は「黒」のいずれを表すかを判定する。

【0105】

レンダリングサーバ２０の情報送信部２０２は、上記のステップＳ３０８の判定結果をユーザ端末１０に送信する（ステップＳ３０９）。

【0106】

ユーザ端末１０の情報受信部１０２は、判定結果を受信すると、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する（ステップＳ３１０）。ここで、情報受信部１０２は、前回の２値情報と異なる値を表す画像を第１レイヤバッファ１２１に格納する（すなわち、情報受信部１０２は、当該画像が表す２値情報を変化させる。）。例えば、１つ前に第１レイヤバッファ１２１に格納された画像が「白」を表す画像である場合、情報受信部１０２は、「黒」を表す画像を第１レイヤバッファ１２１に格納すればよい。一方で、例えば、１つ前に第１レイヤバッファ１２１に格納された画像が「黒」を表す画像である場合、情報受信部１０２は、「白」を表す画像を第１レイヤバッファ１２１に格納すればよい。

【0107】

以降のステップＳ３１１～ステップＳ３１３は、図７のステップＳ２１４～ステップＳ２１６とそれぞれ同様であるため、その説明を省略する。

【0108】

モニタリングサーバ３０の表示部３０４は、保存部３０５に保存されている第１タイムスタンプ、判定結果及び第２タイムスタンプを用いて、遅延測定結果を表示する（ステップＳ３１４）。端末遅延及びエンコード・デコード遅延を除く遅延は、トリガ情報が送出された時刻（第１タイムスタンプが表す時刻）と、当該トリガ情報の送出時から判定結果が変化した時刻（第２タイムスタンプが表す時刻）との差分で測定される。

【0109】

以降のステップＳ３１５～ステップＳ３１８は、図７のステップＳ２０７～ステップＳ２１０とそれぞれ同様であるため、その説明を省略する。

【0110】

［実施例４］
次に、実施例４として、端末遅延を測定する場合について説明する。なお、全体構成は実施例１と略同様であるが、実施例４における遅延測定システム１には、トリガ情報を示す信号を発信する信号発信装置４０と、ユーザ端末１０の表示部１１０が発する光を受光する受光ダイオード等の受光装置５０と、信号発信装置４０が発信した信号と受光装置５０から得られた信号との差分を遅延として測定するオシロスコープ等の信号観測装置６０とが含まれる。

【0111】

（機能構成）
実施例４における遅延測定システム１の機能構成について、図１０を参照しながら説明する。図１０は、実施例４における遅延測定システム１の機能構成の一例を説明するための図である。

【0112】

実施例４では、ユーザ端末１０には、外部センサ情報取得部１１３が含まれる。外部センサ情報取得部１１３は、信号発信装置４０から発信された信号を検知して、トリガ情報として取得する。この信号（以降、「第１信号」とも表す。）は信号観測装置６０にも発信される。

【0113】

そして、外部センサ情報取得部１１３は、トリガ情報を取得すると、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する。これにより、表示部１１０の第１レイヤ１３１には当該画像が表示される。この表示によって発せられた光を受光装置５０が受光することで、当該受光装置５０から信号観測装置６０に信号（以降、「第２信号」とも表す。）が発信される。

【0114】

（遅延測定処理の流れ）
実施例４の遅延を測定する処理（遅延測定処理）の流れについて、図１１を参照しながら説明する。図１１は、実施例４における遅延測定処理の流れを説明するための図である。

【0115】

ユーザ端末１０の外部センサ情報取得部１１３は、信号発信装置４０が発信した第１信号を検知（受信）して、この第１信号をトリガ情報として取得する（ステップＳ４０１）。また、このとき、信号観測装置６０も第１信号を検知（受信）して、その受信時刻を記録する。

【0116】

ユーザ端末１０の外部センサ情報取得部１１３は、トリガ情報を取得すると、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する（ステップＳ４０２）。これにより、表示部１１０の第１レイヤ１３１に当該画像が表示される。そして、受光装置５０は、この表示によって発せられた光を受光することで（例えば、受光装置５０をユーザ端末１０のディスプレイ等に接触等させることで）、第２信号を発信する。この第２信号は、信号観測装置６０により受信され、その受信時刻が記録される。

【0117】

信号観測装置６０は、第２信号を受信した時刻と第１信号を受信した時刻との差を端末遅延として、遅延の測定結果を表示する（ステップＳ４０３）。これにより、端末遅延が測定及び表示される。

【0118】

なお、本実施例は、例えば、事前に端末遅延を測定する場合等に行われる。端末遅延は時々刻々変化するものではないため、例えば、ユーザ端末１０の種別毎に事前に端末遅延を測定しておき、その測定結果をデータベース等に格納しておけばよい。このように測定された端末遅延は、例えば、実施例１～実施例３の測定結果等と合算して利用すること等が可能である。

【0119】

［実施例５］
次に、実施例５として、スピーカ及びマイクを用いて端末遅延を測定する場合について説明する。なお、全体構成は実施例４と略同様であるが、実施例５における遅延測定システム１には、マイク等の集音装置７０が更に含まれる。

【0120】

（機能構成）
実施例５における遅延測定システム１の機能構成について、図１２を参照しながら説明する。図１２は、実施例５における遅延測定システム１の機能構成の一例を説明するための図である。

【0121】

実施例５では、ユーザ端末１０には、スピーカ１１４が含まれる。スピーカ１１４は、外部センサ情報取得部１１３によりトリガ情報が取得されると、例えばビープ音等の音を出力する。なお、実施例５では、トリガ情報が取得されてから音を出力するまでのスピーカ１１４の遅延は既知であるか又は端末遅延と比べて無視できるほど小さいものとする。

【0122】

（遅延測定処理の流れ）
実施例５の遅延を測定する処理（遅延測定処理）の流れについて、図１３を参照しながら説明する。図１３は、実施例５における遅延測定処理の流れを説明するための図である。

【0123】

ユーザ端末１０の外部センサ情報取得部１１３は、信号発信装置４０が発信した第１信号を検知（受信）して、この第１信号をトリガ情報として取得する（ステップＳ５０１）。

【0124】

ユーザ端末１０の外部センサ情報取得部１１３は、トリガ情報を取得すると、スピーカ１１４からビープ音を出力させると共に、２値情報のいずれかを表す画像を第１レイヤバッファ１２１に格納する（ステップＳ５０２）。これにより、当該ビープ音を入力した集音装置７０から信号が出力され、信号観測装置６０が当該信号を検知（受信）して、その受信時刻を記録する。また、表示部１１０の第１レイヤ１３１に当該画像が表示され、受光装置５０が当該表示によって発せられた光を受光することで、第２信号を発信する。この第２信号は、信号観測装置６０により受信され、その受信時刻が記録される。

【0125】

信号観測装置６０は、第２信号を受信した時刻と、スピーカ１１４からの信号を受信した時刻との差を端末遅延として、遅延の測定結果を表示する（ステップＳ５０３）。これにより、端末遅延が測定及び表示される。

【0126】

なお、本実施例は、実施例４と同様に、例えば、事前に端末遅延を測定する場合等に行われる。端末遅延は時々刻々変化するものではないため、例えば、ユーザ端末１０の種別毎に事前に端末遅延を測定しておき、その測定結果をデータベース等に格納しておけばよい。このように測定された端末遅延は、例えば、実施例１～実施例３の測定結果等と合算して利用すること等が可能である。

【0127】

［実施例６］
次に、実施例６として、トリガ情報を用いずに、センサ情報の全て（又は一部）にタイムスタンプを付与することで、端末遅延を除くＥ２Ｅ遅延を測定する場合について説明する。センサ情報の全て（又は一部）にタイムスタンプを付与することで、ユーザ端末１０から送信されるデータ量は多くなるものの、センサ情報とレンダリング画像との対応付けが可能となるため、より詳細な遅延測定が可能となる。なお、全体構成は実施例１と同様であるため、その説明を省略する。

【0128】

（機能構成）
実施例６における遅延測定システム１の機能構成について、図１４を参照しながら説明する。図１４は、実施例６における遅延測定システム１の機能構成の一例を説明するための図である。なお、実施例６では、主に、実施例１との相違点について説明する。

【0129】

実施例６では、ユーザ端末１０には、トリガ情報送出部１０６とトリガ情報取得部１０７とが含まれない一方で、タイムスタンプ付与部１１５が含まれる。タイムスタンプ付与部１１５は、内部センサ情報取得部１０３により取得されたセンサ情報にタイムスタンプを付与する。これにより、センサ情報の全て（又は一部）にタイムスタンプが付与される。

【0130】

（遅延測定処理の流れ）
実施例６の遅延を測定する処理（遅延測定処理）の流れについて、図１５を参照しながら説明する。図１５は、実施例６における遅延測定処理の流れを説明するための図である。

【0131】

モニタリングサーバ３０の情報送信部３０２は、モード指示部３０３が受け付けた測定モードの指示に応じて、測定モード情報をユーザ端末１０に送信する（ステップＳ６０１）。ここで、実施例６では、測定モードとして、「端末遅延を除くＥ２Ｅ遅延測定」が設定されたものとする。これにより、ユーザ端末１０には、測定モード「端末遅延を除くＥ２Ｅ遅延測定」が設定される。

【0132】

ユーザ端末１０の内部センサ情報取得部１０３は、内部センサ１０４からセンサ情報を取得する（ステップＳ６０２）。

【0133】

ユーザ端末１０のタイムスタンプ付与部１１５は、上記のステップＳ６０２で取得されたセンサ情報に対してタイムスタンプを付与する（ステップＳ６０３）。なお、タイムスタンプ付与部１１５は、上記のステップＳ６０２で取得されたセンサ情報の全てにタイムスタンプを付与してもよいし、当該センサ情報の一部（例えば、一部の内部センサ１０４から取得したセンサ情報等）にのみタイムスタンプを付与してもよい。また、タイムスタンプ付与部１１５は、タイムスタンプに加えて、例えば、短調増加する通し番号等をセンサ情報に付与してもよい。このような通し番号がセンサ情報に付与されることで、例えば、通信ネットワークＮ上で破棄されたセンサ情報やレンダリング部２３１で破棄されたセンサ情報等を後から追跡可能となる。

【0134】

ユーザ端末１０の情報送信部１０１は、上記のステップＳ６０２で取得されたセンサ情報と、上記のステップＳ６０３で付与されたタイムスタンプとをモニタリングサーバ３０に送信する（ステップＳ６０４）。モニタリングサーバ３０では、センサ情報とタイムスタンプとが対応付けて保存部３０５に保存される。ここで、タイムスタンプは、センサ情報がモニタリングサーバ３０に送信された時刻を示す情報であり、例えば、クロック１０５から取得可能である。

【0135】

なお、例えば、ユーザ端末１０とモニタリングサーバ３０との間の通信品質が安定している場合には、上記のステップＳ６０４で情報送信部１０１はタイムスタンプを送信せずに、モニタリングサーバ３０でセンサ情報を受信したときにタイムスタンプを生成及び保存してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることが可能になる。

【0136】

ユーザ端末１０の情報送信部１０１は、上記のステップＳ６０２で取得されたセンサ情報と、上記のステップＳ６０３で付与されたタイムスタンプとをレンダリングサーバ２０に送信する（ステップＳ６０５）。このとき、情報送信部１０１は、測定モードの情報もレンダリングサーバ２０に送信する。

【0137】

レンダリングサーバ２０の振り分け部２１１は、測定モードが「端末遅延を除くＥ２Ｅ遅延測定」である場合、情報受信部２０１が受信したセンサ情報及びタイムスタンプをそのままレンダリングアプリケーション２０４に送信する。そして、レンダリングサーバ２０のレンダリング指示部２２１は、情報受信部２０１が受信したセンサ情報及びタイムスタンプに応じて、レンダリング指示をＧＰＵ２０５に行う（ステップＳ６０６）。これにより、レンダリング画像が生成され、フレームバッファ２３２に格納される。

【0138】

ここで、レンダリング指示部２２１は、レンダリング指示として、当該センサ情報に基づくカメラ視点の画像の生成を指示すると共に、当該タイムスタンプに応じて当該画像中の所定の部分領域が表す情報を変化させる加工をする指示を行う。このような加工としては、例えば、タイムスタンプや通し番号等がそのまま部分領域に表示されるように画像加工を行う、タイムスタンプや通し番号等を表すビットパターン模様（例えば、バーコード等）が部分領域に表示されるように画像加工を行う、等が挙げられる。

【0139】

これにより、タイムスタンプ（又は通し番号等）に応じた情報を表す部分領域が含まれるレンダリング画像が生成される。ここで、上記のステップＳ６０６のレンダリングの結果として得られるレンダリング画像の一例を図１６に示す。図１６に示すレンダリング画像２０００には、予め決められた位置の部分領域２１００が含まれる。この部分領域２１００には、タイムスタンプ（又は通し番号等）に応じた情報を表す画像が含まれる。図１６に示す例では、人間にも視認可能な情報を表す画像として、「１２３４５６７８」を表す画像が含まれている。

【0140】

また、上記のステップＳ６０６のレンダリング結果として得られるレンダリング画像の他の例を図１７に示す。図１７に示すレンダリング画像３０００には、予め決められた位置の部分領域３１００が含まれる。この部分領域３１００には、タイムスタンプ（又は通し番号等）に応じた情報を表す画像が含まれる。図１７に示す例では、機械的に読み取ることで取得可能な情報を表すビットパターン模様が含まれている。

【0141】

なお、図１６及び図１７に示す例では、部分領域はレンダリング画像の右下に位置する領域としたが、これは一例であって、部分領域は、レンダリング画像中の予め決められた任意の位置にある領域でよい。ただし、部分領域は、レンダリング画像中の右下や左下等の目立たない位置にあることが好ましい。

【0142】

以降のステップＳ６０７～ステップＳ６０９は、図３のステップＳ１０８～ステップＳ１１０とそれぞれ同様であるため、その説明を省略する。

【0143】

ユーザ端末１０のフレームバッファ読み出し部１１１は、フレームバッファ１０９に格納されているレンダリング画像中の所定の部分領域を読み出す（ステップＳ６１０）。これにより、レンダリング画像を全て読み出す場合と比較して、ユーザ端末１０の負荷を軽減させることができる。ただし、レンダリング画像中の部分領域を読み出す場合に限られず、例えば、毎フレームのレンダリング画像を読み出すのではなく、或る所定のフレーム数毎にレンダリング画像（又は、このレンダリング画像中の部分領域）を読み出してもよい。

【0144】

ユーザ端末１０の判定部１１２は、上記のステップＳ６１０で読み出された部分領域が表す情報を判定する（ステップＳ６１１）。このとき、判定部１１２は、例えば、クロック１０５から第２タイムスタンプを取得する。なお、ユーザ端末１０の処理負荷を軽減させるため、部分領域が表す情報の判定は、例えば、レンダリングサーバ２０で行われてもよい。

【0145】

ユーザ端末１０の情報送信部１０１は、上記のステップＳ６１１の判定結果と第２タイムスタンプとをモニタリングサーバ３０に送信する（ステップＳ６１２）。これにより、モニタリングサーバ３０では、判定結果と第２タイムスタンプとが対応付けて保存部３０５に保存される。

【0146】

なお、上記のステップＳ６１２では、上記のステップＳ６０４と同様に、例えば、ユーザ端末１０とモニタリングサーバ３０との間の通信品質が安定している場合には、情報送信部１０１は第２タイムスタンプを送信せずに、モニタリングサーバ３０で判定結果を受信したときに第２タイムスタンプを生成及び保存してもよい。これにより、ユーザ端末１０とモニタリングサーバ３０との間の通信負荷を軽減させることが可能になる。

【0147】

モニタリングサーバ３０の表示部３０４は、保存部３０５に保存されているセンサ情報及びそのタイムスタンプ、判定結果及び第２タイムスタンプを用いて、遅延測定結果を表示する（ステップＳ６１３）。実施例６では、端末遅延を除くＥ２Ｅ遅延は、判定結果が変化した時刻（つまり、第２タイムスタンプが表す時刻）と、センサ情報に付与されたタイムスタンプが表す時刻との差分で測定される。

【0148】

一方で、ユーザ端末１０の表示部１１０は、フレームバッファ１０９に格納されているレンダリング画像（より正確には、第２レイヤバッファ１２２に格納されているレンダリング画像）を第２レイヤ１３２に埋め込むことで、当該レンダリング画像を表示する（ステップＳ６１４）。

【0149】

［実施例７］
次に、実施例７として、ユーザ端末１０とレンダリングサーバ２０との間に配置された複数のネットワーク機器９０を用いて遅延を測定する場合について説明する。なお、実施例７では、ユーザ端末１０とレンダリングサーバ２０との間に複数のネットワーク機器９０（例えば、ルータやゲートウェイ、スイッチ等）が設置されているものとする。また、これら複数のネットワーク機器９０のうちの少なくとも１台のネットワーク機器９０やレンダリングサーバ２０は、仮想化基盤８０上の仮想マシンで実現されているものとする。以降では、仮想化基盤８０上の仮想マシンで実現されているネットワーク機器９０を「ネットワーク機器８５」とも表す。なお、実施例７では、ネットワーク機器９０やモニタリングサーバ３０は、例えば同一事業者網内にあり、時刻が同期されているものとする。

【0150】

（機能構成）
実施例７における遅延測定システム１の機能構成について、図１８を参照しながら説明する。図１８は、実施例７における遅延測定システムの機能構成の一例を説明するための図である。

【0151】

実施例７では、各ネットワーク機器９０には、読取部９０１と読取部９０２とが含まれる。また、各ネットワーク機器８５には、読取部８５１と読取部８５２とが含まれる。

【0152】

読取部９０１は、ユーザ端末１０から送信されたトリガ情報を受信した場合に、その受信時刻をモニタリングサーバ３０に送信する。一方で、読取部９０２は、レンダリングサーバ２０からの情報（例えば、エンコード情報）を受信した場合に、その受信時刻をモニタリングサーバ３０に送信する。これらの受信時刻は、モニタリングサーバ３０の保存部３０５に保存される。

【0153】

同様に、読取部８５１は、ユーザ端末１０から送信されたトリガ情報を受信した場合に、その受信時刻をモニタリングサーバ３０に送信する。一方で、読取部８５２は、レンダリングサーバ２０からの情報（例えば、エンコード情報）を受信した場合に、その受信時刻をモニタリングサーバ３０に送信する。これらの受信時刻は、モニタリングサーバ３０の保存部３０５に保存される。

【0154】

以上により、実施例７では、各ネットワーク機器９０（ネットワーク機器８５も含む）をトリガ情報やエンコード情報等が通過する時刻をモニタリングサーバ３０で保持することができる。これにより、例えば、各ネットワーク機器９０での通過時刻等を比較することが可能になり、遅延の測定が可能になる。

【0155】

［ハードウェア構成］
最後に、上記の各実施例におけるユーザ端末１０、レンダリングサーバ２０及びモニタリングサーバ３０は、例えば、図１９に示すようなハードウェア構成のコンピュータ４０００を用いて実現可能である。図１９は、コンピュータ４０００のハードウェア構成の一例を示す図である。

【0156】

図１９に示すコンピュータ４０００には、入力装置４００１と、表示装置４００２と、外部Ｉ／Ｆ４００３と、ＲＡＭ（Random Access Memory）４００４と、ＲＯＭ（Read Only Memory）４００５と、プロセッサ４００６と、通信Ｉ／Ｆ４００７と、補助記憶装置４００８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。

【0157】

入力装置４００１は、例えばキーボードやマウス、タッチパネル等である。表示装置４００２は、例えばディスプレイ等である。なお、レンダリングサーバ２０には、入力装置４００１及び表示装置４００２の少なくとも一方が含まれていなくてもよい。

【0158】

外部Ｉ／Ｆ４００３は、外部装置とのインタフェースである。外部装置には、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等の記録媒体４００３ａがある。

【0159】

ＲＡＭ４００４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ４００５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ４００５には、例えば、ＯＳ（Operating System）に関する設定情報や、通信ネットワークＮに接続するための設定情報等が格納されている。

【0160】

プロセッサ４００６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ等であり、ＲＯＭ４００５や補助記憶装置４００８等からプログラムやデータをＲＡＭ４００４上に読み出して処理を実行する演算装置である。

【0161】

通信Ｉ／Ｆ４００７は、通信ネットワークＮに接続するためのインタフェースである。補助記憶装置４００８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置４００８に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上で各種機能を実現するアプリケーションプログラム、上記の各実施例を実現する１以上のプログラム等がある。

【0162】

上記の各実施例におけるユーザ端末１０、レンダリングサーバ２０及びモニタリングサーバ３０は、図１９に示すコンピュータ４０００のハードウェア構成により、上述した各種処理を実現することができる。なお、レンダリングサーバ２０やモニタリングサーバ３０は、複数のコンピュータで実現されていてもよい。また、１台のコンピュータには、複数のプロセッサ４００６や複数のメモリ（ＲＡＭ４００４やＲＯＭ４００５、補助記憶装置４００８等）が含まれていてもよい。

【0163】

本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、組み合わせ等が可能である。

【符号の説明】

【0164】

１：遅延測定システム、１０：ユーザ端末、２０：レンダリングサーバ、３０：モニタリングサーバ、１０１：情報送信部、１０２：情報受信部、１０３：内部センサ情報取得部、１０４：内部センサ、１０５：クロック、１０６：トリガ情報送出部、１０７：トリガ情報取得部、１０８：デコード部、１０９：フレームバッファ、１１０：表示部、１１１：フレームバッファ読み出し部、１１２：判定部、２０１：情報受信部、２０２：情報送信部、２０３：遅延測定アプリケーション、２０４：レンダリングアプリケーション、２０５：ＧＰＵ、２０６：ＶＲＡＭ、２１１：振り分け部、２２１：レンダリング指示部、２２２：エンコード指示部、２２３：ＶＲＡＭ読み出し部、２３１：レンダリング部、２３２：フレームバッファ、２３３：エンコード部、Ｎ：通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】