特開 2024-100839 遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100839

(43)【公開日】2024-07-26

(54)【発明の名称】遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラム

(51)【国際特許分類】

   H04L 67/1021 20220101AFI20240719BHJP

   G06T 19/00 20110101ALI20240719BHJP

【ＦＩ】

H04L67/1021

G06T19/00 A

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024079442

(22)【出願日】2024-05-15

(62)【分割の表示】P 2022533006の分割

【原出願日】2020-07-03

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】玉置 真也

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】谷口 友宏

(57)【要約】

【課題】本開示では、事前レンダリングを効率的に行い、かつ、ユーザへの画像の表示の遅延を削減し、ユーザの視線方向とレンダリングされた画像とのずれを低減できる遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラムを提供することを目的とする。
【解決手段】遠隔レンダリングシステムは、センサを有する端末と、サーバとを備え、前記端末は、センサ状態の情報を前記サーバに送信し、前記サーバは、受信した前記センサ状態の情報を複製し、複製された前記情報に基づいて取り得る前記センサ状態の候補を複数予測し、予測された前記センサ状態の候補に対応するレンダリングを実行し、前記レンダリングにより生成した複数の前記レンダリング画像を記憶し、複製された前記情報に基づいて、記憶されている複数の前記レンダリング画像から、前記センサ状態に対応する前記レンダリング画像を選択する。
【選択図】図１

【特許請求の範囲】

【請求項1】

センサを有する端末と、サーバとを備え、前記端末がセンサ状態の情報を前記サーバに送信し、前記サーバが前記センサ状態に対応するレンダリング画像を前記端末に送信する遠隔レンダリングシステムであって、
前記端末は、前記センサ状態の情報を前記サーバに送信し、
前記サーバは、受信した前記センサ状態の情報を複製し、複製された前記情報に基づいて取り得る前記センサ状態の候補を複数予測し、
予測された前記センサ状態の候補に対応するレンダリングを実行し、
前記レンダリングにより生成した複数の前記レンダリング画像を記憶し、
複製された前記情報に基づいて、記憶されている複数の前記レンダリング画像から、前記センサ状態に対応する前記レンダリング画像を選択し、選択された前記レンダリング画像を前記端末に送信する
ことを特徴とする遠隔レンダリングシステム。

【請求項2】

アプリケーション管理部をさらに備えており、
前記アプリケーション管理部は、前記サーバが複数ある場合、複数の前記サーバの一部を選択し、選択した前記サーバのうち１つをマスタサーバ、他をスレーブサーバと指定し、
前記端末は、前記センサ状態の情報を前記マスタサーバに送信し、
前記マスタサーバは、取り得る前記センサ状態の候補を複数予測し、
前記マスタサーバと前記スレーブサーバの少なくとも１つは、予測された前記センサ状態の候補に基づいて前記レンダリングを実行し、前記レンダリング画像を記憶する
ことを特徴とする請求項１に記載の遠隔レンダリングシステム。

【請求項3】

サーバが端末の有するセンサのセンサ状態に対応するレンダリング画像を選択する画像処理方法であって、
前記サーバで、前記センサ状態の情報を複製し、複製された前記情報に基づいて取り得る前記センサ状態の候補を複数予測すること、
予測された前記センサ状態の候補に対応するレンダリングを実行すること、
前記レンダリングにより生成した複数の前記レンダリング画像を記憶すること、及び、
複製された前記情報に基づいて、記憶されている複数の前記レンダリング画像から、前記センサ状態に対応する前記レンダリング画像を選択すること
を特徴とする画像処理方法。

【請求項4】

前記サーバが複数ある場合、複数の前記サーバの一部を選択し、選択した前記サーバのうち１つをマスタサーバ、他をスレーブサーバとすること、
取り得る前記センサ状態の候補を複数予測することは前記マスタサーバで行うこと、
前記レンダリングを実行することと前記レンダリング画像を記憶することは前記マスタサーバと前記スレーブサーバの少なくとも１つで行うこと
を特徴とする請求項３に記載の画像処理方法。

【請求項5】

センサを有する端末からのセンサ状態の情報を受信するセンサ情報受信部と、
受信した情報を複製するセンサ情報複製部と、
複製された前記情報に基づいて取り得る前記センサ状態の候補を複数予測する予測部と、
予測された前記センサ状態の候補に対応するレンダリングを実行するレンダリング部と、
前記レンダリングにより生成した複数のレンダリング画像を記憶する記憶部と、
複製された前記情報に基づいて、前記記憶部に記憶されている複数の前記レンダリング画像から、前記センサ状態に対応する前記レンダリング画像を選択する画像選択部と、
を備えるサーバ装置。

【請求項6】

請求項５に記載のサーバ装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ゲーム又はＡＲ若しくはＶＲ等のサービスをストリーミング提供する遠隔レンダリングシステムであって、端末からサーバに対してセンサやコマンド情報が送信され、それらの情報に対応した結果の画像がサーバでレンダリングされ、端末に対して画像が応答され、端末の画面に出力されるような遠隔レンダリングシステムにおいて、通信やレンダリングにかかる時間を補償する技術に関する。

【背景技術】

【0002】

近年、クラウド技術の発達と高速な通信環境の普及、およびスマートフォンやタブレット端末の普及により、ゲームや３Ｄ ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）等のアプリケーションにおける画像レンダリング処理をサーバ側で行い、ネットワークを介して接続された端末に対して画像を送信するストリーミングサービスが注目されている。ストリーミングサービスでは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載した高機能なコンピュータをユーザのローカル環境に配置することなく様々なアプリケーションを提供することが可能であり、例えば、スマートフォンのような安価で小型な端末でも、ユーザに高品質な仮想３Ｄ空間を体験させることができると考えられ、ゲームやデジタルカタログサービスへの活用が期待されている。

【0003】

ところで、ゲーム等のストリーミングサービスにおいては、端末から送信されたセンサ情報に基づいたカメラ視点の画像がサーバで描画され、画像が端末画面に表示されるまでの遅延（Ｍｏｔｉｏｎ－ｔｏ－Ｐｈｏｔｏｎ Ｌａｔｅｎｃｙ等と呼ばれる）がユーザ体感品質に大きく影響する。特に、ネットワークを介してストリーミングサービス提供を行う場合、ローカル環境（ゲーミングＰＣや高性能なワークステーション）でレンダリングする場合に比べ、ネットワーク遅延又は映像データのエンコード若しくはデコード遅延の増加、遠隔サーバのリソース不足等が避けられない。

【0004】

特に、ＡＲ又はＶＲサービス等の遠隔レンダリングに関しては、ユーザの視線方向とレンダリングされた画像とのずれが生じるとＶＲ酔いの原因となる為、当該ずれの原因である遅延を削減することが重要となる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｄａｉａ， Ｘｕｅｆｅｎｇ， Ｈａｎｊｉａｎｇ Ｘｉｏｎｇａ， ａｎｄ Ｘｉａｎｗｅｉ Ｚｈｅｎｇａ． “Ａ Ｃａｃｈｅ Ｄｅｓｉｇｎ Ｍｅｔｈｏｄ Ｆｏｒ Ｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｉｎ ３Ｄ Ｒｅａｌ－Ｔｉｍｅ Ｒｅｎｄｅｒｉｎｇ Ｅｎｇｉｎｅ．“ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｒｃｈｉｖｅｓ ｏｆ ｔｈｅ Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ， Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ａｎｄ Ｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ ３９ （２０１２）： Ｂ２

【非特許文献2】「Ｈｅａｄ ａｎｄ Ｂｏｄｙ Ｍｏｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ ｔｏ Ｅｎａｂｌｅ Ｍｏｂｉｌｅ ＶＲ Ｅｘｐｅｒｉｅｎｃｅｓ ｗｉｔｈ Ｌｏｗ Ｌａｔｅｎｃｙ」 ２０１９年１２月、カリフォルニア大、Ｓａｍｓｕｎｇ

【非特許文献3】「Ｆｕｒｉｏｎ： Ｅｎｇｉｎｅｅｒｉｎｇ Ｈｉｇｈ－Ｑｕａｌｉｔｙ Ｉｍｍｅｒｓｉｖｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ｏｎ Ｔｏｄａｙ’ｓ Ｍｏｂｉｌｅ Ｄｅｖｉｃｅｓ」 ２０１７年１０月、パデュー大ほか

【非特許文献4】「ＦｌａｓｈＢａｃｋ： Ｉｍｍｅｒｓｉｖｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ｏｎ Ｍｏｂｉｌｅ Ｄｅｖｉｃｅｓ ｖｉａ Ｒｅｎｄｅｒｉｎｇ Ｍｅｍｏｉｚａｔｉｏｎ」 ２０１６年６月、マイクロソフト研ほか

【発明の概要】

【発明が解決しようとする課題】

【0006】

関連技術では、レンダリングにかかる時間を削減する方法として、事前レンダリングした画像をストリーミングする方法が挙げられる（例えば、非特許文献１。）。ユーザ視点に応じた画像を、予め描画され、保存されたメモリ領域から読み出すことにより、レンダリング処理にかかる時間を削除することができる。

【0007】

しかし、非特許文献１の事前レンダリング方式には、次のような課題がある。事前レンダリング方式は、あらゆるユーザ視点を想定してレンダリングを行うため、膨大な処理時間を要するという課題がある。また、デザイン変更等が生じた場合は再び同じ時間かけて再レンダリングする必要があるという課題もある。さらに、事前レンダリングされた全ての画像を保存するための膨大なストレージを要するという課題もある。加えて、事前レンダリング方式は、ネットワーク遅延又はエンコード若しくはデコード遅延を削減することができないという課題もある。

【0008】

前記課題を解決するために、本発明は、事前レンダリングを効率的に行い、かつ、ユーザへの画像の表示の遅延を削減し、ユーザの視線方向とレンダリングされた画像とのずれを低減できる遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本開示の遠隔レンダリングシステムは、センサを有する端末からのセンサ状態の情報に基づいて、直近の未来に取りうるポジション（座標）を複数予測し、予測した各ポジションに応じて画像を予めレンダリングする。

【0010】

具体的には、本開示に係る遠隔レンダリングシステムは、センサを有する端末と、サーバとを備え、前記端末がセンサ状態の情報を前記サーバに送信し、前記サーバが前記センサ状態に対応するレンダリング画像を前記端末に送信する遠隔レンダリングシステムであって、前記端末は、現在の前記センサ状態の情報を前記サーバに送信し、前記サーバは、受信した現在の前記センサ状態の情報に基づいて直近の未来に取り得る前記センサ状態の候補を複数予測し、予測された前記センサ状態の候補に対応するレンダリングを実行し、前記レンダリングにより生成した複数の前記レンダリング画像を記憶する。

【0011】

本開示に係る画像処理方法では、センサを有する端末と、サーバとを備え、前記端末がセンサ状態の情報を前記サーバに送信し、前記サーバが前記センサ状態に対応するレンダリング画像を前記端末に送信する画像処理方法であって、前記端末から前記サーバに現在の前記センサ状態の情報を送信すること、前記サーバで、受信した現在の前記センサ状態の情報に基づいて直近の未来に取り得る前記センサ状態の候補を複数予測すること、予測された前記センサ状態の候補に対応するレンダリングを実行すること、及び前記レンダリングにより生成した複数の前記レンダリング画像を記憶する。

【0012】

本開示に係る遠隔レンダリングシステム及び画像処理方法は、直近の未来に取りうるポジション（座標）についてのみ画像を事前レンダリングすることにより、事前レンダリング処理や事前レンダリングにより生成する画像を減らすことができる。その結果、事前レンダリングに必要となる時間やストレージを削減することができる。また、事前レンダリングの画像を保存しておくことにより、現在のセンサ状態に応じて逐次レンダリング処理をする必要がなく、レンダリング処理時間を削減できる。従って、本発明により、事前レンダリングを効率的に行い、かつ、ユーザへの画像の表示の遅延を削減し、ユーザの視線方向とレンダリングされた画像とのずれを低減できる遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラムを提供することができる遠隔レンダリングシステム及び画像処理方法を提供することができる。

【0013】

本開示に係る遠隔レンダリングシステムでは、アプリケーション管理部をさらに備えており、前記アプリケーション管理部は、前記サーバが複数ある場合、複数の前記サーバの一部を選択し、選択した前記サーバのうち１つをマスタサーバ、他をスレーブサーバと指定し、前記端末は、現在の前記センサ状態の情報を前記マスタサーバに送信し、前記マスタサーバは、直近の未来に取り得る前記センサ状態の候補を複数予測し、前記マスタサーバと前記スレーブサーバの少なくとも１つは、予測された前記センサ状態の候補に基づいて前記レンダリングを実行し、前記レンダリング画像を記憶する。

【0014】

本開示に係る画像処理方法では、前記サーバが複数ある場合、複数の前記サーバの一部を選択し、選択した前記サーバのうち１つをマスタサーバ、他をスレーブサーバとすること、前記端末からの現在の前記センサ状態の情報は前記マスタサーバに送信されること、直近の未来に取り得る前記センサ状態の候補を複数予測することは前記マスタサーバで行うこと、前記レンダリングを実行することと前記レンダリング画像を記憶することは前記マスタサーバと前記スレーブサーバの少なくとも１つで行う。

【0015】

本開示に係る遠隔レンダリングシステム及び画像処理方法は、複数のサーバを用いて事前レンダリングを行うことにより、サーバの空きリソースを有効活用できる。また、端末の位置情報に基づいて、端末の近傍にあるサーバから画像を送信することにより、通信による遅延を削減することができる。

【0016】

本開示に係る遠隔レンダリングシステムでは、前記サーバは、記憶されている複数の前記レンダリング画像から、現在の前記センサ状態に対応する前記レンダリング画像を選択し、選択された前記レンダリング画像を前記端末に送信する。

【0017】

本開示に係る画像処理方法では、前記サーバで記憶されている複数の前記レンダリング画像から、現在の前記センサ状態に対応する前記レンダリング画像を選択し、選択された前記レンダリング画像を前記端末に送信する。

【0018】

本開示に係る遠隔レンダリングシステム及び画像処理方法は、現在のセンサ状態に応じて、事前レンダリングされた画像を選択することで、レンダリング処理をせずに必要な画像を送信することができるので、レンダリング処理による遅延を削減することができる。また、複数のサーバを用いる場合には、端末の位置情報に基づいて、端末の近傍にあるサーバから画像を送信することにより、通信による遅延を削減することができる。

【0019】

本開示に係るサーバ装置では、センサを有する端末から受信した前記センサ状態に対応するレンダリング画像を前記端末に送信するサーバ装置であって、前記端末からの現在の前記センサ状態の情報を受信するセンサ情報受信部と、受信した現在の前記センサ状態の情報に基づいて直近の未来に取り得る前記センサ状態の候補を複数予測する予測部と、予測された前記センサ状態の候補に対応するレンダリングを実行するレンダリング部と、前記レンダリングにより生成した複数の前記レンダリング画像を記憶する記憶部と、前記記憶部に記憶されている複数の前記レンダリング画像から、現在の前記センサ状態に対応する前記レンダリング画像を選択する画像選択部と、選択された前記レンダリング画像を前記端末に送信する画像送信部と、を備える。

【0020】

本開示に係るプログラムでは、前記サーバ装置としてコンピュータを機能させる。

【0021】

本開示に係るサーバ装置及びプログラムは、直近の未来に取りうるポジション（座標）についてのみ画像を事前レンダリングすることにより、事前レンダリング処理や事前レンダリングにより生成する画像を減らすことができる。その結果、事前レンダリングに必要となる時間やストレージを削減することができる。また、現在のセンサ状態に応じて、事前レンダリングされた画像を選択することで、レンダリング処理をせずに必要な画像を送信することができるので、レンダリング処理による遅延を削減することができる。

【0022】

なお、上記各発明は、可能な限り組み合わせることができる。

【発明の効果】

【0023】

本開示によれば、事前レンダリングを効率的に行い、かつ、ユーザへの画像の表示の遅延を削減し、ユーザの視線方向とレンダリングされた画像とのずれを低減できる遠隔レンダリングシステム、画像処理方法、サーバ装置及びプログラムを提供することができる。

【図面の簡単な説明】

【0024】

【図1】本発明に係る遠隔レンダリングシステムの概要を説明する図である。

【図2】本発明に係る遠隔レンダリングシステムの概要を説明する図である。

【図3】本発明に係る遠隔レンダリングシステムの概要を説明する図である。

【図4】本発明に係る遠隔レンダリングシステムの概略構成の一例を示す。

【図5】本発明に係る遠隔レンダリングシステムの画像処理方法の一例を示す。

【図6】本発明に係る遠隔レンダリングシステムの動作フローの一例を示す。

【図7】本発明に係る遠隔レンダリングシステムの概略構成の一例を示す。

【図8】本発明に係る遠隔レンダリングシステムの概略構成の一例を示す。

【図9】本発明に係る遠隔レンダリングシステムの画像処理方法の一例を示す。

【発明を実施するための形態】

【0025】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0026】

（発明の概要）
本発明の概要を図１から図３を用いて説明する。図１において、（ａ）は従来の技術を示し、（ｂ）は本発明を示す。

【0027】

図１（ａ）では、ユーザ端末（例えば、ヘッドマウントディスプレイ等。）が、複数のサーバ１１を経由して、クラウドレンダリングサーバとつながっている。以下、「ユーザ端末」を「端末３０」と略記する。端末３０は、自身が取得したポジション情報を複数のサーバ１１を経由してクラウドレンダリングサーバに送信する。クラウドレンダリングサーバは、ポジション情報に応じてＧＰＵで逐次レンダリングを行う。そして、レンダリングした画像を再び複数のサーバ１１を経由して端末に表示させる。従来の技術においては、ポジション情報に応じて逐次レンダリングを行うため、端末３０がポジション情報を送信してからポジション情報に対応した画像が端末３０に表示されるまでの間に、レンダリング処理の時間が必要となり、遅延が発生してしまう。また、レンダリングされた画像の取得には、端末３０が複数のサーバ１１を経由してクラウドレンダリングサーバにアクセスする必要があるため、通信距離が長くなり、ネットワークの遅延が発生する。これらの遅延が大きくなると、ユーザの体感品質に悪影響を及ぼす。

【0028】

図１（ｂ）を用いて本発明の概要を説明する。本発明は、複数のサーバ１１を有し、端末３０の在圏エリア、アプリケーションの許容遅延、各ネットワーク区間の可用帯域、エッジサーバリソースその他のネットワーク状況に応じて最適な一又は複数の遠隔レンダリング用エッジサーバ又はレンダリングされた画像をキャッシュするサーバを選択する。遠隔レンダリング用エッジサーバと画像をキャッシュするサーバは同一でもよいし、別々でもよい。以下、「遠隔レンダリング用エッジサーバまたはレンダリングされた画像をキャッシュするサーバ」を「サーバ１１」と呼ぶ。

【0029】

選択された各サーバ１１は、レンダリングサーバアプリを有する。レンダリングサーバアプリは、事前レンダリング及び画像送信をする。事前レンダリング及び画像送信は、1つのサーバ１１のみで行う場合と複数のサーバ１１が行う場合がある。事前レンダリングについて説明する。端末３０は、自身が取得したポジション情報（例えば、ヘッドマウントディスプレイ装着者の頭部ポジション情報等）を選択されたサーバ１１に送信する。ポジション情報を受信したサーバ１１のレンダリングサーバアプリは、端末３０のポジション情報に応じて直近の未来に取りうるポジション（座標）を複数予測する。さらに、選択されたサーバ１１のレンダリングサーバアプリは、その予測したポジションに応じてレンダリングして画像を作成し、その画像を一時記憶領域に格納する。また、画像は、触覚情報、聴覚情報等でもよい。

【0030】

画像送信について説明する。端末３０は、自身が取得したポジション情報を選択されたサーバ１１に送信する。選択されたサーバ１１は、受信したポジション情報に応じた画像を一時記憶領域から呼び出し、端末３０に送信する。事前にレンダリング画像を用意しておくことで、端末３０がポジション情報を送信してからポジション情報に対応した画像が端末３０に表示されるまでの間のレンダリング処理時間が不要となり、計算遅延を削減できる。

【0031】

最適なサーバ（例えば、端末に最も近いサーバ）がレンダリング及び画像送信を行うことにより、通信距離が短くなり、端末がポジション情報を送信してからポジション情報に対応した画像が端末に表示されるまでのネットワーク遅延を低減することができる。

【0032】

図２及び図３を用いて本発明における最適なサーバの選択について具体的に説明する。図２に示すように、サーバ１１の選択は、アプリケーション管理部５０（図面では、「アプリケーション管理部」を「アプリ管理部」と略記する。）が行ってもよい。アプリケーション管理部５０は、同アプリケーションを利用する他の端末や他のサービスによるリソース使用状況も含めたインフラ全体（ネットワーク、サーバリソース（ＣＰＵ、メモリ、ストレージ、ＧＰＵ、等））の情報を得ながら、ユーザエクスペリエンスを損なうことなく、かつ、エッジサーバリソースを浪費しないよう、総コスト（サーバ利用コスト、ネットワーク利用コスト等）が低くなるようなサーバ１１を選択する。

【0033】

遠隔レンダリングシステムは、アプリケーションの許容遅延を満たす範囲内に存在する別のサーバの計算及び一時記憶リソースも活用する。図３を用いて使用可能なサーバについて説明する。例えば、次の（１）から（３）までの条件が成立する場合を考える。（１）アプリケーションの許容遅延が１８ｍｓである。（２）一時記憶領域から画像を検索し読み出すのにかかる最大時間が１０ｍｓである。（３）ネットワーク経路１ホップあたりの伝送又は伝播遅延が１ｍｓである。そうすると、（１ｍｓ×４（ホップ）×２（往復）＋１０ｍｓ≦１８ｍｓ）が成立するため、遠隔レンダリングシステムは、端末３０から最大４ホップ遠隔地にあるサーバ１１までのリソースが使える。

【0034】

アプリケーション管理部５０は、ネットワーク遅延を最小化するよう端末３０に最も近いサーバ１１（サーバコストが高いと想定される）を単純に選択するだけではなく、前述したように許容遅延を満たす範囲で遠隔地に存在する低コストであるサーバ１１の選択も考慮に入れる。遠隔レンダリングシステムは、サービス品質を維持（VR酔いを防止）しつつ、低コストであるサーバリソース利用が可能となる。

【0035】

さらに、アプリケーションの許容遅延を満たす範囲内に存在するサーバ１１は、直近に読み出される確率に応じて使い分けられる。例えば、直近に読み出される確率の高い座標と対応する画像はより端末３０に近いサーバ１１で計算され、該サーバ１１内の一時記憶領域に格納される、などが考えられる。許容遅延範囲の中でも、更に低遅延で高確率に画像を返すことができる為、体感品質が向上する。

【0036】

また、許容遅延（遅延のバジェット）は、遠サーバ１１又は近サーバ１１の選択によってだけでなく、例えばエンコード方式を変更することなどによっても調整される。例えば、スループットガイダンスやＲＮＩ（Ｒａｄｉｏ Ｎｅｔｗｏｒｋ Ｉｎｆｏｒｍａｔｉｏｎ）などにより得られたネットワーク可用帯域情報を元に、可用帯域に余裕のある場合は、使用帯域が増加することと引き換えに、エンコード又はデコード時間がより短くて済む圧縮方式に変更することで、遅延のバジェットを拡大することが可能となる。

【0037】

（実施形態１）
本実施形態に係る遠隔レンダリングシステムの構成について図４を用いて具体的に示す。遠隔レンダリングシステム１０は、センサを有する端末３０と、サーバ１１とを備え、端末３０がセンサ状態の情報をサーバ１１に送信し、サーバ１１がセンサ状態に対応するレンダリング画像を端末３０に送信する。

【0038】

端末３０は、センサ情報取得部３１と、センサ情報送信部３２と、画像受信部３３と、デコード部３４と、画像表示部３５とを備える。端末３０は、ヘッドマウントディスプレイであってもよい。

【0039】

センサ情報取得部３１は、端末３０が有するセンサから現在のセンサ状態の情報を取得する。センサ情報送信部３２は、取得したセンサ状態の情報をサーバ１１に送信する。送信方法は、無線通信を用いることが望ましい。

【0040】

画像受信部３３は、サーバ１１から送信された画像を受信する。受信方法は、無線通信を用いることが望ましい。デコード部３４は、受信した画像を端末３０で表示できる形式に変換する。画像表示部３５は、変換された画像を表示する。

【0041】

サーバ１１は、センサを有する端末３０から受信したセンサ状態に対応するレンダリング画像を端末３０に送信するサーバ装置であって、端末３０からの現在のセンサ状態の情報を受信するセンサ情報受信部１２と、受信した現在の前記センサ状態の情報に基づいて直近の未来に取り得る前記センサ状態の候補を複数予測する予測部１４と、予測された前記センサ状態の候補に対応するレンダリングを実行するレンダリング部１５と、前記レンダリングにより生成した複数の前記レンダリング画像を記憶する記憶部として機能する画像一時保存処理部１６及び画像一時保存領域部１７と、前記記憶部に記憶されている複数の前記レンダリング画像から、現在の前記センサ状態に対応する前記レンダリング画像を選択する画像選択部１８と、選択された前記レンダリング画像を端末３０に送信する画像送信部２０と、を備える。さらに、サーバ１１は、センサ情報複製部１３と、エンコード部１９とを備えてもよい。

【0042】

センサ情報受信部１２は、センサ情報送信部３２が送信した現在のセンサ状態の情報を受信する。センサ情報複製部１３は、受信した現在のセンサ状態の情報を複製して２つにし、１つを予測部１４へ、もう１つを画像選択部１８へ送信する。

【0043】

予測部１４は、センサ情報複製部１３からの現在のセンサ状態を受信する。予測部１４は、受信した現在のセンサ状態の情報に基づいて直近の未来に取り得るセンサ状態の候補を複数予測する。この予測には、非特許文献２に記載する方法を用いてもよい。また、予測には、静的予測、アルファ・ベータ・ガンマ法、カルマンフィルタ等を用いてもよい。予測部１４は、予測した候補をレンダリング部１５に送信する。

【0044】

レンダリング部１５は、予測部１４からセンサ状態の候補を受信する。レンダリング部１５は、受信したセンサ状態の候補それぞれに対応するレンダリングを実行する。レンダリングでは、カルマンフィルタなどの予測テクニックを用いてもよい。また、状況に応じて、予め特定のセンサ状態のみに絞り込んでもよいし、ありえないセンサ状態は除外してもよい。例えば、座って利用するシーン（自動車車内など）であれば座席視点近傍、立って利用するシーンであればヒトの視線高さ（地上１．５ｍ近傍）などに絞り込んでもよい。また、空高くからの視点又は壁若しくは地中など有りえない視点は除外してもよい。レンダリング部１５は、非特許文献３の内容を利用することで、読み出される確率の低い視点のレンダリング処理を行わないようにして、負荷を軽減することができる。さらに、非特許文献３の内容は、画像一時保存処理部１６が、直近読み出される確率が一定以上低くなった事前レンダリング画像を破棄する為の判断基準にも利用することができる。レンダリング部１５は、レンダリング画像を画像一時保存処理部１６に送信する。

【0045】

画像一時保存処理部１６及び画像一時保存領域部１７は記憶部として機能する。画像一時保存処理部１６は、レンダリングされた画像及び対応するセンサ状態の候補の情報を受信する。画像一時保存処理部１６は、レンダリングされた画像を、対応するセンサ状態の候補の情報とともに、画像一時保存領域部１７に一時保存する。非特許文献４の内容を利用することで、事前にレンダリングした画像を、画像選択部１８が効率的に読み出すことができる。

【0046】

画像選択部１８は、センサ情報複製部１３から現在のセンサ状態を受信する。画像選択部１８は、画像一時保存領域部１７に一時保存されている複数の前記レンダリング画像から、受信した現在のセンサ状態に対応するレンダリング画像を検索して、選択する。画像選択部１８は、現在のセンサ状態に対応するレンダリング画像が画像一時保存領域部１７にない場合には、レンダリング部１５に現在のセンサ状態に対するレンダリングをさせて、作成されたレンダリング画像を選択してもよい。また、画像選択部１８は、現在のセンサ状態に対応するレンダリング画像が画像一時保存領域部１７にない場合において、レンダリングして新たに画像を作成することができないときは、既存技術（Ｔｉｍｅ－Ｗａｒｐ等）を利用してもよいし、選択する画像を真黒な画像としてもよい。初回センサ情報受信時、将来座標予測ができない時又は複数並列事前レンダリングするリソースが確保できない時も、現在のセンサ状態に対応するレンダリング画像が画像一時保存領域部１７にない場合と同様の処理を行ってもよい。画像選択部１８は、選択した画像をエンコード部１９に送信する。

【0047】

エンコード部１９は、受信したレンダリング画像を送信するための形式に変換する。画像送信部２０は、変換されたレンダリング画像を端末３０に送信する。

【0048】

遠隔レンダリングシステム１０の動作の一例を図５に示す。遠隔レンダリングシステム１０の画像処理方法は、センサを有する端末３０と、サーバ１１とを備え、端末３０がセンサ状態の情報をサーバ１１に送信し、サーバ１１がセンサ状態に対応するレンダリング画像を端末３０に送信する画像処理方法であって、端末３０からサーバ１１に現在のセンサ状態の情報を送信すること（ステップＳ１０１）、サーバ１１で、受信した現在のセンサ状態の情報に基づいて直近の未来に取り得るセンサ状態の候補を複数予測すること（ステップＳ１０２及びＳ１０３）、予測されたセンサ状態の候補に対応するレンダリングを実行すること（ステップＳ１０４）、及びレンダリングにより生成した複数のレンダリング画像を記憶すること（ステップＳ１０５）を特徴とする。

【0049】

画像処理方法は、サーバ１１で記憶されている複数のレンダリング画像から、現在のセンサ状態に対応するレンダリング画像を選択し（ステップＳ２０１）、選択されたレンダリング画像を端末３０に送信する（ステップＳ２０２）ことをさらに行うことが望ましい。画像処理方法は、ステップＳ２０２の後に、端末３０がレンダリング画像を表示する（ステップＳ２０３）。ステップＳ１０３からＳ１０５とステップＳ２０１からＳ２０３までのステップは並行して行ってもよいし、どちらかを先に行ってもよい。以下、ステップＳ１０１からＳ１０５及びステップＳ２０１からＳ２０３を詳細に説明する。

【0050】

（ステップＳ１０１）
センサ情報送信部３２は、前述したように、センサ状態の情報の送信を行う。

【0051】

（ステップＳ１０２）
センサ情報受信部１２は、前述したように、センサ状態の情報の受信を行う。センサ情報複製部１３は、前述したように、センサ状態の情報の複製及び送信を行う。

【0052】

（ステップＳ１０３）
予測部１４は、前述したように、直近の未来に取り得るセンサ状態の候補の予測を行う。

【0053】

（ステップＳ１０４）
レンダリング部１５は、前述したように、センサ状態の候補に基づくレンダリングを行う。

【0054】

（ステップＳ１０５）
画像一時保存処理部１６は、前述したように、レンダリングされた画像及び対応するセンサ状態の候補の情報を画像一時保存領域部１７に一時保存する。

【0055】

（ステップＳ２０１）
画像選択部１８は、前述したように、現在のセンサ状態に対応するレンダリング画像を画像一時保存領域部１７から選択する。

【0056】

（ステップＳ２０２）
エンコード部１９は、前述したように、レンダリング画像のエンコードを行い、画像送信部２０は、その送信を行う。

【0057】

（ステップＳ２０３）
画像受信部３３は、前述のようにエンコードされたレンダリング画像を受信する。デコード部３４は、受信したレンダリング画像をデコードする。画像表示部３５は、前述したように、デコードしたレンダリング画像を表示する。

【0058】

図６は、遠隔レンダリングシステム１０の動作フローを示す。ＣＡＳＥ１は、事前レンダリングを行わず、現在のセンサ状態に対して逐次レンダリングをする動作フローを示す。ＣＡＳＥ１では、現在のセンサ状態の情報を取得してから、レンダリング部１５が逐次レンダリングをするため、レンダリング画像を送信する前にレンダリング処理の時間が必要となる。

【0059】

図６のＣＡＳＥ２は、事前レンダリングを行う場合の動作フローを示す。ＣＡＳＥ２のポイントは、ユーザへ応答する画像の検索をするため及び直近の将来にユーザ端末がとりうる座標を予測するために、ユーザ端末からのセンサ情報をセンサ情報複製部１３で２つに複製することである。センサ情報を複製することで、検索と予測を並行して行うことができる。事前レンダリングし、予めレンダリングされた画像を用意することで、現在のセンサ状態に応じて逐次レンダリング処理をする必要がなく、レンダリング処理時間を削減できる。

【0060】

本開示に係る遠隔レンダリングシステム、画像処理方法及びサーバ装置は、直近の未来に取りうるポジション（座標）についてのみ画像を事前レンダリングすることにより、事前レンダリング処理や事前レンダリングにより生成する画像を減らすことができる。その結果、事前レンダリングに必要となる時間やストレージを削減することができる。

【0061】

以上説明したように、本開示に係る遠隔レンダリングシステム、画像処理方法及びサーバ装置は、事前レンダリングを効率的に行い、かつ、ユーザへの画像の表示の遅延を削減し、ユーザの視線方向とレンダリングされた画像とのずれを低減できる遠隔レンダリングシステム、画像処理方法及びサーバ装置を提供することができる。

【0062】

（実施形態２）
以下、本実施形態に係る遠隔レンダリングシステム１０の全体構成を図７に示す。遠隔レンダリングシステム１０は、端末３０と、複数のサーバ１１と、アプリケーション管理部５０（図面では、「アプリケーション管理部」を「アプリ管理部」と略記する。）と、アプリ配備実行ノード５１と、ネットワーク管理ノード５２と、サーバインフラ管理ノード５３と、を備える。

【0063】

ネットワーク管理ノード５２は、サーバ１１間のネットワーク状況や、サーバ１１と端末３０とのネットワーク状況を管理し、アプリケーション管理部５０に報告する。

【0064】

サーバインフラ管理ノード５３は、各サーバ１１のインフラ状況を管理し、アプリケーション管理部５０に報告する。サーバ１１のインフラ状況として、ＣＰＵ、メモリ、ストレージ、ＧＰＵ等のサーバリソースを例示することができる。

【0065】

アプリケーション管理部５０について図２を用いて説明する。アプリケーション管理部５０は、ネットワーク管理ノード５２及びサーバインフラ管理ノード５３から報告された情報に基づき、複数のサーバ１１のうち、レンダリングを行うサーバ１１を選択し、選択したサーバ１１のうち１つをマスタサーバ２１、他をスレーブサーバ２２と指定する。アプリケーション管理部５０は、マスタサーバ２１又はスレーブサーバ２２として指定したサーバ１１に対して、適切なアプリケーションをアプリ配備実行ノード５１により配備させる。アプリケーション管理部５０は、アプリケーションを配備することで、選択されたサーバ１１をマスタサーバ２１又はスレーブサーバ２２として機能させる。アプリケーション管理部５０は、ネットワーク状況やインフラ情報が変わった場合には、それらの変化に応じた変更を加えたアプリケーションを再配備することにより、サーバ１１の機能に変更を加えてもよい。例えば、端末３０の位置に最も近いサーバ１１をマスタサーバ２１とする場合を考える。この場合において、端末３０の位置が変化したときは、その変化に応じて、今までマスタサーバ２１として機能していたサーバ１１に代えて、位置が変化した後の端末３０と最も近いサーバ１１に、マスターサーバアプリを配備し、マスタサーバ２１として機能させてもよい。

【0066】

端末３０の構成について図８を用いて説明する。端末３０の構成は、実施形態１と同様とする。センサ情報送信部３２は、取得した現在の前記センサ状態の情報をマスタサーバ２１に送信する。

【0067】

マスタサーバ２１及びスレーブサーバ２２の構成について図８を用いて説明する。マスタサーバ２１は、センサ情報受信部１２と、センサ情報複製部１３と、予測部１４と、レンダリング部１５と、画像一時保存処理部１６と、画像一時保存領域部１７と、画像選択部１８と、エンコード部１９と、画像送信部２０と、サーバ振り分け部２３と、インデックス保存処理部２４と、インデックス保存領域部２５と、サーバ検索部２６と、サーバ問い合わせ部２７と、を備える。センサ情報受信部１２、画像一時保存処理部１６、画像一時保存領域部１７、エンコード部１９及び画像送信部２０は実施形態１と同様である。

【0068】

スレーブサーバ２２は、レンダリング部１５と、画像一時保存処理部１６と、画像一時保存領域部１７と、画像選択部１８と、エンコード部１９と、画像送信部２０とを備える。スレーブサーバ２２の構成要素の符号は、マスタサーバ２１の構成要素の符号と対応しており、同一のものは、同一の内容とする。

【0069】

以下、マスタサーバ２１またはスレーブサーバ２２について、実施形態１と異なる機能を持つ構成要素や新たに追加する構成要素について説明する。具体的には、センサ情報複製部１３、予測部１４、レンダリング部１５、画像選択部１８、サーバ振り分け部２３、インデックス保存処理部２４、インデックス保存メモリ部２５、サーバ検索部２６及びサーバ問い合わせ部２７について詳細に説明する。

【0070】

センサ情報複製部１３は、受信した現在のセンサ状態の情報を複製して２つにし、１つを予測部１４へ、もう１つをサーバ検索部２６へ送信する。

【0071】

予測部１４は、実施形態１と同様に、現在のセンサ状態の情報に基づいて直近の未来に取り得るセンサ状態の候補を複数予測する。予測部１４は、予測した候補をサーバ振り分け部２３に送信する。

【0072】

サーバ振り分け部２３は、予測部１４からセンサ状態の候補を受信する。受信したセンサ状態の候補のそれぞれについて、レンダリングを行うマスタサーバ２１又はスレーブサーバ２２を選択する。例えば、マスタサーバ２１又はスレーブサーバ２２は、予測された候補（座標）に基づく画像が直近読み出される確率に応じて使い分けられる。直近読み出される確率の高い座標と対応する画像はより端末３０に近いマスタサーバ２１又はスレーブサーバ２２でレンダリングされ、そのサーバ内の一時記憶領域に格納される等が考えられる。サーバ振り分け部２３は、選択したマスタサーバ２１又はスレーブサーバ２２に対し、そのサーバでレンダリングされるセンサ状態の候補を送信する。

【0073】

レンダリング部１５は、サーバ振り分け部２３からセンサ状態の候補を受信する。レンダリング部１５は、実施形態１と同様に、受信したセンサ状態の候補に基づきレンダリングを行い、レンダリング画像を画像一時保存処理部１６に送信する。

【0074】

インデックス保存処理部２４は、「３次元座標及び向き」の情報等該当するアングルの画像を画像一時保存領域部１７から検索するためのキーとなる見出し情報（以下、「インデックス」と呼ぶ。）をインデックス保存領域部２５に一時保存させる。例えば、インデックスは、センサ状態の候補及びその候補についてレンダリングを行うサーバのＩＤとしてもよい。インデックスは、計算効率化のためハッシュ化されていてもよい。

【0075】

サーバ検索部２６は、インデックス保存領域部２５で、現在のセンサ状態に対応するインデックスを検索し、現在のセンサ状態に対応するレンダリング画像を保有するマスタサーバ２１又はスレーブサーバ２２を選択する。

【0076】

サーバ問い合わせ部２７は、サーバ検索部２６で選択されたマスタサーバ２１又はスレーブサーバ２２の画像選択部１８に現在のセンサ状態を送信する。

【0077】

画像選択部１８は、サーバ問い合わせ部２７から現在のセンサ状態を受信する。画像選択部１８は、実施形態１と同様に、受信した現在のセンサ状態に対応するレンダリング画像を画像一時保存領域部１７から選択し、選択した画像をエンコード部１９に送信する。

【0078】

遠隔レンダリングシステム１０の動作の一例を図９に示す。遠隔レンダリングシステム１０の画像処理方法は、センサを有する端末３０と、サーバ１１と、アプリケーション管理部５０とを備え、端末３０がセンサ状態の情報をサーバ１１に送信し、サーバ１１がセンサ状態に対応するレンダリング画像を端末３０に送信する画像処理方法であって、サーバ１１が複数ある場合、複数のサーバ１１の一部を選択し、選択したサーバ１１のうち１つをマスタサーバ２１、他をスレーブサーバ２２とすること（ステップＳ３０１）、端末３０からの現在のセンサ状態の情報はマスタサーバ２１に送信されること（ステップＳ１０１）、直近の未来に取り得るセンサ状態の候補を複数予測することはマスタサーバ２１で行うこと（ステップＳ１０２及びＳ１０３）、レンダリングを実行することとレンダリング画像を記憶することはマスタサーバ２１とスレーブサーバ２２の少なくとも１つで行うこと（ステップＳ１０４及びＳ１０５）を特徴とする。さらに、ステップＳ１０３とステップＳ１０４との間において、サーバ振り分けステップＳ３０２及びインデックス保存Ｓ３０３を行ってもよい。

【0079】

画像処理方法は、ステップＳ１０２の後に、現在のセンサ状態に対応するレンダリング画像を保存しているマスタサーバ２１又はスレーブサーバ２２を検索して選択すること（ステップＳ３０４）及び選択したマスタサーバ２１又はスレーブサーバ２２に現在のセンサ状態を送信すること（ステップＳ３０５）を行ってもよい。画像処理方法は、ステップＳ３０５の後に、マスタサーバ２１又はスレーブサーバ２２で記憶されている複数のレンダリング画像から、現在のセンサ状態に対応するレンダリング画像を選択し（ステップＳ２０１）、選択されたレンダリング画像を端末３０に送信する（ステップＳ２０２）ことをさらに行うことが望ましい。さらに、画像処理方法は、ステップＳ２０２の後に、端末３０がレンダリング画像を表示する（ステップＳ２０３）。以下、各ステップについて順に説明する。ただし、ステップＳ１０３以降のステップとステップＳ３０４以降のステップは、平行しても行ってもよいし、どちらを先に行ってもよい。

【0080】

（ステップＳ３０１）
アプリケーション管理部５０は、本実施形態で前述したように、マスタサーバ２１及びスレーブサーバ２２と指定する。

【0081】

（ステップＳ１０１）
センサ情報送信部３２は、本実施形態で前述したように、取得したセンサ状態の情報をマスタサーバ２１に送信する。

【0082】

（ステップＳ１０２）
センサ情報受信部１２は、実施形態１のステップＳ１０１と同様に、現在の前記センサ状態の情報を受信する。センサ情報複製部１３は、本実施形態で前述したように、受信した現在のセンサ状態の情報を予測部１４及びサーバ検索部２６に送信する。

【0083】

（ステップＳ１０３）
予測部１４は、本実施形態で前述したように、直近の未来に取り得るセンサ状態の候補の予測を行う。

【0084】

（ステップＳ３０２）
サーバ振り分け部２３は、本実施形態で前述したように、レンダリングを行うマスタサーバ２１又はスレーブサーバ２２を選択し、センサ状態の候補を送信する。

【0085】

（ステップＳ３０３）
インデックス保存処理部２４は、本実施形態で前述したように、インデックスをインデックス保存領域部２５に一時保存させる。

【0086】

（ステップＳ１０４）
ステップＳ３０２で選択されたマスタサーバ２１又はスレーブサーバ２２のレンダリング部１５は、本実施形態で前述したように、センサ状態の候補に基づくレンダリングを行う。ステップＳ３０３及びステップＳ１０４は、並行して行ってもよいし、どちらを先に行ってもよい。

【0087】

（ステップＳ１０５）
ステップＳ３０２で選択されたマスタサーバ２１又はスレーブサーバ２２は、実施形態１のステップＳ１０５を行う。

【0088】

（ステップＳ３０４）
サーバ検索部２６は、本実施形態で前述したように、現在のセンサ状態に対応するレンダリング画像を保有するマスタサーバ２１又はスレーブサーバ２２を選択する。

【0089】

（ステップＳ３０５）
サーバ問い合わせ部２７は、本実施形態で前述したように、ステップＳ３０４で選択されたマスタサーバ２１又はスレーブサーバ２２の画像選択部１８に現在のセンサ状態を送信する。

【0090】

（ステップＳ２０１）
ステップＳ３０４で選択されたマスタサーバ２１又はスレーブサーバ２２の画像選択部１８は、本実施形態で前述したように、現在のセンサ状態に対応するレンダリング画像を画像一時保存領域部１７から選択する。

【0091】

（ステップＳ２０２）
ステップＳ３０４で選択されたマスタサーバ２１又はスレーブサーバ２２において、実施形態１のステップＳ２０２を行う。

【0092】

（ステップＳ２０３）
ステップＳ３０４で選択されたマスタサーバ２１又はスレーブサーバ２２からレンダリング画像を受信した端末３０は、実施形態１のステップＳ２０３を行う。

【0093】

以上説明したように、本開示に係る遠隔レンダリングシステム及び画像処理方法は、複数のサーバを用いて事前レンダリングを行うことにより、サーバの空きリソースを有効活用できる。また、端末の位置情報に基づいて、端末の近傍にあるサーバから画像を送信することにより、通信による遅延を削減することができる。

【0094】

（実施形態３）
本実施形態に係るプログラムは、サーバ装置としてコンピュータを機能させるためのプログラムである。サーバ装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。当該プログラムをインストールされたコンピュータは、図４や図８で説明したサーバ装置として機能する。

【0095】

なお、上記各発明は、可能な限り組み合わせることができる。

【産業上の利用可能性】

【0096】

本開示に係る遠隔レンダリングシステムは、情報通信産業に適用することができる。

【符号の説明】

【0097】

１０：遠隔レンダリングシステム
１１：サーバ
１２：センサ情報受信部
１３：センサ情報複製部
１４：予測部
１５：レンダリング部
１６：画像一時保存処理部
１７：画像一時保存領域部
１８：画像選択部
１９：エンコード部
２０：画像送信部
２１：マスタサーバ
２２：スレーブサーバ
２３：サーバ振り分け部
２４：インデックス保存処理部
２５：インデックス保存領域部
２６：サーバ検索部
２７：サーバ問い合わせ部
３０：端末
３１：センサ情報取得部
３２：センサ情報送信部
３３：画像受信部
３４：デコード部
３５：画像表示部
５０：アプリケーション管理部
５１：アプリ配備実行ノード
５２：ネットワーク管理ノード
５３：サーバインフラ管理ノード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】