特開 2023-14656 通信システム、装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023014656

(43)【公開日】2023-01-31

(54)【発明の名称】通信システム、装置、方法及びプログラム

(51)【国際特許分類】

   H04N 21/262 20110101AFI20230124BHJP

   H04N 21/24 20110101ALI20230124BHJP

【ＦＩ】

H04N21/262

H04N21/24

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021118724

(22)【出願日】2021-07-19

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】椎名 亮太

(72)【発明者】

【氏名】谷口 友宏

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】渡邊 尚

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】石岡 卓将

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA22

5C164SB21S

5C164SB41P

5C164SC24P

5C164YA11

5C164YA21

(57)【要約】

【課題】本開示は、通信帯域、クライアントの計算資源、マルチユーザ対応の問題をそれぞれ解決しつつ、クラウドゲーミングにおける応答遅延を削減することを目的とする。
【解決手段】本開示は、クライアントとサーバが通信ネットワークで接続されている通信システムであって、前記サーバは、前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、予測したコマンドに対応する映像を生成し、前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する、通信システムである。
【選択図】図２

【特許請求の範囲】

【請求項1】

クライアントとサーバが通信ネットワークで接続されている通信システムであって、
前記サーバは、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する、
通信システム。

【請求項2】

前記サーバは、前記クライアントから送信されるコマンドを複数予測し、
予測した各コマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、前記予測したコマンドのなかから受信したコマンドに一致するコマンドを抽出し、
抽出したコマンドに対応する映像を前記クライアントに送信する、
請求項１に記載の通信システム。

【請求項3】

通信ネットワークを通してクライアントと接続されているサーバとして機能する装置であって、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する、
装置。

【請求項4】

通信ネットワークを通してクライアントと接続されているサーバが実行する方法であって、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する、
方法。

【請求項5】

請求項３に記載の装置に備わる各機能部をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

クラウドゲーミング（Ｃｌｏｕｄ－ｇａｍｉｎｇ）においてユーザの体感品質を向上させる技術に関する。

【背景技術】

【0002】

（クラウドゲーミング）
クラウドゲーミングは、サーバ上で実行しているゲームを遠隔の端末で遊ぶためのサービスであり、ユーザの操作に応じて発生するコマンドに対応するゲーム映像を端末に逐次伝送する。本方式では、クライアントである端末がゲーム処理を必要としないため、処理能力の低い端末でも高精細なゲームを遊ぶことが可能である。一方、映像伝送に起因するネットワーク遅延の増大に伴い、ユーザの体感品質が低下する。

【0003】

クラウドゲーミングにおけるサーバとクライアント間のトランザクションでは、以下のステップを実行する。
Ｓ１：クライアントが、入力装置に入力されたコマンドを送信する。
Ｓ２：サーバが、通信ネットワークを介してコマンドを受信する。
Ｓ３：サーバが、届いたコマンドでゲームを更新するとともに、ゲーム映像を生成する。
Ｓ４：サーバが、更新したゲーム映像をクライアントに送信する。

【0004】

クラウドゲーミングでは、応答遅延（プレイヤによる操作からゲーム映像の受信までの時間）が増加すると、プレイヤのゲーム体験に影響を与えることになる。そこで、サーバ・クライアント連携型投機的処理を実施する技術が提案されている（例えば、非特許文献１参照。）。

【0005】

非特許文献１では、サーバ側で投機的処理によってユーザの入力を推定し、候補となる複数のゲーム映像を生成したのち伝送する。推定が正確だった場合、クライアントで入力されたコマンドに対し、クライアント側で即座にゲーム映像を出力する。推定が不正確だった場合、クライアントは、サーバから受信したゲーム映像に補正を行い、適切なゲーム映像を生成する。

【0006】

しかし、サーバ・クライアント連携型投機的処理では、以下の課題が存在する。
第１の課題：通信帯域
推定したゲーム映像の複数パターンをクライアント側に送るため、通常の映像伝送の数倍の通信帯域が必要となる。
第２の課題：クライアントのリソース
クライアント側での映像補償処理が必要であるため、クライアント側にも画像処理が可能な計算リソースを用意する必要が生じる。特にクライアントがスマートフォンなどの計算資源少ない端末の場合、映像補償処理が行えない場合がある。
第３の課題：マルチユーザへの対応
クライアント側で映像補償処理を行うために、複数ユーザが同時にゲームに参加してプレイするマルチプレイ型のゲームでは導入が難しい。さらにプレイヤ間でゲーム情報が非同期になるため、不公平なゲーム体験を誘発してしまう。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Ｋ． Ｌｅｅ ｅｔ ａｌ．， “Ｏｕｔａｔｉｍｅ： Ｕｓｉｎｇ ｓｐｅｃｕｌａｔｉｏｎ ｔｏ ｅｎａｂｌｅ ｌｏｗ－ｌａｔｅｎｃｙ ｃｏｎｔｉｎｕｏｕｓ ｉｎｔｅｒａｃｔｉｏｎ ｆｏｒ ｍｏｂｉｌｅ ｃｌｏｕｄ ｇａｍｉｎｇ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｏｂｉｌｅ Ｓｙｓｔｅｍｓ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｅｒｖｉｃｅｓ， ｐｐ． １５１－１６５， Ｍａｙ ２０１５．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／２７４２６４７．２７４２６５６

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、前述の通信帯域、クライアントの計算資源、マルチユーザ対応の問題をそれぞれ解決しつつ、クラウドゲーミングにおける応答遅延を削減することを目的とする。

【課題を解決するための手段】

【0009】

本開示の通信システムは、
クライアントとサーバが通信ネットワークで接続されている通信システムであって、
前記サーバは、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する。

【0010】

本開示の装置は、
通信ネットワークを通してクライアントと接続されているサーバとして機能する装置であって、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する。

【0011】

本開示の方法は、
通信ネットワークを通してクライアントと接続されているサーバが実行する方法であって、
前記クライアントから受信したコマンドに基づいて、前記クライアントから送信されるコマンドを予測し、
予測したコマンドに対応する映像を生成し、
前記クライアントからコマンドを受信すると、受信したコマンドを前記予測したコマンドと照合し、
受信したコマンドが前記予測したコマンドである場合、前記生成した映像を前記クライアントに送信する。

【0012】

本開示のプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0013】

本開示によれば、サーバからクライアントへ送信するゲーム映像はクライアントから送信されたコマンドに対応するもののみであり、クライアントにおいてゲーム映像の映像補償処理を行わないため、通信帯域、クライアントの計算資源、マルチユーザ対応の問題をそれぞれ解決しつつ、クラウドゲーミングにおける応答遅延を削減することができる。

【図面の簡単な説明】

【0014】

【図1】本開示のシステム構成例を示す。

【図2】本開示の通信システムにおけるサーバとクライアントとの処理の流れの一例を示す。

【図3】サーバにおいて予測を行わない場合のサーバとクライアントとの処理の流れの一例を示す。

【図4】クライアント及びサーバにおける処理フローの一例を示す。

【発明を実施するための形態】

【0015】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0016】

（本開示の概要）
図１に、本開示のシステム構成例を示す。本開示の通信システムは、クライアント１１とサーバ１３が通信ネットワーク１２で接続されている。クライアント１１の数は１以上の任意の数でありうる。本開示のシステムは、サーバ型投機的な処理を実行する。また本開示のクライアント１１及びサーバ１３は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0017】

具体的には、本開示は、サーバ１３において、次に発生する可能性のあるコマンドを予測し、予測したコマンドについて確率が高い順にゲーム映像を生成し、これらをレンダリングしてバッファリングする。実際にクライアント１１で入力されたコマンドを受信すると、サーバ１３は、事前にレンダリングしたゲーム映像のなかから、実際に受信したコマンドと対になっているゲーム映像を選択してクライアント１１に送信する。

【0018】

図２に、本開示の通信システムにおけるサーバ１３とクライアント１１との処理の流れの一例を示す。
時間ｔ_０にクライアント１１が送信したコマンドｉ_０は、時間ｔ_１にサーバ１３で受信される。

【0019】

サーバ１３は、コマンドｉ_０を受信すると、以下の処理を実行する。
Ｓ２１：サーバ１３は、コマンドｉ_０以前の複数の状態を元に、次に発生する可能性のあるコマンドを予測する。本実施形態では、サーバ１３は、コマンドｉ_０に対して次回のコマンドを複数予測する。予測結果は予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）とする。ここで、ｎは１以上の任意の自然数である。予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）の予測は、例えば、次に発生する可能性のあるコマンドを確率の高い順に出力する任意の予測アルゴリズムを用いることができ、例えばＮ階マルコフ連鎖が例示できる。この場合、コマンドｉ_０以前のＮ個のコマンドを用いて、予測アルゴリズムの入力となる入力シーケンスを作成する。

【0020】

Ｓ２２：サーバ１３は、予測した予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）について、確率が高い順に映像フレーム群（ｐ_１ ^１，ｐ_１ ^２，ｐ_１ ^３，…ｐ_１ ^ｎ）の生成等を実施し、予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）と映像フレーム群（ｐ_１ ^１，ｐ_１ ^２，ｐ_１ ^３，…ｐ_１ ^ｎ）をレンダリングしてバッファリングする。このとき、コマンドと当該コマンドに対応する映像フレームを紐づけて格納する。

【0021】

Ｓ２３：サーバ１３は、実際のコマンドｉ_１を受信すると、予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）のなかから実際のコマンドｉ_１に一致するコマンドを抽出し、抽出したコマンドｉ_１と対になる映像フレームｐ_１をクライアント１１に送信する。これにより、クライアント１１側で映像フレームｐ_１が表示される。

【0022】

ここで、クライアント１１が複数台であるマルチユーザの場合、サーバ１３は、クライアント１１ごとにステップＳ２１～Ｓ２３を実行する。このとき、サーバ１３は、クライアント１１からのコマンドを識別し、クライアント１１への映像フレームｐ_１の送信を同期させる。これにより、各クライアント１１は共通のゲーム情報を元にしたゲーム映像を取得することができる。

【0023】

図３に、サーバ１３において予測を行わない場合のサーバ１３とクライアント１１との処理の流れの一例を示す。サーバ１３において予測を行わない場合、サーバ１３は、コマンドｉ_１を受信した時間ｔ_２から映像フレームｐ_１の生成等を開始する。このため、サーバ１３から映像フレームｐ_１を送信するタイミングは、映像フレームｐ_１の生成に要する時間ΔＲ１だけ遅くなる。

【0024】

（本開示のメリット）
（１）必要とする通信帯域を削減
サーバ１３側で予測したコマンド群に対応する映像を保持して、クライアント１１の要求に対応する映像フレームのみを選択的に送信するため、通信帯域を逼迫しない。
（２）クライアント１１側での映像補償処理が不要
クライアント１１側は高度な画像処理用のモジュールを必要としない。
（３）マルチユーザへの対応が可能
サーバ１３側では複数のクライアント１１の行動予測から映像フレームのレンダリングや映像フレームの選択までを一括して管理することができる。このため、各クライアント１１は共通のゲーム情報を元にしたゲーム映像を取得することができる。

【0025】

（４）エンコードに要する遅延の軽減
クライアント１１から送信されたコマンドがサーバ１３へ到着する前の時間を使って、サーバ１３でゲーム映像のエンコードを済ませておいてもよい。これにより、クライアント１１の要求に対するゲーム映像のエンコード時間を削減可能である。

【0026】

図４に、クライアント１１及びサーバ１３における処理フローの一例を示す。
クライアント１１は、サーバ１３に対して、コマンドｉ_０を送信する（Ｓ１１）。サーバ１３は、コマンドｉ_０を受信すると（Ｓ３１）、次に発生する可能性のあるコマンドを予測する（Ｓ３２）。また、サーバ１３は、コマンドｉ_０に対して次回のコマンドを複数予測する。

【0027】

ここで、予測アルゴリズムとしてはＮ階マルコフ連鎖を用いることができる。Ｎ階マルコフ連鎖とは、次の状態が現在を含めた過去Ｎ個の状態履歴に依存して決まる確率過程を、Ｎ階マルコフ連鎖という。本開示では、ｉ_０を含めたＮ個の入力シーケンスを入力とし、確率的に高確率なｎ個の出力シーケンスを得る。出力シーケンスが予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）に相当する。

【0028】

サーバ１３は、予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）に対応する映像フレームを生成し、任意の圧縮アルゴリズムでエンコードする（Ｓ３３）。予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）に対応するエンコードし生成した映像フレーム群は（ｐ_１ ^１，ｐ_１ ^２，ｐ_１ ^３，…ｐ_１ ^ｎ）とする。エンコードする順番は、例えばｉ_１ ^１に対応する映像フレームから順番にエンコードしてもよいし、状態遷移から可能性の高い順にエンコードしてもよい。

【0029】

サーバ１３は、更新タイミングを判定する（Ｓ３４）。予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）に対応する映像フレームのエンコードを、ゲームの更新タイミングがくるまで継続する。ここで、更新タイミングは、クライアント１１において映像を更新するタイミングであり、図２に示す時間ｔ_１及び時間ｔ_２で示すような、コマンドに対応する映像フレームをクライアント１１に送信するタイミングに対応する。このタイミングは固定であってもよいが、適応的に更新タイミングをずらしてもよい。

【0030】

サーバ１３は、エンコードを行うか否かの判定を行う（Ｓ３５）。クライアント１１から実際に到着したコマンドｉ_１と予測コマンド群（ｉ_１ ^１，ｉ_１ ^２，ｉ_１ ^３，…ｉ_１ ^ｎ）を比較し、クライアント１１から実際に到着したコマンドｉ_１に対応する生成済の映像フレーム（例えばｐ_１）があれば（Ｓ３５においてＹｅｓ）、それを抽出し映像フレームをクライアント１１に対して送信する（Ｓ３７）。一方、クライアント１１から実際に到着したコマンドｉ_１に対応する生成済の映像フレーム（例えばｐ_１ ^ｋ）がなければ（Ｓ３５においてＮｏ）、サーバ１３は、エンコード処理を実施し（Ｓ３６）、エンコードした映像フレームをクライアント１１に対して送信する（Ｓ３７）。これにより、クライアント１１から実際に到着したコマンドに対応する映像が送信される。

【0031】

クライアント１１は、サーバ１３から送信された映像を受信し（Ｓ１２）、デコードを行い（Ｓ１３）、描画処理を実行する（Ｓ１４）。これにより、クライアント１１で実際に入力されたコマンドｉ_１に対応する映像がクライアント１１で表示される。

【0032】

なお、上述の実施形態では、出力シーケンスが２以上の例を示すが、ｎ＝１であってもよい。この場合、サーバ１３は、クライアント１１からコマンドを受信すると、受信したコマンドを予測したコマンドと照合し、受信したコマンドが予測したコマンドである場合、生成した映像を前記クライアントに送信する。

【産業上の利用可能性】

【0033】

本開示は情報通信産業に適用することができる。

【符号の説明】

【0034】

１１：クライアント
１２：通信ネットワーク
１３：サーバ

【図1】

【図2】

【図3】

【図4】