特開 2024-58838 映像送信システム及び映像送信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058838

(43)【公開日】2024-04-30

(54)【発明の名称】映像送信システム及び映像送信方法

(51)【国際特許分類】

   A63F 13/358 20140101AFI20240422BHJP

   A63F 13/52 20140101ALI20240422BHJP

   H04N 21/2668 20110101ALI20240422BHJP

【ＦＩ】

A63F13/358

A63F13/52

H04N21/2668

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022166197

(22)【出願日】2022-10-17

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】谷口 友宏

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】椎名 亮太

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】渡邊 尚

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】石岡 卓将

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA22

5C164GA03

5C164MA03S

5C164SC05P

(57)【要約】

【課題】本開示では、サーバの予測失敗に起因する応答遅延の増大を防ぎつつ、トラヒックの削減を実現することを目的とする。
【解決手段】本開示は、クライアントにおけるユーザの操作に応じて、対応するゲーム映像を送信するシステムであって、サーバが、任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成し、生成されたゲーム画面を予め定められたタイルに分割し、同じ位置に表示されるタイル画像同士を比較し、予め定められた共通化可能なタイル画像については共通のタイル画像をクライアントに送信し、予め定められた共通化不可能なタイル画像については個別のタイル画像をクライアントに送信する。
【選択図】図４

【特許請求の範囲】

【請求項1】

クライアントにおけるユーザの操作に応じて、対応するゲーム映像を送信するサーバであって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成し、
生成されたゲーム画面を予め定められたタイルに分割し、
同じ位置に表示されるタイル画像同士を比較し、
予め定められた共通化可能なタイル画像については共通のタイル画像をクライアントに送信し、
予め定められた共通化不可能なタイル画像については個別のタイル画像をクライアントに送信する、
サーバ。

【請求項2】

前記タイル画像のハッシュ値を算出し、算出したハッシュ値の距離を比較することで、タイル画像同士の類似度を比較し、
類似しているタイル画像については共通のタイル画像をクライアントに送信し、
類似しないタイル画像については個別のタイル画像をクライアントに送信する、
請求項１に記載のサーバ。

【請求項3】

ゲーム映像をサーバから受信し、入力されたユーザの操作に応じてゲーム画面を表示するクライアントであって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成可能なタイル画像を、クライアントへの入力の前にサーバから受信し、
ゲーム状態が変化する入力を取得すると、事前に受信してあるタイル画像を組み合わせることで、入力されたユーザの操作に応じたゲーム画面を生成して表示する、
クライアント。

【請求項4】

請求項１又は２に記載のサーバと、
請求項３に記載のクライアントと、
を備えるシステム。

【請求項5】

クライアントにおけるユーザの操作に応じて、対応するゲーム映像を送信するサーバが実行する方法であって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成し、
生成されたゲーム画面を予め定められたタイルに分割し、
同じ位置に表示されるタイル画像同士を比較し、
予め定められた共通化可能なタイル画像については共通のタイル画像をクライアントに送信し、
予め定められた共通化不可能なタイル画像については個別のタイル画像をクライアントに送信する、
方法。

【請求項6】

ゲーム映像をサーバから受信し、入力されたユーザの操作に応じてゲーム画面を表示するクライアントが実行する方法であって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成可能なタイル画像を、クライアントへの入力の前にサーバから受信し、
ゲーム状態が変化する入力を取得すると、事前に受信してあるタイル画像を組み合わせることで、入力されたユーザの操作に応じたゲーム画面を生成して表示する、
方法。

【請求項7】

請求項１又は２に記載のサーバとしてコンピュータを実現させるためのプログラム。

【請求項8】

請求項３に記載のクライアントとしてコンピュータを実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、クラウドゲーミング技術に関する。

【背景技術】

【0002】

クライアントにおけるユーザの操作に応じて、対応するゲーム映像をサーバが逐次伝送するシステムが提案されている。逐次伝送によるゲーム映像の提供は、クライアントがゲーム処理を必要としないため、処理能力の低い端末でも高精細なゲームを遊ぶことが可能である。一方で、映像伝送に起因するネットワーク遅延の増大が生じ、これによって体感品質の低下が生じる問題がある。

【0003】

ユーザが取りうる全入力に対応する映像をすべて事前に伝送する投機的映像伝送「ＣｌｏｕｄＨｉｄｅ」が提案されている（例えば、非特許文献１参照。）。しかし、非特許文献１では、応答遅延を削減する一方、取りうる入力数に応じて多大なトラヒックが生じる問題がある。

【0004】

映像の事前伝送に要する多大なトラヒックを防ぐために、ユーザが取りうる入力のうち、可能性が高い入力を推定して、候補となる複数のゲーム映像を生成して事前伝送する「Ｏｕｔａｔｉｍｅ」が提案されている（例えば、非特許文献２参照。）。非特許文献２では、推定が正確だった場合には入力に対してクライアント側で即座にゲーム映像を出力できるが、推定が不正確だった場合には受信画像から補正をして適切なゲーム映像を生成する。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ａｎａｎｄ Ｂｈｏｊａｎ ＆ Ｐａｎ Ｗｅｎｒｅｎ （２０１７）． ＣｌｏｕｄＨｉｄｅ： Ｔｏｗａｒｄｓ Ｌａｔｅｎｃｙ Ｈｉｄｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｔｈｉｎ－ｃｌｉｅｎｔ Ｃｌｏｕｄ Ｇａｍｉｎｇ． １４４－１５２． １０．１１４５／３１２６６８６．３１２６７７７．

【非特許文献2】Ｌｅｅ， Ｋ．， Ｃｈｕ， Ｄ．， Ｃｕｅｒｖｏ， Ｅ．， Ｋｏｐｆ， Ｊ．， Ｄｅｇｔｙａｒｅｖ， Ｙ．， Ｇｒｉｚａｎ， Ｓ．， Ｗｏｌｍａｎ， Ａ．， ＆ Ｆｌｉｎｎ， Ｊ． （２０１５）． Ｏｕｔａｔｉｍｅ： Ｕｓｉｎｇ ｓｐｅｃｕｌａｔｉｏｎ ｔｏ ｅｎａｂｌｅ ｌｏｗ－ｌａｔｅｎｃｙ ｃｏｎｔｉｎｕｏｕｓ ｉｎｔｅｒａｃｔｉｏｎ ｆｏｒ ｍｏｂｉｌｅ ｃｌｏｕｄ ｇａｍｉｎｇ． ＭｏｂｉＳｙｓ ２０１５ － Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｏｂｉｌｅ Ｓｙｓｔｅｍｓ， Ａｐｐｌｉｃａｔｉｏｎｓ， ａｎｄ Ｓｅｒｖｉｃｅｓ， １５１－１６５．

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献２では、サーバが送信するゲーム映像を限定化することで、トラヒックを削減することができる。しかし、サーバの予測が外れた場合、応答遅延が増大する問題がある。また、ユーザ側のクライアントに高度な画像処理が必要となる問題がある。

【0007】

本開示では、サーバの予測失敗に起因する応答遅延の増大を防ぎつつ、トラヒックの削減を実現することを目的とする。

【課題を解決するための手段】

【0008】

本開示のシステムは、クライアントにおけるユーザの操作に応じて、対応するゲーム映像をサーバが逐次伝送するシステムであり、サーバ及びクライアントが本開示の方法を実行する。本開示のプログラムは、本開示のサーバ又はクライアントに備わる機能としてコンピュータを実現するためのプログラム、および、本開示のサーバ又はクライアントが実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムを含む。

【0009】

本開示のサーバは、
クライアントにおけるユーザの操作に応じて、対応するゲーム映像を送信するサーバであって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成し、
生成されたゲーム画面を予め定められたタイルに分割し、
同じ位置に表示されるタイル画像同士を比較し、
予め定められた共通化可能なタイル画像については共通のタイル画像をクライアントに送信し、
予め定められた共通化不可能なタイル画像については個別のタイル画像をクライアントに送信する。

【0010】

本開示のクライアントは、
ゲーム映像をサーバから受信し、入力されたユーザの操作に応じてゲーム画面を表示するクライアントであって、
任意の時点のゲーム状態に対し、クライアントへの入力によって表示すべきゲーム画面の全てを生成可能なタイル画像を、クライアントへの入力の前にサーバから受信し、
ゲーム状態が変化する入力を取得すると、事前に受信してあるタイル画像を組み合わせることで、入力されたユーザの操作に応じたゲーム画面を生成して表示する。

【0011】

本開示は、以上の構成を採用することによって、サーバの予測失敗に起因する応答遅延の増大を防ぎつつ、トラヒックの削減を可能とする。これにより、トラヒックを抑制しつつ、体感品質低下の抑止を可能とする。

【0012】

予め定められた共通化可能なタイル画像は、例えば同一のタイル画像である。この場合、サーバは、同一のタイル画像については共通のタイル画像をクライアントに送信し、同一でないタイル画像については個別のタイル画像をクライアントに送信する。

【0013】

予め定められた共通化可能なタイル画像は、例えば類似のタイル画像である。この場合、サーバは、同じ位置に表示されるタイル画像同士の類似度を比較し、類似しているタイル画像については共通のタイル画像をクライアントに送信し、類似しないタイル画像については個別のタイル画像をクライアントに送信する。ここで、類似度の比較は、タイル画像のハッシュ値を算出し、算出したハッシュ値の距離を比較することで行ってもよい。

【0014】

本開示では、クライアントへの入力によって表示すべきゲーム画面のうちの１つを基準画面に定め、基準画面と異なるタイル画像を抽出し、抽出したタイル画像を前記個別のタイル画像として送信してもよい。

【0015】

なお、上記各開示は、可能な限り組み合わせることができる。

【発明の効果】

【0016】

本開示によれば、アーバの予測失敗に起因する応答遅延の増大を防ぎつつ、トラヒックの削減を実現することができる。

【図面の簡単な説明】

【0017】

【図1】逐次伝送システムの構成例を示す。

【図2】本開示の概略を示す。

【図3】本実施形態のシステム構成例を示す。

【図4】サーバの動作の一例を示す説明図である。

【図5】クライアントの動作の一例を示す説明図である。

【図6】ゲーム画面に含まれるタイル画像の一例を示す説明図である。

【図7】ハッシュ値を計算する１つのタイル画像の一例を示す説明図である。

【発明を実施するための形態】

【0018】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0019】

（逐次伝送システム）
図１に、逐次伝送システムの構成例を示す。逐次伝送システムでは、クライアント１０の指示に応じたゲーム状態のゲーム映像を、クライアント１０の指示の度にサーバ２０が送信する。

【0020】

クライアント１０は、
ユーザからの指示が入力される入力部１１と、
ゲームの指示を送信する指示送信部１２と、
サーバ２０からの映像データを受信する映像受信部１３と、
受信した映像データを復号し、ゲーム画面に復元するゲーム画面復号部１４と、
ゲーム画面を表示する表示部１５と、
を備える。

【0021】

サーバ２０は、
クライアント１０からの指示を受信する指示受信部２１と、
指示受信部２１の受信した指示に従い、ゲーム状態を更新するゲーム状態更新部２２と、
更新されたゲーム状態に応じたゲーム画面を生成するゲーム画面生成部２３と、
ゲーム画面を符号化するゲーム画面符号化部２４と、
符号化された映像データを送信する映像送信部２５と、
を備える。

【0022】

（本開示の概要）
図２に、本開示の逐次伝送システムの概略を示す。本開示のサーバ２０は、時点ｔ_０に送信されたクライアント１０からの指示を受信すると、指示の後の任意の予め定められた時点ｔ_３に生じうる全てのゲーム状態のゲーム画面を生成可能な画像データを、時点ｔ_３の前に、クライアント１０に送信する。クライアント１０は、時点ｔ_３に指示が入力されると、事前に受信していた画像データを用いて、指示に応じたゲーム画面を生成し、表示する。

【0023】

ゲームでは、キャラクタの動作は目まぐるしく変化するが、背景はキャラクタほど変化しない。そこで、本開示では、ゲーム画面を予め定められた数のタイルに分割し、予め定められた共通化可能なタイル画像については共通のタイル画像をクライアントに送信し、予め定められた共通化不可能なタイル画像については個別のタイル画像をクライアントに送信する。

【0024】

ここで、同一のタイル画像については共通化できる。そこで、本開示では、同一のタイル画像については共通のタイル画像をクライアントに送信し、同一でないタイル画像については個別のタイル画像をクライアントに送信する。

【0025】

タイル画像が完全に同一でない場合であっても、タイル画像を共通化してよい場合がある。そこで、本開示では、同じ位置に表示されるタイル画像同士の類似度を比較し、類似しているタイル画像については共通のタイル画像をクライアントに送信し、類似しないタイル画像については個別のタイル画像をクライアントに送信してもよい。

【0026】

（第１の実施形態）
図３に、本実施形態のシステム構成例を示す。本実施形態のサーバ２０は、指示受信部２１、ゲーム状態更新部２２、ゲーム画面生成部３１、タイル画像比較部３２、タイル画像抽出部３３、タイル画像符号化部３４、映像送信部３５を備える。本実施形態のクライアント１０は、入力部１１、指示送信部１２、映像受信部４１、タイル画像復号部４２、ゲーム画面生成部４３、表示部１５を備える。

【0027】

本開示のサーバ２０及びクライアント１０はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0028】

図４を参照しながら、サーバ２０の動作について説明する。
サーバ２０では、指示受信部２１がクライアント１０から指示を受信すると、ゲーム状態更新部２２が指示に応じてゲーム状態を更新する。
ゲーム画面生成部３１は、最新のゲーム状態でクライアント１０が入力可能な全入力に対してゲーム画面を生成する。タイル画像比較部３２は、その中の一つの画面を基準画面として定める。

【0029】

タイル画像比較部３２は、すべてのゲーム画面を複数タイルに分割し、それぞれのゲーム画面と基準画面をタイルごとに比較し、タイル画像抽出部３３が映像の異なるタイル画像を抽出する。

【0030】

タイル画像符号化部３４は以下を符号化する。
・基準画面に含まれるタイル画像のすべて
・基準画面でないゲーム画面のうち、基準画面と映像が異なるタイル画像

【0031】

映像送信部３５は、タイル画像符号化部３４で符号化されたタイル画像の映像データを、クライアント１０に逐次的に送信する。

【0032】

図５を参照しながら、クライアント１０の動作について説明する。クライアント１０では、映像受信部４１が映像データを受信すると、タイル画像復号部４２が映像データをタイル画像に復号化し、タイル画像ごとに格納しておく。入力部１１にユーザから操作が入力されると、ゲーム画面生成部４３が、入力された指示を取得し、格納されているタイル画像を組み合わせることで指示に対応したゲーム画面を生成し、表示部１５に表示する。

【0033】

このように、サーバ２０は、投機的映像伝送すべき画面データをタイルごとに抽出し、全入力に対してゲーム画面を生成可能にする。このため、本実施形態は、投機的映像伝送する映像データ量を削減しつつ、入力の予測を行わないので予測失敗による遅延増大を防ぐことができる。

【0034】

（第２の実施形態）
本実施形態では、タイル画像比較部３２がタイル画像を比較する際に、タイル画像のハッシュ値の類似度を計算し、、類似度の閾値に従って抽出するタイル画像を判定する。

【0035】

具体的には、図６に示すようなｆｒａｍｅ_０（ｔ）～ｆｒａｍｅ_Ｎ（ｔ）のゲーム画面が生成され、各ゲーム画面を４×４の１６のタイル画像に分け、ｆｒａｍｅ_０（ｔ）を基準画像に選択する場合、タイル画像比較部３２は、基準画面ｆｒａｍｅ_０（ｔ）の各タイル画像のハッシュ値と他の全てのゲーム画面ｆｒａｍｅ_１（ｔ）～ｆｒａｍｅ_Ｎ（ｔ）の各タイル画像のハッシュ値を計算する。

【0036】

例えば、ｆｒａｍｅ_０（ｔ）のタイル画像（０，０）を、図７に示すように、８×８画素などの予め定められた画素数のグレースケール画像に変換する。各画素の輝度の平均値ｈ（ｉ，ｊ）を算出し、平均値ｈ（ｉ，ｊ）が予め定められたしきい値よりも高いか低いかで「０」と「１」に２値化する。これにより、８ｂｉｔのバイナリデータが８行生成される。この８行のバイナリデータをつなぎ合わせると、６４ｂｉｔのバイナリデータが生成される。これにより、ｆｒａｍｅ_０（ｔ）のタイル画像（０，０）のａｈａｓｈを計算することができる。

【0037】

本開示のハッシュ値の計算方法はａｈａｓｈに限定されず、例えば、ｐｈａｓｈのように、低周波ＤＣＴ係数を選択し、これを用いてハッシュ値を計算してもよい。
する。

【0038】

タイル画像比較部３２は、同じ位置に配置されているタイル画像同士のハッシュ値の類似度を算出する。例えば、ｆｒａｍｅ_０（ｔ）のタイル画像（０，０）とｆｒａｍｅ_１（ｔ）のタイル画像（０，０）との類似度を算出する。ここで、ハミング距離などのハッシュ値間の距離が近い場合は類似度が高く、距離が遠い場合は類似度が低い。そこで、ハッシュ値間の距離が予め定めた類似度閾値よりも遠い場合のみ、基準画面と映像が異なるタイル画像と判定する。

【0039】

本実施形態は、タイル画像の比較にハッシュ関数を用いることにより、類似度の判定に要する遅延が小さくなる。さらにハッシュ値を算出する際の画素数を少なくすることで、類似度の判定処理速度をさらに高めることができる。

【0040】

タイル画像抽出部３３、タイル画像符号化部３４、及び映像送信部３５は、第１の実施形態と同様である。ただし、タイル画像符号化部３４は、タイル画像のハッシュ値を用いて、各タイル画像を符号化してもよい。この場合、映像送信部３５は、ｔｉｌｅ－ｗｉｓｅ ｄｅｌｔａ ｅｎｃｏｄｉｎｇ）を用いて、映像データを送信してもよい。ユーザの使用するクライアント１０の動作は第１の実施形態と同様であり、実際の入力に応じてゲーム画面を表示部１５に表示するとともに、逐次的に自身の入力をサーバ２０に送信する。

【0041】

本実施形態は、以下の利点がある。
・通常は動画像符号化においては異なる時間軸における画面間符号化を行う。これに対し、本実施形態は、同じ時間軸のゲーム画面間を対象として符号化を導入する点
・本実施形態は、ハッシュ関数を用いてタイル画像間の類似度を簡易に判定できる点
・ユーザの使用するクライアント１０側に画面表示以上の計算リソースを要求しない点
・ユーザが使用するクライアント１０では受信したタイル画像を用いてゲーム画面を入力に応じてそのまま表示することができる点

【0042】

以上説明したように、本開示は、ユーザが取りうる入力に対応するゲーム画面を事前伝送することで応答遅延を極限まで抑制可能である。さらに本開示は、生成したゲーム画面間のうち類似度が高い領域を送信しないことでトラヒックの削減が可能である。さらに第２の実施形態については、ハッシュ関数を用いてゲーム画面間の類似度を簡易に判定可能である。

【符号の説明】

【0043】

１０：クライアント
１１：入力部
１２：指示送信部
１３：映像受信部
１４：ゲーム画面復号部
１５：表示部
２０：サーバ
２１：指示受信部
２２：ゲーム状態更新部
２３：ゲーム画面生成部
２４：ゲーム画面符号化部
２５：映像送信部
３１：ゲーム画面生成部
３２：タイル画像比較部
３３：タイル画像抽出部
３４：タイル画像符号化部
３５：映像送信部
４１：映像受信部
４２：タイル画像復号部
４３：ゲーム画面生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】