特許 7444971 送信装置、送信方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】送信装置、送信方法及びプログラム

(51)【国際特許分類】

   H04N 19/115 20140101AFI20240228BHJP

   H04N 19/132 20140101ALI20240228BHJP

   H04N 19/142 20140101ALI20240228BHJP

   H04N 19/17 20140101ALI20240228BHJP

   H04N 19/587 20140101ALI20240228BHJP

【ＦＩ】

H04N19/115

H04N19/132

H04N19/142

H04N19/17

H04N19/587

【請求項の数】 33

(21)【出願番号】P 2022512034

(86)(22)【出願日】2021-03-24

(86)【国際出願番号】 JP2021012312

(87)【国際公開番号】W WO2021200492

(87)【国際公開日】2021-10-07

【審査請求日】2022-09-05

(31)【優先権主張番号】P 2020063853

(32)【優先日】2020-03-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】大塚 活志

【審査官】鉢呂 健

(56)【参考文献】

【文献】特開２００１－２５１６２９（ＪＰ，Ａ）

【文献】国際公開第２０１９／０３３８７７（ＷＯ，Ａ１）

【文献】特開２０１５－１９７８０５（ＪＰ，Ａ）

【文献】特開２００１－３０９３８３（ＪＰ，Ａ）

【文献】特開２００４－０１５３５１（ＪＰ，Ａ）

【文献】特開平０８－０７０４５８（ＪＰ，Ａ）

【文献】特開２００７－１２４５８０（ＪＰ，Ａ）

【文献】特表２０１８－５３２４４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

フレームバッファに描画されたフレーム画像を順次取得する取得部と、
前記フレーム画像が画質優先画像であるか否かを判断する判断部と、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定部と、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定部と、
前記エンコード単位に対して、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部により決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理部と、
前記画像データを送信する送信部と、を含み、
前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定し、
前記エンコード処理部は、前記画質優先画像の次のフレーム画像のエンコードをスキップする、
ことを特徴とする送信装置。

【請求項2】

フレームバッファに描画されたフレーム画像を順次取得する取得部と、
前記フレーム画像が画質優先画像であるか否かを判断する判断部と、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定部と、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定部と、
前記エンコード単位に対して、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部により決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理部と、
前記画像データを送信する送信部と、を含み、
前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定し、
前記エンコード処理部は、前記画質優先画像をエンコードすることで生成される前記画像データのデータサイズに基づいて、フレームスキップ数を決定し、
前記エンコード処理部は、前記フレームスキップ数だけ、前記画質優先画像に後続するフレーム画像のエンコードをスキップする、
ことを特徴とする送信装置。

【請求項3】

フレームバッファに描画されたフレーム画像を順次取得する取得部と、
前記フレーム画像が画質優先画像であるか否かを判断する判断部と、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定部と、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定部と、
前記エンコード単位に対して、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部により決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理部と、
前記画像データを送信する送信部と、を含み、
前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定し、
前記画質優先パラメータ値決定部は、前記基本パラメータ値決定部よりも長い時間間隔で、前記制御量と前記目標値との差に基づいて前記パラメータの値を決定する、
ことを特徴とする送信装置。

【請求項4】

前記エンコード処理部は、前記画質優先画像の次のフレーム画像のエンコードをスキップする、
ことを特徴とする請求項３に記載の送信装置。

【請求項5】

前記エンコード処理部は、前記画質優先画像をエンコードすることで生成される前記画像データのデータサイズに基づいて、フレームスキップ数を決定し、
前記エンコード処理部は、前記フレームスキップ数だけ、前記画質優先画像に後続するフレーム画像のエンコードをスキップする、
ことを特徴とする請求項３に記載の送信装置。

【請求項6】

前記取得部は、前記フレーム画像が前記画質優先画像であるか否かを特定可能な画質優先要否データに関連付けられている前記フレーム画像を取得し、
前記判断部は、前記フレーム画像に関連付けられている前記画質優先要否データに基づいて、当該フレーム画像が前記画質優先画像であるか否かを判断する、
ことを特徴とする請求項１から５のいずれか一項に記載の送信装置。

【請求項7】

前記画質優先要否データを生成して、当該画質優先要否データを前記フレーム画像に関連付ける画質優先要否データ生成部、をさらに含む、
ことを特徴とする請求項６に記載の送信装置。

【請求項8】

前記画質優先要否データ生成部は、連続したシーンの描写、又は、連続したゲームプレイが終わり、カメラカットが行われた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付ける、
ことを特徴とする請求項７に記載の送信装置。

【請求項9】

前記画質優先要否データ生成部は、ゲームにおけるステージが変化した直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付ける、
ことを特徴とする請求項７に記載の送信装置。

【請求項10】

前記画質優先要否データ生成部は、連続したシーンの描画が終わり、フレーム画像の描画に用いられているアセットが切り替わった直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付ける、
ことを特徴とする請求項７に記載の送信装置。

【請求項11】

前記画質優先要否データ生成部は、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付ける、
ことを特徴とする請求項７に記載の送信装置。

【請求項12】

前記判断部は、直前のフレームからのシーンチェンジが発生した前記フレーム画像は前記画質優先画像であると判断する、
ことを特徴とする請求項１から６のいずれか一項に記載の送信装置。

【請求項13】

前記取得部は、仮想空間内に配置された仮想オブジェクトから前記仮想空間を見た様子を表す前記フレーム画像を取得し、
前記判断部は、前記仮想オブジェクトが直前のフレームから変化した直後の前記フレーム画像を前記画質優先画像と判断する、
ことを特徴とする請求項１から６のいずれか一項に記載の送信装置。

【請求項14】

仮想空間内に配置された仮想オブジェクトから前記仮想空間を見た様子を表す描画中間データに基づいて前記フレーム画像を生成する画像生成部、をさらに含み、
前記判断部は、前記仮想オブジェクトが直前のフレームから変化した直後の前記描画中間データに基づいて前記画像生成部により生成される前記フレーム画像を前記画質優先画像と判断する、
ことを特徴とする請求項１から６のいずれか一項に記載の送信装置。

【請求項15】

前記判断部は、前記フレーム画像の描画に用いられているアセットが切り替わった直後の前記フレーム画像を前記画質優先画像と判断する、
ことを特徴とする請求項１から６のいずれか一項に記載の送信装置。

【請求項16】

前記判断部は、前記フレーム画像と当該フレーム画像の直前のフレームのフレーム画像との比較結果に基づいて、当該フレーム画像が前記画質優先画像であるか否かを判断する、
ことを特徴とする請求項１から６のいずれか一項に記載の送信装置。

【請求項17】

フレームバッファに描画されたフレーム画像を順次取得する取得部と、
前記フレーム画像が画質優先画像であるか否かを判断する判断部と、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定部と、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定部と、
前記エンコード単位に対して、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部により決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理部と、
前記画像データを送信する送信部と、を含み、
前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定し、
前記取得部は、前記フレーム画像が前記画質優先画像であるか否かを特定可能な画質優先要否データに関連付けられている前記フレーム画像を取得し、
前記判断部は、前記フレーム画像に関連付けられている前記画質優先要否データに基づいて、当該フレーム画像が前記画質優先画像であるか否かを判断し、
前記画質優先要否データを生成して、当該画質優先要否データを前記フレーム画像に関連付ける画質優先要否データ生成部、をさらに含み、
前記画質優先要否データ生成部は、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付ける、
ことを特徴とする送信装置。

【請求項18】

前記エンコード処理部は、前記画質優先画像である前記フレーム画像をＩフレームにエンコードする、
ことを特徴とする請求項１から１７のいずれか一項に記載の送信装置。

【請求項19】

前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データの圧縮率が小さくなる値を決定する、
ことを特徴とする請求項１から１７のいずれか一項に記載の送信装置。

【請求項20】

前記エンコード処理部は、前記画質優先画像ではない前記フレーム画像には、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードを実行する、
ことを特徴とする請求項１から１７のいずれか一項に記載の送信装置。

【請求項21】

前記制御量は、前記画像データのデータサイズ、又は、前記フレーム画像のエンコードの開始タイミングから当該フレーム画像に基づいて生成される前記画像データの送信終了タイミングまでの時間の長さである、
ことを特徴とする請求項１から２０のいずれか一項に記載の送信装置。

【請求項22】

前記画質優先パラメータ値決定部は、前記制御量と前記目標値との差よりも小さな値を前記所定の制御規則に適用した場合に相当する、前記フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する、
ことを特徴とする請求項１から２０のいずれか一項に記載の送信装置。

【請求項23】

前記基本パラメータ値決定部及び前記画質優先パラメータ値決定部は、ＰＩＤ制御を行うことにより前記エンコード単位に用いられるパラメータの値を決定し、
前記画質優先パラメータ値決定部は、前記基本パラメータ値決定部による決定よりもＰＩＤ制御における比例制御又は微分制御の少なくとも一方のゲインを抑制することで、前記フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する、
ことを特徴とする請求項１から２０のいずれか一項に記載の送信装置。

【請求項24】

前記画質優先パラメータ値決定部は、前記基本パラメータ値決定部よりも長い時間間隔で、前記制御量と前記目標値との差に基づいて前記パラメータの値を決定する、
ことを特徴とする請求項１から２３のいずれか一項に記載の送信装置。

【請求項25】

前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部は、過去の単位時間あたりに前記画像データの欠落が発生した回数、又は、過去の単位時間あたりにＩフレームが生成された回数のうちの少なくとも１つにさらに基づいて、前記パラメータの値を決定する、
ことを特徴とする請求項１から２４のいずれか一項に記載の送信装置。

【請求項26】

フレームバッファに描画されたフレーム画像を順次取得する取得ステップと、
前記フレーム画像が画質優先画像であるか否かを判断する判断ステップと、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定ステップと、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定ステップと、
前記エンコード単位に対して、前記基本パラメータ値決定ステップ又は前記画質優先パラメータ値決定ステップで決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理ステップと、
前記画像データを送信する送信ステップと、を含み、
前記画質優先パラメータ値決定ステップでは、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記エンコード処理ステップでは、前記画質優先画像の次のフレーム画像のエンコードがスキップされる、
ことを特徴とする送信方法。

【請求項27】

フレームバッファに描画されたフレーム画像を順次取得する取得ステップと、
前記フレーム画像が画質優先画像であるか否かを判断する判断ステップと、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定ステップと、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定ステップと、
前記エンコード単位に対して、前記基本パラメータ値決定ステップ又は前記画質優先パラメータ値決定ステップで決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理ステップと、
前記画像データを送信する送信ステップと、を含み、
前記画質優先パラメータ値決定ステップでは、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記エンコード処理ステップでは、前記画質優先画像をエンコードすることで生成される前記画像データのデータサイズに基づいて、フレームスキップ数が決定され、
前記エンコード処理ステップでは、前記フレームスキップ数だけ、前記画質優先画像に後続するフレーム画像のエンコードがスキップされる、
ことを特徴とする送信方法。

【請求項28】

フレームバッファに描画されたフレーム画像を順次取得する取得ステップと、
前記フレーム画像が画質優先画像であるか否かを判断する判断ステップと、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定ステップと、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定ステップと、
前記エンコード単位に対して、前記基本パラメータ値決定ステップ又は前記画質優先パラメータ値決定ステップで決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理ステップと、
前記画像データを送信する送信ステップと、を含み、
前記画質優先パラメータ値決定ステップでは、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記画質優先パラメータ値決定ステップでは、前記基本パラメータ値決定ステップよりも長い時間間隔で、前記制御量と前記目標値との差に基づいて前記パラメータの値が決定される、
ことを特徴とする送信方法。

【請求項29】

フレームバッファに描画されたフレーム画像を順次取得する取得ステップと、
前記フレーム画像が画質優先画像であるか否かを判断する判断ステップと、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定ステップと、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定ステップと、
前記エンコード単位に対して、前記基本パラメータ値決定ステップ又は前記画質優先パラメータ値決定ステップで決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理ステップと、
前記画像データを送信する送信ステップと、を含み、
前記画質優先パラメータ値決定ステップでは、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記取得ステップでは、前記フレーム画像が前記画質優先画像であるか否かを特定可能な画質優先要否データに関連付けられている前記フレーム画像が取得され、
前記判断ステップでは、前記フレーム画像に関連付けられている前記画質優先要否データに基づいて、当該フレーム画像が前記画質優先画像であるか否かが判断され、
前記画質優先要否データを生成して、当該画質優先要否データを前記フレーム画像に関連付ける画質優先要否データ生成ステップ、をさらに含み、
前記画質優先要否データ生成ステップでは、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データが関連付けられる、
ことを特徴とする送信方法。

【請求項30】

フレームバッファに描画されたフレーム画像を順次取得する取得手順、
前記フレーム画像が画質優先画像であるか否かを判断する判断手順、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定手順、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定手順、
前記エンコード単位に対して、前記基本パラメータ値決定手順又は前記画質優先パラメータ値決定手順で決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理手順、
前記画像データを送信する送信手順、をコンピュータに実行させ、
前記画質優先パラメータ値決定手順では、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記エンコード処理手順では、前記画質優先画像の次のフレーム画像のエンコードがスキップされる、
ことを特徴とするプログラム。

【請求項31】

フレームバッファに描画されたフレーム画像を順次取得する取得手順、
前記フレーム画像が画質優先画像であるか否かを判断する判断手順、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定手順、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定手順、
前記エンコード単位に対して、前記基本パラメータ値決定手順又は前記画質優先パラメータ値決定手順で決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理手順、
前記画像データを送信する送信手順、をコンピュータに実行させ、
前記画質優先パラメータ値決定手順では、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記エンコード処理手順では、前記画質優先画像をエンコードすることで生成される前記画像データのデータサイズに基づいて、フレームスキップ数が決定され、
前記エンコード処理手順では、前記フレームスキップ数だけ、前記画質優先画像に後続するフレーム画像のエンコードがスキップされる、
ことを特徴とするプログラム。

【請求項32】

フレームバッファに描画されたフレーム画像を順次取得する取得手順、
前記フレーム画像が画質優先画像であるか否かを判断する判断手順、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定手順、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定手順、
前記エンコード単位に対して、前記基本パラメータ値決定手順又は前記画質優先パラメータ値決定手順で決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理手順、
前記画像データを送信する送信手順、をコンピュータに実行させ、
前記画質優先パラメータ値決定手順では、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記画質優先パラメータ値決定手順では、前記基本パラメータ値決定手順よりも長い時間間隔で、前記制御量と前記目標値との差に基づいて前記パラメータの値が決定される、
ことを特徴とするプログラム。

【請求項33】

フレームバッファに描画されたフレーム画像を順次取得する取得手順、
前記フレーム画像が画質優先画像であるか否かを判断する判断手順、
前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定手順、
前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定手順、
前記エンコード単位に対して、前記基本パラメータ値決定手順又は前記画質優先パラメータ値決定手順で決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理手順、
前記画像データを送信する送信手順、をコンピュータに実行させ、
前記画質優先パラメータ値決定手順では、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値が決定され、
前記取得手順では、前記フレーム画像が前記画質優先画像であるか否かを特定可能な画質優先要否データに関連付けられている前記フレーム画像が取得され、
前記判断手順では、前記フレーム画像に関連付けられている前記画質優先要否データに基づいて、当該フレーム画像が前記画質優先画像であるか否かが判断され、
前記画質優先要否データを生成して、当該画質優先要否データを前記フレーム画像に関連付ける画質優先要否データ生成手順、を前記コンピュータにさらに実行させ、
前記画質優先要否データ生成手順では、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データが関連付けられる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、送信装置、送信方法及びプログラムに関する。

【背景技術】

【0002】

近年注目されているクラウドゲーミングサービスの技術では、クラウドサーバにおいてゲームのプレイ状況を表すフレーム画像が生成される。そして、当該フレーム画像をエンコードした画像データがクラウドサーバから端末に送信され、端末において当該画像データをデコードしたフレーム画像が表示される。この一連の処理が繰り返し実行されることで、ゲームのプレイ状況を表す動画像が端末に表示される。

【0003】

また、画像データのデータサイズやレイテンシの長さ等を制御量とするフィードバック制御によって、量子化パラメータ（ＱＰ）、ビット深度、画像解像度などのパラメータの値を調整するレート制御の技術が存在する。レート制御では、制御量が目標値よりも大きくなるオーバーシュートが発生したり、制御量が目標値よりも小さくなるアンダーシュートが発生したりするが、全体としては制御量と目標値との差がそれほど大きくならないよう制御される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

生成されるフレーム画像のなかには、例えば、シーンチェンジの発生直後のフレーム画像などのように、大きなオーバーシュートの発生を一時的に許容してでも画質を優先させたいもの（以下、画質優先画像と呼ぶ。）が存在する。

【0005】

しかし従来のレート制御では、このような画質優先画像を例外的に取り扱うことができなかった。また、従来のレート制御では、画像の変化量が多いシーンチェンジの発生直後のフレーム画像において、画質を優先させるべきか、データサイズやレイテンシの長さの抑制を優先させるべきかを判別する手段がなかった。

【0006】

なおこのことはクラウドゲーミングサービスが提供される状況のみならず、上述のクラウドサーバに相当する送信装置から動画像が送信される状況において一般的にあてはまる。

【0007】

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画質優先画像に適したレート制御を行うことができる送信装置、送信方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明に係る送信装置は、フレームバッファに描画されたフレーム画像を順次取得する取得部と、前記フレーム画像が画質優先画像であるか否かを判断する判断部と、前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定部と、前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定部と、前記エンコード単位に対して、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部により決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理部と、前記画像データを送信する送信部と、を含み、前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定する。

【0009】

本発明の一態様では、前記エンコード処理部は、前記画質優先画像の次のフレーム画像のエンコードをスキップする。

【0010】

あるいは、前記エンコード処理部は、前記画質優先画像をエンコードすることで生成される前記画像データのデータサイズに基づいて、フレームスキップ数を決定し、前記エンコード処理部は、前記フレームスキップ数だけ、前記画質優先画像に後続するフレーム画像のエンコードをスキップする。

【0011】

あるいは、前記画質優先画像の次のフレーム画像については、前記基本パラメータ値決定部が、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する。

【0012】

あるいは、前記基本パラメータ値決定部は、前記画質優先画像の次のフレーム画像については、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが小さくなる値を、前記パラメータの値に決定する。

【0013】

また、本発明の一態様では、前記取得部は、前記フレーム画像が前記画質優先画像であるか否かを特定可能な画質優先要否データに関連付けられている前記フレーム画像を取得し、前記判断部は、前記フレーム画像に関連付けられている前記画質優先要否データに基づいて、当該フレーム画像が前記画質優先画像であるか否かを判断する。

【0014】

この態様では、前記画質優先要否データを生成して、当該画質優先要否データを前記フレーム画像に関連付ける画質優先要否データ生成部、をさらに含んでもよい。

【0015】

さらに、前記画質優先要否データ生成部は、連続したシーンの描写、又は、連続したゲームプレイが終わり、カメラカットが行われた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付けてもよい。

【0016】

あるいは、前記画質優先要否データ生成部は、ゲームにおけるステージが変化した直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付けてもよい。

【0017】

あるいは、前記画質優先要否データ生成部は、連続したシーンの描画が終わり、フレーム画像の描画に用いられているアセットが切り替わった直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付けてもよい。

【0018】

あるいは、前記画質優先要否データ生成部は、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が前記画質優先画像であることが特定可能な前記画質優先要否データを関連付けてもよい。

【0019】

また、本発明の一態様では、前記判断部は、直前のフレームからのシーンチェンジが発生した前記フレーム画像は前記画質優先画像であると判断する。

【0020】

あるいは、前記取得部は、仮想空間内に配置された仮想オブジェクトから前記仮想空間を見た様子を表す前記フレーム画像を取得し、前記判断部は、前記仮想オブジェクトが直前のフレームから変化した直後の前記フレーム画像を前記画質優先画像と判断する。

【0021】

あるいは、仮想空間内に配置された仮想オブジェクトから前記仮想空間を見た様子を表す描画中間データに基づいて前記フレーム画像を生成する画像生成部、をさらに含み、前記判断部は、前記仮想オブジェクトが直前のフレームから変化した直後の前記描画中間データに基づいて前記画像生成部により生成される前記フレーム画像を前記画質優先画像と判断する。

【0022】

あるいは、前記判断部は、前記フレーム画像の描画に用いられているアセットが切り替わった直後の前記フレーム画像を前記画質優先画像と判断する。

【0023】

あるいは、前記判断部は、前記フレーム画像と当該フレーム画像の直前のフレームのフレーム画像との比較結果に基づいて、当該フレーム画像が前記画質優先画像であるか否かを判断する。

【0024】

また、本発明の一態様では、前記エンコード処理部は、前記画質優先画像である前記フレーム画像をＩフレームにエンコードする。

【0025】

あるいは、前記画質優先パラメータ値決定部は、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データの圧縮率が小さくなる値を決定する。

【0026】

あるいは、前記エンコード処理部は、前記画質優先画像ではない前記フレーム画像には、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードを実行する。

【0027】

また、本発明の一態様では、前記制御量は、前記画像データのデータサイズ、又は、前記フレーム画像のエンコードの開始タイミングから当該フレーム画像に基づいて生成される前記画像データの送信終了タイミングまでの時間の長さである。

【0028】

また、本発明の一態様では、前記画質優先パラメータ値決定部は、前記制御量と前記目標値との差よりも小さな値を前記所定の制御規則に適用した場合に相当する、前記フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する。

【0029】

また、本発明の一態様では、前記基本パラメータ値決定部及び前記画質優先パラメータ値決定部は、ＰＩＤ制御を行うことにより前記エンコード単位に用いられるパラメータの値を決定し、前記画質優先パラメータ値決定部は、前記基本パラメータ値決定部による決定よりもＰＩＤ制御における比例制御又は微分制御の少なくとも一方のゲインを抑制することで、前記フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する。

【0030】

また、本発明の一態様では、前記画質優先パラメータ値決定部は、前記基本パラメータ値決定部よりも長い時間間隔で、前記制御量と前記目標値との差に基づいて前記パラメータの値を決定する。

【0031】

また、本発明の一態様では、前記基本パラメータ値決定部又は前記画質優先パラメータ値決定部は、過去の単位時間あたりに前記画像データの欠落が発生した回数、又は、過去の単位時間あたりにＩフレームが生成された回数のうちの少なくとも１つにさらに基づいて、前記パラメータの値を決定する。

【0032】

また、本発明に係る送信方法は、フレームバッファに描画されたフレーム画像を順次取得する取得ステップと、前記フレーム画像が画質優先画像であるか否かを判断する判断ステップと、前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定ステップと、前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定ステップと、前記エンコード単位に対して、前記基本パラメータ値決定ステップ又は前記画質優先パラメータ値決定ステップで決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理ステップと、前記画像データを送信する送信ステップと、を含み、前記画質優先パラメータ値決定ステップでは、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定する。

【0033】

また、本発明に係るプログラムは、フレームバッファに描画されたフレーム画像を順次取得する取得手順、前記フレーム画像が画質優先画像であるか否かを判断する判断手順、前記画質優先画像ではない前記フレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を、制御量と目標値との差を所定の制御規則に適用することにより決定する基本パラメータ値決定手順、前記画質優先画像である前記フレーム画像について、当該フレーム画像の前記エンコード単位に用いられるパラメータの値を決定する画質優先パラメータ値決定手順、前記エンコード単位に対して、前記基本パラメータ値決定手順又は前記画質優先パラメータ値決定手順で決定される前記パラメータの値に基づくエンコードを実行することで画像データを生成するエンコード処理手順、前記画像データを送信する送信手順、をコンピュータに実行させ、前記画質優先パラメータ値決定手順では、前記フレーム画像の前記エンコード単位に用いられるパラメータの値として、前記制御量と前記目標値との差を前記所定の制御規則に適用することにより決定される値よりも、生成される前記画像データのデータサイズが大きくなる値を決定する。

【図面の簡単な説明】

【0034】

【図1】本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。

【図2】レート制御の一例を示す概念図である。

【図3】レート制御における累積データサイズの変化の一例を模式的に示す図である。

【図4】レート制御の一例を模式的に示す図である。

【図5】レート制御の一例を模式的に示す図である。

【図6】レート制御の一例を模式的に示す図である。

【図7】本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。

【図8】本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0035】

図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。

【0036】

本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。

【0037】

図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。

【0038】

プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

【0039】

記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

【0040】

通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。

【0041】

エンコード・デコード部１０ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。

【0042】

本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。

【0043】

図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。

【0044】

プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

【0045】

記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

【0046】

通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。

【0047】

エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。

【0048】

操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。

【0049】

表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。

【0050】

なお、端末１２に、ＧＰＵやフレームバッファが含まれている必要はない。

【0051】

本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すフレーム画像であるプレイ画像が生成され、当該プレイ画像がクラウドサーバ１０のフレームバッファに描画される。本実施形態では、ゲーム処理及びプレイ画像の生成が繰り返し実行される。

【0052】

そして、クラウドサーバ１０は、フレームバッファに描画されたプレイ画像を順次取得して、当該プレイ画像を表す画像データを生成する。そして、クラウドサーバ１０は、生成される画像データを端末１２に送信する。そして端末１２は、クラウドサーバ１０から受信する画像データをデコードすることにより生成されるプレイ画像を表示部１２ｆに表示させる。このようにして、本実施形態では一連のプレイ画像から構成されるプレイ動画像が表示部１２ｆに表示される。

【0053】

本実施形態に係るクラウドサーバ１０では、画像データのデータサイズやレイテンシの長さ等を制御量とするフィードバック制御によって、量子化パラメータ（ＱＰ）、ビット深度、画像解像度などのパラメータの値を調整するレート制御が行われる。

【0054】

図２は、本実施形態におけるレート制御の一例を示す概念図である。図２に示すように本実施形態では例えば、エンコード処理が実行されることで生成される画像データにおける制御量と目標値とが比較される。そして、制御量と目標値との比較結果、及び、画像の特徴に基づいて、圧縮率が決定される。ここで圧縮率は、制御量と目標値との比較結果に基づく調整が行われる。

【0055】

そして、決定される圧縮率に基づいて、量子化パラメータ（ＱＰ）、ビット深度、画像解像度などのパラメータの値が決定される。なお、当該パラメータの値に、生成される画像データのフレーム種類（例えば、ＩフレームであるかＰフレームであるかなど）を示す値が含まれていてもよい。

【0056】

そして、決定されるパラメータの値に基づく当該画像のエンコード処理が実行される。エンコード処理が実行されることで生成される画像データは端末１２に送信される。本実施形態に係るレート制御では、図２に示すループによるフィードバック制御が繰り返し実行される。

【0057】

ここで例えば、制御量の一例として、現在までに送信した画像データのデータサイズの合計である累積データサイズが挙げられる。また、上述のループはプレイ画像（フレーム画像）単位で実行されてもよいし、１つのプレイ画像を複数の部分に分割したスライス単位で実行されても構わない。以下の説明では、エンコード処理が実行される単位であるプレイ画像やスライスのデータサイズは一定であることとする。なお、エンコード処理が実行される単位であるプレイ画像やスライスのデータサイズは一定である必要はない。

【0058】

図３は、図２に示すレート制御による累積データサイズの変化の一例を示す図である。図３では、例えば、クラウドサーバ１０と端末１２との間の通信経路の帯域の上限（時間ｔ０で転送可能なデータサイズの上限）をｄａとする。また、上限である値ｄａから所定のバッファ（余裕値）を引いた値をｄ０とする。この場合、図３の破線ｌ１に示すように、送信開始からの時間がｔである場合における累積データサイズの目標値はｄ０×ｔ／ｔ０となる。

【0059】

また、図３には、制御量の時間変化（累積データサイズの実際値の時間変化）が実線で表現されている。そして、図３の例では、送信開始（時間０）から時間ｔ１までの間の期間Ｔ１、及び時間ｔ２からｔ０までの間の期間Ｔ３において、制御量が目標値よりも小さいアンダーシュートが発生している。この状況では、決定される圧縮率は低くなる。そのため、制御量が目標値に近づいていく。一方、また時間ｔ１から時間ｔ２までの間の期間Ｔ２において、制御量が目標値よりも大きいオーバーシュートが発生している。この状況では、決定される圧縮率は高くなる。そのためこの場合も、制御量が目標値に近づいていく。

【0060】

また、本実施形態では、各プレイ画像には、当該プレイ画像が画質を優先させる画質優先画像であるか否かが特定可能な画質優先要否データが関連付けられている。ここでは各プレイ画像には、当該プレイ画像の直前のフレームからのシーンチェンジが発生したか否かに応じた画質優先要否データが関連付けられていてもよい。例えば、直前のフレームからのシーンチェンジが発生したプレイ画像には、値が１である画質優先要否データが関連付けられており、そうでないプレイ画像には、値が０である画質優先要否データが関連付けられていてもよい。本実施形態では例えば、画質優先要否データが関連付けられているプレイ画像が、画質優先画像として取り扱われる。

【0061】

そして、本実施形態では、図４～図６を参照して以下で説明するようにして、画質優先要否データの値に応じたレート制御が行われる。

【0062】

図４～図６は、本実施形態におけるエンコード処理の実行タイミング及び画像データの送信タイミングの一例を示す図である。図４～図６には、第１フレーム～第９フレームのプレイ画像について、エンコード処理が実行されている期間が、それぞれ、Ｐ１～Ｐ９と表現されている。また、プレイ画像Ｐ１～Ｐ９をエンコードすることにより生成される画像データが送信されている期間が、それぞれ、Ｄ１～Ｄ９と表現されている。また、第１フレーム～第９フレームのそれぞれについて、エンコード処理が開始されるべきタイミングが縦方向に延伸する破線ｓ１～ｓ９と表現されている。

【0063】

図４～図６に示すように、本実施形態では、フレームレートは一定である。また、本実施形態では、プレイ画像のエンコード処理の開始タイミングから当該プレイ画像に基づいて生成される画像データの送信の終了タイミングまでの時間をレイテンシ（遅延）と呼ぶこととする。

【0064】

図４～図６の例では、１つのプレイ画像を複数の部分に分割して送信するスライス転送方式によって、プレイ画像のエンコード、及び、画像データの送信が行われる。そのため、１つのプレイ画像のすべてについてのエンコード処理が終了する前に、当該プレイ画像の一部であるスライスのエンコードが終了した際には、当該スライスをエンコードした画像データが端末１２に送信されるようになっている。

【0065】

直前のフレームからの動きが激しい、高精細である、高周波成分が多い、などの特定の特徴を持つフレーム画像は、Ｉフレームにエンコードされる。図４～図６の例では、第３フレームのプレイ画像がＩフレームにエンコードされている。ここで、図４、及び、図５の例における第３フレームのプレイ画像には、値が０である画質優先要否データが関連付けられていることとする。また、図６の例における第３フレームのプレイ画像には、値が１である画質優先要否データが関連付けられていることとする。なお、図４～図６の例のいずれについても、他のプレイ画像については、すべて、値が０である画質優先要否データが関連付けられていることとする。

【0066】

ＩフレームはＰフレームよりもデータサイズが大きい。そのため、図４、図５、及び、図６に示すように、第３フレームの画像データの送信時間は他のフレームについての画像データの送信時間よりも長くなっている。また、第３フレームのプレイ画像のエンコード時間も他のフレームのプレイ画像のエンコード時間より長くなっている。

【0067】

図４に示すものと図５に示すものとでは、レート制御の条件が異なっており、図５に示すものは図４に示すものより第３フレームの画像データのデータサイズが大きくなっている。そして、図５に示すものは図４に示すものより、第３フレームの画像データの送信時間が長くなっている。

【0068】

そのため、第３フレーム終了時点における上述の制御量と目標値との差は、図５に示すものの方が図４に示すものよりも大きい。そのため、後続のフレームについてのレート制御における圧縮率は図５に示すものの方が図４に示すものより高く決定される。そのため、第４フレーム、及び、第５フレームの画像データのデータサイズは、図５に示すものの方が図４に示すものよりも小さい。そして、図４に示すものと図５に示すもののいずれも、第７フレームにおいて、レイテンシが正常な状態に戻っている。

【0069】

また、本実施形態では例えば、同じプレイ画像であっても、当該プレイ画像に関連付けられている画質優先要否データの値が１である場合の方が０である場合よりも低い圧縮率でエンコード処理が実行される。そのため、プレイ画像に関連付けられている画質優先要否データの値が１である場合の方が０である場合よりもデコード後のプレイ画像の画質が高くなる。

【0070】

図６に示すものは、図４、及び、図５に示すものよりも、第３フレームの画像データのデータサイズが大きくなっている。この場合は、第３フレームにおけるオーバーシュートを許容している。そして、図６に示すものでは、第４フレームの画像データの欠落が発生している。そして、図６に示すものでは、第９フレームにおいて、レイテンシが正常な状態に戻っている。

【0071】

生成されるフレーム画像のなかには、例えば、シーンチェンジの発生直後のフレーム画像などのように、大きなオーバーシュートの発生を一時的に許容してでも画質を優先させたい画質優先画像が存在する。

【0072】

しかし、従来のレート制御では、このような画質優先画像を例外的に取り扱うことができなかった。

【0073】

本実施形態では、同じプレイ画像であっても、当該プレイ画像が画質優先画像である場合の方が画質優先画像でない場合よりも画像データのデータサイズが大きくなるようエンコード処理が実行される。そのため、本実施形態によれば、画質優先画像に適したレート制御を行うことができることとなる。

【0074】

以下、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドサーバ１０で実行される処理について、さらに説明する。

【0075】

図７は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図７に示す機能のすべてが実装される必要はなく、また、図７に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の実行など）が実装されていても構わない。

【0076】

図７に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、比較部２０、画像生成部２２、取得部２４、判断部２６、基本パラメータ値決定部２８ａ、画質優先パラメータ値決定部２８ｂ、エンコード処理部３０、送信部３２、が含まれる。また、画像生成部２２には、画質優先要否データ生成部２２ａが含まれる。

【0077】

比較部２０は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。取得部２４、エンコード処理部３０は、エンコード・デコード部１０ｄを主として実装される。画像生成部２２、判断部２６、基本パラメータ値決定部２８ａ、画質優先パラメータ値決定部２８ｂは、プロセッサ１０ａを主として実装される。送信部３２は、通信部１０ｃを主として実装される。

【0078】

以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。

【0079】

図７に示すように、本実施形態に係る端末１２には、機能的には例えば、受信部４０、受信バッファ４２、デコード処理部４４、表示制御部４６、が含まれる。

【0080】

受信部４０は、通信部１２ｃを主として実装される。受信バッファ４２は、記憶部１２ｂを主として実装される。デコード処理部４４は、エンコード・デコード部１２ｄを主として実装される。表示制御部４６は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。

【0081】

以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。

【0082】

比較部２０は、本実施形態では例えば、上述の制御量と目標値とを比較する。例えば、比較部２０は、制御量を示す制御量データと、目標値を示す目標値データと、を記憶する。そして、比較部２０は、画像データが生成される度に、制御量データを更新する。ここでは例えば、上述のように制御量が累積データサイズである場合は、比較部２０は、当該画像データのデータサイズの大きさだけ制御量データの値を増加させる。

【0083】

また、上述のように制御量が累積データサイズである場合など、目標値が時間の変数である場合は、比較部２０は、現在時刻、あるいは、送信開始からの時間、などに基づいて、目標値データを適宜更新してもよい。例えば、所定の時間間隔で目標値データが更新されるようにしてもよい。

【0084】

画像生成部２２は、本実施形態では例えば、フレーム画像を生成する。また、画像生成部２２は、生成されたフレーム画像をフレームバッファに描画する。例えば、画像生成部２２は、上述のプレイ画像を生成する。

【0085】

画質優先要否データ生成部２２ａは、本実施形態では例えば、画像生成部２２が生成するフレーム画像が画質優先画像であるか否かを特定可能な画質優先要否データを生成して、当該画質優先要否データを当該フレーム画像に関連付ける。

【0086】

ここで、画質優先要否データ生成部２２ａが、連続したシーンの描写、又は、連続したゲームプレイが終わり、カメラカットが行われた直後のフレーム画像に、当該フレーム画像が画質優先画像であることが特定可能な画質優先要否データを関連付けてもよい。

【0087】

例えば、ある連続したシーンの描写（カメラワーク）が終わり、カメラカット（カメラ割り）が行われた直後のフレーム画像に値が１である画質優先要否データが関連付けられるようにしてもよい。

【0088】

例えば、レースゲームのプレイ中に、プレイヤがドライバー視点で車を運転している際には、値が０である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。ここで仮にドライバーが縁石に車をぶつけるなどして視界が急変し、フレーム間の画像特徴量の変化が大きかったとしても、画質が落ちるものの低遅延性と表示される動画像の連続性（滑らかさ）は維持される。

【0089】

一方で、視点が観客席からのものに変わった際に、値が１である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。こうすれば、シーンチェンジの直後のフレーム画像は高画質で表示される。また、当該フレームの直後のフレームのフレーム画像に基づいて生成される画像データが欠落してもユーザはそれほど気にならない。

【0090】

また例えば、ある連続したゲームプレイが終わり、カメラカット（カット割り）が行われた直後のフレーム画像に値が１である画質優先要否データが関連付けられるようにしてもよい。

【0091】

また、画質優先要否データ生成部２２ａが、ゲームにおけるステージが変化した直後のフレーム画像に、当該フレーム画像が画質優先画像であることが特定可能な画質優先要否データを関連付けてもよい。

【0092】

例えば、あるゲームにおいて、森の中を歩くステージが続いている間は、値が０である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。その後、砂漠の中を歩くステージに変化した際に、値が１である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。

【0093】

また、画質優先要否データ生成部２２ａが、連続したシーンの描画が終わり、フレーム画像の描画に用いられているアセットが切り替わった直後のフレーム画像に、当該フレーム画像が画質優先画像であることが特定可能な画質優先要否データを関連付けてもよい。

【0094】

また、例えば、ある連続したシーンの描画が終わり、フレーム画像の描画に用いられているアセット（３Ｄオブジェクトやテクスチャデータなど）が切り替わった直後のフレーム画像に値が１である画質優先要否データが関連付けられるようにしてもよい。

【0095】

また、画質優先要否データ生成部２２ａが、フレーム画像の描画に用いられる新たなアセットがメモリにロードされた直後のフレーム画像に、当該フレーム画像が画質優先画像であることが特定可能な画質優先要否データを関連付けてもよい。

【0096】

例えば、あるゲームにおいて、森の中を歩くステージの描画に必要なアセットがメモリに保持されている間は、値が０である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。その後、砂漠の中を歩くステージの描画を行うためにアセットを入れ替える処理が実行されて、新たなアセットがメモリにロードされた際に、値が１である画質優先要否データに関連付けられたフレーム画像が生成されるようにしてもよい。なおこの場合、描画システムやゲームシステムのプログラムではなく、システムプログラムによって、アセットが入れ替えわったタイミングが特定されてもよい。そして、システムプログラムによって値が１である画質優先要否データがフレーム画像に関連付けられるようにしてもよい。

【0097】

取得部２４は、本実施形態では例えば、フレームバッファに描画されたフレーム画像（上述の例ではプレイ画像）を順次取得する。本実施形態では上述のように、ユーザがゲームをプレイしている際に、直前のフレームからのシーンチェンジが発生したか否かに応じた画質優先要否データが関連付けられたフレーム画像が生成される。そして画質優先要否データが関連付けられたフレーム画像がフレームバッファに描画される。そして、取得部２４は、画質優先要否データに関連付けられているフレーム画像を取得する。画質優先要否データが関連付けられたフレーム画像は、例えば、クラウドサーバ１０に含まれるゲームプログラム等の描画プログラムによって生成される。なお、画質優先要否データが関連付けられたフレーム画像が、ゲームエンジンによって生成されてもよい。なお、画質優先要否データは、直前のフレームからのシーンチェンジが発生したか否かに応じたものである必要はなく、所定のロジックに基づいて画質優先要否データの値が決定されてもよい。

【0098】

また、取得部２４は、仮想空間内に配置された仮想オブジェクトから仮想空間を見た様子を表すフレーム画像を取得してもよい。

【0099】

判断部２６は、本実施形態では例えば、取得部２４によって取得されるフレーム画像が画質優先画像であるか否かを判断する。判断部２６は、例えば、フレーム画像に関連付けられている画質優先要否データに基づいて、当該フレーム画像が画質優先画像であるか否かを判断してもよい。判断部２６は、例えば、フレーム画像に関連付けられている画質優先要否データの値が１である場合に、当該フレーム画像を画質優先画像であると判断してもよい。一方で、判断部２６は、例えば、フレーム画像に関連付けられている画質優先要否データの値が０である場合に、当該フレーム画像は画質優先画像でないと判断してもよい。

【0100】

また、判断部２６が、直前のフレームからのシーンチェンジが発生したか否かを判定してもよい。そして、判断部２６は、直前のフレームからのシーンチェンジが発生したフレーム画像は画質優先画像であると判断し、そうでないフレーム画像は画質優先画像でないと判断してもよい。

【0101】

ここで上述のように、取得部２４によって仮想空間内に配置された仮想オブジェクトから仮想空間を見た様子を表すフレーム画像が取得されてもよい。この場合に、判断部２６は、当該仮想オブジェクトが直前のフレームから変化した直後のフレーム画像を画質優先画像と判断してもよい。

【0102】

また、判断部２６が、フレーム画像の描画に用いられているアセットが切り替わった直後のフレーム画像を画質優先画像と判断してもよい。

【0103】

また、判断部２６は、画質優先要否データに基づいて、直前のフレームからのシーンチェンジが発生したか否かを判定しなくてもよい。例えば、判断部２６は、フレーム画像と当該フレーム画像の直前のフレームのフレーム画像との比較結果に基づいて、直前のフレームからのシーンチェンジが発生したか否かを判定してもよい。

【0104】

例えば、判断部２６は、シーンの変化量を示す値が所定値よりも大きい場合は、直前のフレームからのシーンチェンジが発生したと判定し、そうでない場合は、直前のフレームからのシーンチェンジが発生していないと判定してもよい。

【0105】

ここで、シーンの変化量を示す値として、例えば、直前のフレーム画像と当該フレーム画像との相違度や類似度を示す指標値が用いられてもよい。例えば、Peak Signal to Noise Ratio（ＰＳＮＲ）やStructural Similarity（ＳＳＩＭ）が所定値よりも小さい場合は、シーンチェンジが発生していないと判定され、そうでない場合は、シーンチェンジが発生したと判定されてもよい。あるいは、シーンの変化量として、Motion Estimation（ＭＥ）変化量が用いられてもよい。例えば、ＭＥ変化量の値が所定値よりも大きい場合は、シーンチェンジが発生したと判定され、そうでない場合は、シーンチェンジが発生していないと判定されてもよい。あるいは、シーンの変化量を示す値として、直前のフレーム画像が表示されるタイミングと当該フレームのフレーム画像が表示されるタイミングとの間におけるオーディオが不連続である程度を示す値が用いられてもよい。例えば、当該値が所定値よりも大きい場合は、シーンチェンジが発生したと判定され、そうでない場合は、シーンチェンジが発生していないと判定されてもよい。

【0106】

また、所定の規則に基づき導出されるフレーム画像が表す内容を示すスコア値の変化量に基づいて、直前のフレームからのシーンチェンジが発生したか否かが判定されてもよい。例えば、シーンの切り替えタイミングか否か、フレームに表されている画像テクスチャの種類、特徴点の分布、奥行き情報、オブジェクトの量、３次元グラフィクスに用いているミップマップテクスチャの各レベルの使用量、ＬＯＤ（Level Of Detail）、テッセレーションの各レベルの使用量、文字及び記号の量、表されるシーンの種類などの情報から算出されるスコア値の変化量に基づいて、シーンチェンジが発生したか否かが判定されてもよい。ここで例えば、空間的詳細度及び時間的詳細度の優先度を表すスコア値が算出されてもよい。

【0107】

基本パラメータ値決定部２８ａは、本実施形態では例えば、画質優先画像ではないフレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を決定する。

【0108】

画質優先パラメータ値決定部２８ｂは、本実施形態では例えば、画質優先画像であるフレーム画像について、当該フレーム画像の一部又は全部であるエンコード単位のエンコードに用いられるパラメータの値を決定する。

【0109】

上述のように例えば、量子化パラメータ（ＱＰ）、ビット深度、画像解像度などのパラメータの値が決定される。なお、当該パラメータの値に、生成される画像データのフレーム種類（例えば、ＩフレームであるかＰフレームであるかなど）を示す値が含まれていてもよい。

【0110】

また、基本パラメータ値決定部２８ａは、制御量と目標値との差を所定の制御規則に適用することにより、パラメータの値を決定してもよい。

【0111】

また、画質優先パラメータ値決定部２８ｂは、フレーム画像のエンコード単位に用いられるパラメータの値として、制御量と目標値との差を上述の所定の制御規則に適用することにより決定される値よりも、生成される画像データのデータサイズが大きくなる値を決定してもよい。画質優先パラメータ値決定部２８ｂは、例えば、フレーム画像のエンコード単位に用いられるパラメータの値として、制御量と目標値との差を上述の所定の制御規則に適用することにより決定される値よりも、生成される画像データの圧縮率が小さくなる値を決定してもよい。そして、決定される圧縮率に対応するパラメータの値が決定されてもよい。

【0112】

また、画質優先パラメータ値決定部２８ｂは、制御量と目標値との差よりも小さな値を上述の所定の制御規則に適用する場合に相当する、フレーム画像のエンコード単位に用いられるパラメータの値を決定してもよい。

【0113】

本実施形態において、画質優先画像の次のフレーム画像については、基本パラメータ値決定部２８ａが、制御量と目標値との差を上述の所定の制御規則に適用することにより当該フレーム画像のエンコード単位に用いられるパラメータの値を決定してもよい。この場合、当該画質優先画像によって変化する制御量は、当該画質優先画像の次のフレーム画像に係るパラメータ値の決定に引き継がれることとなる。画像データのデータサイズやレイテンシの長さがオーバーシュートした状態が引き継がれるので、当該画質優先画像の次のフレーム画像に係るパラメータ値の決定では、このオーバーシュートを収束させる処理が実行されることとなる。

【0114】

また、基本パラメータ値決定部２８ａは、画質優先画像の次のフレーム画像については、制御量と目標値との差を上述の所定の制御規則に適用することにより決定される値よりも、生成される画像データのデータサイズが小さくなる値を決定してもよい。例えば、画質優先画像の次のフレーム画像については、制御量と目標値との差を上述の所定の制御規則に適用することにより決定される値よりも、生成される画像データの圧縮率が大きくなる値を決定してもよい。そして、決定される圧縮率に対応するパラメータの値が決定されてもよい。

【0115】

また、基本パラメータ値決定部２８ａ、又は、画質優先パラメータ値決定部２８ｂの少なくとも一方は、例えば、現時点のコンピュータネットワーク１４の転送可能帯域に基づいて、パラメータの値を決定してもよい。例えば転送可能帯域を示す値が大きいほど低い圧縮率が決定されてもよい。転送可能帯域に余裕がある場合は、圧縮率が低くてもそれほど問題とはならないと考えられる。また、転送可能帯域が充分あれば、当該フレームより後のフレーム画像のエンコードのスキップを省略可能であるため、この観点からも、転送可能帯域に余裕がある場合は、圧縮率が低くてもそれほど問題とはならない。

【0116】

また、基本パラメータ値決定部２８ａ、又は、画質優先パラメータ値決定部２８ｂの少なくとも一方は、過去の単位時間あたりに画像データの欠落が発生した回数、又は、過去の単位時間あたりにＩフレームが生成された回数のうちの少なくとも１つにさらに基づいて、パラメータの値を決定してもよい。例えば、直近の所定時間について単位時間あたりに画像データの欠落が発生した回数が多いほど高い圧縮率が決定されてもよい。また、直近の所定時間について単位時間あたりにＩフレームが生成された回数が多いほど高い圧縮率が決定されてもよい。

【0117】

転送帯域が不十分な状況でＩフレームの転送回数が増えると、転送量過多による意図しないデータ欠落、あるいは、意図的なＩフレーム後の画像データの送信のスキップの、いずれかにより、フレームレートが不連続となる。その結果、端末１２における動画像の再生におけるスムースネスが低下し、ユーザ体験が悪化してしまう。このような場合に、シーンの変化量が大きくても、圧縮率を高くすることによってフレームレートのスムースネスを確保することを優先させてもよい。

【0118】

また、基本パラメータ値決定部２８ａ、又は、画質優先パラメータ値決定部２８ｂの少なくとも一方は、深層学習などの機械学習モデルを用いて、パラメータの値を決定してもよい。

【0119】

また、基本パラメータ値決定部２８ａ、又は、画質優先パラメータ値決定部２８ｂの少なくとも一方は、以上で挙げたもののうちのいくつかあるいはすべてを組み合わせて、その総合的な評価値に基づいて、パラメータの値を決定してもよい。

【0120】

上述の制御量は、累積データサイズには限定されない。例えば、制御量は、単位時間あたりに生成される画像データのデータサイズであってもよい。また、上述のレイテンシの長さが制御量であってもよい。ここで、レイテンシの長さとは、例えば、上述のように、フレーム画像のエンコードの開始タイミングから当該フレーム画像に基づいて生成される画像データの送信終了タイミングまでの時間の長さを指す。

【0121】

また、本実施形態に係るレート制御において、ＰＩＤ制御であるフィードバック制御が実行されてもよい。この場合、画質優先パラメータ値決定部２８ｂは、基本パラメータ値決定部２８ａによる決定よりもＰＩＤ制御における比例制御又は微分制御の少なくとも一方のゲインを抑制することで、フレーム画像のエンコード単位に用いられるパラメータの値を決定してもよい。

【0122】

また、画質優先パラメータ値決定部２８ｂは、基本パラメータ値決定部２８ａよりも長い時間間隔で、制御量と目標値との差に基づいてパラメータの値を決定してもよい。例えば、画質優先パラメータ値決定部２８ｂはフレーム画像単位で制御量と目標値との差に基づくパラメータの値の決定を行い、基本パラメータ値決定部２８ａは、スライス単位で制御量と目標値との差に基づくパラメータの値の決定を行ってもよい。このように、画質優先パラメータ値決定部２８ｂによるパラメータの値の決定におけるフィードバック制御の時間粒度を粗くすることで、わざとオーバーシュートが起きる状態を作り出すことができる。

【0123】

エンコード処理部３０は、本実施形態では例えば、上述のエンコード単位に対して、基本パラメータ値決定部２８ａ又は画質優先パラメータ値決定部２８ｂにより決定されるパラメータの値に基づくエンコードを実行することで画像データを生成する。

【0124】

また、エンコード処理部３０は、画質優先画像の次のフレーム画像のエンコードをスキップしてもよい。

【0125】

ここで、エンコード処理部３０は、画質優先画像をエンコードすることで生成される画像データのデータサイズに基づいて、フレームスキップ数を決定してもよい。例えば、当該データサイズが大きいほど大きな数のフレームスキップ数が決定されてもよい。そして決定されるフレームスキップ数だけ、画質優先画像に後続するフレーム画像のエンコードをスキップしてもよい。

【0126】

本実施形態において、エンコードのスキップに係る制御（フレームドロップ制御）が、レート制御によってなされてもよい。例えば、画質優先画像については、大きなオーバーシュートが許容されるようなパラメータの値が決定され、通常よりも画像データのデータサイズが大きくなるようにしてもよい。そしてこのことに基づいて、レート制御において、フレームスキップ数が決定されるようにして、オーバーシュートが収束されるようにしてもよい。

【0127】

また、エンコード処理部３０は、基本パラメータ値決定部２８ａ、又は、画質優先パラメータ値決定部２８ｂによって決定される、生成される画像データのフレーム種類を示す値に従って、画像データを生成してもよい。例えば、フレーム種類を示す値がＩフレームに対応する値である場合は、Ｉフレームが生成され、フレーム種類を示す値がＰフレームに対応する値である場合は、Ｐフレームが生成されるようにしてもよい。

【0128】

また、エンコード処理部３０は、画質優先画像であるフレーム画像をＩフレームにエンコードしてもよい。例えば、画質優先画像であるフレーム画像は、必ず、あるいは、優先的に、Ｉフレームにエンコードされるようにしてもよい。エンコード処理部３０は、例えば、判断部２６によって画質優先画像であると判断されるフレーム画像をＩフレームにエンコードしてもよい。

【0129】

また、エンコード処理部３０は、画質優先画像ではないフレーム画像には、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードを実行してもよい。

【0130】

送信部３２は、本実施形態では例えば、エンコード処理部３０により生成される画像データを端末１２に送信する。ここで送信部３２が、コンピュータネットワーク１４の通信状況を監視することで、転送可能帯域を特定してもよい。そして、送信部３２が、特定される転送可能帯域に応じたデータレートで画像データを端末１２に送信してもよい。

【0131】

また、本実施形態において、画像生成部２２が、仮想空間内に配置された仮想オブジェクトから当該仮想空間を見た様子を表す描画中間データ（例えば、仮想空間を表す３次元モデルのデータの当該仮想空間における配置情報）に基づいてフレーム画像を生成してもよい。

【0132】

そして、画質優先要否データ生成部２２ａが、仮想空間を見る主体である仮想オブジェクトが直前のフレームから変化した直後の描画中間データに基づいて画像生成部２２により生成されるフレーム画像に、当該フレーム画像が画質優先画像であることが特定可能な画質優先要否データを関連付けてもよい。

【0133】

そして、判断部２６が、仮想空間を見る主体である仮想オブジェクトが直前のフレームから変化した直後の描画中間データに基づいて画像生成部２２により生成されるフレーム画像を画質優先画像であると判断してもよい。例えば、判断部２６は、画質優先要否データ生成部２２ａによって上述の描画中間データに基づいて値が１である画質優先要否データが関連付けられたフレーム画像を画質優先画像であると判断してもよい。

【0134】

また、画質優先要否データ生成部２２ａが、描画中間データに基づいて、仮想空間を見る主体である仮想オブジェクトが直前のフレームから変化したか否かを判断しなくてもよい。そしてこの場合に、判断部２６が、仮想空間内に配置された仮想オブジェクトから当該仮想空間を見た様子を表す描画中間データに基づいて、当該描画中間データに基づいて生成されるフレーム画像が画質優先画像であるか否かを判断してもよい。例えば、判断部２６が、描画中間データに基づいて、仮想空間を見る主体である仮想オブジェクトが直前のフレームから変化したか否かを判断してもよい。そして、仮想空間を見る主体である仮想オブジェクトが直前のフレームから変化したと判断されるフレームのフレーム画像を画質優先画像であると判断してもよい。

【0135】

受信部４０は、本実施形態では例えば、画像データを送信装置から受信する。

【0136】

受信バッファ４２は、本実施形態では例えば、受信部４０が受信する画像データを記憶する。

【0137】

デコード処理部４４は、本実施形態では例えば、受信バッファ４２に記憶される画像データをデコードすることによりプレイ画像を生成する。

【0138】

表示制御部４６は、本実施形態では例えば、デコード処理部４４により生成されるプレイ画像を表示させる。

【0139】

ここで、本実施形態に係るクラウドサーバ１０において実行される処理の流れの一例を、図８に例示するフロー図を参照しながら説明する。図８に示すＳ１０１～Ｓ１１０に示す処理は繰り返し実行される。図８に示すＳ１０１～Ｓ１１０に示す処理は、基本的には、固定あるいは可変のフレームレートで繰り返し実行される。なお、本処理例では、比較部２０は、所定の時間間隔で、比較部２０に記憶されている目標値データを更新していることとする。

【0140】

まず、取得部２４が、フレームバッファに描画された当該フレームのフレーム画像を取得する（Ｓ１０１）。

【0141】

そして、判断部２６が、Ｓ１０１に示す処理で取得されたフレーム画像が画質優先画像であるか否かを判断する（Ｓ１０２）。

【0142】

Ｓ１０２に示す処理で画質優先画像であると判断されると（Ｓ１０２：Ｙ）、判断部２６は、画質優先パラメータ値決定部２８ｂを、本ループにおけるパラメータ値決定部として選択する（Ｓ１０３）。

【0143】

Ｓ１０２に示す処理で画質優先画像ではないと判断されると（Ｓ１０２：Ｎ）、判断部２６は、基本パラメータ値決定部２８ａを、本ループにおけるパラメータ値決定部として選択する（Ｓ１０４）。

【0144】

そして、エンコード処理部３０が、Ｓ１０１に示す処理で取得されたフレーム画像に含まれる複数のスライスのうち、Ｓ１０６～Ｓ１０９に示す処理が実行されていないものを１つ選択する（Ｓ１０５）。

【0145】

そして、Ｓ１０３又はＳ１０４に示す処理で選択された、本ループにおけるパラメータ値決定部が、Ｓ１０５に示す処理で選択されたスライスのエンコード処理に用いられるパラメータの値を決定する（Ｓ１０６）。例えば、制御量と目標値との差、及び、Ｓ１０１に示す処理で取得されたフレーム画像の特徴（例えば、直前のフレームからの動きの大きさ等）、などに基づいて、パラメータの値が決定される。

【0146】

ここで、例えば、比較部２０に記憶されている制御量データと目標値データとに基づいて、制御量と目標値との差が特定されてもよい。

【0147】

また、Ｓ１０６に示す処理で、圧縮率が決定されてもよい。そして、決定された圧縮率に基づいて、各種のパラメータの値が決定されてもよい。

【0148】

そして、エンコード処理部３０が、Ｓ１０６に示す処理で決定されたパラメータの値に基づいて、Ｓ１０５に示す処理で選択されたスライスをエンコードすることで、当該スライスに対応する画像データを生成する（Ｓ１０７）。

【0149】

そして、送信部３２が、Ｓ１０７に示す処理で生成された画像データを端末１２に送信する（Ｓ１０８）。

【0150】

そして、比較部２０が、比較部２０に記憶されている制御量データを更新する（Ｓ１０９）。ここでは比較部２０は、例えば、Ｓ１０７に示す処理で生成された画像データのデータサイズを示す値だけ制御量データの値を増加させる。

【0151】

そして、送信部３２が、Ｓ１０１に示す処理で取得されたフレーム画像に含まれるすべてのスライスに対応する画像データを送信したか否かを確認する（Ｓ１１０）。

【0152】

すべてのスライスに対応する画像データが送信されていない場合は（Ｓ１１０：Ｎ）、Ｓ１０５に示す処理に戻る。

【0153】

すべてのスライスに対応する画像データが送信された場合は（Ｓ１１０：Ｙ）、Ｓ１０１に示す処理に戻る。

【0154】

上述の処理例において、Ｓ１０２に示す処理で画質優先画像ではないと判断された場合には、Ｓ１０５～Ｓ１０９に示すスライス単位でのフィードバック制御の代わりに、フレーム画像単位でフィードバック制御が実行されてもよい。

【0155】

この場合は、例えば、基本パラメータ値決定部２８ａが、Ｓ１０１に示す処理で取得されたフレーム画像のエンコード処理に用いられるパラメータの値を決定してもよい。

【0156】

そして、エンコード処理部３０が、決定されるパラメータの値に基づいて、Ｓ１０１に示す処理で取得されたフレーム画像をエンコードすることで、画像データを生成してもよい。

【0157】

そして、送信部３２が、生成された画像データを端末１２に送信してもよい。

【0158】

そして、比較部２０が、比較部２０に記憶されている制御量データを更新して、Ｓ１０１に示す処理に戻ってもよい。

【0159】

なお、本発明は上述の実施形態に限定されるものではない。

【0160】

また、本発明の適用範囲は、クラウドゲーミングシステム１には限定されない。例えば、家庭内に配置されたサーバと、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどを介して当該サーバと接続される端末と、を含むゲームシステムにも、本発明は適用可能である。すなわち、コンピュータネットワーク１４は、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどであってもよい。また、当該サーバと当該端末とは有線で接続されていても無線で接続されていてもよい。

【0161】

また、本発明が適用されるゲームの内容は特に限定されず、例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）を用いたゲームを実行するゲームシステムにも本発明は適用可能である。

【0162】

また、本発明の適用範囲はゲームには限定されず、上述のクラウドサーバ１０に相当する送信装置から動画像が送信される場面において一般的に本発明は適用可能である。

【0163】

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】