特表 2024-517915 データ処理方法、装置、コンピュータ機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】データ処理方法、装置、コンピュータ機器及びコンピュータプログラム

(51)【国際特許分類】

   H04N 19/132 20140101AFI20240416BHJP

   H04N 19/146 20140101ALI20240416BHJP

   H04N 19/172 20140101ALI20240416BHJP

   H04N 19/59 20140101ALI20240416BHJP

【ＦＩ】

H04N19/132

H04N19/146

H04N19/172

H04N19/59

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023569620

(86)(22)【出願日】2022-08-01

(85)【翻訳文提出日】2023-11-09

(86)【国際出願番号】 CN2022109380

(87)【国際公開番号】W WO2023024832

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】202110974007.3

(32)【優先日】2021-08-24

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ウー，ジアピン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LB05

5C159MA01

5C159MA21

5C159MC11

5C159ME01

5C159RC12

5C159TA06

5C159TB04

5C159TC18

5C159TD12

5C159UA02

5C159UA05

(57)【要約】

本発明はデータ処理方法、コンピュータ機器及び記憶媒体を開示する。該方法は、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出するステップ（ステップＳ１０１）と、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップであって、第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い、ステップ（ステップＳ１０２）と、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得するステップ（ステップＳ１０３）と、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信するステップであって、第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる、ステップ（ステップＳ１０４）と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

アプリケーションサーバが実行するデータ処理方法であって、
符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、前記第１の画面フレームのデータ量を検出するステップと、
前記第１の画面フレームのデータ量がデータ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップであって、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、ステップと、
前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するステップと、
前記アプリケーションクライアントが前記画面フレームコードストリームに基づいて第２の画面フレームを表示するように、前記画面フレームコードストリームを前記アプリケーションクライアントに送信するステップであって、前記第２の画面フレームは、前記アプリケーションクライアントが前記画面フレームコードストリームを復号して前記第１の調整画面フレームを取得した後、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整して得られる、ステップと、を含む、方法。

【請求項2】

前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップは、
前記第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を取得するステップと、
前記横方向の縮小比率及び前記縦方向の縮小比率に基づいて前記第１の画面フレームに対して画面縮小調整を行い、前記第１の調整画面フレームを取得するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記横方向の縮小比率及び前記縦方向の縮小比率に基づいて前記第１の画面フレームに対して画面縮小調整を行い、前記第１の調整画面フレームを取得するステップは、
前記横方向の縮小比率に基づいて前記第１の画面フレームにおける横方向の画素値をサンプリングし、横方向のサンプリング画素値を取得するステップと、
前記縦方向の縮小比率に基づいて前記第１の画面フレームにおける縦方向の画素値をサンプリングし、縦方向のサンプリング画素値を取得するステップと、
前記横方向のサンプリング画素値及び前記縦方向のサンプリング画素値に基づいて前記第１の調整画面フレームを生成するステップと、を含む、請求項２に記載の方法。

【請求項4】

前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するステップは、
前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの初期画面フレームコードストリームを取得するステップと、
前記横方向の縮小比率及び前記縦方向の縮小比率を前記初期画面フレームコードストリームに追加し、前記画面フレームコードストリームを取得するステップと、を含む、請求項２に記載の方法。

【請求項5】

前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するステップは、
解像度が前記第１の解像度である空白画面フレームを取得するステップと、
前記第１の調整画面フレームを前記空白画面フレームにコピーし、第１のコピー画面フレームを取得するステップと、
前記第１のコピー画面フレームを符号化し、前記画面フレームコードストリームを取得するステップと、を含む、請求項１に記載の方法。

【請求項6】

前記第１のコピー画面フレームを符号化し、前記画面フレームコードストリームを取得するステップは、
前記アプリケーションクライアントの前記第１の画面フレームの直前の画面フレームを前記第１の画面フレームの参照画面フレームとして取得するステップと、
前記第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得するステップと、
前記第２の調整画面フレームを前記空白画面フレームにコピーし、第２のコピー画面フレームを取得するステップと、
前記第２のコピー画面フレームに基づいて前記第１のコピー画面フレームを符号化し、前記画面フレームコードストリームを取得するステップと、を含む、請求項５に記載の方法。

【請求項7】

前記アプリケーションクライアントは、ゲームクライアントであり、
前記第１の画面フレームのデータ量がデータ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップは、
前記第１の画面フレームが前記ゲームクライアントのシーン切り替え時のゲーム画面フレームに属し、且つ前記第１の画面フレームのデータ量が前記データ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、前記第１の調整画面フレームを取得するステップ、を含む、請求項１に記載の方法。

【請求項8】

前記アプリケーションクライアントの画面フレームについての単位伝送データ量及び単位伝送フレーム数を取得するステップと、
前記単位伝送データ量及び前記単位伝送フレーム数に基づいて平均フレームデータ量を決定するステップと、
前記平均フレームデータ量に基づいて前記データ量閾値を決定するステップと、をさらに含む、請求項１に記載の方法。

【請求項9】

前記第１の調整画面フレームに対して超解像調整を行い、前記第２の画面フレームを取得するステップと、
前記第２の画面フレームを前記第１の画面フレームの直後の画面フレームの参照画面フレームとするステップであって、前記第１の画面フレームの直後の画面フレームの参照画面フレームは、前記第１の画面フレームの直後の画面フレームを符号化するために使用される、ステップと、をさらに含む、請求項１に記載の方法。

【請求項10】

アプリケーションクライアントが実行するデータ処理方法であって、
アプリケーションサーバにより送信された画面フレームコードストリームを取得するステップであって、前記画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、前記第１の調整画面フレームは、前記アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、前記第１の画面フレームのデータ量はデータ量閾値以上であり、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、ステップと、
前記画面フレームコードストリームを復号し、前記第１の調整画面フレームを取得するステップと、
前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整し、第２の画面フレームを取得し、前記第２の画面フレームを表示するステップと、を含む、方法。

【請求項11】

前記画面フレームコードストリームは、前記第１の画面フレームに対して画面縮小調整を行う時の前記第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を含み、
前記画面フレームコードストリームを復号し、前記第１の調整画面フレームを取得するステップは、
前記画面フレームコードストリームから前記横方向の縮小比率及び前記縦方向の縮小比率を解析するステップと、
前記画面フレームコードストリームを復号し、第１のコピー画面フレームを取得するステップであって、前記第１のコピー画面フレームは、前記アプリケーションサーバが前記第１の調整画面フレームを空白画面フレームにコピーすることによって得られ、前記空白画面フレームの解像度は前記第１の解像度である、ステップと、
前記横方向の縮小比率及び前記縦方向の縮小比率に基づいて、前記第１のコピー画面フレームから前記第１の調整画面フレームを抽出するステップと、を含む、請求項１０に記載の方法。

【請求項12】

前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整し、第２の画面フレームを取得するステップは、
前記横方向の縮小比率及び前記縦方向の縮小比率に基づいて、前記第１の調整画面フレームに対して超解像調整を行うステップと、
超解像調整が行われた前記第１の調整画面フレームを前記第２の画面フレームとして決定するステップと、を含む、請求項１１に記載の方法。

【請求項13】

前記画面フレームコードストリームを復号し、第１のコピー画面フレームを取得するステップは、
前記アプリケーションクライアントにおける前記第１の画面フレームの直前の画面フレームを前記第１の画面フレームの参照画面フレームとして取得するステップと、
前記第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得するステップと、
前記第２の調整画面フレームを前記空白画面フレームにコピーし、第２のコピー画面フレームを取得するステップと、
前記第２のコピー画面フレームに基づいて前記画面フレームコードストリームを復号し、前記第１のコピー画面フレームを取得するステップと、を含む、請求項１１に記載の方法。

【請求項14】

データ処理装置であって、
符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、前記第１の画面フレームのデータ量を検出する画面符号化モジュールと、
前記第１の画面フレームのデータ量がデータ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する縮小モジュールであって、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、縮小モジュールと、
前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するコードストリーム符号化モジュールと、
前記アプリケーションクライアントが前記画面フレームコードストリームに基づいて第２の画面フレームを表示するように、前記画面フレームコードストリームを前記アプリケーションクライアントに送信する送信モジュールであって、前記第２の画面フレームは、前記アプリケーションクライアントが前記画面フレームコードストリームを復号して前記第１の調整画面フレームを取得した後、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整して得られる、送信モジュールと、を含む、装置。

【請求項15】

データ処理装置であって、
アプリケーションサーバにより送信された画面フレームコードストリームを取得するコードストリーム取得モジュールであって、前記画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、前記第１の調整画面フレームは、アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、前記第１の画面フレームのデータ量はデータ量閾値以上であり、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、コードストリーム取得モジュールと、
前記画面フレームコードストリームを復号し、前記第１の調整画面フレームを取得するコードストリーム復号モジュールと、
前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整し、第２の画面フレームを取得し、前記第２の画面フレームを表示する解像度調整モジュールと、を含む、装置。

【請求項16】

コンピュータ読み取り可能な命令が記憶されたメモリと、１つ又は複数のプロセッサとを含むコンピュータ機器であって、前記コンピュータ読み取り可能な命令が前記１つ又は複数のプロセッサにより実行される際に、前記１つ又は複数のプロセッサに請求項１乃至１３の何れかに記載の方法のステップを実行させる、コンピュータ機器。

【請求項17】

コンピュータ読み取り可能な命令を含むコンピュータプログラムであって、前記コンピュータ読み取り可能な命令は、１つ又は複数のプロセッサにより実行される際に、請求項１乃至１３の何れかに記載の方法のステップを実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２０２１年８月２４日に出願した出願番号が２０２１１０９７４００７．３であり、発明の名称が「データ処理方法、コンピュータ機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全ての内容を参照により本発明に援用する。

【0002】

本発明は、データ処理の技術分野に関し、特にデータ処理方法、装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

アプリケーションクライアントに表示される画面フレームは、通常、アプリケーションクライアントのアプリケーションサーバで符号化により得られる。アプリケーションクライアントにおいてシーン切り替え（例えば、ある応用シーンから別の応用シーンへの切り替え）が発生する場合、アプリケーションサーバで符号化により得られたシーン切り替え後の画面フレームのデータ量は通常非常に大きく、この際に、アプリケーションサーバが該画面フレームのコードストリームをアプリケーションクライアントに直接伝送すると、コードストリームの伝送速度が遅くなり、アプリケーションクライアントが該画面フレームを表示する時にタイムラグが発生する。そのため、どのようにコードストリームの伝送速度を向上させて、アプリケーションクライアントが画面フレームを表示する時のスムーズさを向上させるかは、注目されている課題である。

【発明の概要】

【0004】

本発明の各実施例は、データ処理方法、装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品を提供する。

【0005】

本発明の１つの態様では、アプリケーションサーバが実行するデータ処理方法であって、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、前記第１の画面フレームのデータ量を検出するステップと、前記第１の画面フレームのデータ量がデータ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップであって、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、ステップと、前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するステップと、前記アプリケーションクライアントが前記画面フレームコードストリームに基づいて第２の画面フレームを表示するように、前記画面フレームコードストリームを前記アプリケーションクライアントに送信するステップであって、前記第２の画面フレームは、前記アプリケーションクライアントが前記画面フレームコードストリームを復号して前記第１の調整画面フレームを取得した後、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整して得られる、ステップと、を含む、方法を提供する。

【0006】

本発明の１つの態様では、アプリケーションクライアントが実行するデータ処理方法であって、アプリケーションサーバにより送信された画面フレームコードストリームを取得するステップであって、前記画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、前記第１の調整画面フレームは、前記アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、前記第１の画面フレームのデータ量はデータ量閾値以上であり、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、ステップと、前記画面フレームコードストリームを復号し、前記第１の調整画面フレームを取得するステップと、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整し、第２の画面フレームを取得し、前記第２の画面フレームを表示するステップと、を含む、方法を提供する。

【0007】

本発明の１つの態様では、データ処理装置であって、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、前記第１の画面フレームのデータ量を検出する画面符号化モジュールと、前記第１の画面フレームのデータ量がデータ量閾値以上である場合、前記第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する縮小モジュールであって、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、縮小モジュールと、前記第１の調整画面フレームを符号化し、前記第１の調整画面フレームの画面フレームコードストリームを取得するコードストリーム符号化モジュールと、前記アプリケーションクライアントが前記画面フレームコードストリームに基づいて第２の画面フレームを表示するように、前記画面フレームコードストリームを前記アプリケーションクライアントに送信する送信モジュールであって、前記第２の画面フレームは、前記アプリケーションクライアントが前記画面フレームコードストリームを復号して前記第１の調整画面フレームを取得した後、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整して得られる、送信モジュールと、を含む、装置を提供する。

【0008】

本発明の１つの態様では、データ処理装置であって、アプリケーションサーバにより送信された画面フレームコードストリームを取得するコードストリーム取得モジュールであって、前記画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、前記第１の調整画面フレームは、アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、前記第１の画面フレームのデータ量はデータ量閾値以上であり、前記第１の画面フレームの解像度は第１の解像度であり、前記第１の調整画面フレームの解像度は第２の解像度であり、前記第２の解像度は前記第１の解像度よりも低い、コードストリーム取得モジュールと、前記画面フレームコードストリームを復号し、前記第１の調整画面フレームを取得するコードストリーム復号モジュールと、前記第１の調整画面フレームの解像度を前記第１の解像度に戻すように調整し、第２の画面フレームを取得し、前記第２の画面フレームを表示する解像度調整モジュールと、を含む、装置を提供する。

【0009】

本発明の１つの態様では、コンピュータ読み取り可能な命令が記憶されたメモリと、１つ又は複数のプロセッサとを含むコンピュータ機器であって、前記コンピュータ読み取り可能な命令が前記１つ又は複数のプロセッサにより実行される際に、前記１つ又は複数のプロセッサに上記の何れかの態様に記載のデータ処理方法のステップを実行させる、コンピュータ機器を提供する。

【0010】

本発明の１つの態様では、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムはプログラム命令を含み、該プログラム命令は、プロセッサにより実行される際に、該プロセッサに上記の何れかの態様に記載のデータ処理方法を実行させる、記憶媒体を提供する。

【0011】

本発明の１つの態様では、コンピュータ読み取り可能な命令を含むコンピュータプログラム製品又はコンピュータプログラムであって、前記コンピュータ読み取り可能な命令は、コンピュータ読み取り可能な記憶媒体に記憶されており、コンピュータ機器の１つ又は複数のプロセッサは、上記の何れかの態様に記載のデータ処理方法を実行するように、コンピュータ読み取り可能な記憶媒体から該コンピュータ読み取り可能な命令を読み取って実行する、コンピュータプログラム製品又はコンピュータプログラムを提供する。

【0012】

本発明の１つ又は複数の実施形態の詳細は、以下の図面及び説明において提示される。本発明の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0013】

本発明の実施例に係る技術をより明確に説明するために、以下は、実施例の説明に必要な図面を簡単に紹介する。なお、以下の説明における図面は、単なる本発明の幾つかの実施例であり、当業者にとって、創造的な作業を行うことなく、これらの図面に基づいて他の図面を得ることができる。

【図1】本発明の実施例に係るネットワークアーキテクチャの構成の概略図である。

【図2】本発明に係る画面フレームの符号化のシナリオの一例の概略図である。

【図3】本発明に係るデータ処理方法の流れの一例の概略図である。

【図4】本発明に係るシーン切り替えの画面の一例の概略図である。

【図5】本発明に係る画面フレームの符号化の原理の一例の概略図である。

【図6】本発明に係る画面フレームの符号化のシナリオの一例の概略図である。

【図7】本発明に係る画面フレームの符号化のシナリオの一例の概略図である。

【図8】本発明に係る画面フレームの符号化の流れの一例の概略図である。

【図9】本発明に係るデータ処理方法の流れの一例の概略図である。

【図10】本発明に係る画面フレームの縮小のシナリオの一例の概略図である。

【図11】本発明に係るデータ処理方法の流れの一例の概略図である。

【図12】本発明に係る画面フレームの復号のシナリオの一例の概略図である。

【図13】本発明に係る画面フレームの復号の流れの一例の概略図である。

【図14】本発明に係るデータ処理装置の構成の一例の概略図である。

【図15】本発明に係るデータ処理装置の構成の一例の概略図である。

【図16】本発明に係るコンピュータ機器の構成の一例の概略図である。

【発明を実施するための形態】

【0014】

以下は、本発明の実施例における図面を参照しながら、本発明の実施例における技術を明確、且つ完全に説明するが、説明される実施例は、単なる本発明の実施例の一部であり、全ての実施例ではない。本発明の実施例に基づいて、当業者が創造的な労働を行わずに取得した他の全ての実施例は、本発明の範囲内のものである。

【0015】

図１は、本発明の実施例に係るネットワークアーキテクチャの構成の概略図である。図１に示すように、ネットワークアーキテクチャは、サーバ２００及び端末機器クラスタ１００を含んでもよい。端末機器クラスタ１００は、１つ又は複数の端末機器を含んでもよく、ここで、端末機器の数に限定されない。図１に示すように、端末機器クラスタ１００における各端末機器は、各端末機器がネットワーク接続を介してサーバ２００との間でデータをやり取りすることができるように、サーバ２００とネットワークを介して接続されてもよい。

【0016】

図１に示すサーバ２００は、独立した物理サーバであってもよいし、複数の物理サーバにより構成されたサーバクラスタ又は分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、ＣＤＮ、並びにビッグデータ及び人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末機器は、デスクトップコンピュータ、ノートブックコンピュータ、スマートフォン、タブレットコンピュータ、ＩｏＴデバイス及びポータブルウェアラブルデバイスであってもよい。ＩｏＴデバイスは、スマートスピーカー、スマートテレビ、スマートエアコン、スマート車載デバイスなどであってもよい。ポータブルウェアラブルデバイスは、スマートウォッチ、スマートバンド、ヘッドセットなどであってもよい。

【0017】

ここで、サーバ２００は、クラウドゲームクライアントのバックグラウンドサーバであってもよいため、サーバ２００をクラウドゲームサーバと称してもよく、端末機器（端末機器クラスタにおける任意の１つの端末機器であってもよい）にクラウドゲームクライアントが含まれてもよい。サーバ２００は、オペレーティングシステムコンテナにおいてゲームをレンダリングしてゲーム画面フレームを取得した後、ゲーム画面フレームに対してビデオ符号化を行い、ゲーム画面フレームのコードストリーム（バイナリコード）取得してもよい。そして、サーバ２００は、符号化により得られたコードストリームをネットワークを介して端末機器に送信してもよく、端末機器は、クラウドゲームクライアントを介して該コードストリームを復号してゲーム画面フレームを取得してもよく、復号により得られたゲーム画面フレームをスクリーンで表示してもよい。ここで、ゲーム画面フレームは、ゲームビデオにおける各画面フレームであり、ゲーム画面フレームに対する符号化及び復号は、ゲームビデオに対する符号化及び復号である。

【0018】

図２は、本発明に係る画面フレームの符号化のシナリオの一例の概略図である。図２に示すように、クラウドゲームサーバ（例えば上記のサーバ２００）は、符号化によりクラウドゲームクライアントの第１の画面フレームを取得した場合、該第１の画面フレームのデータ量を検出してもよい。該第１の画面フレームは、クラウドゲームクライアントにおける任意の１つのフレーム画面であってもよい。言い換えれば、クラウドゲームサーバは、符号化によりクラウドゲームクライアントの１つの画面フレームを取得した度に、符号化により取得された画面フレームのデータ量を検出してもよい。

【0019】

クラウドゲームサーバにより検出された第１の画面フレームのデータ量がデータ量閾値（実際の応用シナリオに応じて設定されてもよい）よりも小さい場合、クラウドゲームサーバは、直接に該第１の画面フレームを符号化し、該第１の画面フレームの元のコードストリームを取得してもよい（枠１００ａで示す）。クラウドゲームサーバは、該第１の画面フレームの元のコードストリームを端末機器（上記の端末機器クラスタ１００における任意の１つの端末機器であってもよい）に送信してもよい。そして、端末機器は、該コードストリームを復号して第１の画面フレームを取得した後、フロントエンドで該第１の画面フレームを表示してもよい（枠１０１ａで示す）。

【0020】

クラウドゲームサーバにより検出された第１の画面フレームのデータ量がデータ量閾値以上である場合、通常、該第１の画面フレームはシーン切り替えの画面フレームであり、クラウドゲームサーバは、該第１の画面フレームに対して画面縮小調整を行ってもよい（枠１０２ａで示す）。画面フレームに対する画面縮小調整は、画面フレームの解像度を低下させることを意味してもよい。そして、クラウドゲームサーバは、画面縮小調整が行われた第１の画面フレームを符号化し、対応するコードストリームを取得してもよい（枠１０３ａで示す）。該コードストリームのデータ量は、第１の画面フレームを直接符号化して得られたコードストリームのデータ量よりも小さい。クラウドゲームサーバは、端末機器が取得したコードストリームを復号して、画面縮小調整が行われた第１の画面フレームを取得できるように、画面縮小調整が行われた第１の画面フレームを符号化して得られたコードストリームを端末機器に送信してもよい。そして、端末機器は、該画面縮小調整が行われた第１の画面フレームに対して超解像調整を行い、解像度が第１の画面フレームと同一である画面フレームを取得し、フロントエンドで該画面フレームを表示してもよい。該画面フレームの解像度は第１の画面フレームの解像度と同一であるため、この際に表示された該画面フレームの画質は第１の画面フレームと比べて明らかな変化がない。

【0021】

本発明に係る方法によれば、シーン切り替えの画面フレームのデータ量は通常比較的に大きいため、シーン切り替えのデータ量が比較的に大きい画面フレームに対して、まず該画面フレームに対して画面縮小調整を行ってから符号化してもよい。この際に符号化により得られたコードストリームのデータ量は、元の画面フレームを符号化して得られたコードストリームのデータ量よりも遥かに少ない。このため、クラウドゲームサーバがこの時に符号化により得られたコードストリームをクラウドゲームクライアントに送信する時の速度も速くなるため、クラウドゲームクライアントは、より速い速度で対応する画面フレーム（例えば、画面縮小調整が行われた第１の画面フレームに対して超解像調整を行った画面フレーム）を表示することができ、ユーザに画面フレーム表示のタイムラグを感じさせることがない。

【0022】

図３は、本発明に係るデータ処理方法の流れの一例の概略図である。図３に示すように、該方法は、以下のステップを含んでもよい。

【0023】

ステップＳ１０１：符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出する。

【0024】

好ましくは、本発明の実施例に係る実行主体は、アプリケーションサーバ（例えば、上記のサーバ２００のように、該アプリケーションサーバは、上記のクラウドゲームサーバであってもよい）であってもよい。該アプリケーションサーバは、アプリケーションクライアントのバックグラウンドサーバであってもよい。該アプリケーションクライアントは、端末機器（例えば、上記の端末機器クラスタ１００における端末機器と同様に、該アプリケーションクライアントは、上記のクラウドゲームクライアントであってもよい）に存在してもよく、該アプリケーションクライアントは、端末機器内にインストールされた１つのＡＰＰ（アプリケーションプログラム）であってもよく、或いは、該アプリケーションクライアントは、端末機器におけるウェブクライアントであってもよいが、これらに限定されない。なお、以下のアプリケーションクライアントが実行する動作は、所在する端末機器により実行されてもよく、上記のアプリケーションサーバの数は、１つであってもよいし、複数であってもよく、複数である場合、複数のアプリケーションサーバは、分散型データ処理システムを構成して、本発明の実施例に係る方法を分散的に実行してもよい。

【0025】

アプリケーションクライアントに表示される各画面フレームは、アプリケーションサーバにより符号化されたものであってもよく、第１の画面フレームは、アプリケーションサーバにより符号化された任意の１つの画面フレームであってもよい。アプリケーションサーバは、符号化により第１の画面フレームを取得した場合、該第１の画面フレームのデータ量（単位はバイトであってもよい）を検出してもよい。言い換えれば、アプリケーションサーバは、符号化によりアプリケーションクライアントの１つの画面フレームを取得した度に、符号化により取得された画面フレームのデータ量を検出してもよい。１つの画面フレームは１つの画像フレームであってもよい。

【0026】

なお、アプリケーションクライアントに表示される各画面フレームは、ユーザのユーザ操作に応じて表示されてもよく、例えば、ユーザはアプリケーションクライアントにおけるボタンをクリックして対応する画面フレームに切り替えて表示するようにしてもよい。或いは、アプリケーションクライアントは、ユーザがクラウドゲームクライアントにおいてクラウドゲームをプレイすることをサポートするクラウドゲームクライアント（ゲームクライアントと称されてもよい）であってもよい。従って、アプリケーションクライアントにおける各画面フレームは、ユーザがクラウドゲームをプレイする際にユーザの関連するゲーム操作に応じて表示されるゲーム画面であってもよく、第１の画面フレームは、該クラウドゲームクライアントにおけるゲーム画面フレームであってもよい。そして、アプリケーションサーバは、ユーザのアプリケーションクライアントにおけるユーザ操作を取得し、ユーザ操作により表示要求された画面フレームを符号化し、符号化により取得された画面フレームをコードストリームの形式でアプリケーションクライアントに提供し、アプリケーションクライアントは、取得されたコードストリームを復号して対応する画面フレームを表示してもよい。

【0027】

ステップＳ１０２：第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。

【0028】

好ましくは、アプリケーションサーバは、検出された第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行ってもよい。なお、符号化されたアプリケーションクライアントの幾つかのシーン切り替え時の画面フレームについて、該画面フレームのデータ量は通常該データ量閾値よりも大きい又は等しいため、データ量閾値よりも大きい又は等しい画面フレームに対して画面縮小調整を行うことによって、後で取得された該画面フレームに対応するコードストリームのデータ量を低減させることができ、アプリケーションサーバが該画面フレームに対応するコードストリームをアプリケーションクライアントに伝送する時の伝送速度を加速させることができるため、アプリケーションクライアントがより小さい遅延でシーン切り替え時の画面フレームを表示する（具体的には、タイムラグなしで表示する）ことを実現することができる。該画面フレームは第１の画面フレームであってもよく、該画面フレームを表示することは該第１の画面フレームに対応する第２の画面フレームを表示することを意味してもよい。該第２の画面フレームは第１の画面フレームと同様な画面内容を有するが、該第２の画面フレームは、第１のフレームに対応するデータ量が減少した後のコードストリームを復号して得られたものであり、具体的には以下のステップＳ１０３の関連説明を参照してもよい。

【0029】

好ましくは、上記のアプリケーションクライアントはゲームクライアントであってもよい。アプリケーションサーバは、検出された第１の画面フレームのデータ量がデータ量閾値以上であり、且つ第１の画面フレームがゲームクライアントにおけるシーン切り替え時のフレームである場合、第１の画面フレームに対して画面縮小調整を行ってもよい。

【0030】

ここで、アプリケーションクライアントの画面フレームａからアプリケーションクライアントの画面フレームｂに切り替える際に、画面フレームａの画面内容と画面フレームｂの画面内容とが大きく異なる（例えば、画面フレームａがゲームにおけるゲーム対戦画面に属し、画面フレームｂがゲーム終了後のゲーム精算画面に属する）場合、画面フレームｂがアプリケーションクライアントがシーン切り替えを行う時の画面フレームであると判断してもよい。言い換えれば、シーン切り替えの画面フレームは、該画面フレームの直前の画面フレームと比較して、該画面フレームの画面内容が属する内容タイプ（又は内容シーン）が変化したものを意味してもよい。また、例えば、ゲームクライアントにおいてシーン切り替えを行うことは、ゲームクライアントのゲームログインのシーンからゲームクライアントのゲームログイン後のシーンに切り替えることを意味してもよい。この場合、切り替え後の画面フレームと切り替え前の画面フレームとの差異が極めて大きいため、切り替え後の画面フレームは上記の第１の画面フレームであってもよく、シーン切り替えが発生した場合、シーン切り替え後の第１の画面フレームのデータ量が通常大きくなる（例えば、データ量閾値よりも大きい）。

【0031】

図４は、本発明に係るシーン切り替えの画面の一例の概略図である。図４に示すように、画面フレーム１００ｂはスキャンログインインターフェースの画面フレームであり、画面フレーム１０１ｂはゲームログインインターフェースの画面フレームであり、画面フレーム１００ｂから画面フレーム１０１ｂにジャンプ表示されると、画面フレーム１０１ｂはシーン切り替えを行う時の画面フレームに属する。

【0032】

このように、アプリケーションクライアントがゲームクライアントであり、第１の画面フレームがゲームクライアントのシーン切り替え時のゲーム画面フレームに属し、且つ第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。ゲームクライアントがシーン切り替えを行う際に、第１の画面フレームのデータ量が大きすぎる場合、第１の画面フレームに対して画面縮小調整を行って第１の調整画面フレームを取得してから符号化を行い、第１の調整画面フレームの画面フレームコードストリームを取得してもよい。該画面フレームコードストリームのデータ量は、直接に第１の画面フレームを符号化して得られたコードストリームのデータ量よりも大幅に減少するため、アプリケーションサーバはより速い速度で該画面フレームコードストリームをゲームクライアントに伝送することができ、さらにゲームクライアントはより速い速度で第１の画面フレームを代替するために用いられる第２の画面フレームを表示することができるため、画面フレームの表示をより滑らかでより加速させることができ、ユーザに画面フレームを表示する時のタイムラグを感じさせることはない。

【0033】

なお、上記のデータ量閾値は、実際の適用シナリオに応じて設定されてもよく、これに限定されない。以下は、データ量閾値を取得する方法の一例を説明する。

【0034】

アプリケーションサーバは、アプリケーションクライアントについての単位伝送データ量と単位伝送フレーム数を取得してもよい。該単位伝送データ量は、アプリケーションクライアントについての１秒当たりの伝送ビット数を表し、該単位伝送データ量はＭｂｐｓとして表されてもよい。該単位伝送フレーム数は、アプリケーションクライアントについての１秒当たりの伝送フレーム数を表し、該単位伝送フレーム数はｆｐｓとして表されてもよい。

【0035】

従って、アプリケーションサーバは、上記の単位伝送データ量及び単位伝送フレーム数に基づいて平均フレームデータ量を取得してもよい。該平均フレームデータ量は、一般に伝送される１つの画面フレームのデータ量を表してもよく、例えば、単位伝送データ量を単位伝送フレーム数で除算することで平均フレームデータ量を取得してもよい。なお、一般的なユーザは１つ又は２つのフレームのジッタをあまり感じないが、３つのフレームを超えると、ユーザは視覚的に比較的に大きなタイムラグを感じるため、データ量閾値を平均フレームデータ量の３倍に設定してもよい。

【0036】

例えば、通常、単位伝送データ量は、３Ｍｂｐｓに等しくてもよく、単位伝送フレーム数は、通常、３０ｆｐｓに等しくてもよい。従って、平均フレームデータ量は、通常、３Ｍｂｐｓ／３０ｆｐｓ＝１００ｋｂｉｔｓ（１００ｋビット）＝１２．５ｋｂｙｔｅｓ（即ち、１２．５ｋバイト）に等しくてもよい。ここで、３Ｍは、３０００ｋを表し、ｋは、千（１０００）を表す。従って、データ量閾値は、１２．５ｋｂｙｔｅｓ＊３＝３７．５ｋｂｙｔｅｓ（即ち、３７．５ｋバイト）に等しくてもよい。

【0037】

このように、アプリケーションクライアントの画面フレームについての単位伝送データ量及び単位伝送フレーム数を取得し、単位伝送データ量及び単位伝送フレーム数に基づいて平均フレームデータ量を決定し、平均フレームデータ量に基づいてデータ量閾値を決定する。なお、異なるアプリケーションクライアントは、それぞれ対応する単位伝送データ量及び単位伝送フレーム数を有し、それに応じて、異なるアプリケーションクライアントは、それぞれ対応する平均フレームデータ量を有し、従って、異なるアプリケーションクライアントは、それぞれ対応するデータ量閾値を有する。このように、異なるアプリケーションクライアントに対応するデータ量閾値に基づいて異なるアプリケーションクライアントのそれぞれに対応する画面縮小調整を行う必要のある画面フレームを決定することによって、異なるアプリケーションクライアント間に差別化の画面フレーム符号化を実現し、アプリケーションクライアントに適応する画面フレーム符号化を実現することができるため、アプリケーションクライアントの表示画面のスムーズさ、速度を向上させることができ、ユーザに画面フレームを表示する時のタイムラグを感じさせることはない。

【0038】

従って、第１の画面フレームのデータ量がデータ量閾値以上である場合、アプリケーションサーバは、第１の画面フレームに対して画面縮小調整を行ってもよい。画面縮小調整が行われた第１の画面フレームを第１の調整画面フレームと称してもよく、画面フレームに対する縮小調整は、画面フレームの解像度を縮小することを意味してもよい。例えば、第１の画面フレームの解像度を第１の解像度とし、第１の調整画面フレームの解像度を第２の解像度とし、第２の解像度は第１の解像度よりも低い。例えば、第１の解像度は１２８０＊７２０であり、第２の解像度は６４０＊３６０であり、第１の解像度は第２の解像度の４倍であり、第２の解像度は第１の解像度の１／４である。ここで、第１の画面フレームに対する画面縮小調整の具体的なプロセスは、後述する図９の対応する実施例における説明を参照してもよい。

【0039】

一方、第１の画面フレームのデータ量が上記のデータ量閾値よりも小さい場合、第１の画面フレームに対して画面縮小調整を行わなくてもよい。

【0040】

ステップＳ１０３：第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得する。

【0041】

好ましくは、アプリケーションサーバは、上記の第１の調整画面フレームを符号化して、第１の調整画面フレームの画面フレームコードストリーム（コードストリームと略称してもよい）を取得してもよい。該コードストリームの単位はバイト又はビットであるため、該コードストリームはバイトストリーム又はビットストリームと称されてもよい。

【0042】

ここで、第１の画面フレームに対する画面縮小調整は、通常、第１の画面フレームに対する横方向の縮小比率と縦方向の縮小比率（具体的には、以下の図９の対応する実施例の説明を参照してもよい）に基づいて縮小を行うことである。第１の調整画面フレームの画面フレームコードストリームは、該横方向の縮小比率と縦方向の縮小比率をさらに含んでもよい。また、該画面フレームコードストリームは、縮小フラグ（即ち、縮小ｆｌａｇ）をさらに含んでもよく、該縮小フラグは、第１の調整画面フレームが画面縮小調整されたものであることを示す。画面縮小調整されていない画面フレームのコードストリームであれば、該縮小フラグが含まれなくてもよい。上記の第１の調整画面フレームの画面フレームコードストリームに含まれる横方向の縮小比率、縦方向の縮小比率及び縮小フラグは、全てＳＥＩ情報（補足拡張情報）と称されてもよい。

【0043】

ここで、アプリケーションサーバが第１の調整画面フレームを符号化する具体的なプロセスは、以下のようなものであってもよい。

【0044】

アプリケーションサーバは、上記の第１の解像度（例えば１２８０＊７２０）の空白画面フレームを取得してもよい。アプリケーションサーバは、第１の調整画面フレームを該空白画面フレームにコピーしてもよく、例えば、該空白画面フレームの左上隅にコピーしてもよく、第１の調整画面フレームがコピーされた空白画面フレームを第１のコピー画面フレームと称してもよい。第１の調整画面フレームの第２の解像度（例えば６４０＊３６０）は第１の解像度よりも低いため、第１の調整画面フレームを空白画面フレームにコピーした後、第１のコピー画面フレームは一部の空白領域をさらに含み、該一部の空白領域の画素値は、全て０に等しくてもよい。一方、第１のコピー画面フレームの空白部分でない領域の画素値は、第１の調整画面フレームに含まれる画素値であってもよい。

【0045】

なお、本発明では、第１の調整画面フレームを空白画面フレームにコピーし、第１のコピー画面フレームを取得した後、該第１のコピー画面フレームを符号化することによって、第１の調整画面フレームの符号化を実現する理由は、以下の通りである。アプリケーションサーバは、エンコーダにより画面フレームを符号化して画面フレームのコードストリームを取得することができると共に、データ量がデータ量閾値よりも小さい画面フレーム（以下は、通常画面フレームと称してもよい）について、画面縮小調整を行う必要がないため、データ量がデータ量閾値よりも小さい通常画面フレームをエンコーダにより直接符号化することで、該通常画面フレームに対応するコードストリームを得ることができる。

【0046】

一方、データ量がデータ量閾値以上の画面フレーム（例えば、上記の第１の画面フレーム）について、画面縮小調整が必要であり、その際に得られた画面縮小調整が行われた画面フレーム（例えば、上記の第１の調整画面フレーム）のサイズ（例えば、第２の解像度のサイズ）はエンコーダの符号化規格（該符号化規格は、第１の解像度のサイズの画面フレームを符号化するための規格を意味してもよい）に適合しない。このため、第１の調整画面フレームを空白画面フレームにコピーして得られた第１のコピー画面フレームは、第１の調整画面フレームのサイズを元のサイズ（即ち、第１の解像度のサイズ）に戻すように調整した画面フレームであると理解してもよい。この場合、該第１のコピー画面フレームのサイズは通常の画面フレームのサイズと同一であり、該第１のコピー画面フレームのサイズはエンコーダの符号化規格に適合するため、エンコーダにより該第１のコピー画面フレームを直接符号化して、第１の調整画面フレームの符号化を実現することができる。このように、第１の調整画面フレームを空白画面フレームにコピーしてから符号化することによって、エンコーダを再構成する必要がなく、エンコーダを再構成することによる技術的な問題とリソースの占用を回避することができる。

【0047】

そして、アプリケーションサーバは、第１のコピー画面フレームを符号化して、上記の第１の調整画面フレームの画面フレームコードストリームを取得してもよい。

【0048】

なお、上記の第１の画面フレームに対して画面縮小調整を行って得られた第１のコピー画面フレームは、第１の画面フレームに比べてサイズが変わらない（第１の解像度である）が、第１の画面フレームに比べてデータ量が大幅に減少している。例えば、第２の解像度が第１の解像度の１／４であれば、第１のコピー画面フレームのうちの有効なデータは１／４のみであり、他の３／４のデータは無効なデータ（例えば０に等しい画素値）であり、言い換えれば、第１のコピー画面フレームのデータ量は、第１の画面フレームのデータ量の１／４である。

【0049】

上記の第１のコピー画面フレームを取得した後、アプリケーションサーバは、アプリケーションクライアントの第１の画面フレームの直前の画面フレームを取得してもよい。該直前の画面フレームは、何れもアプリケーションサーバによる符号化により取得され、アプリケーションサーバは、アプリケーションクライアントでなく、バックグラウンドから該直前の画面フレームを取得する。該直前の画面フレームは、第１の画面フレームを表示する前にアプリケーションクライアントに表示する最後の画面フレームであり、第１の画面フレームの直前の画面フレームは第１の画面フレームの参照画面フレームと称されてもよい。アプリケーションサーバは、上記の第１の画面フレームと同様な原理を採用して第１の画面フレームの参照画面フレームに対して画面縮小調整を行ってもよく、画面縮小調整が行われた第１の画面フレームの参照画面フレームは、第２の調整画面フレームと称されてもよい。

【0050】

同様に、アプリケーションサーバは、該第２の調整画面フレームを上記の空白画面フレームにコピーしてもよく、第２の調整画面フレームがコピーされた空白画面フレームは、第２のコピー画面フレームと称されてもよい。アプリケーションサーバは、該第２のコピー画面フレームを第１のコピー画面フレームの参照画面フレームとし、さらに該第２のコピー画面フレームに基づいて第１のコピー画面フレームを符号化して、該第１の調整画面フレームの画面フレームコードストリームを取得してもよい。

【0051】

なお、通常、１つの画面フレームを符号化する際に、該画面フレームの直前の画面フレーム（即ち、参照フレーム）を参照して符号化を行う。従って、アプリケーションサーバは、該第１のコピー画面フレームと第２のコピー画面フレームとをエンコーダに入力する（エンコーダは、自身の符号化ポリシーに応じて、第２のコピー画面フレームにより第１のコピー画面フレームにおける幾つかの画像ブロックにフレーム内符号化を適用し、或いは幾つかの画像ブロックにフレーム間符号化を適用することを選択してもよい）ことによって、第２のコピー画面フレームにより第１のコピー画面フレームを符号化して、第１の調整画面フレームの画面フレームコードストリーム（第１のコピー画面フレームの画面フレームコードストリームと称されてもよい）を取得することができる。なお、第１の画面フレームを符号化するためのコードストリームの代わりに、該画面フレームコードストリームを使用してもよく、該画面フレームコードストリームのデータ量は、第１の画面フレームを直接符号化するためのコードストリームのデータ量よりも遥かに少ない。本発明では、Ｈ２６４（符号化規格）又はＨ２６５（符号化規格）を用いて画面フレームを符号化して画面フレームのコードストリームを取得してもよく、該コードストリームは符号化により得られたバイナリデータである。

【0052】

このように、アプリケーションクライアントの第１の画面フレームの直前の画面フレームを第１の画面フレームの参照画面フレームとして取得し、第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得し、第２の調整画面フレームを空白画面フレームにコピーし、第２のコピー画面フレームを取得し、第２のコピー画面フレームに基づいて第１のコピー画面フレームを符号化し、画面フレームコードストリームを取得する。なお、第１のコピー画面フレームをフレーム間符号化方式で符号化してもよい。フレーム間符号化を行う際に、第１の画面フレームの直前の画面フレームを第１の画面フレームの参照画面フレームとし、第１の画面フレームに基づいて第１のコピー画面フレームを生成する方法を参照し、参照画面フレームに基づいて第２のコピー画面フレームを生成することによって、第２のコピー画面フレームに基づいて第１のコピー画面フレームを符号化して画面フレームコードストリームを取得することができる。

【0053】

一方、第１の画面フレームのデータ量が該データ量閾値よりも低い場合、第１の画面フレームを直接符号化して第１の画面フレームのコードストリームを取得してもよい。

【0054】

図５は、本発明に係る画面フレームの符号化の原理の一例の概略図である。図５に示すように、現在のフレーム（例えば、上記の第１のコピー画面フレーム）の参照フレーム（上記の第２のコピー画面フレーム）において、現在のフレームにおける各マクロブロック（即ち、画像ブロック）に一致するマクロブロックを検索し、現在のフレームにおけるマクロブロックの予測ブロックを取得してもよい。

【0055】

そして、アプリケーションサーバは、現在のフレームにおける各マクロブロック及び該各マクロブロックの予測ブロックから、対応する残差（マクロブロックとその予測ブロックを減算して得られてもよい）を取得してもよい。そして、該残差について変換（信号の周波数領域への変換）→量子化（重要でない情報の破棄）→並べ替え（低周波部分を集中させ、高周波部分を集中させる）→エントロピー符号化（バイナリストリームへの符号化）を行うことによって、符号化されたコードストリーム（例えば、上記の第１の調整画面フレームの画面フレームコードストリーム）を取得してもよい。

【0056】

そして、アプリケーションサーバは、上記の予測ブロック、残差及び量子化の結果から現在のフレームを再構築し、再構築された現在のフレーム（再構築された画面フレーム）を直後のフレームの参照フレーム（参照画面フレーム）としてもよい。

【0057】

ステップＳ１０４：アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。

【0058】

好ましくは、アプリケーションサーバは、上記の符号化により得られた第１の調整画面フレームの画面フレームコードストリームをアプリケーションクライアントに送信してもよい。そして、アプリケーションクライアントは、該画面フレームコードストリームに基づいて第２の画面フレームを表示してもよい。例えば、アプリケーションクライアントは、デコーダにより該画面フレームのコードストリームを復号し、上記第１のコピー画面フレームを取得してもよい。アプリケーションクライアントは、該第１のコピー画面フレームから上記第１の調整画面フレームを抽出してもよい。そして、アプリケーションクライアントは、超解像技術により該第１の調整画面フレームに対して超解像処理を行ってもよく、即ち、該第１の調整画面フレームの解像度を第２の解像度から第１の解像度に戻すように調整してもよい。超解像調整が行われた第１の調整画面フレームは、第２の画面フレームと称されてもよい。アプリケーションクライアントは、アプリケーションインターフェースに該第２の画面フレームを表示してもよい。なお、アプリケーションクライアントにより表示された第２の画面フレームは、第１の画面フレームの代わりに表示されるフレームであり、第２の画面フレームと第１の画面フレームは、同一の画面内容及び解像度を有する。

【0059】

図６は、本発明に係る画面フレームの符号化のシナリオの一例の概略図である。図６に示すように、現在のフレーム１０２ｃは上記第１の画面フレームであってもよく、直前のフレーム（即ち、参照フレーム１００ｃ）は第１の画面フレームの参照画面フレームであってもよい。現在のフレーム１０２ｃのデータ量がデータ量閾値以上である場合、アプリケーションサーバは、参照フレーム１００ｃを縮小して空白画面フレームにコピーし、上記第２のコピー画面フレーム１０１ｃを取得してもよい。そして、アプリケーションサーバは、現在のフレーム１０２ｃを縮小して空白画面フレームにコピーし、上記第１のコピー画面フレーム１０３ｃを取得してもよい。そして、アプリケーションサーバは、第２のコピー画面フレーム１０１ｃにより第１のコピー画面フレーム１０３ｃの符号化を実現し、第１のコピー画面フレーム１０３ｃのコードストリーム（該コードストリームは、上記第１の調整画面フレームのコードストリームと称されてもよい）を取得してもよい。そして、アプリケーションサーバは、符号化により得られた第１のコピー画面フレーム１０３ｃのコードストリームをネットワークを介してアプリケーションクライアントに送信してもよい。アプリケーションクライアントは、取得されたコードストリームに基づいて上記第２の画面フレームを表示してもよい。

【0060】

さらに、アプリケーションサーバは、超解像技術を用いて上記第１の調整画面フレームに対して超解像調整を行って、第２の画面フレームを取得してもよい。アプリケーションサーバは、該第２の画面フレームを第１の画面フレームの直後の画面フレームの参照画面フレームとしてもよい。該第１の画面フレームの直後の画面フレームの参照画面フレームは、第１の画面フレームの直後の画面フレームを符号化するために使用される。符号化と復号を一致させるため、アプリケーションクライアントは、第２の画面フレームしか取得できず、元の第１の画面フレームを取得できないため、アプリケーションサーバは、第２の画面フレームにより第１の画面フレームの直後の画面フレームを符号化する必要があり、その後に、アプリケーションクライアントは、第２の画面フレームにより第１の画面フレームの直後の画面フレームのコードストリームを復号することができる。

【0061】

図７は、本発明に係る画面フレームの符号化のシナリオの一例の概略図である。図７に示すように、アプリケーションサーバは、現在のフレームに対して再構築を行ってもよい（即ち、第１の調整画面フレーム１００ｄを再構築してもよい）。再構築の方式は、第１の調整画面フレーム１００ｄに対して超解像処理を行い、解像度が第１の解像度まで戻った第２の画面フレーム１０１ｄを取得してもよい。その後、アプリケーションサーバは、アプリケーションクライアントが取得したコードストリームを復号して画面フレーム１０２ｄを表示するように、該第２の画面フレーム１０１ｄにより第１の画面フレームの直後の画面フレーム１０２ｄを符号化して、符号化されたコードストリームをネットワークを介してアプリケーションクライアントに送信してもよい。

【0062】

図８は、本発明に係る画面フレームの符号化の流れの一例の概略図である。図８に示すように、ｓ１において、アプリケーションサーバは、ビデオエンコーダにより、現在のフレーム画面（即ち、現在のフレームの画面、現在の画面フレーム）を符号化してもよく、該現在のフレーム画面は、上記の第１の画面フレームであってもよい。ｓ２において、符号化された現在のフレーム画面のデータ量サイズが平均フレームサイズの３倍（該平均フレームサイズの３倍は、上記のデータ量閾値を意味してもよい）よりも大きい（又はそれ以上である）場合、ステップｓ４を実行し、符号化された現在のフレーム画面のデータ量サイズが平均フレームサイズの３倍以下である（又はそれよりも小さい）場合、ステップｓ３を実行する。ｓ３において、現在のフレーム画面を直接符号化し、現在のフレーム画面のコードストリームを取得し、現在のフレーム画面のコードストリームをネットワークを介してアプリケーションクライアント（即ち、クライアント）に伝送する。ｓ４において、現在の画面フレームに対して解像度を低減させて（即ち、画面縮小調整を行って）再度符号化して対応するコードストリーム（例えば、上記の第１の調整画面フレームのコードストリーム）を取得し、符号化により得られたコードストリームをアプリケーションクライアントに伝送する。

【0063】

本発明に係る方法を採用することによって、第１の画面フレームのデータ量が大きすぎる場合（データ量閾値よりも大きい場合）、第１の画面フレームに対して画面縮小調整を行って第１の調整画面フレームを取得して符号化を行い、第１の調整画面フレームの画面フレームコードストリームを取得してもよい。該画面フレームコードストリームは、直接に第１の画面フレームを符号化して得られたコードストリームのデータ量に比べて大幅に減少することができるため、アプリケーションサーバは、より速い速度で該画面フレームコードストリームをアプリケーションクライアントに伝送することができ、さらに、アプリケーションクライアントは、より速い速度で第１の画面フレームを代替することに用いる第２の画面フレームを表示することができ、画面フレームの表示をより滑らかでより速くし、ユーザに画面フレームを表示する時のタイムラグを感じさせない。

【0064】

本発明は、アプリケーションサーバコードは、アプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出し、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。そして、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得し、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。このように、本発明に係る方法によれば、アプリケーションサーバは、シーン切り替えの画面フレーム（即ち、データ量がデータ量閾値以上である第１の画面フレーム）について、該画面フレームに対して画面縮小調整を行ってから符号化して対応するコードストリームを取得してアプリケーションクライアントに送信してもよい。アプリケーションクライアントは、取得したコードストリームを復号し、復号して得られた画面フレームの解像度を元の第１の解像度に戻すように調整して再び表示してもよい。表示された画面フレーム（例えば第２の画面フレーム）の画質を保証すると共に、伝送される画面フレームのコードストリームのデータ量を低下させ、画面フレームのコードストリームの伝送速度を向上させることができるため、アプリケーションクライアントがシーン切り替えの画面フレームを表示する時のスムーズさを向上させることができる。

【0065】

図９は、本発明に係るデータ処理方法の流れの一例の概略図である。本発明の実施例の内容は、上述した図３に対応する実施例で説明した内容と組み合わせてもよい。本発明の実施例の実行主体は、上述したアプリケーションサーバであってもよい。図９に示すように、本方法は、以下のステップを含んでもよい。

【0066】

ステップＳ２０１：符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出する。

【0067】

ステップＳ２０２：第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を取得する。

【0068】

好ましくは、アプリケーションサーバは、第１の画面フレームに対して画面縮小調整を行うための横方向の縮小比率及び縦方向の縮小比率を取得してもよい。該横方向の縮小比率は、第１の画面フレームの長さを縮小するために使用され、該縦方向の縮小比率は、第１の画面フレームの幅を縮小するために使用される。該横方向の縮小比率及び縦方向の縮小比率は、実際の適用シナリオに応じて決定されてもよいが、これに限定されない。例えば、該横方向の縮小比率は１／２に等しくてもよく、縦方向の縮小比率は１／２に等しくてもよい。

【0069】

ステップＳ２０３：横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。

【0070】

好ましくは、アプリケーションサーバは、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに画面縮小調整を行い、第１の調整画面フレームを取得するステップは、具体的には以下のステップを含んでもよい。

【0071】

アプリケーションサーバは、第１の画面フレームにおける横方向の画素値（例えば、長さ方向の画素値）を横方向の縮小比率でサンプリングしてもよい。第１の画面フレームにおける横方向の画素値をサンプリングして得られた画素値は、横方向サンプリング画素値と称されてもよい。例えば、横方向の縮小比率が１／２に等しい場合、アプリケーションサーバは、第１の画面フレームにおける横方向の画素値を１／２サンプリングしてもよい。例えば、アプリケーションサーバは、第１の画面フレームにおける横方向の画素値を走査し、各走査により得られた隣接する２列の画素値から１列の画素値をサンプリングして取得してもよい。例えば、走査により１列目の画素値、２列目の画素値、３列目の画素値、４列目の画素値が得られた場合、１列目の画素値及び２列目の画素値から横方向のサンプリング画素値の列をサンプリングにより取得し、３列目の画素値及び４列目の画素値から横方向のサンプリング画素値の列をサンプリングにより取得してもよい。

【0072】

アプリケーションサーバは、第１の画面フレームにおける縦方向の画素値（例えば、長さ方向の画素値）を縦方向の縮小比率でサンプリングしてもよい。第１の画面フレームにおける縦方向の画素値をサンプリングして得られた画素値は、縦方向サンプリング画素値と称されてもよい。例えば、縦方向の縮小比率が１／２に等しい場合、アプリケーションサーバは、第１の画面フレームにおける縦方向の画素値を１／２サンプリングしてもよい。例えば、アプリケーションサーバは、第１の画面フレームにおける縦方向の画素値を走査し、各走査により得られた隣接する２行の画素値から１行の画素値をサンプリングして取得してもよい。例えば、走査により１行目の画素値、２行目の画素値、３行目の画素値、４行目の画素値が得られた場合、１行目の画素値及び２行目の画素値から縦方向のサンプリング画素値の行をサンプリングにより取得し、３行目の画素値及び４行目の画素値から縦方向のサンプリング画素値の行をサンプリングにより取得してもよい。

【0073】

そして、アプリケーションサーバは、上記サンプリングにより得られた横方向サンプリング画素値及び縦方向サンプリング画素値から上記の第１の調整画面フレームを生成してもよい。第１の調整画面フレームにおける画素値の数は、第１の画面フレームにおける画素値の数よりも少なく、即ち、第１の調整画面フレームの第２の解像度は、第１の画面フレームの第１の解像度よりも低い。

【0074】

このように、横方向の縮小比率に基づいて第１の画面フレームにおける横方向の画素値をサンプリングし、横方向サンプリング画素値を取得し、縦方向の縮小比率に基づいて第１の画面フレームにおける縦方向の画素値をサンプリングし、縦方向サンプリング画素値を取得し、横方向サンプリング画素値及び縦方向サンプリング画素値に基づいて第１の調整画面フレームを生成する。このように、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームにおける横方向の画素値及び縦方向の画素値をそれぞれサンプリングすることによって、第１の調整画面フレームを迅速に生成することができる。

【0075】

ステップＳ２０４：第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得する。

【0076】

好ましくは、アプリケーションサーバは、第１の調整画面フレームを符号化してもよく、例えば、上記の第２のコピー画面フレームにより第１の調整画面フレームに対応する第１のコピー画面フレームを符号化してもよい。この時の符号化により得られたコードストリームは、初期画面フレームコードストリームと称されてもよい。そして、アプリケーションサーバは、該初期画面フレームコードストリームに上記の横方向の縮小比率、縦方向の縮小比率及び縮小フラグを追加し、該横方向の縮小比率、縦方向の縮小比率及び縮小フラグが追加された初期画面フレームコードストリームを、最終的に得られた第１の調整画面フレームの画面フレームコードストリームとしてもよい。このように、第１の調整画面フレームを符号化し、第１の調整画面フレームの初期画面フレームコードストリームを取得し、横方向の縮小比率及び縦方向の縮小比率を初期画面フレームコードストリームに追加し、画面フレームコードストリームを取得することができる。このため、アプリケーションクライアントは、このような画面フレームコードストリームを受信し、画面フレームコードストリームにおける横方向の縮小比率及び縦方向の縮小比率に基づいて、素早く画面フレームコードストリームを正確に復号して第１の調整画面フレームを取得することができる。

【0077】

図１０は、本発明に係る画面フレームの縮小のシナリオの一例の概略図である。図１０に示すように、第１の画面フレームは、８行８列の画素値を含んでもよい。この８行８列の画素値は、具体的には、画素値１１、画素値１２、画素値１３、画素値１４、画素値１５、画素値１６、画素値１７、画素値１８、画素値２１、画素値２２、画素値２３、画素値２４、画素値２５、画素値２６、画素値２７、画素値２８、画素値３１、画素値３２、画素値３３、画素値３４、画素値３５、画素値３６、画素値３７、画素値３８、画素値４１、画素値４２、画素値４３、画素値４４、画素値４５、画素値４６、画素値４７、画素値４８、画素値５１、画素値５２、画素値５３、画素値５４、画素値５５、画素値５６、画素値５７、画素値５８、画素値６１、画素値６２、画素値６３、画素値６４、画素値６５、画素値６６、画素値６７、画素値６８、画素値７１、画素値７２、画素値７３、画素値７４、画素値７５、画素値７６、画素値７７、画素値７８、画素値８１、画素値８２、画素値８３、画素値８４、画素値８５、画素値８６、画素値８７、画素値８８を含む。

【0078】

第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率の両方が１／２に等しい場合、第１の画面フレームの横方向及び縦方向の画素値の両方を１／２サンプリングしてもよい。ここで、第１の画面フレームの横方向の画素値をサンプリングして得られた横方向サンプリング画素値が第１の画面フレームにおける１列目の画素値（具体的には、画素値１１、画素値２１、画素値３１、画素値４１、画素値５１、画素値６１、画素値７１、画素値８１を含む）、３列目の画素値（具体的には、画素値１３、画素値２３、画素値３３、画素値４３、画素値５３、画素値６３、画素値７３、画素値８３を含む）、５列目の画素値（具体的には、画素値１５、画素値２５、画素値３５、画素値４５、画素値５５、画素値６５、画素値７５、画素値８５を含む）及び７列目の画素値（具体的には、画素値１７、画素値２７、画素値３７、画素値４７、画素値５７、画素値６７、画素値７７、画素値８７を含む）であり、第１の画面フレームの縦方向の画素値をサンプリングして得られた縦方向サンプリング画素値が第１の画面フレームにおける１行目の画素値（具体的には、画素値１１、画素値１２、画素値１３、画素値１４、画素値１５、画素値１６、画素値１７、画素値１８を含む）、３行目の画素値（具体的には、画素値３１、画素値３２、画素値３３、画素値３４、画素値３５、画素値３６、画素値３７、画素値３８を含む）、５行目の画素値（具体的には、画素値５１、画素値５２、画素値５３、画素値５４、画素値５５、画素値５６、画素値５７、画素値５８を含む）及び７行目の画素値（具体的には、画素値７１、画素値７２、画素値７３、画素値７４、画素値７５、画素値７６、画素値７７、画素値７８を含む）であると仮定する。

【0079】

この場合、上記のようにサンプリングして得られた横方向サンプリング画素値と縦方向サンプリング画素値との共通集合により、第１の調整画面フレームを生成してもよい。第１の調整画面フレームは、画素値１１、画素値１３、画素値１５、画素値１７、画素値３１、画素値３３、画素値３５、画素値３７、画素値５１、画素値５３、画素値５５、画素値５７、画素値７１、画素値７３、画素値７５、画素値７７を含む。そして、第１の調整画面フレームを第１の画面フレームと同一の大きさを有する空白画面フレームにコピーして、第１のコピー画面フレームを取得してもよい。この場合、第１のコピー画面フレームには、有効なデータが１／４しかなく、無効なデータ（即ち、０データ）が３／４ある。

【0080】

ステップＳ２０５：アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。

【0081】

上記の実施例では、第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を取得し、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。このように、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを迅速に取得することができる。

【0082】

図１１は、本発明に係るデータ処理方法の流れの一例の概略図である。本発明の実施例の内容は、上記の図３に対応する実施例で説明した内容と組み合わせてもよい。図１１に示すように、該方法は、以下のステップを含んでもよい。

【0083】

ステップＳ３０１：アプリケーションサーバにより送信された画面フレームコードストリームを取得する。画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、第１の調整画面フレームは、アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、第１の画面フレームのデータ量はデータ量閾値以上であり、第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は前記第１の解像度よりも低い。

【0084】

好ましくは、本発明の実施例における実行主体は、アプリケーションクライアントであってもよい。アプリケーションクライアントは、アプリケーションサーバにより送信された該第１の調整画面フレームの画面フレームコードストリームを取得してもよい。該画面フレームコードストリームは、該第２のコピー画面フレームにより第１の調整画面フレームに対応する第１のコピー画面フレームを符号化して得られる。該画面フレームコードストリームの具体的な取得方法について、上記図３に対応する実施例の説明を参照してもよい。

【0085】

ステップＳ３０２：画面フレームコードストリームを復号し、第１の調整画面フレームを取得する。

【0086】

好ましくは、アプリケーションクライアントにより取得された画面フレームコードストリームは、該第１の画面フレームに対して画面縮小調整を行うための横方向の縮小比率及び縦方向の縮小比率を含んでもよい。アプリケーションクライアントは、該画面フレームコードストリームから該横方向の縮小比率及び縦方向の縮小比率を抽出してもよい。また、アプリケーションクライアントは、第１の画面フレームについての直前の画面フレームを取得してもよく、該直前の画面フレームはアプリケーションクライアント内に存在するものであってもよい。該直前の画面フレームは、アプリケーションクライアントがその前に復号して表示された画面フレームであってもよい。アプリケーションクライアントは、該直前の画面フレームを第１の画面フレームの参照画面フレームとしてもよい。

【0087】

アプリケーションクライアントは、第１の画面フレームに対する画面縮小調整と同様な原理で、第１の画面フレームの参照画面フレームに対して画面縮小調整を行い（縮小調整の比率は第１の画面フレームと同一である）、上記の第２の調整画面フレームを取得してもよい。アプリケーションクライアントは、該第２の調整画面フレームを解像度が第１の解像度である空白画面フレームにコピーし、該第２のコピー画面フレームを取得してもよい。

【0088】

また、アプリケーションクライアントは、該第２のコピー画面フレーム及び取得した画面フレームコードストリームをデコーダに入力し、該第２のコピー画面フレームにより該画面フレームコードストリームを復号し、該第１のコピー画面フレームを取得してもよい。

【0089】

さらに、アプリケーションクライアントは、画面フレームのコードストリームから抽出された横方向の縮小比率及び縦方向の縮小比率を用いて、復号された第１のコピー画面フレームから該第１の調整画面フレームを抽出してもよい。

【0090】

このように、画面フレームコードストリームから横方向の縮小比率及び縦方向の縮小比率を解析し、画面フレームコードストリームを復号し、第１のコピー画面フレームを取得する。第１のコピー画面フレームは、アプリケーションサーバが第１の調整画面フレームを空白画面フレームにコピーすることによって得られ、空白画面フレームの解像度は第１の解像度であり、横方向の縮小比率及び縦方向の縮小比率に基づいて、第１のコピー画面フレームから第１の調整画面フレームを抽出する。なお、符号化プロセスに対応して、画面フレームコードストリームを復号することによって、解像度が第１の解像度である第１のコピー画面フレームを取得することができる。そして、画面フレームコードストリームから解析された横方向の縮小比率及び縦方向の縮小比率に基づいて、第１のコピー画面フレームから正確な解像度が第２の解像度である第１の調整画面フレームを抽出することができる。

【0091】

アプリケーションクライアントにおける第１の画面フレームの直前の画面フレームを取得し、第１の画面フレームの参照画面フレームとし、第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得し、第２の調整画面フレームを空白画面フレームにコピーし、第２のコピー画面フレームを取得し、第２のコピー画面フレームにより画面フレームコードストリームを復号し、第１のコピー画面フレームを取得する。なお、フレーム間復号の方式を用いて画面フレームコードストリームを復号してもよい。フレーム間復号を行う際に、アプリケーションクライアントにおける第１の画面フレームの直前の画面フレームを第１の画面フレームの参照画面フレームとし、第１の画面フレームに基づいて第１のコピー画面フレームを生成する方法を参照し、参照画面フレームに基づいて第２のコピー画面フレームを生成する。第１のコピー画面フレームと第２のコピー画面フレームとは、同一の解像度のフレームであるため、第２のコピー画面フレームに基づいて画面フレームコードストリームを成功的に復号して第１のコピー画面フレームを取得することができる。

【0092】

ステップＳ３０３：第１の調整画面フレームの解像度を第１の解像度に戻すように調整し、第２の画面フレームを取得し、第２の画面フレームを表示する。

【0093】

好ましくは、アプリケーションクライアントは、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の調整画面フレームに対して超解像調整を行い、第２の画面フレームを取得してもよい。該第２の画面フレームの解像度は、該第１の画面フレームの第１の解像度である。このように、アプリケーションクライアントは、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の調整画面フレームに対して超解像調整を行い、調整して得られた第２の画面フレームの解像度が第１の画面フレームの第１の解像度であるようにすることができるため、アプリケーションクライアントにより表示された画面フレームの解像度が全て同一であり、全て元の解像度であることを確保することができる。

【0094】

図１２は、本発明に係る画面フレームの復号のシナリオの一例の概略図である。図１２に示すように、アプリケーションクライアントは、アプリケーションサーバにより送信された現在のフレームのコードストリーム（例えば、上記の第１の調整画面フレームの画面フレームコードストリーム）をネットワークを介して受信してもよい。アプリケーションクライアントは、現在のフレームの直前のフレーム（即ち、第１の画面フレームの直前のフレーム）を参照フレーム１０２ｅ（即ち、参照画面フレーム）として取得してもよい。この場合、該参照フレーム１０２ｅの解像度は第１の解像度である。アプリケーションクライアントは、該参照フレームを縮小して空白画面フレームにコピーし、上記の第２のコピー画面フレーム１０３ｅを取得してもよい。そして、アプリケーションクライアントは、第２のコピー画面フレーム１０３ｅにより現在のフレームのコードストリームを復号することによって、上記の第１のコピー画面フレーム１００ｅを取得してもよい。アプリケーションクライアントは、該第１のコピー画面フレーム１００ｅのうちの第１の調整画面フレームに対応する画像ブロック（即ち、第１の調整画面フレーム）に対して超解像処理を行うことによって、解像度が第１の解像度である第２の画面フレーム１０１ｅを取得し、アプリケーションクライアントのクライアントインターフェースに該第２の画面フレーム１０１ｅを表示してもよい。

【0095】

図１３は、本発明に係る画面フレームの復号の流れの一例の概略図である。図１３に示すように、ａ１において、アプリケーションクライアントは、取得したコードストリームにおけるＳＥＩ情報（即ち、補足拡張情報）を解析し、解析したＳＥＩ情報に縮小ｆｌａｇ（縮小フラグ）が設定されているか否かを判断し、即ち、ＳＥＩ情報に画面フレームが縮小されたことを示すフラグが含まれているか否かを判断してもよい。ａ２において、ＳＥＩ情報に画面フレームが縮小されたことを示すフラグが含まれている場合、画面フレームが縮小されたことを意味し、ステップａ４を実行し、ＳＥＩ情報に画面フレームが縮小されたことを示すフラグが含まれていない場合、画面フレームが縮小されていないことを意味し、ステップａ３を実行する。ａ３において、アプリケーションクライアントは、取得したコードストリームに直接に正常な復号を行い、復号して得られた画面フレームを表示してもよい。ａ４において、アプリケーションクライアントは、同様に解像度が縮小された参照画面フレーム（例えば、第２の調整画面フレーム）によりコードストリームを復号し、復号された画面フレーム（例えば、第１の調整画面フレーム）の解像度を第１の解像度に戻して、対応する画面フレーム（例えば、上記の第２の画面フレーム）を表示してもよい。

【0096】

本発明に係る方法を採用することで、アプリケーションサーバは、第１の調整画面フレームのコードストリームを第１の画面フレームのコードストリームとしてアプリケーションクライアントに伝送することができ、第１の画面フレームについてのコードストリームの伝送データ量を低減させ、第１の画面フレームについてのコードストリームの伝送速度を向上させることができる。これによって、アプリケーションクライアントは、より小さい遅延で第１の画面フレームの代替に用いる第２の画面フレームを出力することができると共に、該第２の画面フレームの解像度が第１の画面フレームの解像度と同一であることを確保し、即ち、画面の表示効果（例えば、鮮明さ）を確保することができる。

【0097】

本発明では、アプリケーションサーバは、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出し、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。そして、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得し、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。このように、本発明に係る方法によれば、アプリケーションサーバは、シーン切り替えの画面フレーム（即ち、データ量がデータ量閾値以上である第１の画面フレーム）について、該画面フレームに対して画面縮小調整を行った後に符号化し、対応するコードストリームを取得してアプリケーションクライアントに送信してもよい。アプリケーションクライアントは、取得したコードストリームを復号し、復号して得られた画面フレームの解像度を元の第１の解像度に調整した後に再び表示してもよい。これによって、表示された画面フレーム（例えば、第２の画面フレーム）の画質を保証すると共に、伝送される画面フレームのコードストリームのデータ量を低減させ、画面フレームのコードストリームの伝送速度を向上させることができるため、アプリケーションクライアントがシーン切り替えの画面フレームを表示する時のスムーズさを向上させることができる。

【0098】

図１４は、本発明に係るデータ処理装置の構成の一例の概略図である。図１４に示すように、該データ処理装置は、コンピュータ機器内で実行されるコンピュータ読み取り可能な命令（プログラムコードを含む）であってもよく、例えば、該データ処理装置は、アプリケーションソフトウェアであり、該データ処理装置は、本発明の実施例に係る方法における対応するステップを実行するために使用されてもよい。図１４に示すように、該データ処理装置１は、画面符号化モジュール１１、縮小モジュール１２、コードストリーム符号化モジュール１３及び送信モジュール１４を含んでもよい。

【0099】

画面符号化モジュール１１は、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出する。

【0100】

縮小モジュール１２は、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は前記第１の解像度よりも低い。

【0101】

コードストリーム符号化モジュール１３は、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得する。

【0102】

送信モジュール１４は、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。

【0103】

好ましくは、縮小モジュール１２は、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する際に、第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を取得し、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。

【0104】

好ましくは、縮小モジュール１２は、横方向の縮小比率及び縦方向の縮小比率に基づいて第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する際に、横方向の縮小比率に基づいて第１の画面フレームにおける横方向の画素値をサンプリングし、横方向のサンプリング画素値を取得し、縦方向の縮小比率に基づいて第１の画面フレームにおける縦方向の画素値をサンプリングし、縦方向のサンプリング画素値を取得し、横方向のサンプリング画素値及び縦方向のサンプリング画素値に基づいて第１の調整画面フレームを生成する。

【0105】

好ましくは、コードストリーム符号化モジュール１３は、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得する際に、第１の調整画面フレームを符号化し、第１の調整画面フレームの初期画面フレームコードストリームを取得し、横方向の縮小比率及び縦方向の縮小比率を初期画面フレームコードストリームに追加し、画面フレームコードストリームを取得する。

【0106】

好ましくは、コードストリーム符号化モジュール１３は、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得する際に、解像度が第１の解像度である空白画面フレームを取得し、第１の調整画面フレームを空白画面フレームにコピーし、第１のコピー画面フレームを取得し、第１のコピー画面フレームを符号化し、画面フレームコードストリームを取得する。

【0107】

好ましくは、コードストリーム符号化モジュール１３は、第１のコピー画面フレームを符号化し、画面フレームコードストリームを取得する際に、アプリケーションクライアントの第１の画面フレームの直前の画面フレームを第１の画面フレームの参照画面フレームとして取得し、第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得し、第２の調整画面フレームを空白画面フレームにコピーし、第２のコピー画面フレームを取得し、第２のコピー画面フレームに基づいて第１のコピー画面フレームを符号化し、画面フレームコードストリームを取得する。

【0108】

好ましくは、アプリケーションクライアントは、ゲームクライアントである。第１の画面フレームのデータ量がデータ量閾値以上である場合、縮小モジュール１２は、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する際に、第１の画面フレームがゲームクライアントのシーン切り替え時のゲーム画面フレームに属し、且つ第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。

【0109】

好ましくは、該データ処理装置１は、アプリケーションクライアントの画面フレームについての単位伝送データ量及び単位伝送フレーム数を取得し、単位伝送データ量及び単位伝送フレーム数に基づいて平均フレームデータ量を決定し、平均フレームデータ量に基づいてデータ量閾値を決定する。

【0110】

好ましくは、該データ処理装置１は、第１の調整画面フレームに対して超解像調整を行い、第２の画面フレームを取得し、第２の画面フレームを第１の画面フレームの直後の画面フレームの参照画面フレームとする。第１の画面フレームの直後の画面フレームの参照画面フレームは、第１の画面フレームの直後の画面フレームを符号化するために使用される。

【0111】

本発明の１つの実施例によれば、図３に示すデータ処理方法におけるステップは、図１４に示すデータ処理装置１における各モジュールにより実行されてもよい。例えば、図３に示すステップＳ１０１は、図１４における画面符号化モジュール１１により実行されてもよく、図３に示すステップＳ１０２は、図１４における縮小モジュール１２により実行されてもよく、図３に示すステップＳ１０３は、図１４におけるコードストリーム符号化モジュール１３により実行されてもよく、図３に示すステップＳ１０４は、図１４における送信モジュール１４により実行されてもよい。

【0112】

本発明では、アプリケーションサーバは、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出し、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。そして、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得し、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。このように、本発明に係る装置によれば、アプリケーションサーバは、シーン切り替えの画面フレーム（即ち、データ量がデータ量閾値以上である第１の画面フレーム）について、該画面フレームに対して画面縮小調整を行った後に符号化し、対応するコードストリームを取得してアプリケーションクライアントに送信してもよい。アプリケーションクライアントは、取得したコードストリームを復号し、復号して得られた画面フレームの解像度を元の第１の解像度に調整した後に再び表示してもよい。これによって、表示された画面フレーム（例えば、第２の画面フレーム）の画質を保証すると共に、伝送される画面フレームのコードストリームのデータ量を低減させ、画面フレームのコードストリームの伝送速度を向上させることができるため、アプリケーションクライアントがシーン切り替えの画面フレームを表示する時のスムーズさを向上させることができる。

【0113】

本発明の１つの実施例によれば、図１４に示すデータ処理装置１の各モジュールは、１つ又は複数のユニットにそれぞれ又は全て統合されて構成されてもよく、或いは、この（これらの）ユニットのうちの１つは、機能的により小さな複数のサブユニットに再分割されてもよく、本発明の実施例の技術的効果の実現に影響を及ぼすことなく、同様の動作を実現してもよい。上記のモジュールは論理的な機能に基づいて分割されており、実際の応用では、１つのモジュールの機能が複数のユニットにより実現されてもよいし、複数のモジュールの機能が１つのユニットにより実現されてもよい。本発明の他の実施例では、データ処理装置１は、他のユニットを含んでもよく、実際の応用では、これらの機能は、他のユニットにより協働して実現されてもよく、複数のユニットにより協働して実現されてもよい。

【0114】

本発明の１つの実施例によれば、図１４に示すデータ処理装置１は、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み出し専用記憶媒体（ＲＯＭ）などの処理ユニット及び記憶ユニットを含むコンピュータなどの汎用コンピュータ機器で、図３に示す各方法におけるステップを実行可能なコンピュータ読み取り可能な命令（プログラムコードを含む）を実行することによって構成され、本発明の１つの実施例のデータ処理方法を実現してもよい。上記のコンピュータ読み取り可能な命令は、例えば、コンピュータ読み取り可能な記録媒体に記録され、コンピュータ読み取り可能な記録媒体を介して上記コンピュータ機器にロードされて実行されてもよい。

【0115】

図１５は、本発明に係るデータ処理装置の構成の一例の概略図である。図１５に示すように、該データ処理装置は、コンピュータ機器内で実行されるコンピュータ読み取り可能な命令（プログラムコードを含む）であってもよく、例えば、該データ処理装置は、アプリケーションソフトウェアであり、該データ処理装置は、本発明の実施例に係る方法における対応するステップを実行するために使用されてもよい。図１５に示すように、該データ処理装置２は、コードストリーム取得モジュール２１、コードストリーム復号モジュール２２及び解像度調整モジュール２３を含んでもよい。

【0116】

コードストリーム取得モジュール２１は、アプリケーションサーバにより送信された画面フレームコードストリームを取得する。画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、第１の調整画面フレームは、アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、第１の画面フレームのデータ量はデータ量閾値以上であり、第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。

【0117】

コードストリーム復号モジュール２２は、画面フレームコードストリームを復号し、第１の調整画面フレームを取得する。

【0118】

解像度調整モジュール２３は、第１の調整画面フレームの解像度を第１の解像度に戻すように調整し、第２の画面フレームを取得し、第２の画面フレームを表示する。

【0119】

好ましくは、前記画面フレームコードストリームは、第１の画面フレームに対して画面縮小調整を行う時の第１の画面フレームに対する横方向の縮小比率及び縦方向の縮小比率を含む。コードストリーム復号モジュール２２は、画面フレームコードストリームを復号し、第１の調整画面フレームを取得する際に、画面フレームコードストリームから横方向の縮小比率及び縦方向の縮小比率を解析し、画面フレームコードストリームを復号し、第１のコピー画面フレームを取得し、第１のコピー画面フレームは、アプリケーションサーバが第１の調整画面フレームを空白画面フレームにコピーすることによって得られ、空白画面フレームの解像度は第１の解像度であり、横方向の縮小比率及び縦方向の縮小比率に基づいて、第１のコピー画面フレームから第１の調整画面フレームを抽出する。

【0120】

好ましくは、解像度調整モジュール２３は、第１の調整画面フレームの解像度を第１の解像度に戻すように調整し、第２の画面フレームを取得する際に、横方向の縮小比率及び縦方向の縮小比率に基づいて、第１の調整画面フレームに対して超解像調整を行い、超解像調整が行われた第１の調整画面フレームを第２の画面フレームとして決定する。

【0121】

コードストリーム復号モジュール２２は、画面フレームコードストリームを復号し、第１のコピー画面フレームを取得する際に、アプリケーションクライアントにおける第１の画面フレームの直前の画面フレームを第１の画面フレームの参照画面フレームとして取得し、第１の画面フレームの参照画面フレームに対して画面縮小調整を行い、第２の調整画面フレームを取得し、第２の調整画面フレームを空白画面フレームにコピーし、第２のコピー画面フレームを取得し、第２のコピー画面フレームに基づいて画面フレームコードストリームを復号し、第１のコピー画面フレームを取得する。

【0122】

本発明の１つの実施例によれば、図１１に示すデータ処理方法におけるステップは、図１５に示すデータ処理装置２における各モジュールにより実行される。例えば、図１１に示すステップＳ３０１は、図１１におけるコードストリーム取得モジュール２１により実行されてもよく、図１１に示すステップＳ３０２は、図１１におけるコードストリーム復号モジュール２２により実行されてもよく、図１１に示すステップＳ３０３は、図１１における解像度調整モジュール２３により実行されてもよい。

【0123】

本発明では、アプリケーションサーバは、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出し、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得する。第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い。そして、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得し、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信する。第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる。このように、本発明に係る装置によれば、アプリケーションサーバは、シーン切り替えの画面フレーム（即ち、データ量がデータ量閾値以上である第１の画面フレーム）について、該画面フレームに対して画面縮小調整を行った後に符号化し、対応するコードストリームを取得してアプリケーションクライアントに送信してもよい。アプリケーションクライアントは、取得したコードストリームを復号し、復号して得られた画面フレームの解像度を元の第１の解像度に調整した後に再び表示してもよい。これによって、表示された画面フレーム（例えば、第２の画面フレーム）の画質を保証すると共に、伝送される画面フレームのコードストリームのデータ量を低減させ、画面フレームのコードストリームの伝送速度を向上させることができるため、アプリケーションクライアントがシーン切り替えの画面フレームを表示する時のスムーズさを向上させることができる。

【0124】

本発明の１つの実施例によれば、図１５に示すデータ処理装置２の各モジュールは、１つ又は複数のユニットにそれぞれ又は全て統合されて構成されてもよく、或いは、この（これらの）ユニットのうちの１つは、機能的により小さな複数のサブユニットに再分割されてもよく、本発明の実施例の技術的効果の実現に影響を及ぼすことなく、同様の動作を実現してもよい。上記のモジュールは論理的な機能に基づいて分割されており、実際の応用では、１つのモジュールの機能が複数のユニットにより実現されてもよいし、複数のモジュールの機能が１つのユニットにより実現されてもよい。本発明の他の実施例では、データ処理装置１は、他のユニットを含んでもよく、実際の応用では、これらの機能は、他のユニットにより協働して実現されてもよく、複数のユニットにより協働して実現されてもよい。

【0125】

本発明の１つの実施例によれば、図１５に示すデータ処理装置２は、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み出し専用記憶媒体（ＲＯＭ）などの処理ユニット及び記憶ユニットを含むコンピュータなどの汎用コンピュータ機器で、図１１に示す各方法におけるステップを実行可能なコンピュータ読み取り可能な命令（プログラムコードを含む）を実行することによって構成され、本発明の１つの実施例のデータ処理方法を実現してもよい。上記のコンピュータ読み取り可能な命令は、例えば、コンピュータ読み取り可能な記録媒体に記録され、コンピュータ読み取り可能な記録媒体を介して上記コンピュータ機器にロードされて実行されてもよい。

【0126】

図１６は、本発明に係るコンピュータ機器の構成の一例の概略図である。図１６に示すように、コンピュータ機器１０００は、１つ又は複数のプロセッサ１００１、ネットワークインターフェース１００４、及びメモリ１００５を含んでもよい。また、コンピュータ機器１０００は、ユーザインターフェース１００３、及び少なくとも１つの通信バス１００２をさらに含んでもよい。ここで、通信バス１００２は、これらのコンポーネント間の接続通信を実現するために使用される。ユーザインターフェース１００３は、ディスプレイ（Ｄｉｓｐｌａｙ）、キーボード（Ｋｅｙｂｏａｒｄ）を含んでもよく、好ましくは、ユーザインターフェース１００３は、標準的な有線インターフェース、無線インターフェースをさらに含んでもよい。ネットワークインターフェース１００４は、好ましくは、標準的な有線インターフェース、無線インターフェース（例えば、ＷＩ－ＦＩインターフェース）を含んでもよい。メモリ１００５は、高速ＲＡＭメモリであってもよいし、例えば少なくとも１つのディスクメモリなどの非不安定なメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよい。メモリ１００５は、好ましくは、上記の１つ又は複数のプロセッサ１００１から離れた位置にある少なくとも１つの記憶装置であってもよい。図１６に示すように、コンピュータ記憶媒体としてのメモリ１００５は、オペレーティングシステム、ネットワーク通信モジュール、ユーザインターフェースモジュール、及び機器制御アプリケーションプログラムを含んでもよい。

【0127】

図１６に示すコンピュータ機器１０００では、ネットワークインターフェース１００４は、ネットワーク通信機能を提供することができる。ユーザインターフェース１００３は、主に、ユーザに入力を提供するためのインターフェースである。１つ又は複数のプロセッサ１００１は、符号化によりアプリケーションクライアントの第１の画面フレームを取得した場合、第１の画面フレームのデータ量を検出するステップと、第１の画面フレームのデータ量がデータ量閾値以上である場合、第１の画面フレームに対して画面縮小調整を行い、第１の調整画面フレームを取得するステップであって、第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い、ステップと、第１の調整画面フレームを符号化し、第１の調整画面フレームの画面フレームコードストリームを取得するステップと、アプリケーションクライアントが画面フレームコードストリームに基づいて第２の画面フレームを表示するように、画面フレームコードストリームをアプリケーションクライアントに送信するステップであって、第２の画面フレームは、アプリケーションクライアントが画面フレームコードストリームを復号して第１の調整画面フレームを取得した後、第１の調整画面フレームの解像度を第１の解像度に戻すように調整して得られる、ステップと、を実現するように、メモリ１００５に記憶された機器制御アプリケーションを呼び出すために使用されてもよい。

【0128】

好ましくは、１つ又は複数のプロセッサ１００１は、アプリケーションサーバにより送信された画面フレームコードストリームを取得するステップであって、画面フレームコードストリームは、第１の調整画面フレームを符号化して得られ、第１の調整画面フレームは、アプリケーションクライアントの第１の画面フレームに対して画面縮小調整を行って得られ、第１の画面フレームのデータ量はデータ量閾値以上であり、第１の画面フレームの解像度は第１の解像度であり、第１の調整画面フレームの解像度は第２の解像度であり、第２の解像度は第１の解像度よりも低い、ステップと、画面フレームコードストリームを復号し、第１の調整画面フレームを取得するステップと、第１の調整画面フレームの解像度を第１の解像度に戻すように調整し、第２の画面フレームを取得し、第２の画面フレームを表示するステップと、を実現するように、メモリ１００５に記憶された機器制御アプリケーションを呼び出すために使用されてもよい。

【0129】

なお、本発明の実施例で説明したコンピュータ機器１０００は、上記の図３又は図１１の対応する実施例で説明したデータ処理方法を実行してもよいし、図１４の対応する実施例で説明したデータ処理装置１を実現してもよいし、図１５の対応する実施例で説明したデータ処理装置２を実現してもよい。また、同様な方法を採用した有益な効果についても、その説明を省略する。

【0130】

また、ここでは、上記のデータ処理装置１及びデータ処理装置２が実行するコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータプログラムは、コンピュータ読み取り可能なプログラム命令を含む。１つ又は複数のプロセッサがコンピュータ読み取り可能なプログラム命令を実行する際に、上記の図３又は図１１に対応する実施例で説明したデータ処理方法を実行することができるため、ここでその説明を省略する。また、同様な方法を採用した有益な効果についても、その説明を省略する。本発明に係るコンピュータ記憶媒体の実施例において開示されていない技術的詳細について、本発明の方法の実施例の説明を参照してもよい。

【0131】

一例として、上記のプログラム命令は、１つのコンピュータ機器で実行されてもよいし、１つの場所に配置された複数のコンピュータ機器で実行されてもよいし、且つ／或いは、複数の場所に配置され、且つ通信ネットワークを介して相互に接続された複数のコンピュータ機器で実行されてもよい。複数の場所に配置され、且つ通信ネットワークを介して相互に接続された複数のコンピュータ機器は、ブロックチェーンネットワークを構成してもよい。

【0132】

上述したコンピュータ読み取り可能な記憶媒体は、上述した実施形態の何れかに係るデータ処理装置であってもよいし、コンピュータ機器のハードディスクやメモリなどのコンピュータ機器の内部記憶装置であってもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータ機器に装備されたプラグインハードディスク、スマートメモリカード（ｓｍａｒｔ ｍｅｄｉａ ｃａｒｄ：ＳＭＣ）、セキュアデジタル（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ：ＳＤ）カード、フラッシュメモリカード（ｆｌａｓｈ ｃａｒｄ）などのコンピュータ機器の外部記憶装置であってもよい。さらに、コンピュータ読み取り可能な記憶媒体は、コンピュータ機器の内部記憶ユニットと外部記憶装置の両方を含んでもよい。上記のコンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令及び該コンピュータ機器が必要とする他のプログラムとデータを記憶する。コンピュータ読み取り可能な記憶媒体は、出力されたデータ又は出力されるべきデータを一時的に記憶するために使用されてもよい。

【0133】

本発明は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。コンピュータ機器の１つ又は複数のプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ読み取り可能な命令を読み取り、１つ又は複数のプロセッサは、上記の図３又は図１１の対応する実施例で上記のデータ処理方法を実行するようにコンピュータ読み取り可能な命令を実行することができるため、ここでその説明を省略する。また、同様な方法を採用した有益な効果についても、その説明を省略する。本発明に係るコンピュータ読み取り可能な記憶媒体の実施例において開示されていない技術的詳細について、本発明の方法の実施例の説明を参照してもよい。

【0134】

本発明の実施例の明細書、特許請求の範囲及び図面における「第１」、「第２」などの用語は、特定の順序を説明するためのものではなく、異なるオブジェクトを区別するために使用される。また、用語「含む」及びそれらの任意の変形は、排他的な包含をカバーすることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、装置、製品、又はデバイスは、列挙されたステップ又はモジュールに限定されず、列挙されていないステップ又はモジュールを含んでもよいし、これらのプロセス、方法、装置、製品、又はデバイスに固有の他のステップユニットを含んでもよい。

【0135】

当業者であれば、本明細書に開示された実施形態に関連して説明された様々な例の要素及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又はその両方の組み合わせで実装することができ、ハードウェア及びソフトウェアの互換性を明確に示すために、上記の説明では、様々な例の構成及びステップが機能的に一般的に説明されていることを理解するであろう。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、特定のアプリケーションや設計上の制約によって異なる。当業者は、記載された機能を実現するために、特定のアプリケーションごとに異なる方法を使用することができるが、そのような実現は、本発明の範囲を超えるものとみなされるべきではない。

【0136】

本発明の実施例に係る方法及び関連する装置は、本発明の実施例に係る方法のフローチャート及び／又は構造の概略図を参照して説明され、特に、コンピュータ読み取り可能な命令によって、方法のフローチャート及び／又は構造の概略図の各フロー及び／又はブロック、並びに、フローチャート及び／又はブロック図のフロー及び／又はブロックの組み合わせを実施してもよい。これらのコンピュータ読み取り可能な命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラミング可能なデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサによって実行される命令が、フローチャートの１つ又は複数のフロー及び／又は構造図の１つ又は複数のブロックで指定される機能を実現する手段を生成するように、機器を生成することができる。これらのコンピュータ読み取り可能な命令は、コンピュータ又は他のプログラミング可能なデータ処理装置を特定の方法で動作させることができるコンピュータ読み取り可能なメモリに格納することもでき、その結果、コンピュータ読み取り可能なメモリに格納された命令は、フローチャートの１つ又は複数のフロー及び／又は構造図の１つ又は複数のブロックで指定された機能を実現する命令手段を含む製造物を生成する。これらのコンピュータ読み取り可能な命令は、コンピュータ又は他のプログラミング可能なデータ処理装置にロードされてもよく、その結果、コンピュータ又は他のプログラミング可能な装置上で一連の動作ステップが実行されて、コンピュータによって実現される処理が生成され、その結果、コンピュータ又は他のプログラミング可能な装置上で実行される命令は、フローチャートの１つ又は複数のフロー及び／又は構造概略図の１つ又は複数のブロックで指定される機能を実現するためのステップを提供する。

【0137】

以上の開示された内容は、本発明の好ましい実施形態に過ぎず、それによって本発明の権利範囲を限定することができないため、本発明の請求項によってなされた均等な変更は、本発明の範囲内のものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【国際調査報告】