特表 2023-549769 画像フレーム損失検出方法、テスト機器、端末機器、サーバ、コンピュータ機器、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-29

(54)【発明の名称】画像フレーム損失検出方法、テスト機器、端末機器、サーバ、コンピュータ機器、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 17/02 20060101AFI20231121BHJP

   H04N 17/00 20060101ALI20231121BHJP

【ＦＩ】

H04N17/02 A

H04N17/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023528036

(86)(22)【出願日】2022-01-18

(85)【翻訳文提出日】2023-05-24

(86)【国際出願番号】 CN2022072465

(87)【国際公開番号】W WO2022161209

(87)【国際公開日】2022-08-04

(31)【優先権主張番号】202110105457.9

(32)【優先日】2021-01-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．アンドロイド

２．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リ，ルイ

(57)【要約】

画像フレーム損失検出方法であって、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する色信号とを取得するステップと、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得するステップと、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定するステップと、を含み、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【特許請求の範囲】

【請求項1】

テスト機器が実行する画像フレーム損失検出方法であって、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、
少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得するステップであって、前記少なくとも１つの第２画像フレームは、端末機器が前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて画像のレンダリングを行って得られた画像フレームである、ステップと、
前記少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得するステップと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失検出結果を取得するステップと、を含み、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とする画像フレーム損失検出方法。

【請求項2】

各前記画像ブロックそれぞれに対応する領域には、Ｎ個（Ｎは１より大きい整数）の色オプションがあり、各前記画像ブロックそれぞれの色は、前記Ｎ個の色オプションのうちの１つである、
ことを特徴とする請求項１に記載の画像フレーム損失検出方法。

【請求項3】

前記Ｎ個の色オプションのうちの各色オプションは、それぞれ、１つの色符号化データに対応しており、異なる色オプションに対応する色符号化データは、いずれも異なる、
ことを特徴とする請求項２に記載の画像フレーム損失検出方法。

【請求項4】

前記Ｎ個の色オプションのうちの各色オプションに対応する色符号化データの長さは、いずれも同じである、
ことを特徴とする請求項２に記載の画像フレーム損失検出方法。

【請求項5】

フレーム損失検出結果が、フレーム損失の状況があることを示す場合、前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、フレームレートテストを行うステップをさらに含む、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像フレーム損失検出方法。

【請求項6】

前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、フレームレートテストを行うステップは、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、画像フレーム損失率を決定するステップと、
前記画像フレーム損失率が所定のフレームレートより大きい場合、フレームレートの要求が満たされないと決定するステップと、
前記画像フレーム損失率が前記所定のフレームレート以下である場合、フレームレートの要求が満たされると決定するステップと、を含む、
ことを特徴とする請求項５に記載の画像フレーム損失検出方法。

【請求項7】

端末機器のディスプレイにおける、各前記画像ブロックそれぞれが表示される領域には、前記画像ブロックに対応して１つの感光センサが設置されており、各前記第２画像フレームそれぞれに対応する色信号には、前記第２画像フレームの各画像ブロックに対応する色信号が含まれ、各画像ブロックそれぞれに対応する色信号は、前記画像ブロックに対応する感光センサによって、前記画像ブロックに表示される光信号を収集した後に、前記光信号を変換して得られたものである、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像フレーム損失検出方法。

【請求項8】

端末機器が実行する画像フレーム損失検出方法であって、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、前記複数の第１画像フレームに対して画像のレンダリングを行うステップと、
レンダリングされた少なくとも１つの第２画像フレームを表示するステップと、
設置された感光センサによって、各前記第２画像フレームに対応する色信号を収集するステップと、
前記少なくとも１つの第２画像フレームに対応する色信号をテスト機器に送信することにより、前記テスト機器に、前記色信号に基づいて、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させるステップと、を含み、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とする画像フレーム損失検出方法。

【請求項9】

前記少なくとも１つの第２画像フレームの各画像ブロックそれぞれに対応する領域には、前記画像ブロックに対応する感光センサが設置されており、各前記第２画像フレームそれぞれに対応する色信号には、前記第２画像フレームの各画像ブロックに対応する色信号が含まれ、各画像ブロックそれぞれに対応する色信号は、前記画像ブロックに対応する感光センサによって、前記画像ブロックに表示される光信号を収集した後に、前記光信号を変換して得られたものである、
ことを特徴とする請求項８に記載の画像フレーム損失検出方法。

【請求項10】

サーバが実行する画像フレーム損失検出方法であって、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器に送信することにより、前記端末機器に、前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、前記複数の第１画像フレームに対して画像のレンダリングを行わせ、レンダリングされた少なくとも１つの第２画像フレームを表示させるとともに、各前記第２画像フレームが表示されるとき、前記端末機器に設置された感光センサに基づいて、前記少なくとも１つの第２画像フレームに対応する色信号を収集させるステップと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データをテスト機器に送信することにより、前記テスト機器に、前記感光センサによって収集された色信号が取得された後、前記色信号に基づいて、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させるステップと、を含み、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とする画像フレーム損失検出方法。

【請求項11】

前記複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップは、
前記複数の第１画像フレームのうちの各第１画像フレームに対して、前記第１画像フレームをＭ個の画像ブロックに分割するステップと、
前記Ｍ個の画像ブロックの色を符号化することにより、前記Ｍ個の画像ブロックにそれぞれ対応する色符号化データを取得するステップと、
前記Ｍ個の画像ブロックにそれぞれ対応する色符号化データを組み合わせることにより、前記第１画像フレームに対応する符号化データを取得するステップと、を含む、
ことを特徴とする請求項１０に記載の画像フレーム損失検出方法。

【請求項12】

テスト機器であって、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する第１取得ユニットと、
少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得する第２取得ユニットであって、前記少なくとも１つの第２画像フレームは、端末機器が前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて画像のレンダリングを行って得られた画像フレームである、第２取得ユニットと、
前記少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得する変換ユニットと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失検出結果を取得する比較ユニットと、含み、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とするテスト機器。

【請求項13】

端末機器であって、
サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する取得ユニットと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、前記複数の第１画像フレームに対して画像のレンダリングを行うレンダリングユニットと、
レンダリングされた少なくとも１つの第２画像フレームを表示し、設置された感光センサによって各前記第２画像フレームに対応する色信号を収集し、前記少なくとも１つの第２画像フレームにそれぞれ対応する色信号をテスト機器に送信することにより、前記テスト機器に、前記色信号に基づいて、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させる表示ユニットと、を含み、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とする端末機器。

【請求項14】

サーバであって、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する取得ユニットと、
前記複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器に送信することにより、前記端末機器に、前記複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、前記複数の第１画像フレームに対して画像のレンダリングを行わせ、レンダリングされた少なくとも１つの第２画像フレームを表示させるとともに、各前記第２画像フレームが表示されるとき、前記端末機器に設置された感光センサに基づいて、前記少なくとも１つの第２画像フレームに対応する色信号を収集させる送信ユニットと、を含み、
前記送信ユニットは、さらに、前記複数の第１画像フレームにそれぞれ対応する第１符号化データをテスト機器に送信することにより、前記テスト機器に、前記感光センサによって収集された色信号が取得された後、前記色信号に基づいて、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、前記複数の第１画像フレームにそれぞれ対応する第１符号化データと、前記少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させ、
各前記第１画像フレーム及び各前記第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各前記第１画像フレームそれぞれに対応する第１符号化データには、前記第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記第２画像フレームそれぞれに対応する第２符号化データには、前記第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各前記画像ブロックそれぞれは、前記画像ブロックに対応する画像フレームにおいて１つの色を有する、
ことを特徴とするサーバ。

【請求項15】

１つ又は複数のプロセッサと、メモリと、を備えるコンピュータ機器であって、該メモリは、コンピュータ可読命令を記憶するためのものであり、前記１つ又は複数のプロセッサは、前記メモリに記憶されたコンピュータ可読命令を呼び出して実行することにより、請求項１乃至１１のいずれか１項に記載の画像フレーム損失検出方法を実行することを特徴とするコンピュータ機器。

【請求項16】

コンピュータに、請求項１乃至１１のいずれか１項に記載の画像フレーム損失検出方法を実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２１年１月２６日に中国特許庁に提出された、出願番号が第２０２１１０１０５４５７９号であり、発明の名称が「画像フレーム損失検出方法、装置、機器、及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。

【0002】

本願の実施例は、人工知能の技術分野に関し、より具体的には、画像フレーム損失検出方法、機器、記憶媒体、及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

画像処理技術の継続的な発展に伴い、端末機器の表示のスムーズさに対するユーザの高い要求を満たすために、端末機器によって表示された画像フレームにフレーム損失が発生したか否かを検出する必要がある。

【0004】

従来の方法では、表示の対象となる複数の画像フレームのうちの各画像フレームそれぞれに一般的に１つの色が設定され、異なる色に従って複数の画像フレームを順次にポーリングすることにより、表示の対象となる複数の画像フレームに比べて、端末機器によって表示された画像フレームにフレーム損失の状況があるか否かを決定する。

【0005】

しかしながら、ポーリングの対象となる画像フレームが少ない場合、ポーリングの対象となる画像フレームの数がｎであると仮定すると、端末機器によって表示された画像フレームは、表示の対象となる複数の画像フレームに比べて、ｎ又はｎの倍数のフレームが損失したというフレーム損失の状況が発生したら、端末機器にとって、現在実際に受信した画像フレームが、フレーム損失が発生しない場合に受信すべき画像フレームと同じであるため、端末機器がフレーム損失の状況を検出できなく、フレーム損失検出の精度が低いという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願の実施例は、画像フレーム損失検出方法、装置、機器、記憶媒体、及びコンピュータプログラム製品を提供する。

【課題を解決するための手段】

【0007】

第１態様では、テスト機器に適用される画像フレーム損失検出方法が提供されている。この方法は、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、感光センサによって収集された、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得するステップであって、少なくとも１つの第２画像フレームは、端末機器が複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて画像のレンダリングを行って得られた画像フレームである、ステップと、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得するステップと、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定するステップと、を含み、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0008】

第２態様では、端末機器に適用される画像フレーム損失検出方法が提供されている。この方法は、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、複数の第１画像フレームに対して画像のレンダリングを行うステップと、レンダリングされた少なくとも１つの第２画像フレームを表示するステップであって、少なくとも１つの第２画像フレームは、フレーム損失の状況があるか否かを決定するためのものである、ステップと、を含み、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0009】

第３態様では、サーバに適用される画像フレーム損失検出方法が提供されている。この方法は、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得するステップと、複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器及びテスト機器にそれぞれ送信するステップであって、複数の第１画像フレームにそれぞれ対応する第１符号化データは、フレーム損失の状況があるか否かを決定するためのものである、ステップと、を含み、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0010】

第４態様では、第１取得ユニットと、第２取得ユニットと、変換ユニットと、比較ユニットと、を含むテスト機器が提供されている。第１取得ユニットは、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得し、第２取得ユニットは、感光センサによって収集された、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得し、少なくとも１つの第２画像フレームは、端末機器が複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて画像のレンダリングを行って得られた画像フレームであり、変換ユニットは、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得し、比較ユニットは、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定し、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0011】

第５態様では、取得ユニットと、レンダリングユニットと、表示ユニットと、を含む端末機器が提供されている。取得ユニットは、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得し、レンダリングユニットは、複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、複数の第１画像フレームに対して画像のレンダリングを行い、表示ユニットは、レンダリングされた少なくとも１つの第２画像フレームを表示し、少なくとも１つの第２画像フレームは、フレーム損失の状況があるか否かを決定するためのものであり、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0012】

第６態様では、取得ユニットと、送信ユニットと、を含むサーバが提供されている。取得ユニットは、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得し、送信ユニットは、複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器及びテスト機器にそれぞれ送信し、複数の第１画像フレームにそれぞれ対応する第１符号化データは、フレーム損失の状況があるか否かを決定するためのものであり、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。

【0013】

第７態様では、１つ又は複数のプロセッサと、メモリと、を備えるコンピュータ機器が提供されている。該メモリは、コンピュータ可読命令を記憶するためのものであり、１つ又は複数のプロセッサは、メモリに記憶されたコンピュータ可読命令を呼び出して実行することにより、本願の各実施例における方法のステップを実行する。

【0014】

第８態様では、コンピュータ可読命令を記憶するための１つ又は複数のコンピュータ可読記憶媒体が提供されている。コンピュータ可読命令は、コンピュータに、本願の各実施例における方法のステップを実行させる。

【0015】

第９態様では、コンピュータ可読命令を含むコンピュータプログラム製品が提供されている。該コンピュータ可読命令は、コンピュータに、本願の各実施例における方法のステップを実行させる。

【図面の簡単な説明】

【0016】

本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。

【図1】本願の一実施例で提供される画像フレーム損失検出システムの構成の模式図である。

【図2】本願の一実施例で提供される画像フレーム損失検出システムの構成の模式図である。

【図3】本願の一実施例で提供される画像フレーム損失検出方法のフローの模式図である。

【図4】本願の一実施例で提供される画像フレーム損失検出方法のやり取りフローの模式図である。

【図5】本願の一実施例によるテスト機器の模式的なブロック図を示す。

【図6】本願の一実施例による端末機器の模式的なブロック図を示す。

【図7】本願の一実施例によるサーバの模式的なブロック図を示す。

【図8】本願の一実施例で提供されるコンピュータ機器の模式的な構成図である。

【発明を実施するための形態】

【0017】

以下、本願の実施例の図面を参照しながら、本願の実施例の構成を説明する。明らかなように、説明する実施例は、本願の一部の実施例であり、全部の実施例ではない。本願の実施例に対して、当業者が創造的な労働をすることなく得る全ての他の実施例は、本願の保護範囲に属する。

【0018】

現在、クラウドサーバによって、ポーリングの対象となる複数の画像フレームを端末機器に送信する。ポーリングの対象となる複数の画像フレームには、異なる色の複数の画像フレームが含まれる。例えば、赤、青、黄、白、黒の５つの色の画像フレームをポーリングして送信する。これにより、端末機器に、異なる色の画像フレームをレンダリングさせて表示させる。さらに、端末機器によってレンダリングされた画像フレームと、サーバから送信された画像フレームとを照合することにより、フレーム損失の状況があるか否かを決定する。しかしながら、ポーリングの対象となる画像フレームが少ない場合、フレーム損失検出に誤差が生じやすい。例えば、赤、青、黄、白、黒の５つの色で画像フレームをポーリングする場合、端末機器が各画像フレームをレンダリングして表示した後、赤色の画像フレームの後に実際に５フレームが損失したと仮定する。このとき、端末機器にとって、次にレンダリングするのは次のラウンドの青色の画像フレームである。この場合、発生したフレーム損失の状況を検出することはできない。

【0019】

上記から分かるように、現在のフレーム損失検出技術では、フレーム損失検出の精度を保証できない。この技術的問題を解決するために、本願では、画像フレームを、各画像ブロックそれぞれが１つの画像フレームにおいて１つの色を有する複数の画像ブロックに分割し、各画像フレームそれぞれが豊富な色を有するようにすることで、フレーム損失検出の精度を向上させる。

【0020】

図１は、本願の実施例で提供される画像フレーム損失検出システムの構成の模式図である。図１に示すように、この画像フレーム損失検出システム１００は、サーバ１１０と、端末機器１２０と、テスト機器１３０と、を含む。サーバ１１０は、端末機器１２０及びテスト機器１３０とそれぞれ有線又は無線で接続され、端末機器１２０は、テスト機器１３０と有線又は無線で接続される。例示的に、端末機器１２０には、感光センサ１２１が設置されており、感光センサ１２１の数は１つ以上であってもよく、感光センサ１２１はテスト機器１３０に接続される。

【0021】

ここで、サーバ１１０はクラウドサーバであってもよい。異なる応用シナリオにおいて、サーバ１１０は、異なる機能を実現するために使用されてもよい。例えば、クラウドゲームシナリオにおいて、サーバ１１０はクラウドゲームサーバであってもよい。本実施例において、サーバ１１０は、表示の対象となる複数の画像フレームの画像ブロック分割後の色を符号化し、複数の画像フレームにそれぞれ対応する符号化データを取得し、複数の画像フレームにそれぞれ対応する符号化データを順次に端末機器１２０及び／又はテスト機器１３０に送信する。

【0022】

クラウドゲーム（Ｃｌｏｕｄ ｇａｍｉｎｇ）は、ゲームオンデマンド（ｇａｍｉｎｇ ｏｎ ｄｅｍａｎｄ）とも呼ばれ、クラウドコンピューティング技術を基にしたオンラインゲーム技術である。クラウドゲーム技術は、グラフィックス処理及びデータ演算の能力が相対的に限られているシンクライアント（ｔｈｉｎ ｃｌｉｅｎｔ）で高品質のゲームを実行することを可能にする。クラウドゲームシナリオにおいて、ゲームは、プレイヤーのゲーム端末ではなく、クラウドサーバで実行され、クラウドサーバがゲームシーンをビデオオーディオストリームとしてレンダリングして、ネットワークを介してプレイヤーのゲーム端末に伝送する。プレイヤーのゲーム端末は、強力なグラフィックス演算及びデータ処理の能力を有する必要がなく、基本的なストリーミングメディア再生能力と、プレイヤーが入力した指示を取得してクラウドサーバに送信する能力とを有するだけでよい。

【0023】

上記の技術的手段によれば、クラウドゲームシナリオでは、サーバ側で実行されているゲームの画像を端末機器に送信して表示させる。これに加えて、サーバは、他の画像、例えば、記憶されたビデオ画像、読み取られたネット番組のビデオ画像、取得されたライブビデオ画像などを端末機器に送信してリアルタイムで表示させることもできる。サーバがリアルタイムでゲーム画像やビデオ画像などに対応する複数の画像フレームをユーザの端末機器に伝送して表示させるプロセスでは、ネットワークのジッター、端末機器のコーデック効率、及び表示効率などの影響を受けてフレーム損失の状況が発生し、カクカクしてスムーズでない視聴体験をユーザにもたらす。このため、フレーム損失の状況を統計するには、一連の定量化可能な指標が必要である。

【0024】

説明すべきものとして、本願の構成は、クラウドゲームのテストシナリオに限定されず、端末機器に対してフレーム損失の状況をテストする必要がある他のシナリオにも適用可能である。

【0025】

例示的に、端末機器１２０は、表示機能を持つ任意の端末機器、例えば、携帯電話（Ｍｏｂｉｌｅ Ｐｈｏｎｅ）、タブレットコンピュータ（Ｐａｄ）、コンピュータ、テレビ（ＴＶ）、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）端末機器、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）端末機器、工業用制御（ｉｎｄｕｓｔｒｉａｌ ｃｏｎｔｒｏｌ）における端末機器、自動運転（ｓｅｌｆ ｄｒｉｖｉｎｇ）における端末機器、リモート医療（ｒｅｍｏｔｅ ｍｅｄｉｃａｌ）における端末機器、スマートシティ（ｓｍａｒｔ ｃｉｔｙ）における端末機器やスマートホーム（ｓｍａｒｔ ｈｏｍｅ）における端末機器などであってもよい。本願の実施例における端末機器は、ウェアラブルデバイスであってもよい。ウェアラブルデバイスは、ウェアラブルスマートデバイスとも呼ばれ、ウェアラブル技術を応用して日常の身なりのスマート化を設計して開発した例えば、眼鏡、手袋、腕時計、服飾、及び靴などの着用可能な機器の総称である。ウェアラブルデバイスとは、直接に身につけるか、ユーザの衣服やアクセサリーに組み込まれるポータブル機器である。いくつかの実施例において、端末機器１２０は、表示機器、例えば、ディスプレイのみであってもよい。ディスプレイは、フレキシブルなディスプレイであってもよい。ひいては、ディスプレイは、非矩形の不規則な図形、即ち異形ディスプレイに設けられてもよい。ディスプレイは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの材質を用いて製造されてもよい。端末機器１２０は、据え置き型又は可搬型であってもよい。

【0026】

端末機器１２０は、サーバ１１０から送信された、表示の対象となる複数の画像フレームの符号化データを受信し、複数の画像フレームの符号化データに基づいて画像のレンダリングを行い、レンダリングされた少なくとも１つの画像フレームを表示する。

【0027】

例示的に、端末機器１２０に設置された感光センサ１２１は、端末機器１２０によって表示された画像フレームの画像ブロックに対して色信号を取得する。例示的に、感光センサ１２１は、各画像フレームの画像ブロックに１対１で対応している。言い換えれば、各感光センサ１２１それぞれは、端末機器のディスプレイにおける、１つの画像ブロックが表示される領域に設置される。

【0028】

図２は、本願の実施例で提供される画像フレーム損失検出システムの構成の模式図である。図２に示すように、端末機器１２０によって表示された画像フレームには、６つの画像ブロックが含まれている。端末機器１２０のディスプレイに表示されるときに各画像ブロックが位置する領域には、それぞれ、１つの感光センサ１２１が設置されている。各感光センサ１２１は、テスト機器１３０と有線又は無線で接続されている。各感光センサ１２１それぞれは、該感光センサに対応する画像ブロックに表示される光信号を収集し、光信号を、該画像ブロックに対応する色信号に変換する。

【0029】

一実施例において、端末機器のディスプレイにおける、各画像ブロックそれぞれが表示される領域には、該画像ブロックに対応して１つの感光センサが設置されており、各第２画像フレームそれぞれに対応する色信号には、第２画像フレームの各画像ブロックに対応する色信号が含まれ、各画像ブロックそれぞれに対応する色信号は、該画像ブロックに対応する感光センサによって、画像ブロックに表示される光信号を収集した後に、光信号を変換して得られたものである。

【0030】

理解すべきものとして、図２に示されたのは一例に過ぎず、各画像フレームそれぞれには、より多く又はより少ない画像ブロックが含まれてもよく、画像ブロックの数に応じた数の感光センサが設置され、各画像ブロックそれぞれは、各画像フレームそれぞれにおいて１つの色を有し、各画像ブロックそれぞれに対応する領域は、Ｎ個の色を有する。

【0031】

図１に示すように、テスト機器１３０は、端末機器１２０から送信された、レンダリングされた少なくとも１つの画像フレームにそれぞれ対応する符号化データを受信する。例示的に、テスト機器１３０は、感光センサ１２１から送信された、少なくとも１つの画像フレームにそれぞれ対応する色信号を受信し、各画像フレームそれぞれに対応する色信号を、該画像フレームに対応する符号化データを変換する。

【0032】

以下、いくつかの実施例によって、本願を具体的に説明する。

【0033】

図３は、本願の実施例で提供される画像フレーム損失検出方法のやり取りフローの模式図である。図３に示すように、該方法は、以下のステップを含む。

【0034】

Ｓ３０１では、サーバが、複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する。

【0035】

Ｓ３０２では、サーバが、複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器に送信する。

【0036】

Ｓ３０３では、サーバが、複数の第１画像フレームにそれぞれ対応する第１符号化データをテスト機器に送信する。

【0037】

Ｓ３０４では、端末機器が、複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、複数の第１画像フレームに対して画像のレンダリングを行う。

【0038】

Ｓ３０５では、端末機器が、レンダリングされた少なくとも１つの第２画像フレームを表示する。

【0039】

Ｓ３０６では、感光センサが、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を収集する。

【0040】

Ｓ３０７では、テスト機器が、感光センサによって収集された、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得する。

【0041】

Ｓ３０８では、テスト機器が、感光センサによって収集された、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得する。

【0042】

Ｓ３０９では、テスト機器が、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定する。

【0043】

複数の第１画像フレームにそれぞれ対応する第１符号化データは、サーバによって生成されたものであってもよい。あるいは、複数の第１画像フレームにそれぞれ対応する第１符号化データは、該サーバが他のサーバから受信したものである。

【0044】

説明すべきものとして、テスト機器は、必ずしも、感光センサによって、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を収集して送信するとは限らず、他の方式によって、少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得してもよい。

【0045】

説明すべきものとして、従来の方法では、サーバから端末機器へ送信された、ポーリングの対象となる複数の第１画像フレームの色の数が少ない場合、例えば、赤、青、黄、白、黒の５つの色の第１画像フレームをポーリングして送信する場合、端末機器が各第１画像フレームをレンダリングして表示した後、例えば、赤色の画像フレームの後に実際に５フレームが損失した。このとき、端末機器にとって、表示されるのはやはり青色の画像フレームであるため、テスト機器は、発生したフレーム損失の状況を検出することはできない。サーバから端末機器へ送信された、ポーリングの対象となる複数の第１画像フレームの色の数が多い場合、隣接する各第１画像フレームの色の色差が小さく、即ち、色信号の値が近似しており、オーバーラップが発生しやすいため、同様にフレーム損失を正確に検出することはできない。

【0046】

上記の原因に基づき、検出結果をより正確にし、検出誤差を低減するために、本願の実施例において、サーバは、複数の第１画像フレームのうちの各第１画像フレームそれぞれをＭ個の画像ブロックに分割してもよい。これに応じて、各第１画像フレームそれぞれに対応する符号化データには、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれる。理解すべきものとして、各画像ブロックそれぞれは、１つの第１画像フレームにおいて１つの色を有する。一実施例において、各画像ブロックそれぞれに対応する領域には、Ｎ個（Ｎは１より大きい整数）の色オプションがあるので、複数の第１画像フレームにおいてＭ＊Ｎ個の色の画像フレームをポーリングでき、多すぎる色の数を設定する必要がなく、複数の第１画像フレーム間の色の豊富な変化を保証でき、フレーム損失検出の精度を向上させる。

【0047】

理解すべきものとして、各色オプションそれぞれが１つの色符号化データに対応しており、Ｎ個の色オプションに対応する色符号化データは、いずれも異なる。言い換えれば、色オプションは色符号化データと一対一で対応している。例示的に、各色オプションに対応する色符号化データの長さは、いずれも同じであり、例えば、１ｂｉｔずつ占有する。

【0048】

例示的に、図２に示すように、サーバは、各第１画像フレームそれぞれを６つの画像ブロックに分割し、各画像ブロックそれぞれの色は、３つの色オプションのうちの１つであり、現在の画像フレームにおいて、異なる画像ブロックの色は、同じであっても異なってもよい。サーバは、各画像ブロックそれぞれに対して、該画像ブロックに対応する色符号化データを設定する。例えば、白色に対応する色符号化データは１であり、赤色に対応する色符号化データは２であり、黒色に対応する色符号化データは３である。例示的に、複数の第１画像フレームにそれぞれ対応する符号化データは、第１画像フレーム１１１１１１、第２画像フレーム１１１１１２、第３画像フレーム１１１１１３、第４画像フレーム１１１１２１、第５画像フレーム１１１１２２、第６画像フレーム１１１１２３であってもよい。

【0049】

理解すべきものとして、各画像フレームそれぞれがＭ個の画像ブロックに分割され、各画像ブロックそれぞれに対応する領域にＮ個の色オプションがある場合、Ｍ＊Ｎ個の色符号化組み合わせが存在するため、第１画像フレームの分割された画像ブロックが多いほど、画像フレーム損失検出の結果が正確になるが、画像ブロックの数に対応する感光センサの数も多くなり、テスト機器の収集、演算の複雑度が高くなり、テストコストも高くなる。実際の応用シナリオに応じて、具体的に設定してもよい。

【0050】

説明すべきものとして、いずれか１つの第２画像フレームが、１つの第１画像フレームをレンダリングして得られたものであるため、各第２画像フレームのいずれにも、Ｍ個の画像ブロックが含まれ、各画像ブロックそれぞれは、第２画像フレームにおいて１つの色を有し、第２画像フレームの各画像ブロックの色は、該第２画像フレームに対応する第１画像フレームの各画像ブロックの色と同じであるべきである。例示的に、第２画像フレームの各画像ブロックそれぞれに対応する領域には、Ｎ個の色オプションがある。

【0051】

例示的に、複数の第１画像フレーム及び少なくとも１つの第２画像フレームのうちのいずれか１つには、３つ又は６つの画像ブロックが含まれる。各画像ブロックそれぞれに対応する領域には、黒色、白色、及び灰色の３つの色オプションが含まれてもよい。検出の精度を向上させるために、色信号の差別が大きな色、例えば、黒色、白色、及び赤色、あるいは、黒色、白色、及び青色などとして設定してもよい。

【0052】

ステップＳ３０４及びＳ３０５について以下の通り説明する。

【0053】

一実施例において、端末機器のレンダリングフレームレートは、秒当たり６０フレームであってもよい。

【0054】

理解すべきものとして、ネットワークのジッターにより、サーバから送信された複数の第１画像フレームに比べて、端末機器で受信された複数の第１画像フレームには、フレーム損失の状況があり得る。あるいは、レンダリング能力による影響を受けることで、サーバから送信された複数の第１画像フレーム、又は、端末機器で受信された複数の第１画像フレームに比べて、端末機器が、受信した各画像フレームをレンダリングして得た少なくとも１つの第２画像フレームには、フレーム損失の状況があり得る。

【0055】

一実施例において、端末機器は、各第１画像フレームの受信順序に従って、各画像フレームにそれぞれ対応する第１符号化データに基づいて各画像フレームを順次にレンダリングする。

【0056】

一実施例において、端末機器は、複数の第１画像フレームに対して画像のレンダリングを行う前に、受信した各第１画像フレームそれぞれに対応する符号化データの復号化操作を行うことにより、復号化結果を取得し、復号化結果に基づいて該画像フレームのレンダリング及び表示を行う。

【0057】

ステップＳ３０６について以下の通り説明する。

【0058】

従来技術では、端末機器のレンダリングされた画像フレームの情報を取得して、サーバから送信された画像フレームと照合することにより、フレーム損失があるか否かを確認する際に、通常、以下の２つの方式によって画像フレームの情報を取得する。方式１では、検出ツール、例えば、アンドロイド（Ａｎｄｒｏｉｄ）システムで提供されるログキャプチャツールＳｙｓｔｒａｃｅを使用して、システムログ（Ｌｏｇ）のキャプチャを行うことにより、端末機器のＬｏｇを取得し、キャプチャしたＬｏｇをスクリプトで分析することにより、端末機器によって表示された画像フレームの情報を取得する。方式２では、端末機器のシステムの命令、例えば、性能テストツールＰｅｒｆＤｏｇによって、端末機器によって表示された画像フレームの情報を継続的にキャプチャする。しかしながら、方式１の検出ツールは、使用が複雑であり、結果の分析には、システムに詳しい技術者が必要であり、分析のプロセスに時間がかかるため、大量の機器に対するテストに適さない。方式２では、セキュリティ問題を考慮して、端末機器のシステムの命令をカッティングしたため、命令によって端末機器で情報の収集を行うことができず、端末機器のフレーム損失の状況を検出することができない。

【0059】

要するに、従来技術で提供されるフレーム損失検出方法では、フレーム損失検出の効率が低いという問題がある。この技術的問題を解決するために、本願では、端末機器に感光センサを設置してもよい。感光センサによって、端末機器によって表示された画像フレームの色信号を収集することができる。テスト機器は、色信号を変換することにより、画像フレームの符号化データを取得することができ、最終的に、取得した画像フレームの符号化データと、サーバから取得した画像フレームの符号化データと、を比較することにより、フレーム損失検出を実現することができ、フレーム損失検出の効率を向上させる。

【0060】

端末機器のＭ個の画像ブロックに対応する領域には、それぞれ、１つの感光センサが設置されてもよい。

【0061】

例示的に、上記少なくとも１つの第２画像フレームのうちのいずれか１つに対して、Ｍ個の感光センサは、それぞれ、該第２画像フレームの各画像ブロックに対応する領域の色信号を出力する。該色信号は、少なくとも１つのカラーチャンネルの輝度値であってもよい。例えば、該色信号は（２５５，２５５，２５５）である。

【0062】

ステップＳ３０８について、理解すべきものとして、端末機器によってレンダリングされて表示された少なくとも１つの第２画像フレームが、サーバから送信された複数の第１画像フレームに対応しているか否かの対比を容易にするために、少なくとも１つの第２画像フレームに対応する色信号を、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データに変換する必要がある。これにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、サーバから送信された複数の第１画像フレームにそれぞれ対応する第１符号化データとを対比することでフレーム損失検出を行うことが容易になる。

【0063】

例示的に、色信号は、各画像ブロックの色を表すためのものである。例えば、階調画像は、カラーチャンネルの輝度値が０である場合、黒色であり、輝度値が２５５である場合、白色であり、輝度値が１００～１５０である場合、灰色である。また、例えば、ＲＧＢの３つのカラーチャンネルの輝度値（０，０，０）の場合は黒色、ＲＧＢの３つのカラーチャンネルの輝度値（２５５，０，０）の場合は赤色、ＲＧＢの３つのカラーチャンネルの輝度値（２５５，２５５，２５５）の場合は白色、などである。

【0064】

さらに、色信号に基づいて、各画像ブロックの色符号化データを決定することができる。例示的に、色信号と色符号化データとの対応関係に基づいて、色信号に対応する色符号化データを決定してもよい。

【0065】

例えば、第２画像フレームが階調画像である場合、輝度値が２５５であると、色信号に対応する色符号化データを１として決定し、輝度値が１００～１５０であると、色信号に対応する色符号化データを２として決定し、輝度値が０であると、色信号に対応する色符号化データを３として決定する。さらに、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得する。

【0066】

例示的に、複数の第１画像フレーム及び少なくとも１つの第２画像フレームのいずれにも６つの画像ブロックが含まれ、各ブロックそれぞれに対応する領域には、３つの色オプションがあり、収集された色信号が変換された後、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データは、順次に１１１１１１、１１１１１２、１１１１２３であると仮定する。

【0067】

例示的に、本実施例では、色信号に基づいて、色信号に対応する色符号化データを決定するプロセスにおいて、所定の誤差値に基づいて、誤差値に対応する色信号を、色信号に対応する色として区分してもよい。例えば、輝度値が０からプラスマイナス１０以内の色信号を白色として決定する場合、色信号に対応する色符号化データは、白色に対応する符号化データ１であり、１０は所定の誤差値である。カラーチャンネルの数が２以上である場合、各カラーチャンネルに対して、該カラーチャンネルに対応する誤差値を設定すべきである。

【0068】

ステップＳ３０８について以下の通り説明する。

【0069】

例示的に、感光センサによって収集された色信号に基づいて決定された少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データが順次に１１１１１１、１１１１１２、１１１１２３であると仮定すると、前述した実施例における複数の第１画像フレームにそれぞれ対応する第１符号化データである第１画像フレーム１１１１１１、第２画像フレーム１１１１１２、第３画像フレーム１１１１１３、第４画像フレーム１１１１２１、第５画像フレーム１１１１２２、第６画像フレーム１１１１２３との比較から分かるように、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データが、サーバから送信された複数の第１画像フレームのうちの第１画像フレーム、第２画像フレーム、及び第６画像フレームにそれぞれ対応する第１符号化データと同じであり、即ち、第３画像フレームから第５画像フレームの合計３フレームの画像が損失したため、端末機器によって表示された少なくとも１つの第２画像フレームにフレーム損失の状況があると決定する。

【0070】

本願の実施例では、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、端末機器によってレンダリングされて表示された少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定する。ここで、複数の第１画像フレームにそれぞれ対応する第１符号化データ、及び、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データのいずれにも、Ｍ個（Ｍは１より大きい整数）の画像ブロックにそれぞれ対応する色符号化データが含まれ、各画像ブロックそれぞれは、画像フレームにおいて１つの色を有する。各画像フレームそれぞれが複数の画像ブロックに分割されたため、画像フレーム損失検出プロセスにおいて、ポーリングの対象となる画像フレームが少ないことでフレーム損失検出の精度が低くなる問題を引き起こすことはない。

【0071】

さらに、本願において、感光センサは、上記少なくとも１つの画像フレームの色信号を収集でき、少なくとも１つの画像フレームにそれぞれ対応する符号化データは、少なくとも１つの画像フレームに対応する色信号を変換して得られたものである。スクリプト分析によってフレーム損失の状況があるか否かを判断することに対して、本願の構成は、プロセスが簡単であるため、フレーム損失検出の効率を向上させる。

【0072】

説明すべきものとして、画像フレームの伝送プロセスにおいてネットワーク品質の影響を受けたり、端末機器が画像のレンダリングを行うプロセスにおいてレンダリング能力の影響を受けたりして、フレーム損失が発生しやすくなる。フレーム損失の数が少ないと、ユーザの視聴体験への影響が小さく、フレーム損失の数が多いと、カクカクしてスムーズでないと明らかに感じられ、ユーザの視聴体験への影響が大きい。

【0073】

ユーザが視聴中にカクカクしているかスムーズでないと感じることを回避するために、本実施例では、フレーム損失の状況に対してさらなる分析判断を行い、画像フレーム損失率及び所定のフレームレートに基づいて、フレームレートの要求が満たされるか否かを決定する。

【0074】

図４は、本願の実施例で提供される画像フレーム損失検出方法のフローの模式図である。

【0075】

上記の実施例を基にして、本願の実施例では、フレーム損失の状況があると決定した後、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、フレームレートの要求が満たされるか否かを判断する。具体的には、図４に示すようなプロセスを含む。

【0076】

Ｓ４０１では、テスト機器が、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、画像フレーム損失率を決定する。

【0077】

Ｓ４０２では、画像フレーム損失率が所定のフレームレートより大きい場合、フレームレートの要求が満たされないとテスト機器が決定する。

【0078】

Ｓ４０３では、画像フレーム損失率が所定のフレームレート以下である場合、フレームレートの要求が満たされるとテスト機器が決定する。

【0079】

ステップＳ４０１について、テスト機器は、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとを対比することにより、サーバから送信された複数の第１画像フレームに比べて、少なくとも１つの第２画像フレームの欠落した画像フレームの数を決定し、サーバから送信された複数の第１画像フレームの数に対する欠落した画像フレームの数の比率を画像フレーム損失率としてもよい。

【0080】

理解すべきものとして、実際の応用シナリオ及び検出要求に応じて、異なる所定のフレームレートを設定してもよい。一実施例において、所定のフレームレートは１０％である。

【0081】

上記のいずれか１つの実施例を基にして、本願の実施例では、フレーム損失の状況があると決定した場合、少なくとも１つの第２画像フレームにフレーム損失の状況があることを指示するための第１指示情報を生成する。

【0082】

一実施例において、本願の実施例では、フレームレートの要求が満たされないと決定した場合、フレームレートの要求が満たされないことを指示するための第２指示情報を生成する。

【0083】

一実施例において、テスト機器は、該第１指示情報をユーザに表示するために、表示機能を備えた任意の機器に該第１指示情報を送信してもよい。あるいは、テスト機器は、該第１指示情報を直接表示してもよい。

【0084】

一実施例において、テスト機器は、該第２指示情報をユーザに表示するために、表示機能を備えた任意の機器に該第２指示情報を送信してもよい。あるいは、テスト機器は、該第２指示情報を直接表示してもよい。

【0085】

本願の実施例において、テスト機器は、サーバからの、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、画像フレーム損失率を決定し、画像フレーム損失率が所定のフレームレートより大きい場合、フレームレートの要求が満たされないと決定し、画像フレーム損失率が所定のフレームレート以下である場合、フレームレートの要求が満たされると決定する。フレームレートの要求が満たされるか否かを識別することで、表示のフレームレートによるユーザの視聴体験への影響を効果的に識別することができる。

【0086】

理解すべきものとして、上記の各実施例のフローチャートにおける各ステップは、矢印の指示に従って順次示されているが、これらのステップは、必ずしも矢印に示す順序に従って順次実行されるとは限らない。本明細書で明確に説明されない限り、これらのステップの実行順序には、厳しい制限がない。これらのステップは、他の順序で実行されてもよい。また、上記の各実施例のフローチャートにおける少なくとも一部のステップは、複数のステップ又は複数のステージを含んでもよい。これらのステップ又はステージは、必ずしも同一の時刻に実行完了するとは限らず、異なる時刻に実行されてもよい。これらのステップ又はステージの実行順序も、必ずしも順次に実行するとは限らず、他のステップ、あるいは、他のステップにおけるステップ又はステージの少なくとも一部と代わる代わる又は交代で実行されてもよい。

【0087】

上記では、図３及び図４を参照しながら、本願の方法の実施例を詳細に説明しており、以下では、図５から図７を参照しながら、本願の機器の実施例を詳細に説明する。理解すべきものとして、機器の実施例と方法の実施例は互いに対応しており、類似の説明は、方法の実施例を参照すればよい。

【0088】

図５には、本願の実施例によるテスト機器の模式的なブロック図が示されている。図５に示すように、該テスト機器は、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する第１取得ユニット５１０と、
少なくとも１つの第２画像フレームにそれぞれ対応する色信号を取得する第２取得ユニット５２０であって、少なくとも１つの第２画像フレームは、端末機器が複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて画像のレンダリングを行って得られた画像フレームである、第２取得ユニット５２０と、
少なくとも１つの第２画像フレームにそれぞれ対応する色信号を変換することにより、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得する変換ユニット５３０と、
複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較することにより、フレーム損失の状況があるか否かを決定する比較ユニット５４０と、を含み、
各第１画像フレーム及び各第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各第１画像フレームそれぞれに対応する第１符号化データには、第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各第２画像フレームそれぞれに対応する第２符号化データには、第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、画像ブロックは、該画像ブロックに対応する画像フレームにおいて１つの色を有する。

【0089】

一実施例において、各画像ブロックそれぞれに対応する領域には、Ｎ個（Ｎは１より大きい整数）の色オプションがあり、各画像ブロックそれぞれの色は、Ｎ個の色オプションのうちの１つである。

【0090】

一実施例において、Ｎ個の色オプションのうちの各色オプションは、それぞれ、１つの色符号化データに対応しており、異なる色オプションに対応する色符号化データは、いずれも異なる。

【0091】

一実施例において、Ｎ個の色オプションに対応する色符号化データの長さは、いずれも同じである。

【0092】

一実施例において、テスト機器は、フレーム損失の状況があると比較ユニット５４０が決定した場合、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、フレームレートテストを行う判断ユニット５５０をさらに含む。

【0093】

一実施例において、判断ユニット５５０は、具体的には、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データとに基づいて、画像フレーム損失率を決定する。画像フレーム損失率が所定のフレームレートより大きい場合、フレームレートの要求が満たされないと決定する。画像フレーム損失率が所定のフレームレート以下である場合、フレームレートの要求が満たされると決定する。

【0094】

一実施例において、色信号には、少なくとも１つのカラーチャンネルの輝度値が含まれる。

【0095】

図６には、本願の実施例による端末機器６００の模式的なブロック図が示されている。図６に示すように、該端末機器６００は、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する取得ユニット６１０と、
複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、複数の第１画像フレームに対して画像のレンダリングを行うレンダリングユニット６２０と、
レンダリングされた少なくとも１つの第２画像フレームを表示し、設置された感光センサによって各第２画像フレームに対応する色信号を収集し、少なくとも１つの第２画像フレームに対応する色信号をテスト機器に送信することにより、テスト機器に、色信号に基づいて、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させる表示ユニット６３０と、を含む。

【0096】

各第１画像フレーム及び各第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各第１画像フレームそれぞれに対応する第１符号化データには、第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各第２画像フレームそれぞれに対応する第２符号化データには、第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、画像ブロックは、画像フレームにおいて１つの色を有する。

【0097】

一実施例において、画像ブロックに対応する領域には、Ｎ個（Ｎは１より大きい整数）の色オプションがある。

【0098】

一実施例において、Ｎ個の色オプションは、それぞれ、１つの色符号化データに対応しており、Ｎ個の色オプションに対応する色符号化データは、いずれも異なる。

【0099】

一実施例において、Ｎ個の色オプションに対応する色符号化データの長さは、いずれも同じである。

【0100】

一実施例において、少なくとも１つの第２画像フレームの各画像ブロックに対応する領域には、感光センサが設置されている。

【0101】

図７には、本願の実施例によるサーバ７００の模式的なブロック図が示されている。図７に示すように、該サーバ７００は、
複数の第１画像フレームにそれぞれ対応する第１符号化データを取得する取得ユニット７１０と、
複数の第１画像フレームにそれぞれ対応する第１符号化データを端末機器に送信することにより、端末機器に、複数の第１画像フレームにそれぞれ対応する第１符号化データに基づいて、複数の第１画像フレームに対して画像のレンダリングを行わせ、レンダリングされた少なくとも１つの第２画像フレームを表示させるとともに、各第２画像フレームが表示されるとき、端末機器に設置された感光センサに基づいて、少なくとも１つの第２画像フレームに対応する色信号を収集させる送信ユニット７２０と、を含み、
送信ユニット７２０は、さらに、複数の第１画像フレームにそれぞれ対応する第１符号化データをテスト機器に送信することにより、テスト機器に、感光センサによって収集された色信号が取得された後、色信号に基づいて、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データを取得させるとともに、複数の第１画像フレームにそれぞれ対応する第１符号化データと、少なくとも１つの第２画像フレームにそれぞれ対応する第２符号化データと、を比較させることにより、フレーム損失検出結果を取得させ、
各第１画像フレーム及び各第２画像フレームは、いずれも、Ｍ個（Ｍは１より大きい整数）の画像ブロックに分割され、各第１画像フレームそれぞれに対応する第１符号化データには、第１画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、各第２画像フレームそれぞれに対応する第２符号化データには、第２画像フレームの各画像ブロックにそれぞれ対応する色符号化データが含まれ、画像ブロックは、画像フレームにおいて１つの色を有する。

【0102】

一実施例において、画像ブロックに対応する領域には、Ｎ個（Ｎは１より大きい整数）の色オプションがある。

【0103】

一実施例において、Ｎ個の色オプションは、それぞれ、１つの色符号化データに対応しており、Ｎ個の色オプションに対応する色符号化データは、いずれも異なる。

【0104】

一実施例において、Ｎ個の色オプションに対応する色符号化データの長さは、いずれも同じである。

【0105】

一実施例において、取得ユニット７１０は、具体的には、複数の第１画像フレームのうちの各第１画像フレームに対して、第１画像フレームをＭ個の画像ブロックに分割し、Ｍ個の画像ブロックの色を符号化することにより、Ｍ個の画像ブロックにそれぞれ対応する色符号化データを取得し、Ｍ個の画像ブロックにそれぞれ対応する色符号化データを組み合わせることにより、第１画像フレームに対応する符号化データを取得する。

【0106】

上記の実施例で提供されるサーバは、上記の方法の実施例のサーバ側の構成を実行することができ、その実現原理及び技術的効果が類似しており、ここではこれ以上の説明を省略する。

【0107】

図８は、本願の実施例で提供されるコンピュータ機器８００の模式的な構成図である。図８に示すようなコンピュータ機器８００は、１つ又は複数のプロセッサ８１０を備える。１つ又は複数のプロセッサ８１０は、メモリからコンピュータ可読命令を呼び出して実行することにより、本願の各実施例の方法を実現することができる。

【0108】

一実施例において、図８に示すように、コンピュータ機器８００は、メモリ８２０をさらに含んでもよい。ここで、１つ又は複数のプロセッサ８１０は、メモリ８２０からコンピュータ可読命令を呼び出して実行することにより、本願の各実施例の方法を実現することができる。

【0109】

ここで、メモリ８２０は、１つ又は複数のプロセッサ８１０から独立した別のデバイスであってもよいし、１つ又は複数のプロセッサ８１０に組み込まれてもよい。

【0110】

一実施例において、図８に示すように、コンピュータ機器８００は、トランシーバ８３０をさらに含んでもよい。１つ又は複数のプロセッサ８１０は、該トランシーバ８３０を制御して他の機器と通信することができ、具体的には、他の機器に情報又はデータを送信したり、他の機器から送信された情報又はデータを受信したりすることができる。

【0111】

ここで、トランシーバ８３０は、送信機及び受信機を含んでもよい。トランシーバ８３０は、アンテナをさらに含んでもよい。アンテナの数は、１つ又は複数であってもよい。

【0112】

一実施例において、該コンピュータ機器８００は、本願の実施例の各方法のテスト機器に対応する相応のフローを実現できるテスト機器であってもよい。

【0113】

一実施例において、該コンピュータ機器８００は、本願の実施例の各方法の端末機器に対応する相応のフローを実現できる端末機器であってもよい。

【0114】

一実施例において、該コンピュータ機器８００は、本願の実施例の各方法のサーバに対応する相応のフローを実現できるサーバであってもよい。

【0115】

理解すべきものとして、本願の実施例の１つ又は複数のプロセッサは、信号の処理能力を有する集積回路チップであり得る。実現プロセスにおいて、上記の方法の実施例の各ステップは、１つ又は複数のプロセッサにおけるハードウェアの集積論理回路又はソフトウェアの形の命令によって実行されてもよい。上記の１つ又は複数のプロセッサは、１つ又は複数の汎用プロセッサ、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよく、本願の実施例に開示された各方法、ステップ、及び論理ブロック図を実現又は実行することができる。１つ又は複数の汎用プロセッサは、１つ又は複数のマイクロプロセッサや一般的な任意の１つ又は複数のプロセッサなどとしてもよい。本願の実施例と結び付けて開示された方法のステップは、１つ又は複数のハードウェア復号化プロセッサによって実行されるように直接的に具現化してもよく、又は、１つ又は複数の復号化プロセッサにおけるハードウェアとソフトウェアモジュールとの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ又は電気的消去可能プログラマブルメモリ、レジスタなど、本技術分野で成熟している記憶媒体に位置してもよい。該記憶媒体はメモリに位置し、１つ又は複数のプロセッサは、メモリにおける情報を読み取り、そのハードウェアと組み合わせて上記の方法のステップを実行する。

【0116】

理解できるように、本願の実施例におけるメモリは、揮発性メモリ又は不揮発性メモリであってもよく、あるいは、揮発性メモリと不揮発性メモリの両方を含んでもよい。そのうち、不揮発性メモリは、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。限定的ではなく例示的な説明として、ＲＡＭは、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、エンハンスド・シンクロナスダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、シンクリンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ）、及びダイレクト・ラムバスランダムアクセスメモリ（ＤＲ ＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）の多くの形態で利用可能である。注意すべきものとして、本明細書で説明するシステム及び方法のメモリは、これら及び他の任意の適切なタイプのメモリを備えるが、これら及び他の任意の適切なタイプのメモリに限定されないということが意図される。

【0117】

本願の実施例では、コンピュータ可読命令を記憶するための１つ又は複数のコンピュータ可読記憶媒体が提供されている。

【0118】

一実施例において、該コンピュータ可読記憶媒体は、本願の実施例における電子機器に適用可能であり、該コンピュータ可読命令は、コンピュータに、本願の実施例の各方法における相応のフローを実行させる。簡潔のために、ここではこれ以上の説明を省略する。

【0119】

本願の実施例では、コンピュータ可読命令を含むコンピュータプログラム製品がさらに提供されている。

【0120】

一実施例において、該コンピュータプログラム製品は、本願の実施例における電子機器に適用可能であり、該コンピュータ可読命令は、コンピュータに、本願の実施例の各方法における相応のフローを実行させる。簡潔のために、ここではこれ以上の説明を省略する。

【0121】

当業者であれば、本明細書に開示された実施例と結び付けて説明された各例のユニット及びアルゴリズムのステップは、電子ハードウェア、あるいは、コンピュータソフトウェアと電子ハードウェアとの組み合わせで実現可能であるということを意識できる。これらの機能をハードウェアで実行するか、それとも、ソフトウェアで実行するかは、発明の特定の応用及び設計制約条件に依存する。プロの技術者は、特定の応用ごとに異なる方法を使用して、説明された機能を実現することができるが、このような実現は、本願の範囲を超えるものと見なされるべきではない。

【0122】

当業者は、説明の便宜及び簡潔さのために、上記で説明した機器、装置、及びユニットの具体的な動作プロセスについて、前述した方法の実施例における対応するプロセスを参照すればよいということを明確に理解することができる。ここではこれ以上の説明を省略する。

【0123】

本願で提供されるいくつかの実施例では、理解すべきものとして、掲示された機器、装置、及び方法は、他の方式で実現されてもよい。例えば、以上に説明した装置の実施例は、模式的なものに過ぎない。例えば、ユニットの分割は、論理的な機能の分割に過ぎず、実際に実現する際に別の分割方式であってもよい。例えば、複数のユニット又はコンポーネントを組み合わせたり、他のシステムに組み入れたりしてもよいし、一部の特徴を無視したり、実行しなかったりしてもよい。また、示され又は検討される相互結合、又は直接結合、又は通信接続は、いくつかのインタフェースを介したものであってもよく、装置又はユニットの間接結合又は通信接続は、電気的、機械的、又は他の形式であってもよい。

【0124】

分離した部品として説明されたユニットは、物理的に分離したものであってもなくてもよい。ユニットとして示された部品は、物理的なユニットであってもなくてもよく、即ち、１つの場所に位置してもよいし、ネットワーク上の複数のユニットに分散してもよい。実際の必要に応じて、その中の一部又は全部のユニットを選択して、本実施例に係る発明の目的を達成してもよい。

【0125】

また、本発明の各実施例における各機能ユニットを１つの処理ユニットに組み入れてもよいし、各ユニットそれぞれが個別に物理的に存在するようにしてもよいし、２つ以上のユニットを１つのユニットに組み入れてもよい。

【0126】

機能は、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解について、本願の構成は、本質的に、言い換えれば、従来技術に寄与する部分、あるいは、該構成の一部が、ソフトウェア製品の形で具現されてもよい。該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）に、本願の各実施例の方法の全部又は一部のステップを実行させるための若干の命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶できる様々な媒体を含む。

【0127】

上記は本願の具体的な実施形態に過ぎないが、本願の保護範囲はこれに限定されない。本願に掲示された技術的範囲内で、本技術分野に詳しい技術者が容易に想到し得るいかなる変更又は置換えも、全て本願の保護範囲内に含まれるべきである。それゆえ、本願の保護範囲は、特許請求の範囲に従うべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】