特表 2024-511103 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-12

(54)【発明の名称】近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム

(51)【国際特許分類】

   H04N 17/00 20060101AFI20240305BHJP

   G06T 7/00 20170101ALI20240305BHJP

【ＦＩ】

H04N17/00 Z

G06T7/00 Q

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023558311

(86)(22)【出願日】2022-03-11

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 CN2022080254

(87)【国際公開番号】W WO2022218072

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】202110395015.2

(32)【優先日】2021-04-13

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジン，フェイジェン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096HA02

5L096HA11

5L096KA04

5L096MA01

(57)【要約】

本発明は、人工知能のコンピュータビジョン（画像）又は機械学習などの技術分野に関し、近似値に基づいて画像又はビデオの品質を評価する方法及び関連装置を提供する。該方法は、取得した評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて該評価すべきサンプルの主観真理値に近似する第１の近似値を計算し、該第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、該第２のモデルは、ｋ個の訓練サンプル及び該ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、該第１のモデルは、該第２のモデルを用いて取得された該ｋ個の訓練サンプルの近似値を参照として、該ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数であり、該第１の近似値に基づいて画像又はビデオの品質を評価する。サーバ側のハードウェアのコストを増加させることなく、且つ評価の正確度を確保すると共に、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

データ処理能力を有する電子機器が実行する、近似値に基づいて画像又はビデオの品質を評価する方法であって、
評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得するステップと、
前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算するステップであって、前記第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、前記第２のモデルは、ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、前記第１のモデルは、前記第２のモデルを用いて取得された前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である、ステップと、
前記第１の近似値に基づいて、前記評価すべきビデオ又は前記評価すべき画像の品質を評価するステップと、を含む、方法。

【請求項2】

前記評価すべきサンプルのパラメータは、ネットワークモジュールのフィードバックパラメータ、クラウドゲームモジュールの設定パラメータ、及び符号化／復号モジュールの計算パラメータのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算する前に、
前記ｋ個の訓練サンプルのパラメータに基づいて、前記第１のモデルを用いて前記ｋ個の訓練サンプルの近似値を計算するステップと、
前記第２のモデルを用いて取得された前記ｋ個の訓練サンプルの近似値及び第１のモデルを用いて算出された前記ｋ個の訓練サンプルの近似値に基づいて、前記第１のモデルを評価するステップと、
前記ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、前記第１のモデルを用いて算出された近似値と前記第２のモデルを用いて取得された近似値との差が第１の所定の閾値以下である場合、前記第１のモデルの評価結果が正であると決定し、そうでない場合、前記第１のモデルの評価結果が負であると決定するステップと、をさらに含む、請求項１に記載の方法。

【請求項4】

前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算する前に、
前記ｋ個の訓練サンプルの主観真理値及び前記第１のモデルを用いて算出された前記ｋ個の訓練サンプルの近似値に基づいて、前記第１のモデルを評価するステップと、
前記ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、前記第１のモデルを用いて算出された近似値と主観真理値との差が第２の所定の閾値以下である場合、前記第１のモデルの評価結果が正であると決定し、そうでない場合、前記第１のモデルの評価結果が負であると決定するステップと、をさらに含む、請求項１に記載の方法。

【請求項5】

前記第１のモデルの評価結果が正である場合、前記第１のモデルをサービスシステムに統合し、前記第１のモデルの評価結果が負である場合、前記第１のモデルの評価結果が正になるまで、前記第１のモデルを再度フィッティングするステップ、をさらに含む、請求項３又は４に記載の方法。

【請求項6】

統計モジュールにより前記第１の近似値を前記第２のモデルに報告するステップと、
前記第２のモデルを用いて前記評価すべきサンプルの第２の近似値を取得するステップと、
前記第１の近似値と前記第２の近似値との差が第３の所定の閾値よりも大きい場合、前記評価すべきサンプルのパラメータ及び前記第２の近似値を用いて前記第１のモデルを最適化するステップと、
前記第１の近似値と前記第２の近似値との差が前記第３の所定の閾値以下である場合、前記第１のモデルを最適化する必要がないと決定するステップと、をさらに含む、請求項１に記載の方法。

【請求項7】

前記第１の近似値と前記第２の近似値との差が第３の所定の閾値よりも大きい場合、前記評価すべきサンプルのパラメータ及び前記第２の近似値を用いて前記第１のモデルを最適化する前に、
前記評価すべきサンプルの主観真理値を取得するステップと、
前記第２の近似値と前記評価すべきサンプルの主観真理値との差が第４の所定の閾値よりも大きい場合、前記評価すべきサンプル及び前記評価すべきサンプルの主観真理値を用いて前記第２のモデルを最適化するステップと、をさらに含む、請求項６に記載の方法。

【請求項8】

前記第１のモデルは、複数のシナリオのそれぞれに対応する第１のサブモデルを含み、前記複数のシナリオは、前記評価すべきサンプルが所在する第１のシナリオを含み、
前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算するステップは、
前記第１のシナリオに対応する第１のサブモデルを決定するステップと、
前記評価すべきサンプルのパラメータに基づいて、前記第１のシナリオに対応する第１のサブモデルを用いて、前記第１の近似値を計算するステップと、を含む、請求項１に記載の方法。

【請求項9】

前記複数のシナリオは、前記評価すべきビデオ又は前記評価すべき画像を再生するための装置のタイプを含む、請求項８に記載の方法。

【請求項10】

前記第１のモデルは、半参照モデル又は非参照モデルであり、
前記第２のモデルは、完全参照モデル又は非参照モデルであり、
前記半参照モデルは、圧縮前の画像フレームにおける一部のパラメータ及び圧縮後の画像フレームを参照して得られたモデルであり、
前記非参照モデルは、圧縮後の画像フレームのみを参照して得られたモデルであり、
前記完全参照モデルは、圧縮前の画像フレーム及び圧縮後の画像フレームを参照して得られたモデルである、請求項１乃至９の何れかに記載の方法。

【請求項11】

データ処理能力を有する電子機器に配備される、近似値に基づいて画像又はビデオの品質を評価する装置であって、
評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得する取得部と、
前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算する計算部であって、前記第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、前記第２のモデルは、ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、前記第１のモデルは、前記第２のモデルを用いて取得された前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である、計算部と、
前記第１の近似値に基づいて、前記評価すべきビデオ又は前記評価すべき画像の品質を評価する評価部と、を含む、装置。

【請求項12】

データ処理能力を有する電子機器が実行する、第１のモデルの訓練方法であって、
ｋ個の訓練サンプルを取得するステップであって、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される、ステップと、
前記ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得するステップと、
前記ｋ個の訓練サンプルを入力として、前記第２のモデルを用いて前記ｋ個の訓練サンプルの主観真理値に近似する近似値を取得するステップと、
前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして前記第１のモデルを取得するステップと、を含む、方法。

【請求項13】

データ処理能力を有する電子機器に配備される、第１のモデルの訓練装置であって、
ｋ個の訓練サンプルを取得する第１の取得部であって、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される、第１の取得部と、
前記ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得する第１の訓練部と、
前記ｋ個の訓練サンプルを入力として、前記第２のモデルを用いて前記ｋ個の訓練サンプルの主観真理値に近似する近似値を取得する第２の取得部と、
前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして前記第１のモデルを取得する第２の訓練部と、を含む、装置。

【請求項14】

コンピュータプログラムを実行可能なプロセッサと、
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体と、を含み、
前記コンピュータプログラムは、前記プロセッサにより実行される際に、請求項１乃至１０の何れかに記載の近似値に基づいて画像又はビデオの品質を評価する方法又は請求項１２に記載の第１のモデルの訓練方法を実現する、電子機器。

【請求項15】

コンピュータプログラムを記憶するためのコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、請求項１乃至１０の何れかに記載の近似値に基づいて画像又はビデオの品質を評価する方法又は請求項１２に記載の第１のモデルの訓練方法をコンピュータに実行させる、記憶媒体。

【請求項16】

請求項１乃至１０の何れかに記載の近似値に基づいて画像又はビデオの品質を評価する方法又は請求項１２に記載の第１のモデルの訓練方法をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年４月１３日に出願した出願番号が２０２１１０３９５０１５．２であり、発明の名称が「近似値に基づいて画像又はビデオの品質を評価する方法及び関連装置」である中国特許出願に基づく優先権を主張し、その全ての内容を参照により本発明に援用する。

【0002】

本発明の実施例は、人工知能のコンピュータビジョン（画像）又は機械学習などの技術分野に関し、具体的には、近似値に基づいて画像又はビデオの品質を評価することに関する。

【背景技術】

【0003】

画像／ビデオの品質は、一般的にアルゴリズムモデルを用いてビデオ／画像の品質指標を計算することができる。

【0004】

一般的に、ビデオの主観的な採点モデル及び計算値は、ビデオの主観的な品質状況をフィードバックできるが、計算複雑度及び正確性から言えば理想的ではない。例えば、単純にエンコーダの量子化パラメータ（ＱＰ）、ピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ：ＰＳＮＲ）、構造類似性（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ：ＳＳＩＭ）を利用してゲームビデオの客観的な品質スコアをフィードバックすることができる。この方式は、複雑度が高くないが、主観的な品質評価との相関性が低く、一定の制限性があり、且つ一定の遅延影響を導入する。また、ビデオマルチメソッド評価融合（Ｖｉｄｅｏ Ｍｕｌｔｉｍｅｔｈｏｄ Ａｓｓｅｓｓｍｅｎｔ Ｆｕｓｉｏｎ：ＶＡＭＦ）などのモデルによりゲームビデオの客観的な品質スコアを取得することができる。この方式は、ＰＳＮＲについて精度が高いが、計算の複雑度が非常に高く、高フレームレート、高解像度のビデオのリアルタイム計算を実現することができない。

【0005】

また、クラウドゲームは多種多様であるため、大量のビデオデータからビデオの主観スコアをリアルタイムに取得する必要があるが、関連技術には、主観的な品質をリアルタイムにフィードバックするためのモデル及び関連スキームがない。

【0006】

従って、本技術分野では、リアルタイムにフィードバックされた主観的な品質に基づいて画像又はビデオの品質を評価することができる方法が求められている。

【発明の概要】

【0007】

本発明は、サーバ側のハードウェアのコストを増加させることなく、且つ評価の正確度を確保すると共に、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる、近似値に基づいて画像又はビデオの品質を評価する方法及び関連装置を提供する。

【0008】

本発明の１つの態様では、データ処理能力を有する電子機器が実行する、近似値に基づいて画像又はビデオの品質を評価する方法であって、評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得するステップと、前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算するステップであって、前記第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、前記第２のモデルは、ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、前記第１のモデルは、前記第２のモデルを用いて取得された前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である、ステップと、前記第１の近似値に基づいて、前記評価すべきビデオ又は前記評価すべき画像の品質を評価するステップと、を含む、方法を提供する。

【0009】

本発明のもう１つの態様では、データ処理能力を有する電子機器に配備される、近似値に基づいて画像又はビデオの品質を評価する装置であって、評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得する取得部と、前記評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて前記評価すべきサンプルの主観真理値に近似する第１の近似値を計算する計算部であって、前記第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、前記第２のモデルは、ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、前記第１のモデルは、前記第２のモデルを用いて取得された前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である、計算部と、前記第１の近似値に基づいて、前記評価すべきビデオ又は前記評価すべき画像の品質を評価する評価部と、を含む、装置を提供する。

【0010】

本発明のもう１つの態様では、データ処理能力を有する電子機器が実行する、第１のモデルの訓練方法であって、ｋ個の訓練サンプルを取得するステップであって、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される、ステップと、前記ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得するステップと、前記ｋ個の訓練サンプルを入力として、前記第２のモデルを用いて前記ｋ個の訓練サンプルの主観真理値に近似する近似値を取得するステップと、前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして前記第１のモデルを取得するステップと、を含む、方法を提供する。

【0011】

本発明のもう１つの態様では、データ処理能力を有する電子機器に配備される、第１のモデルの訓練装置であって、ｋ個の訓練サンプルを取得する第１の取得部であって、前記ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される、第１の取得部と、前記ｋ個の訓練サンプル及び前記ｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得する第１の訓練部と、前記ｋ個の訓練サンプルを入力として、前記第２のモデルを用いて前記ｋ個の訓練サンプルの主観真理値に近似する近似値を取得する第２の取得部と、前記ｋ個の訓練サンプルの近似値を参照として、前記ｋ個の訓練サンプルのパラメータをフィッティングして前記第１のモデルを取得する第２の訓練部と、を含む、装置を提供する。

【0012】

本発明のもう１つの態様では、コンピュータプログラムを実行可能なプロセッサと、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体と、を含み、前記コンピュータプログラムは、前記プロセッサにより実行される際に、上記の近似値に基づいて画像又はビデオの品質を評価する方法又は上記の第１のモデルの訓練方法を実現する、電子機器を提供する。

【0013】

本発明の実施例のもう１つの態様では、コンピュータプログラムを記憶するためのコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、上記の近似値に基づいて画像又はビデオの品質を評価する方法又は上記の第１のモデルの訓練方法をコンピュータに実行させる、記憶媒体を提供する。

【0014】

本発明の実施例のもう１つの態様では、コンピュータプログラム製品又はコンピュータプログラムを提供し、該コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含む。コンピュータ機器のプロセッサは、コンピュータ読み取り可能な記憶媒体からコンピュータ命令を読み取ってコンピュータ命令を実行することで、上記の近似値に基づいて画像又はビデオの品質を評価する方法又は上記の第１のモデルの訓練方法を該コンピュータ機器に実行させる。

【0015】

本発明の実施例では、評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて該評価すべきサンプルの主観真理値に近似する第１の近似値を計算し、さらに、該第１の近似値に基づいて該評価すべきビデオ又は該評価すべき画像の品質を評価する。オンラインの第１のモデルによれば、該第１の近似値をリアルタイムに計算してフィードバックすることができるため、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる。また、該第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、該第２のモデルは、ｋ個の訓練サンプル及び該ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、該ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、該第１のモデルは、該第２のモデルを用いて取得された該ｋ個の訓練サンプルの近似値を参照として、該ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である。即ち、訓練により得られた第２のモデルを用いてフィッティングにより第１のモデルを取得することで、サーバ側のハードウェアのコストを増加させることなく、第１のモデルの評価の正確度を確保することができる。

【0016】

以上のように、本発明に係る方法は、サーバ側のハードウェアのコストを増加させることなく、且つ評価の正確度を確保すると共に、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる。

【図面の簡単な説明】

【0017】

本発明の実施例に係る技術をより明確に説明するために、以下は、実施例の説明に必要な図面を簡単に紹介する。なお、以下の図面は、単に本発明の幾つかの態様であり、当業者は、創造的な作業を行うことなく、これらの図面に基づいて他の図面を得ることができる。

【図1】本発明の実施例に係る主観的な採点プラットフォームのインターフェースの概略図である。

【図2】本発明の実施例に係るランダムに選択されたサンプルに基づいて品質評価モデルを訓練する方法の概略的なフローチャートである。

【図3】本発明の実施例に係る近似値に基づいて画像又はビデオの品質を評価する方法の概略的なフローチャートである。

【図4】本発明の実施例に係る第１のモデルの動作原理の概略的なブロック図である。

【図5】本発明の実施例に係る第１のモデルの訓練原理及び評価原理の概略的なブロック図である。

【図6】本発明の実施例に係る第１のモデルの最適化原理の概略的なブロック図である。

【図7】本発明の実施例に係る第１のモデルを含むサービスシステムの概略的なブロック図である。

【図8】本発明の実施例に係る第１のモデルの訓練方法の概略的なフローチャートである。

【図9】本発明の実施例に係る近似値に基づいて画像又はビデオの品質を評価する装置の概略的なブロック図である。

【図10】本発明の実施例に係る第１のモデルの訓練装置の概略的なブロック図である。

【図11】本発明の実施例に係る電子機器の概略的なブロック図である。

【発明を実施するための形態】

【0018】

以下は、本発明の実施例における図面を参照しながら本発明の実施例における技術を明確かつ完全に説明するが、説明される実施例は本発明の一部の実施形態に過ぎず、全ての実施例ではないことは明らかである。本発明の実施例に基づいて、当業者が創造的な労働を行わずに取得した他の全ての実施例は本発明の範囲内のものである。

【0019】

本発明に係る技術は、人工知能技術に関するものであってもよい。

【0020】

ここで、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）は、人間の知能をシミュレーションし、拡張し、環境を感知し、知識を取得し、知識を使用して最適な結果を得るために、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を利用する理論、方法、技術及び応用システムである。言い換えれば、人工知能は、計算機科学の総合技術であり、知能の本質を理解し、人間の知能と同様の方法で反応する新しい知能機械を生産しようとする。人工知能は、各種の知能機械の設計原理と実現方法を研究し、機械に感知、推理と決定の機能を持たせる。

【0021】

なお、人工知能技術は、１つの総合的な学科であり、領域が広く、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能基礎技術は一般的に例えばセンサー、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理技術、操作／インタラクティブシステム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は、主にコンピュータビジョン技術、音声処理技術、自然言語処理技術、及び機械学習／深層学習などの幾つかの方面を含む。

【0022】

人工知能技術の研究と進歩に伴い、人工知能技術は多くの領域で研究と応用を展開し、例えば一般的なスマートホーム、スマートウエアデバイス、バーチャルアシスタント、スマートスピーカー、スマートマーケティング、無人運転、自動運転、ドローン、ロボット、知能医療、知能カスタマーサービスなど、技術の発展に伴い、人工知能技術は更に多くの領域で応用され、ますます重要な価値を発揮すると信じている。

【0023】

本発明の実施例は、人工知能技術におけるコンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：ＣＶ）技術に関するものであってもよい。コンピュータビジョンは、機械がどのように「見る」かを研究する科学であり、さらに言えば、カメラとコンピュータを人間の目の代わりにして目標に対する認識、追跡及び測定などの機械ビジョンを行い、さらに図形処理を行い、コンピュータ処理を人間の目の観察に更に適合させ、又は計器に検出画像を伝送することを意味する。科学的な分野として、コンピュータビジョンに関する理論や技術を研究し、画像や多次元データから情報を取得できる人工知能システムを構築しようとしている。コンピュータビジョン技術は、一般的に、画像処理、画像認識、画像意味理解、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味理解、ビデオ内容／行動認識、三次元物体再構成、３Ｄ技術、バーチャルリアリティ、拡張現実、同期定位及び地図構築などの技術を含み、一般的な顔認識、指紋認識などの生物特徴認識技術をさらに含む。

【0024】

本発明の実施例は、人工知能技術における機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：ＭＬ）に関するものであってもよい。ＭＬは、１つの多分野の交差学科であり、確率論、統計学、近似論、凸分析、算法複雑度理論などの多学科に関わる。コンピュータがどのように人類の学習行為を模擬或いは実現するかを専念に研究し、新しい知識或いは技能を取得し、既存の知識構造を再組織し、絶えず自身の性能を改善させる。機械学習は、人工知能の核心であり、コンピュータに知能を持たせる根本的なルートであり、その応用は人工知能の各領域に及んでいる。機械学習とディープラーニングは、通常、人工ニューラルネットワーク、信頼ネットワーク、強化学習、遷移学習、帰納学習、デモンストレーション学習などの技術を含む。

【0025】

本発明のスキームを容易にするために、以下は本発明に関連する用語を説明する。

【0026】

（１）画像又はビデオの品質の評価：主観的又は客観的な方式で画像又はビデオフレームの歪みを感知、測定及び評価することを意味する。主観的な採点方式は、一般的に平均主観スコア（ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ：ＭＯＳ）又は平均主観スコア差（ｄｉｆｆｅｒｅｎｃｅ ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ：ＤＭＯＳ）で表され、主観的な採点方式は、主観的なスコアリング方式とも称される。客観な採点方式は、一般的にアルゴリズムモデルを採用してビデオ／画像の品質指標を計算し、客観的な採点方式は、品質評価モデルを利用して品質スコアを出力する方式とも称される。

【0027】

（２）主観的な採点プラットフォーム：画像及びビデオに対して主観的な採点を行うラベル付けプラットフォームであり、主観的な採点とは、評価者／ラベル付け者がある画像又はビデオの画質や美学などに対して採点を行うことである。

【0028】

図１は、本発明の実施例に係る主観的な採点プラットフォームのインターフェースの概略図である。

【0029】

図１に示すように、主観的な採点プラットフォームのインターフェースは、採点すべきビデオ及び採点の選択肢を含んでもよい。例えば、５ポイント制で採点する場合、採点の選択肢は、「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の５段階にそれぞれ対応する。１つの採点すべきビデオは、一般的に複数の評価者により採点され、評価者はある段階の採点を選択し、該採点すべきビデオの最終的な品質スコアは、全ての評価者の採点の平均値により取得される。また、他の主観的な採点方式、例えばペアリング比較を採用してもよく、即ち、評価者は２枚の画像又はビデオを見て、どちらが良いかを選択してもよい。

【0030】

（３）能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）：主観的な採点プラットフォームは、大量の画像ビデオライブラリから一部の訓練サンプルを選択し、主観的な採点のために評価者に提供する。評価者が訓練サンプルに対して主観的な採点を行う方式で主観的なスコアを取得することは、主観的な採点の方式で訓練サンプルの主観的なスコアを取得することと称され、主観的なスコアがラベル付けされているサンプルは、ラベル付きサンプルと称される。能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）は、現在のモデルが最も判別しにくい、或いは情報量が多い訓練サンプルを、特定の選択ポリシーにより能動的に選択して、採点のために評価者に提供することができる。これによって、モデルの性能を確保するとともに、ラベル付ける必要があるサンプル量を効率的に削減することができる。

【0031】

（４）受動学習（ｐａｓｓｉｖｅ ｌｅａｒｎｉｎｇ）：ランダムに選択されたサンプルを用いてモデルを訓練する。

【0032】

図２は、本発明の実施例に係るランダムに選択されたサンプルに基づいて品質評価モデルを訓練する方法の概略的なフローチャートである。

【0033】

図２に示すように、品質評価モデルの訓練プロセスは、「ウォーターフォール」式のアルゴリズム開発プロセスであり、大量のデータベースからランダムに幾つか（ｎ個）の訓練サンプルを選択し、主観採点プラットフォームに提供して評価者（即ち、評価者１～評価者ｔ）に採点させて、採点後に訓練してモデルを取得する。このような品質評価モデルの訓練方法では、サンプルをランダムに選択する方法が多くの価値のない訓練サンプルを容易に選択でき、特に大量の画像ビデオライブラリに多くの類似、冗長なデータがある。また、選択される訓練サンプル数を予め設定する必要があり、容易に制御できない。さらに、主観的な採点とモデル訓練とは完全に分離されているため、「ウォーターフォール」式の開発プロセスでは、主観的な採点後のデータセットの品質が高くない場合、再度採点が必要となり、時間と労力がかかり、エラートレラント率が低い。

【0034】

（５）平均主観スコア（ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ：ＭＯＳ）は、上述した訓練サンプルの最終的な品質スコアであり、この値の具体的な値は、全ての評価者のスコアの平均に基づいて取得されてもよい。例えば、本発明に係る主観真理値は、ＭＯＳであってもよい。

【0035】

（６）フィッティング：フィッティングは、平面上の一連の点を滑らかな曲線で連結することである。連結された曲線には無数の可能性があるため、様々なフィッティング方法がある。フィッティングされた曲線は、一般に関数で表すことができ、異なる関数に応じて異なるフィッティング名を持つ。一般的なフィッティング方法としては、最小二乗曲線フィッティング法などがある。決定すべき関数が線形である場合、線形フィッティング又は線形回帰（主に統計で）と称され、そうでない場合、非線形フィッティング又は非線形回帰と称される。表現式は、セグメント関数でもあってもよく、この場合にスプラインフィッティングと称される。例えば、本発明に係る第１のモデルは、フィッティングにより得られたモデルであってもよい。この第１のモデルの予測結果は、主観真理値に近似する近似値であってもよい。

【0036】

（７）訓練：主観採点後の画像／ビデオのデータセットを入力とし、訓練により１つのモデルを取得することができる。例えば、本発明に係る第２のモデルは、訓練により得られたモデルであってもよい。この第２のモデルの予測結果は、主観真理値に近似する近似値であってもよい。

【0037】

（８）画像品質評価（ｉｍａｇｅ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ：ＩＱＡ）：画像処理における基本技術の１つであり、主に画像の特性解析により研究し、画像の優劣（画像の歪みレベル）を評価する。画像品質評価は、画像処理システムにおいて、アルゴリズム解析比較、システム性能評価などに重要な役割を果たす。近年、デジタル画像領域に対する広範な研究に従い、画像品質評価の研究もますます研究者の関心を受け、多くの画像品質評価の指標及び方法を提出し、改善した。

【0038】

（９）ビデオ品質評価（ｖｉｄｅｏ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ：ＶＱＡ）：ビデオ処理における基本技術の一つであり、主にビデオに対して特性解析の研究を行い、ビデオの優劣（ビデオの客観的な品質）を評価する。

【0039】

一般的に、ビデオの主観的な採点モデル及び計算値は、ビデオの主観的な品質状況をフィードバックできるが、計算複雑度及び正確性から言えば理想的ではない。例えば、単純にエンコーダの量子化パラメータ（ＱＰ）、ピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ：ＰＳＮＲ）、構造類似性（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ：ＳＳＩＭ）を利用してゲームビデオの客観的な品質スコアをフィードバックすることができる。この方式は、複雑度が高くないが、主観的な品質評価との相関性が低く、一定の制限性があり、且つ一定の遅延影響を導入する。また、ビデオマルチメソッド評価融合（Ｖｉｄｅｏ Ｍｕｌｔｉｍｅｔｈｏｄ Ａｓｓｅｓｓｍｅｎｔ Ｆｕｓｉｏｎ：ＶＡＭＦ）などのモデルによりゲームビデオの客観的な品質スコアを取得することができる。この方式は、ＰＳＮＲについて精度が高いが、計算の複雑度が非常に高く、高フレームレート、高解像度のビデオのリアルタイム計算を実現することができない。

【0040】

また、クラウドゲームは多種多様であるため、大量のビデオデータからビデオの主観スコアをリアルタイムに取得する必要があるが、関連技術には、主観的な品質をリアルタイムにフィードバックするためのモデル及び関連スキームがない。

【0041】

従って、本発明は、サーバ側のハードウェアのコストを増加させることなく、且つ評価の正確度を確保すると共に、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる、近似値に基づいて画像又はビデオの品質を評価する方法を提供する。

【0042】

図３は、本発明の実施例に係る近似値に基づいて画像又はビデオの品質を評価する方法１００の概略的なフローチャートである。なお、本発明の実施例に係る技術は、データ処理能力を有する任意の電子機器により実行されてもよい。例えば、該電子機器は、サーバとして実施されてもよい。サーバは、独立した物理サーバであってもよいし、複数の物理サーバにより構成されるサーバクラスタ又は分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。サーバは、有線又は無線の通信方式により直接又は間接的に接続されてもよく、本発明はこれらに限定されない。説明の便宜上、以下は、サービスシステムを一例にして説明する。

【0043】

図３に示すように、該方法１００は、以下のステップの一部又は全部を含んでもよい。

【0044】

ステップＳ１１０：評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得する。

【0045】

ステップＳ１２０：該評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて該評価すべきサンプルの主観真理値に近似する第１の近似値を計算する。

【0046】

ここで、該第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、該第２のモデルは、ｋ個の訓練サンプル及び該ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、該ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、該第１のモデルは、該第２のモデルを用いて取得された該ｋ個の訓練サンプルの近似値を参照として、該ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である。

【0047】

ステップＳ１３０：該第１の近似値に基づいて、該評価すべきビデオ又は該評価すべき画像の品質を評価する。

【0048】

クラウドゲーム実行モードでは、ゲームはサーバ側で実行され、その後に画面キャプチャーの方式でレンダリングされたゲームのビデオ画面を取得し、ビデオエンコーダで圧縮された後、ネットワークを介してユーザクライアントに転送する。これに基づいて、ユーザクライアントは、近似値に基づいて画像又はビデオの品質を評価する方法により、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて、画像又はビデオの品質を評価することができる。

【0049】

本発明の実施例では、評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて該評価すべきサンプルの主観真理値に近似する第１の近似値を計算し、さらに、該第１の近似値に基づいて該評価すべきビデオ又は該評価すべき画像の品質を評価する。オンラインの第１のモデルによれば、該第１の近似値をリアルタイムに計算してフィードバックすることができるため、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる。また、該第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、該第２のモデルは、ｋ個の訓練サンプル及び該ｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、該ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、該第１のモデルは、該第２のモデルを用いて取得された該ｋ個の訓練サンプルの近似値を参照として、該ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である。即ち、訓練により得られた第２のモデルを用いてフィッティングにより第１のモデルを取得することで、サーバ側のハードウェアのコストを増加させることなく、第１のモデルの評価の正確度を確保することができる。

【0050】

以上のように、本発明に係る方法は、サーバ側のハードウェアのコストを増加させることなく、且つ評価の正確度を確保すると共に、リアルタイムにフィードバックされた主観真理値に近似する近似値に基づいて画像又はビデオの品質を評価することができる。言い換えれば、評価すべきサンプルの主観真理値に近似する近似値を第１のモデルによりオンラインで計算し、該第１のモデルにより算出された近似値によりクラウドゲームのビデオ品質を評価することができる。即ち、オンラインゲームのプレイ中にビデオの主観品質をリアルタイムに評価することができる。例えば、オンラインでクラウドゲームの全体的な品質を監視することができる。

【0051】

なお、本発明の実施例では、ユーザは、ユーザクライアントで応用シナリオに近いクラウドゲームのビデオ品質評価スキームのセットを使用して、主観的な採点の方式で主観真理値を、第２のモデルの訓練サンプルとして取得してもよい。例えば、図１に示すような主観的な採点プラットフォームのインターフェースを採用してもよいし、図２に示すようなフローを採用して、ランダムに選択されたサンプルに基づいて第２のモデルを訓練してもよいが、本発明はこれらに限定されない。

【0052】

幾つかの態様では、該評価すべきサンプルのパラメータは、ネットワークモジュールのフィードバックパラメータ、クラウドゲームモジュールの設定パラメータ、及び符号化／復号モジュールの計算パラメータのうちの少なくとも１つを含む。１つの態様では、該評価すべきサンプルのパラメータのタイプは、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）の分類に基づいて定義されてもよい。例えば、ＳＤＫは、ネットワークＳＤＫ、クラウドゲームＳＤＫ及び符号化／復号ＳＤＫなどを含むが、これらに限定されない。

【0053】

図４は、本発明の実施例に係る第１のモデルの動作原理の概略的なブロック図である。

【0054】

図４に示すように、第１のモデルは、入力された評価すべきサンプルのパラメータ１～パラメータｎ（例えば、シナリオに応じてパラメータを選択し、シナリオは、評価すべきサンプルの符号化パラメータ、例えば符号化フレームのパラメータ及びコードストリームに関連するもの、例えば量子化パラメータ（ＱＰ）、ＭＶ、フレームレート、フレーム長、フレーム複雑度パラメータ及びフレームタイプに関連するものを含むが、これらに限定されない。フレーム複雑度パラメータは、例えば、絶対変換差の和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＴＤ）であってもよい。フレームレートとは、１秒あたりに再生される画像の数を意味し、例えば、２４フレームは１秒あたり２４枚の画像を再生することであり、６０フレームは１秒あたり６０枚の画像を再生することであり、他の場合も同様である。フレーム長は、データフレームの長さを意味する）。入力されたパラメータ１～パラメータｎを計算することによって、評価すべきサンプルの主観真理値に近似する第１の近似値を取得することができる。

【0055】

幾つかの態様では、該評価すべきサンプルのパラメータに基づいて、ステップＳ１２０の前に、該方法１００は、以下のステップをさらに含んでもよい。

【0056】

該ｋ個の訓練サンプルのパラメータに基づいて、該第１のモデルを用いて該ｋ個の訓練サンプルの近似値を計算する。該第２のモデルを用いて取得された該ｋ個の訓練サンプルの近似値及び第１のモデルを用いて算出された該ｋ個の訓練サンプルの近似値に基づいて、該第１のモデルを評価する。該ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、該第１のモデルを用いて算出された近似値と該第２のモデルを用いて取得された近似値との差が第１の所定の閾値以下である場合、該第１のモデルの評価結果が正であると決定し、そうでない場合、該第１のモデルの評価結果が負であると決定する。例えば、ｋ個の訓練サンプルのうちの任意の１つの訓練サンプルについて、該第１のモデルを用いて算出された近似値と第２のモデルを用いて取得された近似値との差が第１の所定の閾値よりも大きい場合、該第１のモデルの評価結果が負であると決定する。

【0057】

簡単に言えば、第２のモデルの取得された近似値を用いて第１のモデルの性能又は正確度を評価してもよい。

【0058】

幾つかの態様では、評価すべきサンプルのパラメータに基づいて、ステップＳ１２０の前に、該方法１００は、以下のステップをさらに含んでもよい。

【0059】

該ｋ個の訓練サンプルの主観真理値及び該第１のモデルを用いて算出された該ｋ個の訓練サンプルの近似値に基づいて、該第１のモデルを評価する。該ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、該第１のモデルを用いて算出された近似値と主観真理値との差が第２の所定の閾値以下である場合、該第１のモデルの評価結果が正であると決定し、そうでない場合、該第１のモデルの評価結果が負であると決定する。例えば、該ｋ個の訓練サンプルのうちの任意の１つの訓練サンプルについて、第１のモデルを用いて算出された近似値と主観真理値との差が第２の所定の閾値よりも大きい場合、該第１のモデルの評価結果が負であると決定する。

【0060】

簡単に言うと、主観真理値を用いて第１のモデルの性能又は正確度を評価してもよい。

【0061】

図５は、本発明の実施例に係る第１のモデルの訓練原理及び評価原理の概略的なブロック図である。

【0062】

図５に示すように、第１のモデルのフィッティングプロセスは、図５の破線矢印で示す部分のように、復号されたシーケンスセット内の画像フレームの主観真理値Ａを主観的な採点方式で取得して、取得された主観真理値Ａを第２のモデルを訓練するための訓練セットとすると共に、第２のモデル及び入力すべきパラメータセットに基づいて第１のモデルを取得する。第１のモデルの最適化プロセスは、実線矢印で示す部分のように、第２のモデルにより出力された主観真理値の近似値Ｂ及び第１のモデルにより出力された主観真理値の近似値Ｃに基づいて第１のモデルを評価してもよいし、主観真理値Ａ及び第１のモデルにより出力された主観真理値の近似値Ｃに基づいて第１のモデルを評価してもよい。

【0063】

第２のモデルの訓練プロセスは、以下のステップを含んでもよい。

【0064】

（１）復号されたシーケンスセットを取得する。

【0065】

クラウドゲームは種類が多いため、複雑度も異なり、主観的な感覚も異なる。本発明は、１つのシナリオについて第２のモデルにおける１つの第２のサブモデル及び第１のモデルにおける第１のサブモデルを訓練することができるように、クラウドゲームビデオに対してシナリオ分類を行ってもよい。なお、１つのシナリオにおける１つのゲームシーンについて第２のモデルにおける１つの第２のサブモデル及び第１のモデルにおける１つの第１のサブモデルを訓練することができるように、シナリオ分類されたクラウドゲームビデオをゲームシーンに基づいて再分割してもよい。本発明の実施例は、シナリオ及びゲームシーンの具体的な分類に限定されない。例えば、シナリオは、評価すべきビデオ又は評価すべき画像を再生するための装置のタイプであってもよい。ゲームシーンは、戦闘シーンや非戦闘シーンなどのゲーム画面のシーンであってもよい。クラウドゲームビデオに対してゲーム分類を行い、分類されたある種類のビデオ（例えば、取得されたソースシーケンスセット）に対して、該ある種類のビデオを符号化構成スキーム（クラウドゲームの特徴のフレームレート、コードレート、解像度などに適応する）によって符号化して圧縮し、符号化されて圧縮されたシーケンスセットを取得してもよい。符号化圧縮シーケンスセットは、取り込まれたソースシーケンスセットに対して損失のある圧縮を行うため、ビデオ画像品質の細部の損失をもたらす。その後、符号化されて圧縮されたシーケンスセットを復号し、復号されたシーケンスセットを取得する。好ましくは、復号されたシーケンスセットは、上記のｋ個の訓練サンプルであってもよい。

【0066】

（２）復号されたシーケンスセット内の画像フレームの主観真理値Ａを主観的な採点方式で取得する。

【0067】

クラウドゲームのシナリオは、リアルタイムコミュニケーションの主観的なビデオのシナリオとは異なるため、例えばクラウドゲームのシナリオは、携帯電話のモバイル端末側、固定ＰＣ及びテレビのテレビ端末側に関する可能性がある。また、プレイヤの体験に対する要求も、リアルタイム通信のユーザの体験に対する要求とは異なる。本発明では、クラウドゲームビデオの主観評価の標準体系を用いて、復号化されたシーケンスセット内の画像フレームの主観真理値Ａを主観的な採点方式で取得してもよい。例えば、符号化及び圧縮されたシーケンスセットは、第三者による復号化により再生され、クラウドゲームビデオの主観評価の標準的な体系に従って、復号化されたシーケンスセット内の画像フレームの主観的な真理値Ａを主観的な採点方式に従って手動で（即ち、評価者により）取得する。

【0068】

（３）復号化されたシーケンスセット内の画像フレームの主観真理値Ａに基づいて第２のモデルを訓練する。

【0069】

符号化された圧縮されたシーケンスセットについて第三者による復号化により復号されたシーケンスセットを作成し、該復号されたシーケンスセットを第２のモデルの訓練セットとして第２のモデルを訓練し、訓練された第２のモデルを使用して、復号化されたシーケンスセット内の画像フレームの主観的な真理値の近似値Ｂ（可能な限り主観真理値Ａに近似するもの）を取得してもよい。本発明は、第２のモデルの性能複雑度に対して基本的に要求せず、正確性が比較的に高いことのみを要求し、即ち、該第２のモデルは、非常に複雑であり、かつ正確性が非常に高いモデルであってもよい。

【0070】

（４）該第２のモデルに基づいて該第１のモデルを取得する。

【0071】

訓練された第２のモデルを用いて、復号化されたシーケンスセット内の画像フレームの主観真理値の近似値Ｂを取得した後、第１のモデルを取得するために、復号化されたシーケンスセット内の画像フレームの主観真理値の近似値Ｂと、復号化されたシーケンスセット内の画像フレームのパラメータとに基づいて、フィッティング計算を行ってもよい。フィッティングとは、平面上の一連の点を滑らかな曲線で連結することである。連結された曲線には無数の可能性があるため、様々なフィッティング方法がある。フィッティングされた曲線は、一般に関数で表すことができ、異なる関数に応じて異なるフィッティング名を持つ。一般的なフィッティング方法としては、最小二乗曲線フィッティング法などがある。決定すべき関数が線形である場合、線形フィッティング又は線形回帰（主に統計で）と称され、そうでない場合、非線形フィッティング又は非線形回帰と称される。表現式は、セグメント関数でもあってもよく、この場合にスプラインフィッティングと称される。例えば、本発明に係る第１のモデルは、フィッティングにより得られたモデルであってもよい。この第１のモデルの予測結果は、主観真理値に近似する近似値であってもよい。

【0072】

幾つかの態様では、方法１００は、以下のステップをさらに含んでもよい。

【0073】

第１のモデルの評価結果が正である場合、第１のモデルをサービスシステムに統合し、第１のモデルの評価結果が負である場合、第１のモデルの評価結果が正になるまで、第１のモデルを再度フィッティングする。

【0074】

言い換えれば、第１のモデルが所望の評価結果に達した場合、第１のモデルをサービスシステムに統合してもよく、第１のモデルが所望の結果に達していない場合、第１のモデルが所望の結果に達するまで第１のモデルを再度フィッティングする必要がある。

【0075】

幾つかの態様では、方法１００は、以下のステップをさらに含んでもよい。

【0076】

統計モジュールにより第１の近似値を第２のモデルに報告する。第２のモデルを用いて評価すべきサンプルの第２の近似値を取得する。第１の近似値と第２の近似値との差が第３の所定の閾値よりも大きい場合、評価すべきサンプルのパラメータ及び第２の近似値を用いて第１のモデルを最適化する。第１の近似値と第２の近似値との差が第３の所定の閾値以下である場合、第１のモデルを最適化する必要がないと決定する。

【0077】

簡単に言えば、第１の近似値を使用して第１のモデルを最適化し、第１のモデルの正確度を向上させることができる。

【0078】

幾つかの態様では、第１の近似値及び第２の近似値に基づいて、第１のモデルを最適化するか否かを決定する前に、評価すべきサンプルの主観真理値を取得し、第２の近似値と評価すべきサンプルの主観真理値との差が第４の所定の閾値よりも大きい場合、評価すべきサンプル及び評価すべきサンプルの主観真理値を用いて第２のモデルを最適化する。

【0079】

簡単に言えば、第１の近似値を用いて第２のモデルを最適化し、第２のモデルの正確度を向上させることができる。

【0080】

図６は、本発明の実施例に係る第１のモデルの最適化原理の概略的なブロック図である。

【0081】

図６に示すように、まず、主観真理値に近似する近似値を計算するための第１のモデルを取得し、次に、第１のモデルをクラウドゲームサーバ側のシステムに配置する。これに基づいて、取り込みフレーム（評価すべきサンプル）を取得してから取り込みフレームを符号化し、符号化フレームを取得する。その後、符号化フレームからのパラメータ及びコードストリーム情報を符号化することによって、第１のモデルに入力する必要がある評価すべきサンプルのパラメータを取得し、評価すべきサンプルのパラメータを第１のモデルに入力した後、第１のモデルは評価すべきサンプルのパラメータに基づいて計算を行い、評価すべきサンプルの第１の近似値を取得する。この場合、データ統計モジュールを介してプラットフォーム統計モジュールに第１の近似値をフィードバックして、プラットフォーム統計モジュールが第１の近似値に基づいて第１のモデル又は第２のモデルを最適化するか否かを決定してもよい。

【0082】

図７は、本発明の実施例に係る第１のモデルを含むサービスシステムの概略的なブロック図である。

【0083】

図７に示すように、フィッティングされた第１のモデルは、サービスシステム内の符号化／復号モジュールに統合され、サービスシステムを利用してパラメータＰ１、パラメータＰ２及びパラメータＰ３などの入力パラメータを取得することができる。パラメータＰ１は、ネットワークモジュールのフィードバックパラメータを表し、パラメータＰ２は、クラウドゲームモジュールの設定パラメータを表し、パラメータＰ３は、符号化／復号モジュールの計算パラメータを表す。次に、第１のモデルは、パラメータＰ１、パラメータＰ２及びパラメータＰ３に基づいて、評価すべきサンプルの第１の近似値を計算する。１つの可能な態様では、第１の近似値は、データ統計モジュールを介してサービスシステムのプラットフォーム統計モジュールに報告され、プラットフォーム統計モジュールは、第１の近似値に基づいて第２のモデル及び第１のモデルを最適化する必要があるか否かを決定してもよい。例えば、プラットフォーム統計モジュールは、統計的な分類を行い、分類に対応する第１のサブモデル又は第２のサブモデルを最適化する必要があるか否かを決定してもよい。なお、第２のモデルを最適化した後、最適化された第２のモデルに基づいて該第１のモデルを最適化してもよいが、本発明の実施例はこれに具体的に限定されない。第１のモデルを最適化することによって、近似値の正確度を向上させることができる。

【0084】

幾つかの態様では、第１のモデルは、複数のシナリオのそれぞれに対応する第１のサブモデルを含み、第２のモデルは、複数のシナリオのそれぞれに対応する第２のサブモデルを含み、複数のシナリオは、評価すべきサンプルが所在する第１のシナリオを含む。これに基づいて、上記のステップＳ１２０は、第１のシナリオに対応する第１のサブモデルを決定するステップと、評価すべきサンプルのパラメータに基づいて、第１のシナリオに対応する第１のサブモデルを用いて、第１の近似値を計算するステップと、を含んでもよい。

【0085】

言い換えれば、異なるシナリオにおけるサンプルのパラメータに基づいて、異なる第１のサブモデルにフィッティングすることができ、異なるシナリオにおけるサンプルに基づいて、訓練の方式により異なる第２のサブモデルを取得することができる。これによって、第１のサブモデル及び第２のサブモデルの正確度を向上させることができる。

【0086】

幾つかの態様では、複数のシナリオは、評価すべきビデオ又は評価すべき画像を再生するための装置のタイプを含む。

【0087】

なお、本発明の他の代替的な態様では、複数のシーンは、評価すべきビデオ又は評価すべき画像が属するアプリケーションプログラム又は再生モードなどを含んでもよいが、本発明はこれらに具体的に限定されない。

【0088】

幾つかの態様では、第１のモデルは、半参照モデル又は非参照モデルであり、第２のモデルは、完全参照モデル又は非参照モデルであり、半参照モデルは、圧縮前の画像フレームにおける一部のパラメータ及び圧縮後の画像フレームを参照して得られたモデルであり、非参照モデルは、圧縮後の画像フレームのみを参照して得られたモデルであり、完全参照モデルは、圧縮前の画像フレーム及び圧縮後の画像フレームを参照して得られたモデルである。

【0089】

なお、この半参照モデルは、符号化前の画像フレームにおける一部のパラメータと符号化後の画像フレームとを参照して得られたモデルを意味してもよく、この非参照モデルは、符号化後の画像フレームのみを参照して得られたモデルを意味してもよく、この完全参照モデルは、符号化前の画像フレームと符号化後の画像フレームとを参照して得られたモデルを意味してもよいが、本発明はこれらに具体的に限定されない。

【0090】

上述したように、本発明は、ビデオの主観的な品質をリアルタイムに評価することができる、近似値に基づいて画像又はビデオの品質を評価する方法を提供する。好ましくは、クラウドゲームの種類やプラットフォームなどの情報を分類することで、ある分類について、ｋ個の訓練サンプルの主観真理値Ａを取得してもよい。次に、オフラインの第２のモデルにより、Ｋ個の訓練サンプルの主観真理値Ａに近似する近似値Ｂを取得する（可能な限りＡに近似する）。そして、取得された近似値Ｂを基準真理値として、入力されたｋ個の訓練サンプルの複数のパラメータを用いて第１のモデルをフィッティングする（主観真理値Ａに近似する近似値Ｃを計算するために使用され、近似値Ｃを迅速に計算することができる）。これによって、第１のモデルによりオンラインに、クラウドゲームのリアルタイムのビデオの主観真理値に近似する近似値を取得することができる。好ましくは、後続の追加されたゲームについて、第２のモデルを更新することによって、更新された第２のモデルに基づいてオンラインの第１のモデルを最適化することができる。

【0091】

図８は、本発明の実施例に係る第１のモデルの訓練方法２００の概略的なフローチャートである。なお、本発明の実施例に係る技術は、データ処理能力を有する任意の電子機器により実行されてもよい。例えば、該電子機器は、サーバとして実施されてもよい。サーバは、独立した物理サーバであってもよいし、複数の物理サーバにより構成されるサーバクラスタ又は分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。サーバは、有線又は無線の通信方式により直接又は間接的に接続されてもよく、本発明はこれらに限定されない。

【0092】

図８に示すように、方法２００は、以下のステップを含んでもよい。

【0093】

ステップＳ２１０：ｋ個の訓練サンプルを取得する。該ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される。

【0094】

ステップＳ２２０：該ｋ個の訓練サンプル及び該ｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得する。

【0095】

ステップＳ２３０：該ｋ個の訓練サンプルを入力として、該第２のモデルを用いて該ｋ個の訓練サンプルの主観真理値に近似する近似値を取得する。

【0096】

ステップＳ２４０：該ｋ個の訓練サンプルの近似値を参照として、該ｋ個の訓練サンプルのパラメータをフィッティングして該第１のモデルを取得する。

【0097】

なお、方法２００は、方法１００における第１のモデルの評価及び最適化に関連するスキームをさらに含んでもよい。言い換えれば、方法２００における第１のモデルの評価及び最適化などに関連するスキームは、方法１００における対応するスキームを参照してもよく、重複を避けるために、ここでその説明を省略する。

【0098】

以上は、添付図面を参照しながら、本発明の好ましい実施形態を詳細に説明したが、本発明は、上記の実施形態の具体的な詳細に限定されるものではなく、本発明の技術的思想の範囲内で、本発明の技術的範囲に属する様々な単純な変形が可能である。例えば、上述した実施形態で説明した個々の具体的な技術的特徴は、矛盾することなく、任意の適切な方法で組み合わせることができ、不必要な重複を避けるために、本明細書では、様々な可能な組み合わせ方法については、これ以上説明しない。別の例として、本発明の様々な異なる実施形態の間で任意の組合せが可能であり、本発明の思想に反しない限り、本発明によって開示されたものと同様にみなされる。

【0099】

なお、本明細書の様々な方法の実施形態において、上述したプロセスのシーケンス番号の大きさは、実行順序の順序を意味するものではなく、各プロセスの実行順序は、その機能及び内在する論理によって決定されるべきであり、本明細書の実施形態の実施プロセスを限定するものではない。また、本発明の実施形態において、「及び／又は」という用語は、係り先を記述する係り受け関係のみであり、３種類の関係が存在し得ることを意味する。具体的に、「Ａ及び／又はＢ」は、Ａのみが存在すること、ＡとＢ両方が存在すること、Ｂのみが存在することという３つの場合を表すことができる。なお、本明細書では、記号「／」は、一般に前後の係り先が「又は」の関係であることを意味する。

【0100】

以上は本発明の実施例に係る方法を説明したが、以下は本発明の実施例に係る装置を説明する。

【0101】

図９は、本発明の実施例に係る近似値に基づいて画像又はビデオの品質を評価する装置３００の概略的なブロック図である。

【0102】

取得部３１０は、評価すべきビデオ又は評価すべき画像を含む評価すべきサンプルを取得する。

【0103】

計算部３２０は、評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて評価すべきサンプルの主観真理値に近似する第１の近似値を計算する。

【0104】

ここで、第１のモデルは、オフラインの第２のモデルに基づいて得られたモデルであり、第２のモデルは、ｋ個の訓練サンプル及びｋ個の訓練サンプルの主観真理値を訓練セットとして得られたモデルであり、ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得され、第１のモデルは、第２のモデルを用いて取得されたｋ個の訓練サンプルの近似値を参照として、ｋ個の訓練サンプルのパラメータをフィッティングして得られたモデルであり、ｋは正の整数である。

【0105】

評価部３３０は、第１の近似値に基づいて、評価すべきビデオ又は評価すべき画像の品質を評価する。

【0106】

幾つかの態様では、評価すべきサンプルのパラメータは、ネットワークモジュールのフィードバックパラメータ、クラウドゲームモジュールの設定パラメータ、及び符号化／復号モジュールの計算パラメータのうちの少なくとも１つを含む。

【0107】

幾つかの態様では、計算部３２０が評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて評価すべきサンプルの主観真理値に近似する第１の近似値を計算する前に、評価部３３０は、ｋ個の訓練サンプルのパラメータに基づいて、第１のモデルを用いてｋ個の訓練サンプルの近似値を計算し、第２のモデルを用いて取得されたｋ個の訓練サンプルの近似値及び第１のモデルを用いて算出されたｋ個の訓練サンプルの近似値に基づいて、第１のモデルを評価し、ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、第１のモデルを用いて算出された近似値と第２のモデルを用いて取得された近似値との差が第１の所定の閾値以下である場合、第１のモデルの評価結果が正であると決定し、そうでない場合、第１のモデルの評価結果が負であると決定する。

【0108】

幾つかの態様では、計算部３２０が評価すべきサンプルのパラメータに基づいて、オンラインの第１のモデルを用いて評価すべきサンプルの主観真理値に近似する第１の近似値を計算する前に、評価部３３０は、ｋ個の訓練サンプルの主観真理値及び第１のモデルを用いて算出されたｋ個の訓練サンプルの近似値に基づいて、第１のモデルを評価し、ｋ個の訓練サンプルのうちのそれぞれの訓練サンプルについて、第１のモデルを用いて算出された近似値と主観真理値との差が第２の所定の閾値以下である場合、第１のモデルの評価結果が正であると決定し、そうでない場合、第１のモデルの評価結果が負であると決定する。

【0109】

幾つかの態様では、評価部３３０は、第１のモデルの評価結果が正である場合、第１のモデルをサービスシステムに統合し、第１のモデルの評価結果が負である場合、第１のモデルの評価結果が正になるまで、第１のモデルを再度フィッティングする。

【0110】

幾つかの態様では、評価部３３０は、統計モジュールにより第１の近似値を第２のモデルに報告し、第２のモデルを用いて評価すべきサンプルの第２の近似値を取得し、第１の近似値と第２の近似値との差が第３の所定の閾値よりも大きい場合、評価すべきサンプルのパラメータ及び第２の近似値を用いて第１のモデルを最適化し、第１の近似値と第２の近似値との差が第３の所定の閾値以下である場合、第１のモデルを最適化する必要がないと決定する。

【0111】

幾つかの態様では、評価部３３０が第１の近似値及び前記第２の近似値に基づいて第１のモデルを最適化するか否かを決定する前に、評価部３３０は、評価すべきサンプルの主観真理値を取得し、第２の近似値と評価すべきサンプルの主観真理値との差が第４の所定の閾値よりも大きい場合、評価すべきサンプル及び評価すべきサンプルの主観真理値を用いて第２のモデルを最適化する。

【0112】

幾つかの態様では、第１のモデルは、複数のシナリオのそれぞれに対応する第１のサブモデルを含み、複数のシナリオは、評価すべきサンプルが所在する第１のシナリオを含む。計算部３２０は、第１のシナリオに対応する第１のサブモデルを決定し、評価すべきサンプルのパラメータに基づいて、第１のシナリオに対応する第１のサブモデルを用いて、第１の近似値を計算する。

【0113】

幾つかの態様では、複数のシナリオは、評価すべきビデオ又は評価すべき画像を再生するための装置のタイプを含む。

【0114】

幾つかの態様では、第１のモデルは、半参照モデル又は非参照モデルであり、第２のモデルは、完全参照モデル又は非参照モデルであり、半参照モデルは、圧縮前の画像フレームにおける一部のパラメータ及び圧縮後の画像フレームを参照して得られたモデルであり、非参照モデルは、圧縮後の画像フレームのみを参照して得られたモデルであり、完全参照モデルは、圧縮前の画像フレーム及び圧縮後の画像フレームを参照して得られたモデルである。

【0115】

図１０は、本発明の実施例に係る第１のモデルの訓練装置４００の概略的なブロック図である。

【0116】

図１０に示すように、装置４００は、以下の各部を含んでもよい。

【0117】

第１の取得部４１０は、ｋ個の訓練サンプルを取得する。該ｋ個の訓練サンプルの主観真理値は、主観的な採点の方式で取得される。

【0118】

第１の訓練部４２０は、ｋ個の訓練サンプル及びｋ個の訓練サンプルの主観真理値を訓練セットとして、第２のモデルを取得する。

【0119】

第２の取得部４３０は、ｋ個の訓練サンプルを入力として、第２のモデルを用いてｋ個の訓練サンプルの主観真理値に近似する近似値を取得する。

【0120】

第２の訓練部４４０は、ｋ個の訓練サンプルの近似値を参照として、ｋ個の訓練サンプルのパラメータをフィッティングして第１のモデルを取得する。

【0121】

なお、装置の実施例と方法の実施例は互いに対応することができ、同様の説明は方法の実施例を参照することができる。重複を避けるため、ここではその説明を省略する。具体的には、装置３００は、本発明の実施例の方法１００を実行する主体に対応することができ、装置３００の各ユニットは、それぞれ、方法１００の対応するフローを実現するために、同様に、装置４００は、本発明の実施例の方法２００を実行する対応する主体に対応することができ、装置４００のユニットは、方法２００のフローを実現するために使用することができる。簡潔化のために本明細書ではその説明を省略する。

【0122】

なお、本発明の実施形態に係るビデオ処理装置の各ユニットは、それぞれ、又は、全てが１つ又は複数の追加のユニットに統合されて構成されてもよく、或いは、これらのユニットのうちの１つが、機能的により小さな複数のユニットに再分割されて構成されてもよく、これは、本発明の実施例の技術的効果の実現に影響を及ぼすことなく、同様の動作を実現することができる。上記のユニットは論理的な機能に基づいて分割されており、実用上は、１つのユニットの機能を複数のユニットで実現してもよいし、複数のユニットの機能を１つのユニットで実現してもよい。本発明の他の実施形態では、装置３００又は装置４００は、他のユニットを備えていてもよく、実際には、これらの機能は、他のユニットによって支援されてもよく、複数のユニットによって協働して実現されてもよい。本発明の別の実施形態によれば、本発明の実施例に係る装置３００又は装置４００は、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み取り専用記憶媒体（ＲＯＭ）などの処理要素及び記憶要素を含む汎用コンピュータを含む汎用コンピュータ機器で、それぞれの方法に係るステップを実行可能なコンピュータプログラム（プログラムコードを含める）を実行することによって構築され、近似値に基づいて画像ビデオ品質を評価する本発明の実施例に係る方法又は第１のモデルの訓練方法を実施することができる。コンピュータプログラムは、例えば、コンピュータ読み取り可能な記憶媒体に記録され、コンピュータ読み取り可能な記憶媒体を介して電子機器にロードされ、そこで実行されることによって、本発明の実施例の対応する方法を実施することができる。

【0123】

言い換えれば、上述したユニットは、ハードウェアで実装されてもよいし、ソフトウェアで実装された命令で実装されてもよいし、ソフトウェアとハードウェアの組み合わせで実装されてもよい。特に、本発明の実施例における方法の態様のステップは、プロセッサ内のハードウェアの統合された論理回路及び／又はソフトウェアの形態の命令によって実行されてもよく、本発明の実施例に関連して開示される方法のステップは、ハードウェアコーディング処理装置によって実行され、或いはコーディング処理装置内のハードウェア及びソフトウェアの組み合わせによって実行されるかの何れかとして直接具現化されてもよい。好ましくは、ソフトウェアは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に書き換え可能なプログラマブルメモリ、レジスタなどの当該技術分野の成熟した記憶媒体中に存在してもよい。該記憶媒体はメモリに位置し、プロセッサはメモリ中の情報を読み取り、そのハードウェアと結合して該方法の実施例のステップを完成する。

【0124】

図１１は、本発明の実施例に係る電子機器５００の概略的なブロック図である。

【0125】

図１１に示すように、電子機器５００は、少なくとも、プロセッサ５１０と、コンピュータ読み取り可能な記憶媒体５２０とを含む。プロセッサ５１０及びコンピュータ読み取り可能な記憶媒体５２０は、バス又は他の手段によって接続されてもよい。コンピュータ読み取り可能な記憶媒体５２０は、コンピュータ命令を含むコンピュータプログラム５２１を記憶するために使用され、プロセッサ５１０は、コンピュータ読み取り可能な記憶媒体５２０に記憶されたコンピュータ命令を実行する。プロセッサ５１０は、電子機器５００の計算コア及び制御コアであり、１つ又は複数のコンピュータ命令を実行することができ、具体的には、対応する方法プロセス又は対応する機能を実現するように、１つ又は複数のコンピュータ命令をロードして実行することができる。

【0126】

一例として、プロセッサ５１０は、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）と称されてもよい。プロセッサ５１０は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）又は他のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、個別ハードウェア構成要素などを含むことができるが、これらに限定されない。

【0127】

一例として、コンピュータ読み取り可能な記憶媒体５２０は、高速ＲＡＭメモリであってもよく、又は少なくとも１つの磁気ディスクメモリのような非不安定なメモリ（Ｎｏｎ－ＶｏｌａｔｉｌｅＭｅｍｏｒｙ）であってもよい。好ましくは、プロセッサ５１０から離れて位置する少なくとも１つのコンピュータ読み取り可能な記憶媒体であってもよい。具体的には、コンピュータ読み取り可能な記憶媒体５２０は、揮発性メモリ及び／又は不揮発性メモリを含むが、これらに限定されない。ここで、不揮発性メモリは、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、プログラマブル読み出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ：ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ ＰＲＯＭ：ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ：ＥＥＰＲＯＭ）、又はフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）であってもよい。限定するものではないが、一例として、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ：ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ ＲＡＭ：ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ：ＳＤＲＡＭ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ：ＤＤＲ ＳＤＲＡＭ）、拡張同期ダイナミックランダムアクセスメモリ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ：ＥＳＤＲＡＭ）、同期接続型ダイナミックランダムアクセスメモリ（ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ：ＳＬＤＲＡＭ）、及びダイレクトメモリバスランダムアクセスメモリ（Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ：ＤＲ ＲＡＭ）などの多くの形式のＲＡＭが利用可能である。

【0128】

１つの実施形態では、電子機器５００は、図９に示す近似値に基づいて画像又はビデオの品質を評価する装置３００であってもよい。このコンピュータ読み取り可能な記憶媒体５２０には、コンピュータ命令が記憶されている。図３に示す方法の実施例における対応するステップを実行するために、コンピュータ読み取り可能な記憶媒体５２０に格納されたコンピュータ命令がプロセッサ５１０によってロードされて実行される。具体的な実施形態では、コンピュータ読み取り可能な記憶媒体５２０内のコンピュータ命令は、プロセッサ５１０によってロードされ、対応するステップを実行するが、重複を避けるために、ここでその説明を省略する。

【0129】

１つの実施形態では、電子機器５００は、図１０に示す第１のモデルの訓練装置４００であってもよい。このコンピュータ読み取り可能な記憶媒体５２０には、コンピュータ命令が記憶されている。図８に示す方法の実施例における対応するステップを実行するために、コンピュータ読み取り可能な記憶媒体５２０に格納されたコンピュータ命令がプロセッサ５１０によってロードされて実行される。具体的な実施形態では、コンピュータ読み取り可能な記憶媒体５２０内のコンピュータ命令は、プロセッサ５１０によってロードされ、対応するステップを実行するが、重複を避けるために、ここでその説明を省略する。

【0130】

本発明の別の実施形態では、本発明の実施例はまた、プログラム及びデータを格納するための電子機器５００内の記憶装置であるコンピュータ読み取り可能な記憶媒体（Ｍｅｍｏｒｙ）を提供する。例えば、コンピュータ読み取り可能な記憶媒体５２０が挙げられる。なお、本明細書のコンピュータ読み取り可能な記憶媒体５２０は、電子機器５００内の内蔵の記憶媒体を含んでもよいが、電子機器５００によってサポートされる拡張記憶媒体も含んでもよい。コンピュータ読み取り可能な記憶媒体は、電子機器５００のオペレーティングシステムを格納する記憶領域を提供する。さらに、記憶空間には、プロセッサ５１０によってロードされて実行されるように構成された１つ又は複数のコンピュータ命令が格納され、これらのコンピュータ命令は、１つ又は複数のコンピュータプログラム５２１（プログラムコードを含む）であってもよい。

【0131】

本発明の別の実施形態では、コンピュータ読み取り可能な記憶媒体に記憶されるコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムが提供される。例えば、コンピュータプログラム５２１が挙げられる。この場合、電子機器５００は、プロセッサ５１０がコンピュータ読み取り可能な記憶媒体５２０からコンピュータ命令を読み取り、プロセッサ５１０がコンピュータ命令を実行して、上述の様々な好ましい態様に係る近似値に基づいて画像又はビデオの品質を評価する方法又は第１のモデルの訓練方法をコンピュータに実行させてもよい。

【0132】

言い換えれば、ソフトウェアを使用して実装される場合、コンピュータプログラム製品の形で全体的又は部分的に実装することができる。該コンピュータプログラム製品は１つ又は複数のコンピュータ命令を含む。コンピュータでコンピュータプログラム命令がロードされ実行されると、本発明の実施例のプロセスが全体的又は部分的に実行され、又は本発明の実施例の機能が実現される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、又は、１つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に転送されてもよく、例えば、コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、又はデータセンタから、有線（同軸ケーブル、光ファイバ、デジタル加入者線など（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ：ＤＳＬ））又は無線（例えば赤外線、無線、マイクロ波など）を介して、別のウェブサイト、コンピュータ、サーバ、又はデータセンタに転送されてもよい。

【0133】

当業者であれば、本明細書に開示された実施形態に関連して説明された様々な例の要素及びプロセスのステップは、電子ハードウェア、又はコンピュータソフトウェア及び電子ハードウェアの組み合わせで実装され得ることを認識するであろう。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、特定のアプリケーションや設計上の制約によって異なる。当業者は、記載された機能を実現するために、特定のアプリケーションごとに異なる方法を使用することができるが、そのような実現は、本発明の範囲を超えるものとみなされるべきではない。

【0134】

最後に、上記は、本発明の特定の実施形態のみであるが、本発明の範囲はこれに限定されるものではなく、当業者であれば、本発明によって開示された技術的範囲内で容易に変更又は置換を思いつくことができる限り、本発明の範囲内に含まれることが意図される。従って、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】