特許 7191492 相補的知覚品質モデルに基づいて知覚映像品質を予測するための手法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-09

(45)【発行日】2022-12-19

(54)【発明の名称】相補的知覚品質モデルに基づいて知覚映像品質を予測するための手法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221212BHJP

【ＦＩ】

G06T7/00 Q

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2020541479

(86)(22)【出願日】2019-02-07

(65)【公表番号】

(43)【公表日】2021-05-20

(86)【国際出願番号】 US2019017134

(87)【国際公開番号】W WO2019157235

(87)【国際公開日】2019-08-15

【審査請求日】2021-04-09

(31)【優先権主張番号】15/890,710

(32)【優先日】2018-02-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】506267178

【氏名又は名称】ネットフリックス・インコーポレイテッド

【氏名又は名称原語表記】ＮＥＴＦＬＩＸ， ＩＮＣ．

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100123652

【弁理士】

【氏名又は名称】坂野 博行

(74)【代理人】

【識別番号】100175042

【弁理士】

【氏名又は名称】高橋 秀明

(72)【発明者】

【氏名】リー，ジー

(72)【発明者】

【氏名】バンピス，クリストス

【審査官】小池 正彦

(56)【参考文献】

【文献】Aladine Chetouani et al，A universal Full Reference image Quality Metric based on a neural fusion approach，2010 IEEE International Conference on Image Processing，米国，IEEE，2010年09月29日，2517-2520，https://ieeexplore.ieee.org/document/5652855

【文献】杉本 修 他3名，マルチメディアアプリケーションにおける知覚映像品質の客観評価方式，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2010年12月01日，2620-2632

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ実行方法であって、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を含み、
前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含むコンピュータ実行方法。

【請求項2】

前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記全体品質評点を算出するステップは、
前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、
１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップと
を含む、請求項１記載のコンピュータ実行方法。

【請求項3】

前記第１総計品質評点を算出するステップは、前記第１品質評点及び前記第２品質評点の平均又は加重平均を計算するステップを含む、請求項２記載のコンピュータ実行方法。

【請求項4】

前記第１総計品質評点を算出するステップは、第２機械学習アルゴリズムにより生成される第３モデルに基づいて前記第１品質評点及び前記第２品質評点を前記第１総計品質評点と関連付けるステップを含む、請求項２記載のコンピュータ実行方法。

【請求項5】

前記第１組の特徴は、１つの時間的特徴と１つの空間的特徴とを含む、請求項１記載のコンピュータ実行方法。

【請求項6】

前記空間的特徴は、付加欠陥計測特徴、ブラインド又は基準なし画像空間的品質評価器特徴、及び視覚情報忠実度特徴のうち少なくとも１つを含む、請求項５記載のコンピュータ実行方法。

【請求項7】

前記第１モデルを前記第１機械学習アルゴリズム及び複数の主観的評点に基づいて生成するステップを更に含み、前記複数の主観的評点に含まれる各主観的評点は異なる復元試験映像内容と関連する、請求項１記載のコンピュータ実行方法。

【請求項8】

前記第２モデルを前記複数の主観的評点に基づいて生成するステップを更に含む請求項７記載のコンピュータ実行方法。

【請求項9】

命令群を含むコンピュータ読取可能記憶媒体であって、プロセッサにより実行される時に前記命令群は前記プロセッサに、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記第１機械学習アルゴリズム又は第２機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を実行させ、
前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、コンピュータ読取可能記憶媒体。

【請求項10】

命令群を記憶するメモリと、
前記メモリに結合されたプロセッサと
を備えたシステムであって、前記プロセッサは前記命令群を実行する時、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは複数の主観的評点に基づいて生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記複数の主観的評点に基づいて生成される、ステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を実行するように構成され、
前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、システム。

【発明の詳細な説明】

【関連出願】

【0001】

本出願は、２０１８年２月７日に出願された米国特許出願第１５／８９０７１０号の優先権の利益を主張するものであり、この特許出願を本明細書に引用する。

【技術分野】

【0002】

本発明の実施形態は概ね、映像技術より具体的には相補的知覚品質モデルに基づいて知覚映像品質を予測するための手法に関する。

【背景技術】

【0003】

ソース映像内容を効率良く正確に符号化することは高品質映像内容をリアルタイム配信のために極めて重要である。符号化された映像内容品質の変動のために、符号化されたソース映像内容から復号された復元映像内容の視覚品質が許容できることを保証するために品質制御を行うことが望ましい。復元映像内容の視覚品質を人手で検査することは途方もなく時間がかかる。従って、自動化された映像内容品質評価はしばしば符号化及び配信基盤の必須の要素である。例えば、自動化された映像品質評価は、符号器及び微調整配信ビットレートを評価する時に使用され配信される映像内容を最適化できる。

【0004】

復元映像内容の品質を自動的に評価する幾つかの手法は、視覚品質の人による評価に基づいて訓練される知覚品質モデルに基づいて品質評点を計算することを含む。通常、知覚品質モデルは復元映像内容の特徴の値を異なる品質評点と関連付ける。知覚品質モデルにより復元映像内容の品質を予測することの限界は、知覚品質モデルは通常確実さを欠くことである。例えば、知覚品質モデルに関連する特徴のどれもあるタイプの歪みを反映しない場合、知覚品質モデルはそのような歪みを含む復元映像内容の品質の人による知覚を正確に予測できない。

【0005】

特に、知覚品質モデルは、公有ＬＩＶＥ映像品質データベースに含まれる復元映像内容の知覚される視覚品質を通常確実には予測できない。ＬＩＶＥ映像品質データベースに関する知覚品質モデルの不全の分析は、知覚品質モデルに関連する特徴のどれも多くのタイプの複雑な時間的映像歪みに起因する知覚される品質劣化を正確にはモデル化しないことを示す。複雑な時間的映像歪みの例は、限定されないが、動き推定不適合、ちらつき、及び多重画像である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のように、当分野で必要なものは、復元映像内容の知覚品質を予測するためのより効果的な手法である。

【課題を解決するための手段】

【0007】

本発明の１つの実施形態は、復元映像内容の知覚映像品質を予測するためのコンピュータ実行方法を明らかにする。この方法は復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップと、前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップとを含む。

【0008】

知覚映像品質を予測するための開示された手法の少なくとも１つの利点は、全体品質評点は様々な復元映像内容に亘って知覚映像品質を正確に予測するということである。特に、従来技術に対する少なくとも１つの技術的改善は、開示された手法は異なる組の特徴に関連する異なる知覚品質モデルにより得られた品質評点を総計して全体品質評点を算出することである。特徴は知覚品質モデル間で分配されるので、開示された手法は特徴の総数を増加させることが過剰適合に起因する不正確さを引き起こす可能性を減少させる。

【図面の簡単な説明】

【0009】

本発明の上記の特徴が詳細に理解されうるために、一部が添付の図面に例示された複数の実施形態を参照することで、上記に簡潔に要約された本発明のより明確な説明を得られるかもしれない。しかし、添付の図面は本発明の典型的な実施形態のみを例示し、従って、本発明の範囲を限定すると考えられるべきではないことは留意されるべきである、本発明は他の同様に効果的な実施形態を認めているのだから。

【図1】本発明の１つ以上の態様を実施するように構成されたシステムの概念図である。

【図2】本発明の様々な実施形態に係る図１の時間抽出器のより詳細な図である。

【図3】本発明の様々な実施形態に係る復元映像内容の品質評点を計算するための方法ステップのフロー図である。

【図4】本発明の１つ以上の態様を実施するように構成された集合システムの概念図である。

【図5】本発明の様々な実施形態に係る２つの異なる組の特徴に基づいて復元映像内容の全体品質評点を計算するための方法ステップのフロー図である。

【発明を実施するための形態】

【0010】

以下の説明において、本発明のより完全な理解を提供するために多数の具体的詳細が明らかにされる。しかし、これらの具体的詳細の１つ以上を欠いて本発明を実施してもよいことは当業者には明白であろう。

【0011】

開示された手法は、特徴の値を品質評点と関連付ける知覚品質モデルにより復元映像内容の品質評点を効率的にかつ確実に予測する。特に、知覚品質モデルは複数の時間的特徴と関連し、各時間的特徴は異なる縮尺と関連する。動作時、時間抽出器は特定の時間的特徴のフレーム当たりの値を復元映像内容、関連する映像内容、及びその時間的特徴に関連する縮尺に基づいて計算する。特定のフレームについて、時間抽出器はそのフレームと隣接フレーム間の輝度の差を明示するフレーム差マトリックスを計算する。次に時間抽出器はフレーム差マトリックスを縮尺に基づいてダウンサンプリングし、縮減されたフレーム差マトリックスを生成する。次に時間抽出器は縮減フレーム差マトリックスに時間フィルタリング操作及び局所平均減算操作を実行して局所平均減算されたマトリックスを計算する。次に時間抽出器は縮減フレーム差マトリックスに調整操作を実行して復元映像内容のそのフレームに関連する第１重み付きエントロピーマトリックスを生成する。

【0012】

同様に、時間抽出器は映像内容及び縮尺に基づいて第２重み付きエントロピーマトリックスを得る。時間抽出器は第１重み付きエントロピーマトリックスと第２重み付きエントロピーマトリックスの間の減算操作を実行してエントロピー差マトリックスを計算する。最後に、時間抽出器はエントロピー差マトリックスに空間プーリング操作を実行して復元映像内容のフレームの時間的特徴の単一値を生成する。エントロピー差マトリックスを複数の縮尺で計算することは人の視覚システムがどのように視覚情報を処理するかの面を模倣するので、知覚品質モデルは多くのタイプの複雑な時間的映像歪みに起因する知覚される品質劣化を正確にモデル化する。

【0013】

幾つかの実施形態では、集合予測エンジンは復元映像内容の集合品質評点を２つの知覚品質モデルに基づいて計算する。各知覚品質モデルは異なる組の特徴の値を異なる品質評点と関連付ける。集合予測エンジンは２つの知覚品質モデルにより得られた品質評点を合成して集合品質評点を得る。有利にも、２つの予測品質モデル間で特徴を分配することは、特徴の総数の増加が過剰適合に起因する不正確さをもたらす可能性を減少させる。

【0014】

システム概要
図１は本発明の１つ以上の態様を実施するように構成されたシステム１００の概念図である。図示のように、システム１００は、限定されないが、任意の数の計算インスタンス１１０、訓練データベース１２０、客観的データベース１５０、主観的データベース１８２、及びターゲット特徴データベース１７０を含む。説明の目的のために、類似の対象物の複数のインスタンスが対象物を特定する符号と必要な場合、インスタンスを特定する括弧付き数字とで示される。様々な実施形態では、システム１００の全構成要素が任意の数、複数の地理的位置に亘って分散されるか又は任意の組合せで１つ以上のクラウド計算環境（即ち、閉じた共有資源、ソフトウェア、データなど）に含まれている。

【0015】

図示のように、各計算インスタンス１１０は、限定されないが、プロセッサ１１２及びメモリ１１６を含む。プロセッサ１１２は命令群を実行できる任意の命令実行システム、装置、又はデバイスであってもよい。例えば、プロセッサ１１２は中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、状態マシン、又はそれらの任意の組合せから成りうる。メモリ１１６は計算インスタンス１１０のプロセッサ１１２による使用のためにソフトウェア・アプリケーション及びデータなどのコンテンツを記憶する。

【0016】

メモリ１１６は、１つ以上の容易に入手可能なメモリ、例えばランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フロッピー（登録商標）ディスク、ハードディスク、又は任意の他の形態のデジタル記憶装置、局所又は遠隔の、であってもよい。幾つかの実施形態では、記憶装置（不図示）がメモリ１１６を補っても又は置き換えてもよい。その記憶装置は、プロセッサ１１２にとってアクセス可能な任意の数及び種類の外部メモリを含んでもよい。例えば、その記憶装置は、限定されないが、セキュア・デジタル・カード、外部フラッシュメモリ、携帯コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はそれらの任意の適切な組合せを含んでもよい。

【0017】

通常、計算インスタンス１１０は１つ以上のアプリケーションを実行するように構成される。説明の目的だけのために、各アプリケーションは、単一の計算インスタンス１１０のメモリ１１６に存在しその単一の計算インスタンス１１０のプロセッサ１１２上で動作するとして描かれている。しかし、当業者は認識するように、各アプリケーションの機能は、任意の数の計算インスタンス１１０のメモリ１１６に存在する任意の数の他のアプリケーションに亘って分散され、任意の組合せで任意の数の計算インスタンス１１０のプロセッサ１１２上で動作してもよい。また、任意の数のアプリケーションの機能は単一のアプリケーション又はサブシステムに統合されてもよい。

【0018】

特に、計算インスタンス１１０は復元映像内容のための自動映像内容品質評価を提供するように構成されている。映像内容品質評価は符号化及び配信基盤に関連する品質制御を実行するために使用されてもよい。例えば、許容できる見る体験を保証するために、復元映像内容の品質及び、間接的に、符号化及び配信基盤に含まれる構成要素の能力が通常、設計及び配信プロセスの様々な時点で視覚品質評点に基づいて評価される。次に視覚品質評点はアプリケーション（例えば、符号器）及びコンテンツ配信のリアルタイム最適化、例えば品質を認識するストリーム切替えアルゴリズムの開発を導くために使用される。

【0019】

図示のように、訓練特徴エンジン１３０、訓練エンジン１８０、予測エンジン１９２、特徴抽出器１４０の１つのインスタンス、及び時間プーリングエンジン１９４がメモリ１１６内に存在し、異なる計算インスタンス１１０のプロセッサ１１２上で実行される。他の実施形態では、訓練特徴エンジン１３０、訓練エンジン１８０、特徴抽出器１４０、予測エンジン１９２、時間プーリングエンジン１９４、訓練特徴エンジン１３０、及び訓練エンジン１８０の任意の数のインスタンスが、任意の数及び種類のメモリに存在し、任意の組合せで任意の数及び種類の処理装置上で実行されてもよい。

【0020】

破線で描かれた学習段階の間、訓練特徴エンジン１３０及び訓練エンジン１８０は共同し知覚品質モデル１９０を生成する。復元映像内容に対して、知覚品質モデル１９０は１組の特徴の１組の値を、復元映像内容を見た時の主観的人視覚体験と相互に関係する品質評点１８４と関連付ける。

【0021】

動作時、訓練特徴エンジン１３０は訓練データベース１２０を取得し客観的データベース１５０を生成する。訓練データベース１２０は、限定されないが、任意の数のソース１２２と任意の数の復元されたソース１２４とを含む。各ソース１２２は、限定されないが、任意の量及び種類の映像内容を含む。映像内容の例は、限定されないが、幾つか挙げると長編映画の任意の部分（全部も含む）、テレビプログラムの一話、及び音楽ビデオを含む。各復元ソース１２４は、限定されないが、１つのソース１２２に含まれる映像内容から得られる復元映像内容を含む。

【0022】

一般的事柄として、各復元ソース１２４は見る人に配信基盤及び表示装置を介して伝えられる関連するソース１２２に含まれる映像内容を複製する。復元ソース１２４を任意の数の符号化パラメータに基づいて任意の技術的に可能なやり方でソース１２２から得てもよい。例えば、幾つかの実施形態では、３つの異なる復元ソース１２４が各ソース１２２から得られる。符号化パラメータの３つの異なる組のそれぞれについて、符号化エンジン（図１に不図示）はソース１２２（ｘ）を独立に符号化する。３つの結果の符号化されたソースのそれぞれについて、復号エンジン（図１に不図示）は符号化されたソースを独立に復号してソース１２２（ｘ）から得た復元ソース１２４の１つを生成する。

【0023】

図示のように、訓練特徴エンジン１３０は、限定されないが、特徴抽出器１４０を含む。特徴抽出器１４０は特徴の値を計算する。各特徴は空間的映像歪みを測る「空間的特徴」か又は時間的視覚歪みを測る「時間的特徴」である。空間的映像歪みの例は、限定されないが、圧縮アーティファクト、拡大縮小アーティファクト、及びフィルム粒子ノイズである。時間的映像歪みの例は、限定されないが、動き推定不適合、ちらつき、及び多重画像である。

【0024】

特徴抽出器１４０は、限定されないが、空間抽出器１４８及び時間抽出器１４６を含む。各復元ソース１２４（ｘ）及び各空間的特徴について、空間抽出器１４８は復元ソース１２４（ｘ）及び随意に復元ソース１２４（ｘ）に関連するソース１２２に基づいて空間配列１７２（ｘ）を計算する。空間配列１７２（ｘ）は、限定されないが、復元ソース１２４（ｘ）に含まれる各フレームの異なるフレーム値を含む。

【0025】

同様に、各復元ソース１２４（ｘ）及び各時間的特徴について、時間抽出器１４６は復元ソース１２４（ｘ）及び復元ソース１２４（ｘ）に関連するソース１２２に基づいて時間配列１７４（ｘ）を計算する。時間配列１７４（ｘ）は、限定されないが、復元ソース１２４（ｘ）に含まれる各フレームの異なるフレームペア値を含む。本書で呼ばれるように、「フレームペア」は２つの連続したフレームから成り、フレームペア値は２つの連続したフレームの１番目と関連する。他の実施形態では、特徴抽出器１４０は特定の復元ソース１２４の特定の特徴に対して任意の数の値を任意の技術的に可能なやり方で計算してもよい。

【0026】

各空間的特徴及び各復元ソース１２４（ｘ）について、訓練特徴エンジン１３０はその空間的特徴に関連する空間配列１７２（ｘ）に時間プーリング操作を実行して、復元ソース１２４（ｘ）の特徴の空間値１６２を算出する。訓練特徴エンジン１３０は任意の量及び種類の時間プーリング操作を任意の技術的に可能なやり方で実行してもよい。例えば、幾つかの実施形態では、訓練特徴エンジン１３０は復元ソース１２４（ｘ）の特定の空間的特徴の空間値１６２をその特徴と関連する空間配列１７２（ｘ）に含まれるフレーム値の平均に等しく設定できる。同様に、各時間的特徴及び各復元ソース１２４（ｘ）について、訓練特徴エンジン１３０は復元ソース１２４（ｘ）の特定の時間的特徴の時間値１６４をその特徴と関連する時間配列１７４（ｘ）に含まれるフレームペア値の平均に等しく設定できる。

【0027】

各復元ソース１２４について、訓練特徴エンジン１３０は、限定されないが復元ソース１２４のそれら特徴の空間値１６２及び時間値１６４を含む訓練特徴データベース１５２を生成する。訓練特徴エンジン１３０は次に、限定されないが訓練特徴データベース１５２を含む客観的データベース１５０を生成する。結果として、訓練データベース１２０はＮ個の復元ソース１２４を含む場合、客観的データベース１５０はＮ個の訓練特徴データベース１５２を含む。また、特徴抽出器１４０がＳ個の空間的特徴のＳ個の空間配列１７２とＴ個の時間的特徴のＴ個の時間配列１７４とを計算する場合、各訓練特徴データベース１５２はＳ個の空間値１６２及びＴ個の時間値１６４を含む。

【0028】

訓練エンジン１８０は知覚品質モデル１９０を客観的データベース１５０及び主観的データベース１８２に基づいて生成する。主観的データベース１８２は、限定されないが、各復元ソース１２４の品質評点１８４を含む。復元ソース１２４（ｘ）の品質評点１８４（ｘ）は復元ソース１２４（ｘ）の人による観察に基づいて生成される。より具体的には、観察者は表示装置上の復元ソース１２４（ｘ）を注視しながら、視覚品質を個人的に評価し個人的評点を付ける。次に個人的評点は総計され品質評点１８４（ｘ）を生成する。

【0029】

訓練エンジン１８０は任意の数及び種類の機械学習アルゴリズムを任意の技術的に可能なやり方で実行して知覚品質モデル１９０を客観的データベース１５０及び主観的データベース１８２に基づいて生成する。機械学習アルゴリズムの例は、限定されないが、幾つか挙げると、サポートベクトル機械アルゴリズム、人工神経ネットワークアルゴリズム、及びランダムフォレストアルゴリズムを含む。通常、復元ソース１２４（ｘ）毎に、知覚品質モデル１９０は客観的データベース１５０（ｘ）に含まれた空間値１６２及び時間値１６４と主観的データベース１８２に含まれた品質評点１８４（ｘ）との関連に基づいて訓練される。他の実施形態では、訓練エンジン１８０は知覚品質モデル１９０を任意の技術的に可能な細かさのレベルで（例えば、特徴のフレーム値をフレーム品質評点と関連付けることに基づいて）訓練してもよい。

【0030】

特に、訓練エンジン１８０が知覚品質モデル１９０を訓練する細かさに拘らず、知覚品質モデル１９０は１組の特徴の任意の特定の細かさの１組の値を同じ細かさの１つの評点と関連付ける。より正確には、知覚品質モデル１９０は１組のＳ個の空間的特徴の１組のＳ個の値及び１組のＴ個の時間特徴の１組のＴ個の値を関連し知覚される視覚品質を予測する１つの評点と関連付ける。例えば、知覚品質モデル１９０は第１フレームの空間的特徴の１組のＳ個のフレーム値及び第１フレームの時間特徴の１組のＴ個のフレームペア値を第１フレームの知覚される視覚品質を表すフレーム評点と関連付ける。

【0031】

実線で描かれた予測段階の間、特徴抽出器１４０、予測エンジン１９２、及び時間プーリングエンジン１９４は共同し復元されたターゲット１４４の品質評点１８４を知覚品質モデル１９０、復元されたターゲット１４４、及びターゲット１４２に基づいて予測する。特徴抽出器１４０、予測エンジン１９２、及び時間プーリングエンジン１９４は本書で「予測アプリケーション」と総称される。復元ターゲット１４４は、限定されないが、ターゲット１４２に含まれる映像内容から得られる復元映像内容を含む。ターゲット１４２は、限定されないが、任意の量及び種類の映像内容を含む。

【0032】

復元ターゲット１４４は、見る人に配信基盤及び表示装置を介して伝えられる関連ソース１２２に含まれた映像内容を複製する。復元ターゲット１４４は任意の技術的に可能なやり方で生成されてもよい。例えば、幾つかの実施形態では、符号器はターゲット１４２を一定速度符号化手順に基づいて符号化し符号化されたターゲットを生成する。次に、復号器はその符号化されたターゲットを復号して復元ターゲット１４４を生成する。

【0033】

知覚品質モデル１９０と関連する各空間的特徴について、空間抽出器１４８は空間配列１７２を復元ターゲット１４４及び随意にターゲット１４２に基づいて計算する。知覚品質モデル１９０に関連する各時間的特徴について、時間抽出器１４６は時間配列１７４を復元ターゲット１４４及びターゲット１４２に基づいて計算する。このようにして、復元ターゲット１４４に含まれた各フレームについて、特徴抽出器１４０は各空間的特徴の異なるフレーム値及び各時間的特徴の異なるフレームペア値を計算する。

【0034】

復元ターゲット１４４に含まれた各フレームについて、予測エンジン１９２はそのフレームと関連するフレーム値、そのフレームと関連するフレームペア値、及び知覚品質モデル１９０に基づいてフレーム評点を生成する。例えば、復元ターゲット１４４に含まれた第１フレームについて、予測エンジン１９２はそれらの特徴の第１組の値を空間配列１７２の第１要素及び時間配列１７４の第１要素に基づいて計算する。次に予測エンジン１９２は第１フレームのフレーム評点をそれらの特徴の第１組の値及び知覚品質モデル１９０に基づいて算出する。他の実施形態では、予測エンジン１９２は知覚される視覚品質の評点を任意のレベルの細かさでそれらの特徴の同じ細かさレベルの値及び知覚品質モデル１９０に基づいて計算してもよい。

【0035】

次に、時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４をフレーム評点の算術平均に基づいて算出する。より具体的には、時間プーリングエンジン１９４はフレーム評点の全てを合計しその合計をフレームの総数で割って品質評点１８４を計算する。従って、品質評点１８４は復元ターゲット１４４に含まれた全てのフレームに亘る平均視覚品質を表す。最後に時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４を配信映像内容の評価のために送信又は表示する。

【0036】

他の実施形態では、時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４をフレーム評点に基づいて任意の技術的に可能なやり方で算出してもよい。例えば、幾つかの実施形態では、時間プーリングエンジン１９４は人意見評点の比較的滑らかな分散によく似たヒステリシスプーリング操作を映像品質の変化に応答して実行してもよい。より正確には、時間プーリングエンジン１９４は線形ローパス操作及び非線形（順位）重み付け操作両方をフレーム評点に実行し復元ターゲット１４４の品質評点１８４を生成できる。

【0037】

幾つかの他の実施形態では、時間プーリングエンジン１９４は復元ターゲット１４４の単一品質評点１８４の代わりに復元ターゲット１４４の各チャンクの異なる品質評点１８４を算出する。ここで呼ばれるように、「チャンク」は場面に通常対応し、場面は、時空特性がほぼ一定の一連のフレームである。復元ターゲット１４４の特定のチャンクの品質評点１８４を計算するために、時間プーリングエンジン１９４はそのチャンクに含まれたフレームの小さい組のフレーム評点の算術平均を計算する。

【0038】

復元映像内容の品質を従来の知覚品質モデルにより予測することの１つの限界は、従来の知覚品質モデルは通常確実さを欠くことである。例えば、従来の知覚品質モデルに関連する特徴のどれもあるタイプの歪みを反映しない場合、従来の知覚品質モデルはこのような歪みを含む復元映像内容の品質の人知覚を正確に予測できない。

【0039】

従来の知覚品質モデルは通常複数の空間的特徴及び単一の時間的特徴と関連する。空間的特徴は、限定されないが、幾つか例を挙げると、任意の数の付加欠陥計測（ＡＤＭ）特徴、ブラインド又は基準なし画像空間的品質評価器特徴、及び視覚情報忠実度（ＶＩＦ）特徴を含んでよい。時間的特徴はフレーム差特徴である。特定のフレームペアについて、従来の時間抽出器はそれら２つのフレーム間の画素単位の輝度差を計算する。次に時間抽出器はフレーム差特徴のフレームペア値を画素単位の輝度差の平均に等しく設定する。

【0040】

しかし、公有ＬＩＶＥ映像品質データベースを使って実行されたベンチマーク試験により示されたように、フレーム差特徴は多くのタイプの複雑な時間的映像歪みに起因する知覚される品質劣化を正確に測ることはない。複雑な時間的映像歪みの例は、限定されないが、動き推定不適合、ちらつき、及び多重画像を含む。フレーム差特徴は複雑な時間的映像歪みの信頼できない尺度であるので、従来の知覚品質モデルは復元映像内容の知覚される視覚品質を確実には予想できない。

【0041】

正確な時間的特徴の実現
上記問題に対処するために、システム１００は人の視覚システムがどのように視覚情報を処理するかの面を模倣する複数の時間的特徴を確立する。例えば、図２と共に説明したように、人の視覚システムは視覚情報を複数の縮尺で処理するので、時間抽出器１４６は複数の時間的特徴のフレームペア値を計算する。ここで、各時間的特徴は異なる縮尺と関連する。他の実施形態では、時間抽出器１４６は任意の数の時間的特徴のフレームペア値を複数の縮尺が表されることを保証する任意の技術的に可能なやり方で計算してもよい。通常、時間抽出器１４６は知覚的に関連する複数の時間的特徴であって、複雑な時間的映像歪みに起因する知覚される品質劣化を一緒に正確に測る複数の時間的特徴のフレームペア値を計算する。

【0042】

本書に示したシステム１００は例示であり変形及び部分変更が可能であることは理解されるであろう。例えば、本書に説明した訓練特徴エンジン１３０、訓練エンジン１８０、特徴抽出器１４０、空間抽出器１４８、時間抽出器１４６、予測エンジン１９２、及び時間プーリングエンジン１９４により提供される機能は１つを含む任意の数のソフトウェア・アプリケーション及びシステム１００の任意の数の構成要素に統合されても又はに亘って分散されてもよい。また、図１内の様々なユニット間の接続形態は望むように変更されてもよい。

【0043】

図２は本発明の様々な実施形態に係る図１の時間抽出器１４６のより詳細な図である。図示のように、時間抽出器１４６は、限定されないが、フレーム比較エンジン２２０、ダウンサンプリングエンジン２４０、空間フィルタリングエンジン２５０、エントロピーエンジン２７０、エントロピー比較エンジン２８０、及び空間プーリングエンジン２９０を含む。

【0044】

通常、時間抽出器１４６は復元映像内容の時間的特徴の値を復元映像内容及びその復元映像内容がそれから得られる映像内容に基づいて生成する。特に、各時間的特徴は異なる縮尺２５０と関連する。復元映像内容は復元ソース１２４又は復元ターゲット１４４のどちらでもよい。説明目的だけのために、時間抽出器１４６は、復元ターゲット１４４の第１時間的特徴の時間配列１７４（１）を生成する文脈で図２に描かれている。

【0045】

図示のように、復元ターゲット１４４は、限定されないが、フレーム２１０（１）～２１０（Ｆ）を含み、Ｆは１より大きい任意の整数である。相補的に、ターゲット１４２は、限定されないが、フレーム２１０’（１）～２１０’（Ｆ）を含む。説明目的だけのために、ターゲット１４２に関連する対象物は、符号を飾るプライム記号（即ち、’）で復元ターゲット１４４に関連する相当する対象物と区別される。図１と共に説明したように、復元ターゲット１４４及びターゲット１４２のそれぞれはＦ個のフレーム２１０及びＦ個のフレームペアと関連する。

【0046】

動作時、フレーム比較エンジン２２０（１）はフレーム差マトリックス２３０（１）～２３０（Ｆ）を復元ターゲット１４４に基づいて計算する。各フレーム差マトリックス２３０は差フレームペアと関連する。通常、フレーム差マトリックス２３０（ｘ）を計算するために、フレーム比較エンジン２２０（１）はフレーム２１０（ｘ）と２１０（ｘ＋１）の間の画素単位比較操作を実行し画素単位輝度差を算出する。従って、フレーム差マップ２３０（ｘ）に含まれる各画素位置は異なる画素単位輝度差を指定する。同様に、フレーム比較エンジン２２０（２）はフレーム差マトリックス２３０’（１）～２３０’（Ｆ）をターゲット１４２に基づいて独立に計算する。

【0047】

ダウンサンプリングエンジン２４０（１）はダウンサンプリング操作をフレーム差マトリックス２３０（１）～２３０（Ｆ）のそれぞれに第１時間的特徴に関連する縮尺２５０（１）に基づいて独立に実行して縮減フレーム差（ＦＤ）マトリックス２４２（１）～２４２（Ｆ）を生成する。図示のように、縮尺２５０（１）は２に等しい。他の実施形態では、第１時間的特徴は任意の縮尺２５０と任意の技術的に可能なやり方で関連してよい。ダウンサンプリングエンジン２４０（１）は縮尺２５０（１）に基づく任意の数及び種類のダウンサンプリング操作を行ってもよい。通常、各フレーム差マトリックス２３０がＮ×Ｍ画素を含み縮尺２５０（１）がＱである場合、各縮減フレーム差マトリックス２４２は（Ｎ／Ｑ）×Ｍ／Ｑ個の画素を含む。同様に、ダウンサンプリングエンジン２４０（２）はダウンサンプリング操作をフレーム差マトリックス２３０’（１）～２３０’（Ｆ）のそれぞれに縮尺２５０（１）に基づいて独立に実行して縮減フレーム差マトリックス２４２’（１）～２４２’（Ｆ）を生成する。

【0048】

空間フィルタリングエンジン２５０（１）は、縮減フレーム差マトリックス２４２（１）～２４２（Ｆ）のそれぞれを独立に処理して局所平均減算マトリックス２６２（１）～２６２（Ｆ）を生成する。縮減フレーム差マトリックス２４２（ｘ）を処理するために、空間フィルタリングエンジン２５０（１）は帯域通過フィルタリングに類似した２段局所空間フィルタリング処理を縮減フレーム差マトリックス２４２（ｘ）に実行する。先ず、空間フィルタリングエンジン２５０（１）は縮減フレーム差マトリックス２４２（ｘ）を空間等方性ガウスフィルターでフィルタリングして局所平均縮減フレーム差マトリックス（不図示）を生成する。次に空間フィルタリングエンジン２５０（１）は縮減フレーム差マトリックス２４２（ｘ）から局所平均縮減フレーム差マトリックスを減算して局所平均減算マトリックス２６２（ｘ）を生成する。同様に、空間フィルタリングエンジン２５０（２）は、縮減フレーム差マトリックス２４２’（１）～２４２’（Ｆ）のそれぞれを独立に処理して局所平均減算マトリックス２６２’（１）～２６２’（Ｆ）を生成する。

【0049】

エントロピーエンジン２７０（１）は、局所平均減算マトリックス２６２（１）～２６２（Ｆ）のそれぞれに調整操作を独立に実行して重み付きエントロピーマトリックス２７２（１）～２７２（Ｆ）を生成する。特に、調整操作は一次視覚野（領域Ｖ１）に生じると知られているｄｉｖｉｓｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ（神経系における正規化）処理に関係する。局所平均減算マトリックス２６２（ｘ）を処理するために、空間フィルタリングエンジン２５０（１）は局所平均減算マトリックス２６２（ｘ）に含まれるサンプルを複数の重なるブロックに割り当て、各ブロックは１つのｂｘｂ組の隣接するサンプルを含む。次に空間フィルタリングエンジン２５０（１）はそれらの重なるブロックに基づいてｂｘｂ共分散マトリックスを推定する。空間フィルタリングエンジン２５０（１）はまた、局所平均減算マトリックス２６２（ｘ）に含まれる複数のサンプルを複数の重ならないｂｘｂブロックに分割する。各重ならないブロックについて、空間フィルタリングエンジン２５０（１）はその重ならないブロックの分散を計算する。

【0050】

次に、各重ならないブロックについて、空間フィルタリングエンジン２５０（１）は重ならないブロックのエントロピー値を共分散マトリックスに基づいて計算する。最後に、各重ならないブロックについて、空間フィルタリングエンジン２５０（１）はその重ならないブロックのエントロピー値を重ならないブロックの分散で対数関数により重み付けして重み付きエントロピー値を計算する。従って、重み付きエントロピーマトリックス２７２（ｘ）は、限定されないが、各重ならないブロックの重み付きエントロピー値を含む。同様に、空間フィルタリングエンジン２５０（２）は局所平均減算マトリックス２６２’（１）～２６２’（Ｆ）のそれぞれを独立に処理して重み付きエントロピーマトリックス２７２’（１）～２７２’（Ｆ）を生成する。

【0051】

エントロピー差エンジン２８０はエントロピー差マトリックス２８２（１）～２８２（Ｆ）を復元ターゲット１４４と関連する重み付きエントロピーマトリックス２７２（１）～２７２（Ｆ）及びターゲット１４２と関連する重み付きエントロピーマトリックス２７２’（１）～２７２’（Ｆ）に基づいて計算する。より具体的には、エントロピー差マトリックス２８２（ｘ）を計算するために、エントロピー差エンジン２８０は重み付きエントロピーマトリックス２７２（ｘ）に含まれた各重み付きエントロピー値と重み付きエントロピーマトリックス２７２’（ｘ）に含まれた対応する重み付きエントロピー値の差を計算する。従って、エントロピー差マトリックス２８２（ｘ）は、限定されないが、各重ならないブロックの「エントロピー差値」を含む。

【0052】

空間プーリングエンジン２９０は空間プーリング操作を実行して時間配列１７４（１）をそれらのエントロピー差マトリックス２８２に基づいて生成する。図示のように、時間配列１７４（１）は、限定されないが、フレームペア値２６４（１）～２６４（ｘ）を含む。時間配列１７４（１）に含まれる各フレームペア値２６４は復元ターゲット１４４に含まれるフレームペアのうち異なる１つのフレームペアの第１時間的特徴の値を指定する。フレームペア値２６４（ｘ）を計算するために、空間プーリングエンジン２９０はエントロピー差値をエントロピー差マトリックス２８２（ｘ）に含まれる全ての重ならないブロックに亘って平均する。

【0053】

他の実施形態では、空間プーリングエンジン２９０はエントロピー差マトリックス２８２（ｘ）に含まれるエントロピー差値を任意の技術的に可能なやり方で総計しフレームペア値２６４（ｘ）を生成してもよい。有利にも、復元映像内容とその復元映像内容がそれから得られる映像内容のエントロピー差は復元映像内容の品質の主観的人評価と相互に関連する。

【0054】

特に、第２時間的特徴は３である縮尺２５０（２）と関連し、第３時間的特徴は４である縮尺２５０（３）と関連する。時間配列１７４（２）を計算する時、ダウンサンプリングエンジン２４０（１）及び２４０（２）は３である縮尺２５０（２）に基づくダウンサンプリング操作を実行する。時間配列１７４（３）を計算する時、ダウンサンプリングエンジン２４０（１）及び２４０（２）は４である縮尺２５０（３）に基づくダウンサンプリング操作を実行する。フレーム比較エンジン２２０、空間フィルタリングエンジン２５０、エントロピーエンジン２７０、エントロピー比較エンジン２８０、及び空間プーリングエンジン２９０の動作は縮尺２５０に基づいて変更されない。有利にも、複数の縮尺で時間的特徴を計算することは、人視覚システムに本質的な多縮尺処理を反映する。

【0055】

本書に記載された手法は制限ではなく例示であり、本発明のより広い要旨及び範囲から逸脱することなく変更されてもよいことに留意すべきである。時間抽出器１４６、フレーム比較エンジン２２０、ダウンサンプリングエンジン２４０、空間フィルタリングエンジン２５０、エントロピーエンジン２７０、エントロピー比較エンジン２８０、及び空間プーリングエンジン２９０により提供される機能の多くの部分変更及び変形は、記載された実施形態の範囲及び要旨から逸脱することなく、当業者には明らかであろう。

【0056】

例えば、様々な実施形態では、時間抽出器１４６は任意の数の時間的特徴の値を任意の数の縮尺２５０でマトリックスのいずれかに基づいて計算するように構成されてもよい。例えば、時間抽出器１４６は第１フレーム差特徴のフレームペア値をフレーム差マトリックス２３０及び２３０’に基づいて計算できる。時間抽出器１４６は第２フレーム差特徴のフレームペア値を２である縮尺２５０と関連するフレーム差マトリックス２４２及び２４２’に基づいて計算できる。時間抽出器は第１エントロピー特徴のフレームペア値を２である縮尺２５０と関連するエントロピー差マトリックス２８２に基づいて計算できる。最後に、時間抽出器は第２エントロピー特徴のフレームペア値を３である縮尺２５０と関連するエントロピー差マトリックス２８２に基づいて計算できる。

【0057】

図３は本発明の様々な実施形態に係る復元映像内容の品質評点を計算するための方法ステップのフロー図である。方法ステップは図１～２のシステムを参照して説明されるが、当業者は方法ステップをいずれかの順序で実行するように構成されたどんなシステムも本発明の範囲に入ることを理解するであろう。

【0058】

図示のように、方法３００は、フレーム比較エンジン２２０は復元ターゲット１４４に基づいてフレーム差マトリックス２３０を、ターゲット１４２に基づいてフレーム差マトリックス２３０’を生成するステップ３０２から始まる。ステップ３０４では、時間抽出器１４６は第１時間的特徴及び第１時間的特徴に関連する縮尺２５０（１）を選択する。ステップ３０６では、ダウンサンプリングエンジン２４０はフレーム差マトリックス２３０及びフレーム差マトリックス２３０’を選択された縮尺２５０に基づいてダウンサンプリングして縮減されたフレーム差マトリックス２４２及び縮減されたフレーム差マトリックス２４２’を生成する。

【0059】

ステップ３０８では、各縮減フレーム差マトリックス２４２について、空間フィルタリングエンジン２５０は局所空間フィルタリング操作をその縮減フレーム差マトリックス２４２に独立に実行して対応する局所平均減算マトリックス２６２を生成する。同様に、各縮減フレーム差マトリックス２４２’ について、空間フィルタリングエンジン２５０は局所空間フィルタリング操作をその縮減フレーム差マトリックス２４２’に独立に実行して対応する局所平均減算マトリックス２６２’を生成する。

【0060】

ステップ３１０では、各局所平均減算マトリックス２６２について、エントロピーエンジン２７０は調整操作をその局所平均減算マトリックス２６２に実行して重み付きエントロピーマトリックス２７２を計算する。同様に、各局所平均減算マトリックス２６２’について、エントロピーエンジン２７０は調整操作をその局所平均減算マトリックス２６２’に実行して重み付きエントロピーマトリックス２７２’を計算する。

【0061】

ステップ３１２では、エントロピー差エンジン２８０は復元ターゲット１４４に関連する重み付きエントロピーマトリックス２７２をターゲット１４２に関連する重み付きエントロピーマトリックス２７２’と比較しエントロピー差マトリックス２８２を計算する。より具体的には、エントロピー差マトリックス２８２（ｘ）を計算するために、エントロピー差エンジン２８０は重み付きエントロピーマトリックス２７２（ｘ）に含まれる各重み付きエントロピー値と重み付きエントロピーマトリックス２７２’（ｘ）に含まれる対応する重み付きエントロピー値の差を計算する。ステップ３１４では、各エントロピー差マトリックス２８２に対して、空間プーリングエンジン２９０は空間プーリング操作を実行して選択された時間的特徴に関連する時間配列１７４に含まれるフレームペア値２６４（ｘ）を計算する。

【0062】

ステップ３１６では、時間抽出器１４６は選択された時間的特徴が最後の時間的特徴か否かを判断する。ステップ３１６で時間抽出器１４６が選択された時間的特徴が最後の時間的特徴でないと判断すると、方法３００はステップ３１８へ進む。ステップ３１８では、時間抽出器１４６は次の特徴及び関連する縮尺２５０を選択し、方法３００はステップ３０６へ戻り、ダウンサンプリングエンジン２４０がフレーム差マトリックス２３０及びフレーム差マトリックス２３０’を選択された縮尺２５０に基づいてダウンサンプリングする。

【0063】

しかし、ステップ３１６で時間抽出器１４６が選択された時間的特徴が最後の時間的特徴であると判断すると、方法３００は直接ステップ３２０へ進む。ステップ３２０では、各空間的特徴に対して、空間抽出器１４６はフレーム値を復元ターゲット１４４及び随意にターゲット１４２に基づいて計算する。ステップ３２２では、各フレーム２１０に対して、予測エンジン１９２はフレーム評点をそのフレームに関連するフレーム値、そのフレームに関連するフレームペア値、及び知覚品質モデル１９０に基づいて生成する。

【0064】

ステップ３２４では、時間プーリングエンジン１９４は時間プーリング操作をフレーム評点に実行して復元ターゲット１４４の品質評点１８４を算出する。時間プーリングエンジン１９４は任意の数及び種類の時間プーリング操作を実行しフレーム評点を総計してもよい。例えば、幾つかの実施形態では、時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４をフレーム評点の算術平均に基づいて算出する。次に時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４を配信される映像内容の評価のために送信又は表示する。そして方法３００は終了する。

【0065】

有利なことに、任意の数の品質評点１８４を総計して配信されるメディアコンテンツの視覚品質を評価することの一部として総計品質評点を生成してもよい。例えば、配信サービスを毎日監視する計器盤アプリケーションは配信サービスの健全さを総計品質評点に基づいて示しうる。通常、配信サービスに変化が起こらなければ、総計品質評点は安定したままである。結果として、特定の日とその前日の間の総計品質評点のずれは、配信メディアコンテンツの視覚品質に影響する配信サービスの変化（例えば、問題又は改善）を示す。一方、配信サービスの変化が配信メディアコンテンツの視覚品質に影響するよう意図されていない場合、総計品質評点は配信メディアコンテンツの視覚品質は影響されていないことの確認を提供できる。例えば、スマートフォン用の新しい符号化が視覚品質を保ったまま帯域幅を節約するならば、時間加重ビットレートは減少するが総計品質評点は安定したままである。

【0066】

別の例では、Ａ／Ｂ試験アプリケーションは対照群の配信セッションを１つ以上の処置群の配信セッションと比較する。処置群は対照群と厳密に１つの重要パラメータにおいて異なる。総計品質評点は配信メディアコンテンツの視覚品質がその重要パラメータの違いにより影響されるか否かを示す。例えば、処置群が新しい符号化を使用し、対照群が現在の符号化を使用する場合、Ａ／Ｂ試験アプリケーションは対照群の総計品質評点と処置群の総計品質評点を比較できる。比較結果は新しい符号化が処置群の配信メディアコンテンツの視覚品質に影響するか否かを示す。

【0067】

相補知覚品質モデルに基づく視覚品質の予測
当業者は認識するであろうように、知覚品質モデル１９０に関連する特徴の数が増加すると、知覚品質モデル１９０を過剰適合させる可能性も増加する。知覚品質モデル１９０が過剰適合されると、知覚品質モデル１９０は訓練データ（例えば、客観的データベース１５０及び主観的データベース１８４）内の特異性をモデル化する。その結果、過剰適合知覚品質モデル１９０は訓練データベース１２０に含まれていない復元映像内容の品質評点１８４をしばしば正確には予測できない。単一知覚品質モデル１９０を過剰適合させる可能性を減らすために、本発明の幾つかの実施形態は複数の相補知覚品質モデル１９０を実施する。

【0068】

図４は本発明の１つ以上の態様を実施するように構成された集合システム４００の概念図である。図示のように、集合システム４００は、限定されないが、任意の数の計算インスタンス１１０を含む。図示のように、集合訓練エンジン４１０はメモリ１１６に存在し計算インスタンス１１０の１つのプロセッサ上で実行される。集合予測エンジン４９０はメモリ１１６に存在し別の計算インスタンス１１０のプロセッサ１１２上で実行される。他の実施形態では、集合訓練エンジン４１０及び集合予測エンジン４９０は任意の数及び種類のメモリに存在し任意の数及び種類の処理装置上で任意の組合せで実行されてもよい。集合予測エンジン４９０は本書で「集合予測アプリケーション」とも呼ばれる。

【0069】

集合訓練エンジン４１０は、限定されないが、特徴割り当て部４２０及び訓練エンジン１８０の２つのインスタンスを含む。特徴割り当て部４２０は任意の数の特徴を含む全体特徴セット４１２を受信し２つの特徴セット４２２（１）及び４２２（２）を生成する。より正確には、特徴割り当て部４２０は全体特徴セット４１２に含まれる各特徴を特徴セット４２２の少なくとも１つに割り当てる。

【0070】

特徴割り当て部４２０は任意の技術的に可能なやり方で全体特徴セット４１２に含まれる各特徴を特徴セット４２２の少なくとも１つに割り当てるように構成されてもよい。例えば、幾つかの実施形態では、特徴割り当て部４２０は特徴セット４２２をグラフィカルユーザーインターフェース（不図示）を介して受信したユーザー入力に基づいて生成する。他の実施形態では、特徴割り当て部４２０は特徴セット４２２を任意の数及び種類の基準を最適化する任意の数の発見的教授法に基づいて生成する。

【0071】

説明目的だけのために、図４に描かれた全体特徴セット４１２は５つの空間的特徴及び４つの時間的特徴を含む。５つの空間的特徴は１つのＶＩＦ特徴と４つのＡＤＭ特徴（４つの異なる縮尺２５０に関連する）を含む。４つの時間的特徴は１つのフレーム差特徴と３つのエントロピー特徴（３つの異なる縮尺２５０に関連する）を含む。特徴割り当て部４２０は５つの空間的特徴を特徴セット４２２（１）及び特徴セット４２２（２）両方に、フレーム差特徴を特徴セット４２２（１）に、３つのエントロピー特徴を特徴セット４２２（２）に割り当てる。

【0072】

次に、集合訓練エンジン４１０は、主観的データベース１８２及び特徴セット４２２（１）に含まれる特徴の値を指定する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（１）を生成するように訓練エンジン１８０（１）を構成する。一方、集合訓練エンジン４１０は、主観的データベース１８２及び特徴セット４２２（２）に含まれる特徴の値を指定する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（２）を生成するように訓練エンジン１８０（２）を構成する。

【0073】

他の実施形態では、集合訓練エンジン４１０は異なる機械学習アルゴリズムを実行する２つの異なる訓練エンジンを含む。集合訓練エンジン４１０は、主観的データベース１８２及び特徴セット４２２（１）に含まれる特徴の値を指定する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（１）を生成するように第１訓練エンジンを構成する。集合訓練エンジン４１０は、主観的データベース１８２及び特徴セット４２２（２）に含まれる特徴の値を指定する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（２）を生成するように第２訓練エンジンを構成する。

【0074】

通常、知覚品質モデル１９０（１）は特徴セット４２２（１）の１組の値を第１品質評点と関連付け、知覚品質モデル１９０（２）は特徴セット４２２（２）の１組の値を第２品質評点と関連付ける。有利にも、知覚品質モデル１９０のどちらも全体特徴セット４１２に含まれる特徴の全てとは関連しないので、集合訓練エンジン４１０が過剰適合した知覚品質モデル１９０を生成する可能性は減少する。

【0075】

集合予測エンジン４９０は、限定されないが、予測エンジンの２つのインスタンス１９２（１）及び１９２（２）、総計エンジン４４０、及び時間プーリングエンジン１９４を含む。集合予測エンジン４９０は知覚品質モデル１９０（１）、知覚品質モデル１９０（２）、及び復元ターゲット１４４に関連するターゲット特徴データベース１７０を受信する。他の実施形態では、集合予測エンジン４９０はターゲット特徴データベース１７０を計算するように特徴抽出器１４０を構成する。

【0076】

集合予測エンジン４９０は知覚品質モデル１９０（１）及び特徴セット４２２（１）に含まれる特徴に関連するターゲット特徴データベース１７０の部分に基づいてフレーム予測データベース４３０（１）を計算するように予測エンジン１９２（１）を構成する。復元ターゲット１４４に含まれる各フレーム２１０（ｘ）について、フレーム予測データベース４３０（１）は、限定されないが、フレーム２１０の予測された知覚視覚品質を表すフレーム評点４３４（ｘ）を含む。動作時、フレーム２１０（ｘ）について、集合予測エンジン４９０はターゲット特徴データベース１７０に基づいて特徴セット４２２（１）の１組の値を算出する。次に集合予測エンジン４９０はフレーム予測データベース４３０（１）に含まれるフレーム評点４３４（ｘ）を特徴セット４２２（１）のその１組の値及び知覚品質モデル１９０（１）に基づいて計算するように予測エンジン１９２（１）を構成する。

【0077】

相補的やり方で、集合予測エンジン４９０は知覚品質モデル１９０（２）及び特徴セット４２２（２）に含まれる特徴に関連するターゲット特徴データベース１７０の部分に基づいてフレーム予測データベース４３０（２）を計算するように予測エンジン１９２（２）を構成する。動作時、フレーム２１０（ｘ）について、集合予測エンジン４９０はターゲット特徴データベース１７０に基づいて特徴セット４２２（２）の１組の値を算出する。次に集合予測エンジン４９０はフレーム予測データベース４３０（２）に含まれるフレーム評点４３４（ｘ）を特徴セット４２２（２）のその１組の値及び知覚品質モデル１９０（２）に基づいて計算するように予測エンジン１９２（２）を構成する。

【0078】

フレーム予測データベース４３０（１）及びフレーム予測データベース４３０（２）を受信すると、総計エンジン４４０は各フレーム２１０について異なる総計フレーム評点４５４を含む総計予測データベース４５０を生成する。より正確には、総計エンジン４４０は任意の数の総計操作をフレーム予測データベース４３０（１）に含まれるフレーム評点４３４（ｘ）及びフレーム予測データベース４３０（２）に含まれるフレーム評点４３４（ｘ）に実行してフレーム２１０（ｘ）に対する総計フレーム評点４５４（ｘ）を生成する。

【0079】

総計エンジン４４０は任意の技術的に可能なやり方で総計フレーム評点４５４を計算してもよい。例えば、幾つかの実施形態では、総計エンジン４４０はフレーム予測データベース４３０（１）に含まれるフレーム評点４３４（ｘ）及びフレーム予測データベース４３０（２）に含まれるフレーム評点４３４（ｘ）の平均値を計算してフレーム２１０（ｘ）の総計フレーム評点４５４（ｘ）を生成する。他の実施形態では、総計エンジン４４０はフレーム予測データベース４３０（１）に含まれるフレーム評点４３４（ｘ）及びフレーム予測データベース４３０（２）に含まれるフレーム評点４３４（ｘ）の加重平均値を計算してフレーム２１０（ｘ）の総計フレーム評点４５４（ｘ）を生成する。

【0080】

更に他の実施形態では、総計エンジン４４０は任意の数の機械学習アルゴリズムを実行して、特徴セット４２２（１）に関連するフレーム評点４３４及び特徴セット４２２（２）に関連する対応するフレーム評点４３４を総計フレーム品質評点４５４と関連付ける集合モデルを生成してもよい。総計エンジン４４０が実行してよい機械学習アルゴリズムの例は、限定されないが、ベイズ系方法、バギング、ブースティング、ベイズパラメータ平均化、ベイズモデル組合せ、ｂｕｃｋｅｔ ｏｆ ｍｏｄｅｌｓ、積み重ねなどを含む。集合モデルは、訓練エンジン１８０が知覚品質モデル１９０を生成するために実行する同じ機械学習アルゴリズムを実行する場合としない場合がある。次に、総計エンジン４４０は総計フレーム評点４５４を含む総計予測データベース４５０を集合モデル、フレーム予測データベース４３０（１）、及びフレーム予測データベース４３０（２）に基づいて計算してもよい。

【0081】

総計エンジン４４０が総計予測データベース４５０を生成した後、時間プーリングエンジン１９４は任意の数の時間プーリング操作を総計予測データベース４５０に実行し復元ターゲット１４４の品質評点１８４を計算する。図１と共に詳細に説明したように、時間プーリング操作の幾つかの例は算術平均操作及びヒステリシスプーリング操作を含む。また、図１と共に詳細に説明したように、他の実施形態では、時間プーリングエンジン１９４は復元ターゲット１４４の各チャンクの異なる品質評点１８４を生成してもよい。

【0082】

特に、品質評点１８４の信頼性は知覚品質モデル１９０（１）の信頼性、知覚品質モデル１９０（２）の信頼性、及びこれらの知覚品質モデル１９０が互いに補完する度合に相互関連する。従って、特徴割り当て部４２０は、特徴セット４２２を品質評点１８４の精度及び／又は確実さを最適化する任意の数の発見的教授法に基づいて生成するように構成されてもよい。

【0083】

例えば、幾つかの実施形態では、特徴割り当て部４２０は各特徴セット４２２に含まれる特徴を最適化して知覚視覚品質の時空的面を捕え、正確で確実な知覚品質モデル１９０を生じさせ、複数の特徴セット４２２に亘ってかつ特徴セット４２２内で多様である発見的教授法を実行する。

【0084】

本書に記載された手法は制限ではなく例示であり、本発明のより広い要旨及び範囲から逸脱することなく変更されてもよいことに留意すべきである。集合訓練エンジン４１０、特徴割り当て部４２０、訓練エンジン１８０、集合予測エンジン４９０、予測エンジン１９２、総計エンジン４４０、及び時間プーリングエンジン１９４により提供される機能の多くの部分変更及び変形は、記載された実施形態の範囲及び要旨から逸脱することなく、当業者には明らかであろう。

【0085】

図５は本発明の様々な実施形態に係る２つの異なる組の特徴に基づいて復元映像内容の全体品質評点を計算するための方法ステップのフロー図である。方法ステップは図１、２、及び４のシステムを参照して説明されるが、当業者は方法ステップをいずれかの順序で実行するように構成されたどんなシステムも本発明の範囲に入ることを理解するであろう。

【0086】

図示のように、方法５００は全体特徴セット４１２に含まれる各特徴について、特徴割り当て部４２０がその特徴を特徴セット４２２（１）及び特徴セット４２２（２）の少なくとも１つに割り当てるステップ５０２から始まる。特に、各特徴セット４２２に含まれる少なくとも１つの特徴は他方の特徴セット４２２には含まれない。ステップ５０４では、集合訓練エンジン４１０は主観的データベース１８２及び特徴セット４２２（１）に関連する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（１）を生成するように訓練エンジン１８０（１）を構成する。ステップ５０６では、集合訓練エンジン４１０は主観的データベース１８２及び特徴セット４２２（２）に関連する客観的データベース１５０の部分に基づいて知覚品質モデル１９０（２）を生成するように訓練エンジン１８０（２）を構成する。

【0087】

ステップ５０８では、集合予測エンジン４９０はターゲット１４２及び復元ターゲット１４４を受信する。ステップ５１０では、復元ターゲット１４４に含まれる各フレーム２１０について、集合予測エンジン４９０は特徴セット４２２（１）の第１組の値及び特徴セット４２２（２）の第２組の値を計算する。より正確には、集合予測エンジン４９０は復元ターゲット１４４及びターゲット１４２に基づいてターゲット特徴データベース１７０を計算するように特徴抽出器１４０を構成する。各フレーム２１０について、集合予測エンジン４９０は次に特徴セット４２２（１）の第１組の値及び特徴セット４２２（２）の第２組の値をターゲット特徴データベース１７０に基づいて特定する。他の実施形態では、各フレーム２１０について、集合予測エンジン４９０は特徴セット４２２（１）の第１組の値及び特徴セット４２２（２）の第２組の値を任意の技術的に可能なやり方で計算してもよい。

【0088】

ステップ５１２では、各フレーム２１０（ｘ）について、集合予測エンジン４９０は特徴セット４２２（１）の関連する組の値及び知覚品質モデル１９０（１）に基づいて第１フレーム評点４３４（ｘ）を計算するように予測エンジン１９２（１）を構成する。ステップ５１４では、各フレーム２１０（ｘ）について、集合予測エンジン４９０は特徴セット４２２（２）の関連する組の値及び知覚品質モデル１９０（２）に基づいて第２フレーム評点４３４（ｘ）を計算するように予測エンジン１９２（２）を構成する。

【0089】

ステップ５１６では、各フレーム２１０（ｘ）について、総計エンジン４４０は第１フレーム評点４３４（ｘ）及び第２フレーム評点４３４（ｘ）に基づいて総計フレーム評点４５４を計算する。ステップ５１８では、時間プーリングエンジン１９４はフレーム２１０の総計フレーム評点４５４に基づいて復元ターゲット１４４の品質評点１８４を計算する。時間プーリングエンジン１９４は任意の数及び種類の時間プーリング操作を実行してフレーム評点４３４を総計してもよい。例えば、幾つかの実施形態では、時間プーリングエンジン１９４は復元ターゲット１４４に含まれるフレーム２１０のフレーム評点４３４の算術平均に基づいて復元ターゲット１４４の品質評点１８４を算出する。

【0090】

次に時間プーリングエンジン１９４は復元ターゲット１４４の品質評点１８４を配信される映像内容の評価のために送信又は表示する。そして方法５００は終了する。有利にも、図３と共に更に詳細に説明したように、任意の数の品質評点１８４を総計して配信メディアコンテンツの視覚品質を評価することの一部として総計品質評点を生成してもよい。

【0091】

要約すると、開示の手法は復元映像内容の品質評点を効率的に確実に予測するために使用されてよい。訓練段階の間、訓練エンジンは特徴の値を品質評点に対応付ける知覚品質モデルを生成する。次に、予測段階の間、予測エンジンは復元映像内容のフレーム単位の品質評点を知覚品質モデル及び復元映像内容の特徴の値に基づいて計算する。時間プーリングエンジンは次にこれらのフレーム単位の品質評点を単一の品質評点に合成する。特に、訓練段階及び予測段階両方の間、時間抽出器は複数の時間的特徴のフレーム単位の値を計算する。ここで各時間的特徴は異なる縮尺に関連する。

【0092】

時間抽出器は特定の時間的特徴のフレーム単位の値を復元映像内容、映像内容、及び時間的特徴に関連する縮尺に基づいて計算する。特定のフレームのフレーム単位の値を計算するために、時間抽出器はそのフレームと隣接フレームの輝度の差を指定するフレーム差マトリックスを計算する。次に時間抽出器はフレーム差マトリックスを縮尺に基づいてダウンサンプリングして縮減されたフレーム差マトリックスを生成する。次に、時間抽出器は時間フィルタリング操作及び局所平均減算操作を縮減されたフレーム差マトリックスに実行して復元映像内容のそのフレームに関連する第１重み付きエントロピーマトリックスを計算する。同様に、時間抽出器は映像内容及び縮尺に基づいて映像内容の対応するフレームに関連する第２重み付きエントロピーマトリックスを得る。時間抽出器は第１重み付きエントロピーマトリックスと第２重み付きエントロピーマトリックスの間の減算操作を実行してエントロピー差マトリックスを計算する。最後に、時間抽出器は空間プーリング操作をエントロピー差マトリックスに実行してその特徴の単一のフレーム特定の値を生成する。

【0093】

幾つかの実施形態では、集合予測エンジンは復元映像内容の品質評点を２つの知覚品質モデルに基づいて計算する。各知覚品質モデルは１つの異なる組の特徴の値を１つの異なる品質評点に対応付ける。復元映像内容に含まれる各フレームについて、集合予測エンジンは第１フレーム評点を第１知覚品質モデル及び第１組の特徴の第１組の値に基づいて計算する。復元映像内容に含まれる各フレームについて、集合予測エンジンは第２フレーム評点を第２知覚品質モデル及び第２組の特徴の第２組の値に基づいて計算する。各フレームについて、集合予測エンジンは次に第１フレーム評点と第２フレーム評点を総計して総計フレーム評点を生成する。最後に、時間プーリングエンジンは復元映像内容に含まれる全てのフレームの総計フレーム評点に基づいて単一の品質評点を生成する。

【0094】

従来技術に対する少なくとも１つの技術的改善は、エントロピー差マトリックスを複数の縮尺で計算することは人の視覚システムがどのように視覚情報を処理するかの面を模倣することである。結果として、時間的特徴は多くのタイプの複雑な時間的映像歪みに起因する知覚される品質劣化を正確にモデル化する。また、異なる組の特徴に関連する異なる複数の知覚品質モデルに基づいて品質評点を計算することは、特徴の総数を増加させることが過剰適合に起因する不正確さを引き起こす可能性を減少させる。

【0095】

１．幾つかの実施形態では、コンピュータ実行方法は、復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップと、前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップとを含む。

【0096】

２．前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記全体品質評点を算出するステップは、前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップとを含む、項１記載のコンピュータ実行方法。

【0097】

３．前記第１総計品質評点を算出するステップは、前記第１品質評点及び前記第２品質評点の平均又は加重平均を計算するステップを含む、項１又は２記載のコンピュータ実行方法。

【0098】

４．前記第１総計品質評点を算出するステップは、前記第１機械学習アルゴリズム又は第２機械学習アルゴリズムにより生成される第３モデルに基づいて前記第１品質評点及び前記第２品質評点を前記第１総計品質評点と関連付けるステップを含む、項１～３のいずれかに記載のコンピュータ実行方法。

【0099】

５．前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、項１～４のいずれかに記載のコンピュータ実行方法。

【0100】

６．前記第１組の特徴は、１つの時間的特徴と１つの空間的特徴とを含む、項１～５のいずれかに記載のコンピュータ実行方法。

【0101】

７．前記第１組の特徴は、付加欠陥計測特徴、ブラインド又は基準なし画像空間的品質評価器特徴、及び視覚情報忠実度特徴のうち少なくとも１つを含む、項１～６のいずれかに記載のコンピュータ実行方法。

【0102】

８．前記第１モデルを前記第１機械学習アルゴリズム及び複数の主観的評点に基づいて生成するステップを更に含み、前記複数の主観的評点に含まれる各主観的評点は異なる復元試験映像内容と関連する、項１～７のいずれかに記載のコンピュータ実行方法。

【0103】

９．前記第２モデルを前記複数の主観的評点に基づいて生成するステップを更に含む項１～８のいずれかに記載のコンピュータ実行方法。

【0104】

１０．幾つかの実施形態では、コンピュータ読取可能記憶媒体は命令群を含み、プロセッサにより実行される時に前記命令群は前記プロセッサに、復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記第１機械学習アルゴリズム又は第２機械学習アルゴリズムにより生成される、ステップと、前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップとを実行させる。

【0105】

１１．前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記全体品質評点を算出するステップは、前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップとを含む、項１０記載のコンピュータ読取可能記憶媒体。

【0106】

１２．前記第１総計品質評点を算出するステップは、前記第１品質評点及び前記第２品質評点の平均又は加重平均を計算するステップを含む、項１０又は１１記載のコンピュータ読取可能記憶媒体。

【0107】

１３．前記１つ以上の時間プーリング操作を実行するステップは、線形ローパス操作、非線形順位重み付け操作、及び算術平均操作のうち少なくとも１つを前記第１総計品質評点及び第２総計品質評点に実行するステップを含む、項１０～１２のいずれかに記載のコンピュータ読取可能記憶媒体。

【0108】

１４．前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、項１０～１３のいずれかに記載のコンピュータ読取可能記憶媒体。

【0109】

１５．前記第１組の特徴は、１つの時間的特徴と１つの空間的特徴とを含む、項１０～１４のいずれかに記載のコンピュータ読取可能記憶媒体。

【0110】

１６．前記第１組の特徴は、複数の時間的特徴を含み、前記複数の時間的特徴に含まれる各時間的特徴は異なる縮尺と関連する、項１０～１５のいずれかに記載のコンピュータ読取可能記憶媒体。

【0111】

１７．前記第１品質評点を計算する前に、全体組の特徴に含まれる各特徴を特徴の前記第１組及び特徴の前記第２組のうち少なくとも１つに割り当てるステップを更に含む項１０～１６のいずれかに記載のコンピュータ読取可能記憶媒体。

【0112】

１８．前記第１モデルを前記第１機械学習アルゴリズム及び複数の主観的評点に基づいて生成するステップを更に含み、前記複数の主観的評点に含まれる各主観的評点は異なる復元試験映像内容と関連する、項１０～１７のいずれかに記載のコンピュータ読取可能記憶媒体。

【0113】

１９．幾つかの実施形態では、システムは命令群を記憶するメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサは前記命令群を実行する時、復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは複数の主観的評点に基づいて生成される、ステップと、前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記複数の主観的評点に基づいて生成される、ステップと、前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップとを実行するように構成される。

【0114】

２０．前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記プロセッサは、前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップとを実行することで前記全体品質評点を算出するように構成される、項１９記載のシステム。

【0115】

請求項のいずれかに記述された請求項要素のいずれか及び／又は本出願に記載されたいずれの要素の任意の及び全ての組み合わせは、どんなやり方でも、本発明及び保護の熟考された範囲内に入る。

【0116】

様々な実施形態の説明が例示の目的のために提示されているが、網羅的であるようにも開示された実施形態に限定されることも意図されていない。説明した実施形態の範囲及び要旨から逸脱することなく多くの改良や変更は当業者にとって明らかであろう。

【0117】

本実施形態の態様はシステム、方法、又はコンピュータプログラム製品として具体化されてよい。従って、本開示の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は本明細書において通常「モジュール」又は「システム」と呼ばれうるソフトウェア態様とハードウェア態様を組み合わせた実施形態の形をとってもよい。また、本開示の態様は、コンピュータ読取可能プログラムコードが組み込まれた１つ以上のコンピュータ読取可能媒体に具体化されたコンピュータプログラム製品の形をとってもよい。

【0118】

１つ以上のコンピュータ読取可能媒体のいずれの組み合わせを利用してよい。コンピュータ読取可能媒体は、コンピュータ読取可能信号媒体又はコンピュータ読取可能記憶媒体であってもよい。コンピュータ読取可能記憶媒体は、例えば、これらに限定されないが、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置、又はデバイス、又はそれらの任意の適切な組み合わせであってよい。コンピュータ読取可能記憶媒体のより具体的な例（非網羅的リスト）は、１つ以上のワイヤーを有する電気的接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去・プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学式記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含むであろう。本明細書の文脈では、コンピュータ読取可能記憶媒体は、命令実行システム、装置、又はデバイスによる又はに関連した使用のためのプログラムを含み又は記憶しうる任意の有形の媒体であってよい。

【0119】

本開示の態様は、本開示の実施形態に係るフローチャート図及び／又は方法、装置（システム）、及びコンピュータプログラム製品のブロック図を参照して上記で説明されている。フローチャート図及び／又はブロック図の各ブロックと、フローチャート図及び／又はブロック図内のブロックの組み合わせとはコンピュータプログラム命令群により実施されうることは理解されよう。これらのコンピュータプログラム命令は汎用コンピュータ、特殊用途コンピュータ、又は機械を製造する他のプログラム可能データ処理装置のプロセッサに提供されてもよい。コンピュータ又は他のプログラム可能データ処理装置のプロセッサにより実行される時、それらの命令はフローチャート及び／又はブロック図内ブロックに明記された機能／動作の実行を可能にする。このようなプロセッサは、限定されないが、汎用プロセッサ、特殊用途プロセッサ、特定用途向けプロセッサ、又はフィールド・プログラム可能ゲートアレイであってもよい。

【0120】

図のフローチャート及びブロック図は、本開示の様々な実施形態に係る、システム、方法、及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、及び動作を例示する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実行するための１つ以上の実行可能命令を含むコードのモジュール、セグメント、又は部分を表す場合がある。なお、幾つかの別の実施形態では、ブロックに記された機能は、図に記された順番から外れて発生してもよい。例えば、続けて示された２つのブロックは、実際には概ね同時に実行されるか、又は係る機能に依って、時には逆の順番に実行されるかもしれない。また、ブロック図及び／又はフローチャート図の各ブロックと、ブロック図及び／又はフローチャート図内のブロックの組み合わせとは、指定の機能又は動作を実行する特殊用途ハードウェアベースシステム又は特殊用途ハードウェア及びコンピュータ命令群の組み合わせにより実施されうる。

【0121】

上記は本開示の実施形態に向けられているが、本開示の他の及び追加の実施形態を本開示の基本的な範囲から逸脱することなく思い付くかもしれない。本開示の範囲は添付の請求項により決定される。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピュータ実行方法であって、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を含むコンピュータ実行方法。
実施形態２
前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記全体品質評点を算出するステップは、
前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、
１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップと
を含む、実施形態１に記載のコンピュータ実行方法。
実施形態３
前記第１総計品質評点を算出するステップは、前記第１品質評点及び前記第２品質評点の平均又は加重平均を計算するステップを含む、実施形態２に記載のコンピュータ実行方法。
実施形態４
前記第１総計品質評点を算出するステップは、前記第１機械学習アルゴリズム又は第２機械学習アルゴリズムにより生成される第３モデルに基づいて前記第１品質評点及び前記第２品質評点を前記第１総計品質評点と関連付けるステップを含む、実施形態２に記載のコンピュータ実行方法。
実施形態５
前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、実施形態１に記載のコンピュータ実行方法。
実施形態６
前記第１組の特徴は、１つの時間的特徴と１つの空間的特徴とを含む、実施形態１に記載のコンピュータ実行方法。
実施形態７
前記第１組の特徴は、付加欠陥計測特徴、ブラインド又は基準なし画像空間的品質評価器特徴、及び視覚情報忠実度特徴のうち少なくとも１つを含む、実施形態１に記載のコンピュータ実行方法。
実施形態８
前記第１モデルを前記第１機械学習アルゴリズム及び複数の主観的評点に基づいて生成するステップを更に含み、前記複数の主観的評点に含まれる各主観的評点は異なる復元試験映像内容と関連する、実施形態１に記載のコンピュータ実行方法。
実施形態９
前記第２モデルを前記複数の主観的評点に基づいて生成するステップを更に含む実施形態８に記載のコンピュータ実行方法。
実施形態１０
命令群を含むコンピュータ読取可能記憶媒体であって、プロセッサにより実行される時に前記命令群は前記プロセッサに、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは第１機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記第１機械学習アルゴリズム又は第２機械学習アルゴリズムにより生成される、ステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を実行させる、コンピュータ読取可能記憶媒体。
実施形態１１
前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記全体品質評点を算出するステップは、
前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、
１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップと
を含む、実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１２
前記第１総計品質評点を算出するステップは、前記第１品質評点及び前記第２品質評点の平均又は加重平均を計算するステップを含む、実施形態１１に記載のコンピュータ読取可能記憶媒体。
実施形態１３
前記１つ以上の時間プーリング操作を実行するステップは、線形ローパス操作、非線形順位重み付け操作、及び算術平均操作のうち少なくとも１つを前記第１総計品質評点及び第２総計品質評点に実行するステップを含む、実施形態１１に記載のコンピュータ読取可能記憶媒体。
実施形態１４
前記第１組の特徴は、前記第２組の特徴に含まれていない第１特徴を含み、前記第２組の特徴は、前記第１組の特徴に含まれていない第２特徴を含む、実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１５
前記第１組の特徴は、１つの時間的特徴と１つの空間的特徴とを含む、実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１６
前記第１組の特徴は、複数の時間的特徴を含み、前記複数の時間的特徴に含まれる各時間的特徴は異なる縮尺と関連する、実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１７
前記第１品質評点を計算する前に、全体組の特徴に含まれる各特徴を特徴の前記第１組及び特徴の前記第２組のうち少なくとも１つに割り当てるステップを更に含む実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１８
前記第１モデルを前記第１機械学習アルゴリズム及び複数の主観的評点に基づいて生成するステップを更に含み、前記複数の主観的評点に含まれる各主観的評点は異なる復元試験映像内容と関連する、実施形態１０に記載のコンピュータ読取可能記憶媒体。
実施形態１９
命令群を記憶するメモリと、
前記メモリに結合されたプロセッサと
を備えたシステムであって、前記プロセッサは前記命令群を実行する時、
復元映像内容の第１品質評点を第１組の特徴の第１組の値及び前記第１組の値を前記第１品質評点と関連付ける第１モデルに基づいて計算するステップであって、前記第１モデルは複数の主観的評点に基づいて生成される、ステップと、
前記復元映像内容の第２品質評点を第２組の特徴の第２組の値及び前記第２組の値を前記第２品質評点と関連付ける第２モデルに基づいて計算するステップであって、前記第２モデルは前記複数の主観的評点に基づいて生成される、ステップと、
前記復元映像内容の全体品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップであって、前記全体品質評点は配信される映像内容に関連する視覚品質のレベルを示す、ステップと
を実行するように構成される、システム。
実施形態２０
前記第１品質評点及び前記第２品質評点は前記復元映像内容に含まれる第１フレームに関連し、前記プロセッサは、
前記第１フレームに関連する第１総計品質評点を前記第１品質評点及び前記第２品質評点に基づいて算出するステップと、
１つ以上の時間プーリング操作を前記第１総計品質評点及び前記復元映像内容に含まれる第２フレームに関連する第２総計品質評点に実行して前記全体品質評点を計算するステップと
を実行することで前記全体品質評点を算出するように構成される、実施形態１９に記載のシステム。

【符号の説明】

【0122】

１００ システム
１１０ 計算インスタンス
１１２ プロセッサ
１１４ 特徴抽出器
１１６ メモリ
１２０ 訓練データベース
１２２ ソース
１２４ 復元ソース
１３０ 訓練特徴エンジン
１４０ 特徴抽出器
１４２ ターゲット
１４４ 復元ターゲット
１４６ 時間抽出器
１４８ 空間抽出器
１５０ 客観的データベース
１５２ 訓練特徴データベース
１６２ 空間値
１６４ 時間値
１７０ ターゲット特徴データベース
１７２ 空間配列
１７４ 時間配列
１８０ 訓練エンジン
１８２ 主観的データベース
１８４ 品質評点
１９０ 知覚品質モデル
１９２ 予測エンジン
１９４ 時間プーリングエンジン
２１０ フレーム
２２０ フレーム比較エンジン
２３０ フレーム差マトリックス
２４０ ダウンサンプリングエンジン
２４２ 縮減ＦＤマトリックス
２５０ 空間フィルタリングエンジン
２６２ 局所平均減算マトリックス
２６４ フレームペア値
２７０ エントロピーエンジン
２７２ 重み付きエントロピーマトリックス
２８０ エントロピー差エンジン
２８２ エントロピー差マトリックス
２９０ 空間プーリングエンジン
４００ 集合システム
４１０ 集合訓練エンジン
４２０ 特徴割り当て部
４３０ フレーム予測データベース
４３４ フレーム評点
４４０ 総計エンジン
４５０ 総計予測データベース
４５４ 総計フレーム評点
４９０ 集合予測エンジン

【図1】

【図2】

【図3】

【図4】

【図5】