特表 2022-533928 ＶＲ映像の品質を査定する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-27

(54)【発明の名称】ＶＲ映像の品質を査定する方法および装置

(51)【国際特許分類】

   H04N 17/04 20060101AFI20220720BHJP

【ＦＩ】

H04N17/04 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021566118

(86)(22)【出願日】2020-05-17

(85)【翻訳文提出日】2021-12-13

(86)【国際出願番号】 CN2020090724

(87)【国際公開番号】W WO2020233536

(87)【国際公開日】2020-11-26

(31)【優先権主張番号】201910416533.0

(32)【優先日】2019-05-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ション、ジエ

(72)【発明者】

【氏名】フアン、イホン

(72)【発明者】

【氏名】チェン、グアン

(72)【発明者】

【氏名】チェン、ジアン

【テーマコード（参考）】

5C061

【Ｆターム（参考）】

5C061BB07

(57)【要約】

本発明はＶＲ映像の品質を査定する方法を開示し、本方法は、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩを取得する段階と、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する段階とを含む。ＶＲ映像のＭＯＳは、ＶＲ映像の品質を表すのに用いられる。本発明はさらに、査定装置を開示する。本発明の実施形態では、ＶＲ映像の査定結果の精度を向上させることができる。

【特許請求の範囲】

【請求項1】

仮想現実（ＶＲ）映像の品質を査定する方法であって、
ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得する段階であって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、
前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する段階であって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定する段階と
を備える方法。

【請求項2】

ＶＲ映像のＴＩを取得する前記段階が、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、
前記事前設定期間Δｔおよび前記ユーザの前記頭部回転角度Δａに基づいて前記ユーザの平均頭部回転角度を決定する段階と、
前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する段階であって、前記ユーザの平均頭部回転角度が大きいほど前記ＶＲ映像のＴＩ値が大きいことを示している、決定する段階と
を有する、請求項１に記載の方法。

【請求項3】

事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する前記段階が、
時点ｔにおける前記ユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］における前記ユーザの頭部角度ｙ_ｔ＋Δｔを取得する段階と、
前記ユーザの前記頭部回転角度Δａを以下の手順に従って決定する段階と
を有し、
ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数39】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの前記差異の前記絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数40】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの前記差異の前記絶対値が１８０度より大きくない場合、

【数41】

である、請求項２に記載の方法。

【請求項4】

前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する前記段階が、
前記ユーザの前記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得する段階を有し、
前記第１のＴＩ予測モデルが

【数42】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙは前記ユーザの前記平均頭部回転角度を表しており、ｍおよびｎは定数である、請求項２または３に記載の方法。

【請求項5】

前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する前記段階が、
前記ユーザの前記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得する段階を有し、
前記第２のＴＩ予測モデルがノンパラメトリックモデルである、請求項２または３に記載の方法。

【請求項6】

前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する前記段階が、
前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求める段階を有し、
前記品質査定モデルが次の通りであり、

【数43】

ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、請求項１から５のいずれか一項に記載の方法。

【請求項7】

仮想現実（ＶＲ）映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得するように構成された取得ユニットであって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、
前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定するように構成された決定ユニットであって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定ユニットと
を備える査定装置。

【請求項8】

前記ＶＲ映像の前記ＴＩを取得する一態様において、前記取得ユニットが具体的には、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、
前記事前設定期間Δｔおよび前記ユーザの前記頭部回転角度Δａに基づいて前記ユーザの平均頭部回転角度を決定し、
前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する
ように構成され、前記ユーザの平均頭部回転角度が大きいほど前記ＶＲ映像のＴＩ値が大きいことを示している、請求項７に記載の査定装置。

【請求項9】

前記事前設定期間Δｔにおける前記ユーザの前記頭部回転角度Δａを取得する一態様において、前記取得ユニットが具体的には、
時点ｔにおける前記ユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］における前記ユーザの頭部角度ｙ_ｔ＋Δｔを取得し、
前記ユーザの前記頭部回転角度Δａを以下の手順に従って決定する
ように構成され、
ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数44】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの前記差異の前記絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数45】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの前記差異の前記絶対値が１８０度より大きくない場合、

【数46】

である、請求項８に記載の査定装置。

【請求項10】

前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する一態様において、前記取得ユニットが具体的には、
前記ユーザの前記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得するように構成され、
前記第１のＴＩ予測モデルが

【数47】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙが前記ユーザの前記平均頭部回転角度を表しており、ｍおよびｎが定数である、請求項８または９に記載の査定装置。

【請求項11】

前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する一態様において、前記取得ユニットが具体的には、
前記ユーザの前記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得するように構成され、
前記第２のＴＩ予測モデルがノンパラメトリックモデルである、請求項８または９に記載の査定装置。

【請求項12】

前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の前記平均オピニオン評点（ＭＯＳ）を決定する一態様において、前記決定ユニットが具体的には、
前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求めるように構成され、
前記品質査定モデルが次の通りであり、

【数48】

ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、請求項７から１１のいずれか一項に記載の査定装置。

【請求項13】

コンピュータに、請求項１から６のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像処理の分野に関し、具体的には、ＶＲ映像の品質を査定する方法および装置に関する。

【背景技術】

【0002】

仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）技術とは、複数の分野（コンピュータグラフィックス、マンマシンインタラクション技術、センサ技術、マンマシンインタフェース技術、および人工知能技術などを含む）を組み合わせた最先端技術であり、この技術では、適切な機器を用いて人の感覚（例えば、３次元的な視覚、聴覚、および臭覚）に錯覚を起こさせ、現実から完全に分離した世界を作り出し、その世界を体験し、その世界と関わり合うことができる。要するに、ＶＲ技術とは、コンピュータを用いて疑似世界を作り出し、没入型で双方向性の視聴覚体験を生み出す技術である。ＶＲサービスの人気が高まると共に、ＶＲ産業エコロジーが頭角を現している。事業者、産業パートナー、および一般消費者がいずれも、ユーザ体験を評価するために、ＶＲサービスの品質査定方法を必要としている。ユーザ体験は主に、ＶＲ映像の品質を査定することで評価され、その結果、「利用できる」から「ユーザフレンドリー」へのＶＲサービスの変革が推進され、ＶＲ産業の発展が促進される。

【0003】

これまでの技術では、映像の品質を査定するのに、映像のビットレート、解像度、およびフレームレートが用いられている。これは、これまでの映像の品質を査定する方法である。しかしながら、ＶＲ映像はこれまでの映像と大きく異なる。ＶＲ映像は３６０度のパノラマ映像であり、ＶＲ映像は独自の方式で符号化されている。これまでの映像の品質を査定する方法を用いてＶＲ映像の品質を査定した場合、査定結果の精度が低い。

【発明の概要】

【0004】

本発明の実施形態が、ＶＲ映像の品質を査定する方法および装置を提供する。本発明の実施形態では、ＶＲ映像の査定結果の精度が向上する。

【0005】

第１態様によれば、本発明の一実施形態がＶＲ映像の品質を査定する方法を提供する。本方法は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報（ｔｅｍｐｏｒａｌ ｐｅｒｃｅｐｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ、ＴＩ）を取得する段階であって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点（ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ）ＭＯＳを決定する段階であって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定する段階とを含む。これまでの技術と比較すると、ＶＲ映像の品質を査定するパラメータとしてＴＩが導入されているので、ＶＲ映像の品質査定結果の精度が向上する。

【0006】

実現可能な一実施形態において、ＶＲ映像のＴＩを取得する段階は、ＶＲ映像の２つの隣接する画像フレームの同じ位置における画素値の差異を求める段階と、２つの隣接する画像フレームの同じ位置における画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得する段階とを含む。

【0007】

標準偏差の公式は、

【数1】

および

【数2】

であり、ｐ_ｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。

【0008】

実現可能な一実施形態において、ＶＲ映像のＴＩを取得する段階は、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定する段階と、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階とを含む。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。

【0009】

実現可能な一実施形態において、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階は、時点ｔにおけるユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙ_ｔ＋Δｔを取得する段階と、ユーザの頭部回転角度Δａを以下の手順に従って決定する段階とを含み、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数3】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数4】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きくない場合、

【数5】

である。

【0010】

実現可能な一実施形態において、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階は、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する段階を含む。第１のＴＩ予測モデルは、

【数6】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。ＶＲ映像のＴＩはユーザの頭部回転角度に基づいて予測されるので、ＴＩを計算するのに必要な計算能力は無視できる。

【0011】

実現可能な一実施形態において、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階は、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する段階を含む。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。ＶＲ映像のＴＩはユーザの頭部回転角度に基づいて予測されるので、ＴＩを計算するのに必要な計算能力は無視できる。

【0012】

実現可能な一実施形態において、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する段階は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求める段階を含む。品質査定モデルは次の通りである。

【数7】

ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。

【0013】

第２態様によれば、本発明の一実施形態が査定装置を提供する。本装置は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニットであって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニットであって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定ユニットとを含む。

【0014】

実現可能な一実施形態において、取得ユニットは、ＶＲ映像のＴＩを取得する場合、具体的には、ＶＲ映像の２つの隣接する画像フレームの同じ位置にある画素値の差異を求め、２つの隣接する画像フレームの同じ位置にある画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得するように構成される。

【0015】

標準偏差の公式は、

【数8】

および

【数9】

であり、ｐ_ｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。

【0016】

実現可能な一実施形態において、取得ユニットは、ＶＲ映像のＴＩを取得する場合、具体的には、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定し、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定するように構成される。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。

【0017】

実現可能な一実施形態において、取得ユニットは、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する場合、具体的には、時点ｔにおけるユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙ_ｔ＋Δｔを取得し、ユーザの頭部回転角度Δａを以下の手順に従って決定するように構成され、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数10】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数11】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きくない場合、

【数12】

である。

【0018】

実現可能な一実施形態において、取得ユニットは、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第１のＴＩ予測モデルは、

【数13】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。

【0019】

実現可能な一実施形態において、取得ユニットは、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。

【0020】

実現可能な一実施形態において、決定ユニットは、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する場合、具体的には、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求めるように構成される。品質査定モデルは次の通りである。

【数14】

ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。

【0021】

第３態様によれば、本発明の一実施形態が査定装置を提供する。本装置は、実行可能プログラムコードを格納するメモリと、メモリに結合されたプロセッサとを含む。プロセッサは、メモリに格納された実行可能プログラムコードを呼び出して、第１態様による方法の段階の一部または全部を行う。

【0022】

第４態様によれば、本発明の一実施形態がコンピュータ可読記憶媒体を提供する。コンピュータ記憶媒体はコンピュータプログラムを格納し、コンピュータプログラムはプログラム命令を含み、プログラム命令がプロセッサで実行されると、プロセッサは第１態様による方法の段階の一部または全部を行うことが可能になる。

【0023】

本発明の実施形態の解決手段では、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩが取得され、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳが決定され、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられることが分かり得る。本発明の実施形態では、ＶＲ映像の査定結果の精度を向上させることができる。

【0024】

本発明のこれらの態様または他の態様は、次に挙げる実施形態の説明でより明確に且つ分かりやすくなる。

【図面の簡単な説明】

【0025】

本発明の実施形態またはこれまでの技術における技術的解決手段をより明確に説明するために、以下では、こうした実施形態またはこれまでの技術を説明するための添付図面を簡潔に説明する。以下の説明における添付図面は、本発明のほんの一部の実施形態を示しているだけであり、当業者であれば、創造的努力をすることなく、これらの添付図面から他の図面を導き出し得ることが明らかである。

【0026】

【図1】本発明の一実施形態による、ＶＲ映像の品質査定シナリオの概略図である。

【0027】

【図2】本発明の一実施形態による、ＶＲ映像の品質を査定する方法の概略フローチャートである。

【0028】

【図3】本発明の一実施形態による査定装置の概略構造図である。

【0029】

【図4】本発明の一実施形態による別の査定装置の概略構造図である。

【発明を実施するための形態】

【0030】

詳細な説明が、以下に別々に提供される。

【0031】

図１は、本発明の一実施形態による、ＶＲ映像の品質査定シナリオの概略図である。図１に示すように、このシナリオには、映像サーバ１０１と、中間ネットワークデバイス１０２と、端末デバイス１０３とが含まれる。

【0032】

映像サーバ１０１は、映像サービスを提供するサーバ（例えば、事業者）である。

【0033】

中間ネットワークデバイス１０２は、映像サーバ１０１と端末デバイス１０３との間で映像伝送を実施するデバイス（例えば、ホームゲートウェイ）である。ホームゲートウェイは、内と外を接続するハブとして機能するだけではなく、ホームネットワーク全体の最も重要なコントロールセンタとしての役割も果たす。ホームゲートウェイは、ワイドエリアネットワークにアクセスするために、ネットワーク側において高速アクセスインタフェースを提供する。ホームゲートウェイは、自宅の様々なサービス端末（例えば、パーソナルコンピュータおよびＩＰセットトップボックス）を接続するために、ユーザ側においてイーサネット（登録商標）インタフェースおよび／または無線ローカルエリアネットワーク機能を提供する。

【0034】

端末デバイス１０３は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）とも呼ばれ、音声接続および／またはデータ接続をユーザに提供するデバイス、例えば、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ、ＭＩＤ）、またはヘッドマウントデバイスなどのウェアラブルデバイスである。

【0035】

本発明では、映像サーバ１０１、中間ネットワークデバイス１０２、および端末デバイス１０３のうちのいずれか１つが、本発明による、ＶＲ映像の品質を査定する方法を行ってよい。

【0036】

図２は、本発明の一実施形態による、ＶＲ映像の品質を査定する方法の概略フローチャートである。図２に示すように、本方法は以下に挙げる段階を含む。

【0037】

Ｓ２０１：査定装置が、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを取得する。

【0038】

ＶＲ映像のビットレートは、ＶＲ映像のビットストリームが単位時間あたりに伝送される割合であり、ＶＲ映像の解像度はＶＲ映像の各画像フレームの解像度であり、ＶＲ映像のフレームレートは単位時間あたりにリフレッシュされる画像のフレーム数である。ＶＲ映像のＴＩは、ＶＲ映像の映像シーケンスの時間変動を示すのに用いられる。映像シーケンスの時間変動が大きいほど、映像シーケンスのＴＩ値が大きいことを示している。比較的高い運動度を持つ映像シーケンスが通常、比較的大きい時間変動を有しているので、その映像シーケンスは通常、比較的大きいＴＩ値を有する。

【0039】

実現可能な一実施形態において、本査定装置は、ある期間におけるＶＲ映像のビットストリームの負荷を求めることで、ＶＲ映像のビットレートを計算する。本査定装置は、ＶＲ映像のビットストリームを解析して、ＶＲ映像のシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）およびピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）を取得し、次いで、ＳＰＳおよびＰＰＳに含まれる構文要素に基づいてＶＲ映像の解像度およびフレームレートを決定する。

【0040】

実現可能な一実施形態において、査定装置がＶＲ映像のＴＩを取得することは、ＩＴＵ－Ｒ勧告ＢＴ．１７８８の方式でＶＲ映像のＴＩを決定すること、すなわち、ＶＲ映像の２つの隣接する画像フレームの画素値に基づいてＶＲ映像のＴＩを決定すること、またはユーザの頭部回転角度の情報に基づいてＶＲ映像のＴＩを決定することを含む。

【0041】

具体的には、本査定装置がＶＲ映像の２つの隣接する画像フレームの画素値に基づいてＶＲ映像のＴＩを決定することは、以下のことを含む。

【0042】

本査定装置は、２つの隣接する画像フレームの同じ位置にある画素の画素値の差異を求め、２つの隣接する画像フレームの同じ位置にある画素の画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得する。

【0043】

標準偏差の公式は、

【数15】

および

【数16】

であり、ｐ_ｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。言い換えれば、Ｗ×Ｈは、２つの隣接する画像フレームのそれぞれの解像度である。

【0044】

一例では、本査定装置が、ＶＲ映像のＮ個の連続した画像フレームの画素の画素値に基づいてＶＲ映像のＴＩを決定する場合、本査定装置は、２つの隣接する画像フレームの画素値に基づくＶＲ映像のＴＩを決定するプロセスの関連する説明に基づいて、［Ｎ－１］個の候補ＴＩを取得し、次いでＶＲ映像のＴＩとして［Ｎ－１］個の候補ＴＩの平均値を決定する。ここで、Ｎは２より大きい整数である。

【0045】

実現可能な一実施形態において、本査定装置がユーザの頭部回転角度の情報に基づいてＶＲ映像のＴＩを決定することは、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得することと、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定することと、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することとを含む。

【0046】

具体的には、本査定装置が事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得することは、時点ｔにおけるユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙ_ｔ＋Δｔを取得することと、ユーザの頭部回転角度Δａを以下の手順に従って決定することとを含む。

【0047】

ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数17】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数18】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きくない場合、

【数19】

である。

【0048】

本査定装置は次に、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいて、ユーザの平均頭部回転角度ａｎｇｌｅＶｅｌｏｃｉｔｙを決定する。ここで、ａｎｇｌｅＶｅｌｏｃｉｔｙ＝Δａ／Δｔである。

【0049】

事前設定期間は、ＶＲ映像の画像フレームを再生する期間であってよいことに留意されたい。

【0050】

実行可能な一実施形態において、本査定装置がユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することは、以下のことを含む。

【0051】

本査定装置は、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する。

【0052】

ａｎｇｌｅＶｅｌｏｃｉｔｙの値が大きいほど、ＶＲ映像のＴＩ値が大きいことを示していることに留意されたい。

【0053】

任意選択で、ＴＩ予測モデルは、

【数20】

であり、ｍおよびｎは定数である。

【0054】

任意選択で、ｍおよびｎは経験的に設定されてよく、ｍおよびｎの値範囲は［－１００，１００］であってよい。さらに、ｍおよびｎの値範囲は具体的には、［－５０，５０］であってよい。

【0055】

任意選択で、ｍおよびｎは代替的に訓練によって求められてよく、訓練によって求められたｍおよびｎは通常、［－１００，１００］の範囲の値である。訓練によってｍおよびｎを求めるプロセスとは、訓練によってＴＩ予測モデルを取得するプロセスである。

【0056】

実現可能な一実施形態において、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第１のＴＩ予測モデルに入力する前に、本査定装置は、複数のデータ項目を含む第１の訓練データセットを取得して第１のパラメトリックモデルを訓練し、第１のＴＩ予測モデルを取得する。第１の訓練データセットにおけるそれぞれの第１のデータ項目には、平均頭部回転角度およびＴＩが含まれる。平均頭部回転角度は第１のパラメトリックモデルの入力データであり、ＴＩは第１のパラメトリックモデルの出力データである。

【0057】

第１のパラメトリックモデルは、代数方程式、微分方程式、微分方程式系、および伝達関数などを用いて説明されるモデルであることに留意されたい。第１のパラメトリックモデルを確立することは、既知のモデル構造においてパラメータを（例えば、ＴＩ予測モデルにおいてｍおよびｎを）決定することである。

【0058】

一例において、本査定装置は、訓練データセットを用いて訓練パラメトリックモデルを訓練し、そのモデルにおけるパラメータ（例えば、ＴＩ予測モデルにおけるｍおよびｎ）を取得してよい。

【0059】

実現可能な一実施形態において、本査定装置がユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することは、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得することを含む。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。

【0060】

ここで、ノンパラメトリックモデルでは、目的関数の形に関して強い仮定が行われないことに留意されたい。仮定をしないことで、目的関数は訓練データからの学習によって、あらゆる関数形に自由になり得る。ノンパラメトリックモデルの訓練段階は、パラメトリックモデルの訓練方式と同様である。モデルを訓練するには、大量の訓練データセットを準備する必要がある。しかしながら、ノンパラメトリックモデルでは、目的関数の形に関して仮定を行う必要がなく、これは、目的関数を決定する必要があるパラメトリックモデルの場合とは異なる。例えば、ｋ近傍法（ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、ＫＮＮ）アルゴリズムが用いられてよい。

【0061】

本発明の本査定装置がユーザのヘッドマウントデバイス（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ、ＨＭＤ）に有線方式または無線方式で接続されることで、本査定装置はユーザの頭部角度の情報を取得できることに留意されたい。

【0062】

Ｓ２０２：本査定装置は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩに基づいてＶＲ映像のＭＯＳを決定する。

【0063】

ＶＲ映像のＭＯＳは、ＶＲ映像の品質を表すのに用いられ、また映像品質を測る評価基準である。評点基準は、ＩＴＵ－Ｔ勧告Ｐ．９１０によるものである。映像品質は、優、良、可、不可、および劣悪の５段階に分類され、対応するＭＯＳはそれぞれ、５、４、３、２、および１である。

【0064】

具体的には、本査定装置は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求める。

【0065】

任意選択で、品質査定モデルは次の通りであってよい。

【数21】

ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。

【0066】

任意選択で、ａ、ｂ、ｃ、およびｄは経験的に設定されてよく、ａ、ｂ、ｃ、およびｄの値範囲は［－１００，１００］であってよい。さらに、ａ、ｂ、ｃ、およびｄの値範囲は具体的には、［－５０，５０］であってよい。

【0067】

任意選択で、ａ、ｂ、ｃ、およびｄは代替的に訓練によって求められてよく、訓練によって求められたａ、ｂ、ｃ、およびｄは通常、［－１００，１００］の範囲の値である。訓練によってａ、ｂ、ｃ、およびｄを求めるプロセスとは、訓練によって品質査定モデルを取得するプロセスである。

【0068】

ＶＲ映像のビットレートが高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している、すなわち、ＶＲ映像の品質が高いことを示していることに留意されたい。ＶＲ映像の解像度が高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している。ＶＲ映像のフレームレートが高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している。ＶＲ映像のＴＩ値が大きいほど、ＶＲ映像のＭＯＳ値が大きいことを示している。

【0069】

実現可能な一実施形態において、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩが計算のために品質査定モデルに入力される前に、本査定装置は、複数のデータ項目を含む第３の訓練データセットを取得して第２のパラメトリックモデルを訓練し、品質査定モデルを取得する。第３の訓練データセットの各データ項目には、ＶＲ映像およびＭＯＳに関する情報が含まれる。ＶＲ映像に関する情報は第２のパラメトリックモデルの入力データであり、ＭＯＳは第２のパラメトリックモデルの出力データである。ＶＲ映像に関する情報には、ＶＲ映像のビットレート、解像度、およびフレームレートが含まれる。

【0070】

第２のパラメトリックモデルは、代数方程式、微分方程式、微分方程式系、および伝達関数などを用いて説明されるモデルであることに留意されたい。第２のパラメトリックモデルを確立することは、既知のモデル構造においてパラメータを（例えば、品質査定モデルにおいてａ、ｂ、ｃ、およびｄを）決定することである。

【0071】

本発明の本実施形態の解決手段では、本査定装置がＶＲ映像のＴＩを導入してＶＲ映像の品質を査定することが分かり得る。これまでの技術と比較すると、ＶＲ映像の品質査定の精度が大幅に向上する。

【0072】

図３は、本発明の一実施形態による査定装置の概略構造図である。図３に示すように、査定装置３００は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニット３０１であって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニット３０１と、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニット３０２であって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定ユニット３０２とを含む。

【0073】

実現可能な一実施形態において、取得ユニット３０１は、ＶＲ映像のＴＩを取得する場合、具体的には、ＶＲ映像の２つの隣接する画像フレームの同じ位置における画素値の差異を求め、２つの隣接する画像フレームの同じ位置における画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得するように構成される。

【0074】

標準偏差の公式は、

【数22】

および

【数23】

であり、ｐ_ｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。

【0075】

実現可能な一実施形態において、取得ユニット３０１は、ＶＲ映像のＴＩを取得する場合、具体的には、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定し、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定するように構成される。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。

【0076】

実現可能な一実施形態において、取得ユニット３０１は、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する場合、具体的には、時点ｔにおけるユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙ_ｔ＋Δｔを取得し、ユーザの頭部回転角度Δａを以下の手順に従って決定するように構成され、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数24】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数25】

であり、ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きくない場合、

【数26】

である。

【0077】

実現可能な一実施形態において、取得ユニット３０１は、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第１のＴＩ予測モデルは、

【数27】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。

【0078】

実現可能な一実施形態において、取得ユニット３０１は、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。

【0079】

実現可能な一実施形態において、決定ユニット３０２は、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する場合、具体的には、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求めるように構成される。品質査定モデルは次の通りである。

【数28】

ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。

【0080】

各ユニット（取得ユニット３０１および決定ユニット３０２）は、前述の方法の関連する段階を行うように構成されることに留意されたい。取得ユニット３０１は具体的には、段階Ｓ２０１の関連する内容を行うように構成され、また決定ユニット３０２は具体的には、段階Ｓ２０２の関連する内容を行うように構成される。

【0081】

本実施形態において、査定装置３００はユニットの形で示されている。本明細書における「ユニット」とは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、１つもしくは複数のソフトウェアプログラムもしくはファームウェアプログラムを実行するプロセッサもしくはメモリ、集積論理回路、および／または前述の機能を提供できる別のデバイスであってよい。さらに、取得ユニット３０１および決定ユニット３０２は、図４に示す査定装置のプロセッサ４０１を用いて実装されてよい。

【0082】

図４に示すように、査定装置４００が図４に示す構成で実装されてよい。査定装置４００は、少なくとも１つのプロセッサ４０１と、少なくとも１つのメモリ４０２と、少なくとも１つの通信インタフェース４０３とを含む。プロセッサ４０１、メモリ４０２、および通信インタフェース４０３は、通信バスを用いて互いに接続され、互いに通信する。

【0083】

プロセッサ４０１は、汎用中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、または前述の解決手段のプログラム実行を制御する１つまたは複数の集積回路であってもよい。

【0084】

通信インタフェース４０３は、別のデバイスまたは通信ネットワーク、例えば、イーサネット（登録商標）、無線アクセスネットワーク（ＲＡＮ）、または無線ローカルエリアネットワーク（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ、ＷＬＡＮ）と通信するように構成される。

【0085】

メモリ４０２は、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）もしくは静的情報および命令を格納できる別の種類の静的記憶装置でも、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）もしくは情報および命令を格納できる別の種類の動的記憶装置でもよく、電気的消去可能プログラム可能型読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）もしくは他のコンパクトディスクストレージ、光ディスクストレージ（圧縮光ディスク、レーザディスク、光ディスク、デジタル多用途ディスク、およびブルーレイ光ディスクなどを含む）、磁気ディスク記憶媒体もしくは別の磁気記憶装置、または期待されるプログラムコードを命令もしくはデータ構造体の形で保持もしくは格納するのに用いることができ且つコンピュータがアクセスできるあらゆる他の媒体であってもよい。しかしながら、これについては上記したものに限定されない。メモリは単独で存在してよく、メモリはバスを用いてプロセッサに接続される。メモリは代替的に、プロセッサと一体化されてもよい。

【0086】

メモリ４０２は、前述の解決手段を実行するアプリケーションプログラムコードを格納するように構成され、プロセッサ４０１はその実行を制御する。プロセッサ４０１は、メモリ４０２に格納されたアプリケーションプログラムコードを実行するように構成される。

【0087】

メモリ４０２に格納されるコードは、ＶＲ映像の品質を査定する方法（図２に示す実施形態に開示されている方法）の関連する内容を行うのに用いられてよい。例えば、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩが取得され、ＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられ、またＶＲ映像の平均オピニオン評点ＭＯＳがＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいて決定され、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる。

【0088】

本発明の実施形態はさらに、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体はプログラムを格納してよく、プログラムが実行されると、前述の方法の実施形態で記録されるＶＲ映像の品質を査定する任意の方法の段階の少なくとも一部または全部が行われてよい。

【0089】

説明を簡潔にするために、前述の方法の実施形態は一連の動きとして表現されていることに留意されたい。しかしながら、当業者であれば、本発明は説明した動きの順序に限定されないことを理解するはずである。本発明によれば、一部の段階が他の順序で行われても、同時に行われてもよいからである。さらに、当業者であれば、本明細書で説明した全ての実施形態は例示的な実施形態であり、関連する動きおよびモジュールは必ずしも本発明に必須ではないことも理解するはずである。

【0090】

前述の実施形態において、各実施形態の説明にはそれぞれの注目点がある。一実施形態において詳細に説明されていない部分については、他の実施形態の関連する説明を参照されたい。

【0091】

本願で提供されるいくつかの実施形態では、開示した装置が別の方式で実現されてよいことを理解されたい。例えば、説明した装置の実施形態は、単なる一例に過ぎない。例えば、ユニットの分割は単なる論理的機能の分割に過ぎず、実際の実装では別の分割であってもよい。例えば、複数のユニットもしくは構成要素が組み合わされるかまたは統合されて別のシステムになってもよく、いくつかの特徴が無視されても行われなくてもよい。さらに、示されたまたは説明された相互結合もしくは直接的結合または通信接続は、いくつかのインタフェースによって実装されてよい。装置同士またはユニット同士の間接的結合または通信接続は、電子的形態または他の形態で実装されてよい。

【0092】

別々の部分として説明されたユニットは物理的に離れていてもいなくてもよく、ユニットとして示された部分が物理的ユニットであってもなくてもよく、１か所に配置されてもよく、複数のネットワークユニットに分散されてもよい。こうしたユニットの一部または全部が、各実施形態の解決手段の目的を達成するために、実際の要件に基づいて選択されてよい。

【0093】

さらに、本発明の実施形態の各機能ユニットが統合されて１つの処理ユニットになってもよく、各ユニットが物理的に単独で存在してもよく、または２つ以上のユニットが統合されて１つのユニットになる。統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。

【0094】

統合されたユニットがソフトウェア機能ユニットの形で実装され且つ独立した製品として販売または用いられる場合、統合されたユニットはコンピュータ可読メモリに格納されてよい。そのような理解に基づいて、本質的には本発明の技術的解決手段、またはこれまでの技術に寄与する部分、または技術的解決手段の全部もしくは一部が、ソフトウェア製品の形で実装されてよい。このソフトウェア製品はメモリに格納され、本発明の実施形態で説明した方法の段階の全部または一部を行うようコンピュータデバイス（これは、パーソナルコンピュータでも、サーバでも、ネットワークデバイスでもよい）に指示を与えるためのいくつかの命令を含む。前述のメモリには、プログラムコードを格納できるあらゆる媒体が含まれ、例えば、ＵＳＢフラッシュドライブ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、着脱可能型ハードディスク、磁気ディスク、または光ディスクなどがある。

【0095】

当業者であれば、各実施形態における方法の段階の全部または一部が、関連するハードウェアに指示を与えるプログラムによって実施され得ることを理解するであろう。本プログラムは、コンピュータ可読メモリに格納されてよい。メモリは、フラッシュメモリ、読み出し専用メモリ（英名：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、略してＲＯＭ）、ランダムアクセスメモリ（英名：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略してＲＡＭ）、磁気ディスク、または光ディスクなどを含んでよい。

【0096】

本発明の実施形態が、上で詳細に説明されている。本発明の原理および実装が、具体的な実施例を通じて本明細書に説明されている。本発明の実施形態に関する説明は、本発明の方法および中心となる考えの理解に役立つように提供されているだけである。さらに、当業者であれば、本発明の考えによる具体的な実装例および適用範囲の観点から、本発明に対して変形および改変を行うことができる。したがって、本明細書の内容は、本発明に対する限定と解釈してはならない。
［他の考え得る項目］
（項目１）
仮想現実ＶＲ映像の品質を査定する方法であって、
ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得する段階であって、上記ＶＲ映像の上記ＴＩは上記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定する段階であって、上記ＶＲ映像の上記ＭＯＳは上記ＶＲ映像の品質を表すのに用いられる、決定する段階と
を備える方法。
（項目２）
ＶＲ映像のＴＩを取得する上記段階が、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、
上記事前設定期間Δｔおよび上記ユーザの上記頭部回転角度Δａに基づいて上記ユーザの平均頭部回転角度を決定する段階と、
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する段階であって、上記ユーザの平均頭部回転角度が大きいほど上記ＶＲ映像のＴＩ値が大きいことを示している、決定する段階と
を有する、項目１に記載の方法。
（項目３）
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する上記段階が、
時点ｔにおける上記ユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］における上記ユーザの頭部角度ｙ_ｔ＋Δｔを取得する段階と、
上記ユーザの上記頭部回転角度Δａを以下の手順に従って決定する段階と
を有し、
ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数29】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの上記差異の上記絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数30】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの上記差異の上記絶対値が１８０度より大きくない場合、

【数31】

である、項目２に記載の方法。
（項目４）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する上記段階が、
上記ユーザの上記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得する段階を有し、
上記第１のＴＩ予測モデルが

【数32】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙは上記ユーザの上記平均頭部回転角度を表しており、ｍおよびｎは定数である、項目２または３に記載の方法。
（項目５）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する上記段階が、
上記ユーザの上記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得する段階を有し、
上記第２のＴＩ予測モデルがノンパラメトリックモデルである、項目２または３に記載の方法。
（項目６）
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定する上記段階が、
上記ＶＲ映像の上記ビットレート、上記解像度、上記フレームレート、および上記ＴＩを計算のために品質査定モデルに入力して、上記ＶＲ映像の上記ＭＯＳを求める段階を有し、
上記品質査定モデルが次の通りであり、

【数33】

ここで、Ｂ１が上記ＶＲ映像の上記ビットレートを表しており、Ｂ２が上記ＶＲ映像の上記解像度を表しており、Ｆが上記ＶＲ映像の上記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、項目１から５のいずれか一項に記載の方法。
（項目７）
仮想現実ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニットであって、上記ＶＲ映像の上記ＴＩは上記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニットであって、上記ＶＲ映像の上記ＭＯＳは上記ＶＲ映像の品質を表すのに用いられる、決定ユニットと
を備える査定装置。
（項目８）
上記ＶＲ映像の上記ＴＩを取得する一態様において、上記取得ユニットが具体的には、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、
上記事前設定期間Δｔおよび上記ユーザの上記頭部回転角度Δａに基づいて上記ユーザの平均頭部回転角度を決定し、
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する
ように構成され、上記ユーザの平均頭部回転角度が大きいほど上記ＶＲ映像のＴＩ値が大きいことを示している、項目７に記載の装置。
（項目９）
上記事前設定期間Δｔにおける上記ユーザの上記頭部回転角度Δａを取得する一態様において、上記取得ユニットが具体的には、
時点ｔにおける上記ユーザの頭部角度ｙ_ｔおよび時点［ｔ＋Δｔ］における上記ユーザの頭部角度ｙ_ｔ＋Δｔを取得し、
上記ユーザの上記頭部回転角度Δａを以下の手順に従って決定する
ように構成され、
ｙ_ｔ＋Δｔとｙ_ｔとの差異の絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより小さい場合、

【数34】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの上記差異の上記絶対値が１８０度より大きい且つｙ_ｔがｙ_ｔ＋Δｔより大きい場合、

【数35】

であり、
ｙ_ｔ＋Δｔとｙ_ｔとの上記差異の上記絶対値が１８０度より大きくない場合、

【数36】

である、項目８に記載の装置。
（項目１０）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する一態様において、上記取得ユニットが具体的には、
上記ユーザの上記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得するように構成され、
上記第１のＴＩ予測モデルが

【数37】

であり、ａｎｇｌｅＶｅｌｏｃｉｔｙが上記ユーザの上記平均頭部回転角度を表しており、ｍおよびｎが定数である、項目８または９に記載の装置。
（項目１１）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する一態様において、上記取得ユニットが具体的には、
上記ユーザの上記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得するように構成され、
上記第２のＴＩ予測モデルがノンパラメトリックモデルである、項目８または９に記載の装置。
（項目１２）
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の上記平均オピニオン評点ＭＯＳを決定する一態様において、上記決定ユニットが具体的には、
上記ＶＲ映像の上記ビットレート、上記解像度、上記フレームレート、および上記ＴＩを計算のために品質査定モデルに入力して、上記ＶＲ映像の上記ＭＯＳを求めるように構成され、
上記品質査定モデルが次の通りであり、

【数38】

ここで、Ｂ１が上記ＶＲ映像の上記ビットレートを表しており、Ｂ２が上記ＶＲ映像の上記解像度を表しており、Ｆが上記ＶＲ映像の上記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、項目７から１１のいずれか一項に記載の装置。
（項目１３）
実行可能プログラムコードを格納するメモリと、
上記メモリに結合されたプロセッサと
を備える査定装置であって、
上記プロセッサが上記メモリに格納された上記実行可能プログラムコードを呼び出して、項目１から６のいずれか一項に記載の方法を行う、査定装置。
（項目１４）
コンピュータ可読記憶媒体であって、上記コンピュータ記憶媒体がコンピュータプログラムを格納し、上記コンピュータプログラムがプログラム命令を含み、上記プログラム命令がプロセッサにより実行されると、上記プロセッサが項目１から６のいずれか一項に記載の方法を行うことが可能になる、コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】