特許 7215229 映像品質推定装置、映像品質推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-23

(45)【発行日】2023-01-31

(54)【発明の名称】映像品質推定装置、映像品質推定方法及びプログラム

(51)【国際特許分類】

   H04N 17/00 20060101AFI20230124BHJP

【ＦＩ】

H04N17/00 Z

【請求項の数】 6

(21)【出願番号】P 2019037769

(22)【出願日】2019-03-01

(65)【公開番号】P2020141374

(43)【公開日】2020-09-03

【審査請求日】2021-07-01

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】小池 正憲

(72)【発明者】

【氏名】浦田 勇一朗

(72)【発明者】

【氏名】山岸 和久

【審査官】佐野 潤一

(56)【参考文献】

【文献】特表２０１４－５２７７７８（ＪＰ，Ａ）

【文献】特開２００９－２６０９４０（ＪＰ，Ａ）

【文献】特開２００７－２５１９６８（ＪＰ，Ａ）

【文献】特開２０１１－２１７３４５（ＪＰ，Ａ）

【文献】特開２０１７－０９８６０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ２１／００

Ｈ０４Ｎ １９／００

(57)【特許請求の範囲】

【請求項1】

第１のタイルで構成される映像と、前記第１のタイルの品質よりも低い品質を有する１つ又は複数の第２のタイルで構成される映像とを切り替えることによって視聴される映像を配信するサービスにおいてユーザが体感する品質を推定するための映像品質推定装置であって、
受信したタイルベース映像から、前記第１のタイルの品質を表す第１のパラメータと、前記１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出する映像品質パラメータ抽出部と、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定する映像品質推定部と、
を有し、
前記第２のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第１のパラメータの値の増加に伴い減少し、前記第１のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第２のパラメータの値の増加に伴い減少することを特徴とする映像品質推定装置。

【請求項2】

前記第１のタイルは高画質タイルであり、前記１つ又は複数の第２のタイルは１つ又は複数の低画質タイルであり、
前記映像品質推定部は、前記高画質タイルの品質を表す第１のパラメータを使用して、前記高画質タイルの品質を推定し、前記１つ又は複数の低画質タイルの品質を表す第２のパラメータを使用して、前記１つ又は複数の低画質タイルの品質を推定し、前記高画質タイルの品質と前記１つ又は複数の低画質タイルの品質から前記タイルベース映像の品質を推定する、請求項１に記載の映像品質推定装置。

【請求項3】

前記第１のタイルは高画質タイルであり、前記１つ又は複数の第２のタイルは１つ又は複数の低画質タイルであり、
前記映像品質推定部は、前記高画質タイルの品質を表す第１のパラメータを使用して、前記高画質タイルの品質を推定し、前記高画質タイルの品質を表す第１のパラメータと、前記１つ又は複数の低画質タイルの品質を表す第２のパラメータとを使用して、前記高画質タイルと前記１つ又は複数の低画質タイルとの画質差を推定し、前記高画質タイルの品質と前記画質差から前記タイルベース映像の品質を推定する、請求項１に記載の映像品質推定装置。

【請求項4】

前記第１のパラメータ及び前記第２のパラメータは、解像度、フレームレート、ビットレート、及び量子化パラメータのうち少なくとも１つである、請求項１乃至３のうちいずれか１項に記載の映像品質推定装置。

【請求項5】

第１のタイルで構成される映像と、前記第１のタイルの品質よりも低い品質を有する１つ又は複数の第２のタイルで構成される映像とを切り替えることによって視聴される映像を配信するサービスにおいてユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
受信したタイルベース映像から、前記第１のタイルの品質を表す第１のパラメータと、前記１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出するステップと、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定するステップと、
を有し、
前記第２のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第１のパラメータの値の増加に伴い減少し、前記第１のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第２のパラメータの値の増加に伴い減少することを特徴とする映像品質推定方法。

【請求項6】

請求項１乃至４のうちいずれか１項に記載の装置の各部としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像品質推定装置、映像品質推定方法及びプログラムに関するものである。特に、本発明は、映像をタイルに分割して配信するタイルベース映像配信サービスおいてユーザが体感する映像の品質値（映像品質値）を推定するための映像品質推定装置、映像品質推定方法及びプログラムに関する。

【背景技術】

【0002】

近年、仮想現実（VR）技術の発展により、ユーザが360°見渡すことのできるVR映像を視聴する機会が増加している。それに伴い、VR映像配信サービスも増加し、ユーザがヘッドマウントディスプレイ（HMD）や従来の据え置き型ディスプレイ等を用いてVR映像を視聴する機会も増加している。ユーザがVR映像を視聴するとき、例えば、HMDを装着して、ユーザが首を振る、体を動かすなどの行動によって視線方向を変えることができ、また、従来の据え置き型のディスプレイをマウス等で操作することによって映像の視聴方向を変えることができる。

【0003】

一般的に、映像配信サービスにおいて、ユーザが映像に対して感じる品質は、映像品質に関連するパラメータ（ビットレート、解像度、フレームレート等）に強く影響を受ける。2次元の映像の品質評価については、従来から検討が進められており、例えば、非特許文献１～４において、評価者が2次元の映像を視聴した際に、映像信号、映像のビットストリーム、パケットヘッダやメタデータなどから映像品質を推定する客観品質評価技術が記載されている。

【0004】

VR映像は2D映像と異なる配信方法が提案されており、配信前の品質を推定する上で、VR特有の配信手法を考慮する必要がある。VR映像配信においては、360°全体の映像に対して、ディスプレイに表示される映像はその一部の領域だけとなる。そこで、従来の映像配信サービスのように映像全体を一様な画質で配信する方法ではなく、ディスプレイに表示されるユーザの視聴方向の映像を高画質で配信し、その他のディスプレイに表示されない映像を低画質で配信、もしくは配信しないことによって配信コストを抑えるというタイルベース配信と呼ばれる手法が提案されている。タイルベース配信の一例として、非特許文献５で示されたMPEG-DASHと呼ばれる配信方式を用いて、非特許文献６で示されるようにVR映像のタイル分割を行い、タイルごとの画質を変えて符号化し、配信する手法が挙げられている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference, Recommendation ITU-T J.341, 2016

【文献】Parametric non-intrusive bitstream assessment of video media streaming quality, Recommendation ITU-T P.1202, 2012

【文献】Parametric non-intrusive assessment of audiovisual media streaming quality, Recommendation ITU-T P.1201, 2012

【文献】Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, Recommendation ITU-T P.1203, 2017

【文献】I. Sodagar, "The MPEG-DASH Standard for Multimedia Streaming Over the Internet," in IEEE MultiMedia, vol. 18, pp. 62-67, 2011.

【文献】Jean Le Feuvre, Cyril Concolato, "Tiled-based Adaptive Streaming using MPEG-DASH," MMSys '16 Proceedings of the 7th International Conference on Multimedia Systems, Article No. 41

【発明の概要】

【発明が解決しようとする課題】

【0006】

VR映像を適切な品質で提供するためには、映像配信前の品質を適切に設計することが求められ、VR映像の品質を推定する手法が必要である。しかしながら、VR映像に対する客観品質評価技術は存在しない。

【0007】

VR映像のタイルベース配信では、タイルごとに映像の品質を表すパラメータを変えることができるため、従来の2次元映像の品質推定と異なり複数のタイルごとの映像の品質を表すパラメータを利用した品質推定が必要となると考えられる。

【0008】

例えば、タイルベース配信では、ユーザが向きを変えず、同じ方向のみを視聴している場合においては高画質の映像が表示される。一方で、 タイルベースVR映像を視聴する方向を変化させた場合では、新しい視聴方向のタイルを低画質のタイルから高画質のタイルに切り替えるまでの間に、低画質の映像を視聴するため、ユーザが画質の劣化を知覚する可能性がある。このように、視線移動が起きない場合に表示される高画質のタイルの品質と、視線移動の際に視聴する低画質タイルの品質は、それぞれユーザが実際に体感する品質に対する寄与率も異なると考えられる。

【0009】

従来の2次元映像の品質評価ではこれらの視線移動による品質劣化を考慮する必要がなかったが、タイルベースVR映像の品質評価では高画質タイル、低画質タイルそれぞれの品質を考慮した評価を行う必要がある。

【0010】

本発明は、上記の点を鑑みて、タイルベースVR映像を視聴した際にユーザが体感する品質を推定することを目的とする。

【課題を解決するための手段】

【0011】

本発明の一形態に係る映像品質推定装置は、
第１のタイルで構成される映像と、前記第１のタイルの品質よりも低い品質を有する１つ又は複数の第２のタイルで構成される映像とを切り替えることによって視聴される映像を配信するサービスにおいてユーザが体感する品質を推定するための映像品質推定装置であって、
受信したタイルベース映像から、前記第１のタイルの品質を表す第１のパラメータと、前記１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出する映像品質パラメータ抽出部と、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定する映像品質推定部と、
を有し、
前記第２のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第１のパラメータの値の増加に伴い減少し、前記第１のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第２のパラメータの値の増加に伴い減少することを特徴とする。

【0012】

また、本発明の一形態に係る映像品質推定方法は、
第１のタイルで構成される映像と、前記第１のタイルの品質よりも低い品質を有する１つ又は複数の第２のタイルで構成される映像とを切り替えることによって視聴される映像を配信するサービスにおいてユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
受信したタイルベース映像から、前記第１のタイルの品質を表す第１のパラメータと、前記１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出するステップと、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定するステップと、
を有し、
前記第２のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第１のパラメータの値の増加に伴い減少し、前記第１のパラメータの値が一定である場合、推定される前記タイルベース映像の品質が前記第２のパラメータの値の増加に伴い減少することを特徴とする。

【0013】

また、本発明の一形態に係るプログラムは、上記の装置の各部としてコンピュータを機能させる。

【発明の効果】

【0014】

本発明によれば、タイルベースVR映像を視聴した際にユーザが体感する品質を推定することが可能になる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態におけるVR映像品質推定装置の構成図である。

【図2】量子化パラメータ（QP）と映像品質値の関係例を表す図である。

【図3】本発明の一実施形態における映像品質推定方法のフローチャートである。

【図4】本発明の一実施形態におけるVR映像品質推定装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0016】

以下、図面とともに本発明の実施形態について詳細に説明する。

【0017】

本発明の実施形態では、映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定する手法について説明する。

【0018】

図１に本発明の一実施形態におけるVR映像品質推定装置１の構成を示す。VR映像品質推定装置１は、任意のタイルベースVR映像の品質を推定することを目的として、高画質タイルの映像の品質を表すパラメータPH、低画質タイルの映像の品質を表すパラメータPLを利用して、主観評価特性を定式化したモデル式を基に、パラメータPH及びパラメータPLを入力としてVR映像の品質を推定する装置である。

【0019】

同図に示すVR映像品質推定装置１は、映像品質パラメータ抽出部１１及び映像品質推定部１２から構成される。

【0020】

映像品質パラメータ抽出部１１は、受信したタイルベースVR映像を入力とし、品質評価のために設定した高画質タイル・低画質タイルのそれぞれの映像の品質を表すパラメータPH,PLをタイルベースVR映像から抽出し、高画質タイル・低画質タイルのそれぞれのパラメータPH,PLを映像品質推定部１２に出力する。

【0021】

映像の品質を表すパラメータは、タイルベースVR映像を符号化するときに用いられるパラメータであり、タイルベースVR映像の高画質タイル・低画質タイルそれぞれに対する解像度、フレームレート、ビットレート、量子化パラメータ（QP）のうち少なくとも一つを意味する。すなわち、映像の品質を表すパラメータは上記の情報すべてでもよく、一部の情報でもよい。

【0022】

また、ここで低画質タイルについては、VR映像全体をカバーする1枚のタイルとしても良いし、低画質タイルも高画質タイルと同様の複数のタイルに分割されたものとしてもよい。分割された低画質タイルを複数受信し、その低画質タイル群で一部の領域を表示する場合は、その領域を1枚として扱うことができる。以下は、簡単に説明するため、低画質タイルが1枚の場合について述べる。

【0023】

映像品質推定部１２は、高画質タイル・低画質タイルそれぞれのパラメータPH,PLを入力とし、タイルベースVR映像の品質（映像品質値）を推定して出力する。映像品質推定部１２は、高画質タイル・低画質タイルそれぞれのパラメータPH,PLと映像品質値の関係を表したモデル式を有する。映像品質推定部１２は、当該モデル式に高画質タイル・低画質タイルそれぞれのパラメータPH,PLを入力して、タイルベースVR映像品質値を推定する。

【0024】

映像品質推定部１２が用いるモデル式に関して、映像の品質を表すパラメータの例としてQPを用いて説明する。QPは映像の符号化に関するパラメータであり、QPの値が小さいほど映像がより映像が精細に表現できることを示す。

【0025】

図２を用いてQPが異なる映像間での品質値の関係について説明する。図２は、タイルベースVR映像における高画質タイル・低画質タイルのQPと映像品質値の関係を示したものである。図中の横軸は高画質タイルのQP、縦軸は映像品質値を表しており、低画質タイルのQPが異なった複数の場合の線を図示している。低画質タイルのQPが一定の場合、高画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。具体的には、視線移動が起こらない場合では、ユーザは一般的に高画質タイルを視聴するため、高画質タイルのQPの増加に伴って発生するVR映像のノイズやボケをユーザが知覚し、映像品質値が低下する。ここで、映像品質値とは、主観品質評価法から得られるタイルベースVR映像の品質値を表す。

【0026】

一方で、高画質タイルのQPが同一であっても、低画質タイルのQPによって映像品質値は異なり、低画質タイルのQPが大きいほど映像品質値は小さくなる。具体的には、ユーザが視線移動をした際に、高画質タイルではなく低画質タイルをユーザは視聴する。その際に低画質タイルを見ることによってユーザは映像の品質劣化を知覚し、映像品質値が低下する。

【0027】

映像品質推定部１２は、上記のように、高画質タイルのQPの増加に伴って映像品質値が低下し、低画質タイルのQPの増加に伴って映像品質値が低下するという特性を表したモデル式を有する。当該モデル式を基にタイルベースVR映像を視聴した際に体感する映像品質値VQを求める手法として、（１）低画質タイルの品質を利用して求める手法と、（２）高画質タイルと低画質タイルの画質差を利用して求める手法がある。

【0028】

それぞれの手法について、VR映像品質推定装置１が実行する処理手順について説明する。図３は、VR映像品質推定装置が実行する映像品質推定方法の一例を説明するためのフローチャートである。

【0029】

ステップＳ１において、タイルベースVR映像が映像品質パラメータ抽出部１１に入力される。

【0030】

タイルベースVR映像は全体のVR映像がタイルに分割されており、タイルごとに画質が異なる。ここでは、ユーザの視聴方向のタイルは高画質タイルであり、その他のタイルは低画質タイルであると仮定する。

【0031】

ステップＳ２において、映像品質パラメータ抽出部１１は、入力されたタイルベースVR映像の品質を表すパラメータを抽出する。

【0032】

タイルベースVR映像が高画質タイルと低画質タイルで構成される場合、映像品質パラメータ抽出部１１は、高画質タイル・低画質タイルのそれぞれの映像の品質を表すパラメータPH,PLを抽出する。

【0033】

ステップＳ３において、映像品質推定部１２は品質評価のモデル式に基づき、映像品質値を算出する。

【0034】

映像の品質を表すパラメータをQPとすると、図２を参照して説明したように、低画質タイルのQPが一定の場合、高画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。したがって、高画質タイルによる品質値VQHは、高画質タイルのQPであるQPHの増加に伴い品質が減少する特性（例：指数関数、逆数のロジスティック関数など）に基づいて推定する。例えば、以下の数式に基づき品質推定が実施される。

【0035】

【数1】

なお、上記の式(1)は以下のいずれかのモデル式で置き換えてもよいし、他の式を用いてよい。

【0036】

【数2】

【0037】

【数3】

【0038】

【数4】

上記の式(1)～(4)では、a～cの係数は予め定めたものとしているが、係数は解像度・フレームレート、ビットレート等に対応して定まる数としてもよい。

【0039】

例えば、式(4)のa,bは解像度・フレームレートを用いて以下のように計算できる。

【0040】

【数5】

ここで、v1～v6は係数であり、rsはVR映像の解像度を、frはVR映像のフレームレートを示す。

【0041】

また、図２を参照して説明したように、高画質タイルのQPが一定の場合、低画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。したがって、低画質タイルの品質値VQLは、高画質タイルの場合と同様に、低画質タイルのQPであるQPLの増加に伴い品質が減少する特性（例：指数関数、逆数のロジスティック関数など）に基づいて推定する。例えば、以下の数式に基づき品質推定が実施される。

【0042】

【数6】

なお、上記の式(6)は高画質タイルの品質推定と同様に他の式に置き換えることができる。

【0043】

（１）低画質タイルの品質を利用して求める手法の場合、映像品質推定部１２は、高画質タイルの品質値VQHと、低画質タイルの品質値VQLを利用して、以下の数式に基づいて映像品質値VQを推定する。

【0044】

【数7】

（２）高画質タイルと低画質タイルの画質差を利用して求める手法の場合、映像品質推定部１２は、高画質タイルの品質値VQHと、低画質タイルによる品質劣化値VQDを利用して、以下の数式に基づいて映像品質値VQを推定する。

【0045】

【数8】

上記の式(8)において、VQHは式(1)～(4)のいずれか又は他の式によって推定される。VQDは高画質タイルのQP（QPH）と低画質タイルのQP（QPL）を用いて、以下の式に基づいて推定される。

【0046】

【数9】

ただし、a～cは予め定めた係数とする。

【0047】

なお、式(9)は以下のモデル式で置き換えてもよいし、他の式を用いてよい。

【0048】

【数10】

ただし、a～fは予め定めた係数とする。

【0049】

上記の数式では、係数は予め定めたものとしているが、係数は解像度・フレームレート・ビットレート等に対応して定まる数としてもよい。

【0050】

ステップＳ４において、映像品質推定部１２は算出された映像品質値VQを出力する。

【0051】

以上の実施形態では、VQの推定をQPを用いて行った。VQの推定はQPを用いた推定に限定されず、映像の品質を表すパラメータである解像度・フレームレート・ビットレートの品質要因を利用して推定を行うことも可能である。

【0052】

例えば、QPに加えて解像度及びフレームレートを利用して、映像品質に対して単調増加の関係を表す関数（例：線形関数、指数関数、ロジスティック関数など）を利用してVQを推定する。例えば、解像度及びフレームレートのいずれかを単独で用いて、VQHは以下の式で表される。

【0053】

【数11】

【0054】

【数12】

また、例えばQPと解像度、フレームレートを同時に用いた場合、VQHは以下の式で表される。

【0055】

【数13】

VQLについてもRSL,FRLを用いて同様に表すことができる。

【0056】

ただし、a～iは予め定めた係数、RSH,RSLはそれぞれ高画質タイル・低画質タイルの解像度、FRH,FRLはそれぞれ高画質タイル・低画質タイルのフレームレートを示している。

【0057】

また、QPの代わりにビットレートを用いて、映像品質に対して単調増加の関係を表す関数（例：線形関数、指数関数、ロジスティック関数など）を利用してVQHを推定することもできる。例えば、以下の式で表される。

【0058】

【数14】

VQLについてもBRLを用いて同様に表すことができる。

【0059】

ただし、a～cは予め定めた係数、BRH,BRLはそれぞれ高画質タイル・低画質タイルのビットレートを示している。

【0060】

同様にして、（２）高画質タイルと低画質タイルの画質差を利用して求める手法のときのVQDも解像度・フレームレート・ビットレートを利用して表すことが可能である。

【0061】

なお、品質推定に用いた数式はあくまで一例であり、他の数式も本発明の範囲内に入るものとする。

【0062】

図４に、本発明の一実施形態におけるVR映像品質推定装置１のハードウェア構成例を示す。VR映像品質推定装置１は、CPU（Central Processing Unit）１５１等のプロセッサ、RAM（Random Access Memory）やROM（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、VR映像品質推定装置１の機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをCPU１５１が実行することによって実現される。また、VR映像品質推定装置１に必要な情報は、入出力インタフェース装置１５４から入力され、VR映像品質推定装置１において求められた結果は、入出力インタフェース装置１５４から出力されてもよい。

【0063】

説明の便宜上、本発明の実施形態に係るVR映像品質推定装置１は機能的なブロック図を用いて説明しているが、本発明の実施形態に係るVR映像品質推定装置１は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施形態は、コンピュータに対して本発明の実施形態に係るVR映像品質推定装置１の機能を実現させるプログラム、コンピュータに対して本発明の実施形態に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施形態に係る方法は、実施形態に示す順序と異なる順序で実施されてもよい。

【0064】

上記のように、タイルベースVR映像において、高画質タイル・低画質タイルそれぞれの映像の品質を表すパラメータを利用して、高画質タイルと低画質タイルの品質、又は高画質タイルと低画質タイルの画質差を捉え、視線移動における品質劣化を考慮したモデルを利用することで、タイルベースVR映像のユーザが視聴した際に体感する品質を推定することが可能になる。

【0065】

以上、タイルベースVR映像の符号化のパラメータから、品質を推定することを可能にする手法について説明したが、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

【符号の説明】

【0066】

１ VR映像品質推定装置
１１ 映像品質パラメータ抽出部
１２ 映像品質推定部

【図1】

【図2】

【図3】

【図4】