特許 7400936 映像品質推定装置、映像品質推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】映像品質推定装置、映像品質推定方法、及びプログラム

(51)【国際特許分類】

   H04N 17/00 20060101AFI20231212BHJP

   H04N 21/83 20110101ALI20231212BHJP

【ＦＩ】

H04N17/00 Z

H04N21/83

【請求項の数】 7

(21)【出願番号】P 2022502366

(86)(22)【出願日】2020-02-25

(86)【国際出願番号】 JP2020007458

(87)【国際公開番号】W WO2021171363

(87)【国際公開日】2021-09-02

【審査請求日】2022-06-10

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０１９年７月１１日に電子情報通信学会 信学技報 コミュニケーションクオリティ研究会（ＣＱ） ｖｏｌ．１１９ Ｎｏ．１２５ ＣＱ２０１９－５２ ｐｐ．７９－８３にて発表

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】浦田 勇一朗

(72)【発明者】

【氏名】小池 正憲

(72)【発明者】

【氏名】山岸 和久

【審査官】益戸 宏

(56)【参考文献】

【文献】小池正憲 他２名，タイルベースＶＲ映像配信サービスの客観品質推定モデルに関する検討，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2019年03月07日，Vol.118, No.503，pp.55-59

【文献】篠原裕矢 他２名，視野領域を考慮した３６０度映像配信の適応レート制御手法の性能評価，情報処理学会研究報告 オーディオビジュアル複合情報処理（ＡＶＭ），日本，情報処理学会，2018年03月07日，Vol.2018-AVM-100, No.10，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ２１／８３

(57)【特許請求の範囲】

【請求項1】

映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
を備える映像品質推定装置。

【請求項2】

前記高画質領域の映像品質に関するパラメータに基づき高画質領域の映像品質を推定する高画質領域映像品質推定部と、
前記低画質領域の映像品質に関するパラメータに基づき低画質領域の映像品質を推定する低画質領域映像品質推定部とを更に備え、
前記映像品質推定部は、前記高画質領域映像品質推定部が推定した高画質領域映像品質推定値と、前記低画質領域映像品質推定部が推定した低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて前記映像品質推定値を算出する
請求項１に記載の映像品質推定装置。

【請求項3】

前記映像におけるオーディオ品質に関するパラメータからオーディオ品質を推定するオーディオ品質推定部と、
前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づきオーディオビジュアル品質を推定するオーディオビジュアル品質・品質変動統合部と、
前記映像における再生停止に関するパラメータに基づき再生停止による体感品質の劣化量を推定する劣化量推定部と、
前記オーディオビジュアル品質・品質変動統合部が推定したオーディオビジュアル品質と、前記劣化量推定部が推定した再生停止による劣化量とに基づき視聴に対する体感品質を推定する品質統合部と
を更に備える請求項１又は２に記載の映像品質推定装置。

【請求項4】

前記オーディオビジュアル品質・品質変動統合部は、前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づいて、短時間の視聴に対する短時間オーディオビジュアル品質を推定し、当該短時間オーディオビジュアル品質に基づいて、前記オーディオビジュアル品質を推定する
請求項３に記載の映像品質推定装置。

【請求項5】

ユーザが視聴する前記映像は、タイルベースのＶＲ映像である
請求項１ないし４のうちいずれか１項に記載の映像品質推定装置。

【請求項6】

映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定ステップ
を備える映像品質推定方法。

【請求項7】

コンピュータを、請求項１ないし５のうちいずれか１項に記載の映像品質推定装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像の品質評価を行う技術に関連するものである。

【背景技術】

【0002】

近年、ＶＲ技術の発展により、ユーザが３６０°見渡すことのできるＶＲ映像配信サービス・コンテンツが増加しており、ユーザがスマートフォン、タブレット端末、ＰＣ、ＨＭＤ等を用いてＶＲ映像を視聴する機会も増加している。

【0003】

ベストエフォート型ネットワークを介したサービス提供ではサービス品質が時間帯等によって大きく変化するため、サービス品質の可視化が重要となる。そのため、映像配信、Ｗｅｂブラウジング、音声通話等に対する品質監視を目的とする品質推定技術が確立されてきた。

【0004】

一方で、近年、カメラの高性能化、ディスプレイの高精細化・小型化、映像処理技術の進展等に伴い、３６０度全方向を視聴可能なＶＲ映像配信サービスが普及してきたが、ＶＲ映像配信に対する品質推定技術は確立されていない。

【0005】

ＶＲ映像配信では、高解像度の３６０度映像を配信するため、高いビットレートを必要とする。そのため、２Ｄ映像配信サービスのように映像全体を一様な画質で符号化・配信せず、ディスプレイに表示されるユーザの視聴方向の領域を高ビットレートで配信し、その他のディスプレイに表示されない映像を低ビットレートで配信、もしくは配信しないことによって配信コストを抑えるというタイルベース配信が主流になりつつある。

【0006】

非特許文献１では、映像全体をタイル分割し、各タイルを高ビットレートで符号化（高画質タイル）し、映像全体の解像度を低下させ低ビットレートで符号化（低画質タイル）する符号化方式を提案している。本方式では、ユーザの視聴方向の高画質タイルと映像全体を含む低画質タイルを配信する。

【0007】

タイルベース配信においても、ＭＰＥＧ－ＤＡＳＨ等をはじめとするアダプティブビットレート映像配信が利用される。アダプティブビットレート映像配信では、スループット低下や受信端末のバッファ枯渇による再生停止を可能な限り避けるため、ビットレートレベルを切り替えながら配信を行う。

【0008】

前述のように、タイルベースＶＲ映像配信では、ユーザの視聴領域変更に伴い、高画質タイルのダウンロードが新たに必要となるため、その間、低画質タイルが表示される。加えて、スループットやバッファ枯渇により、選択されるビットレートの変動や再生停止が発生する。このようにＶＲ映像配信の品質監視を行うためには、高画質・低画質の切り替えに伴う品質劣化、ビットレート変動による画質劣化や再生停止を加味した品質推定技術が必要となる。

【0009】

品質監視の実現にむけたビットレート変動や再生停止を考慮した品質推定技術としては、ＩＴＵ－Ｔ勧告Ｐ．１２０３（非特許文献２）が標準化されている。

【0010】

しかしながら、非特許文献２をはじめとする２Ｄ映像の品質推定法では、視聴領域の変更に伴う品質変動は考慮できていない。２Ｄ映像では、帯域変動に伴う品質変動はあるものの視聴時の時刻に対して映像品質は１つだが、タイルベースＶＲ映像では、視聴方向の変更により高画質領域だけでなく低画質領域も視聴される可能性があるため、両方の映像品質を考慮する必要がある。

【0011】

非特許文献２を拡張し、ＶＲ映像の品質推定、特に、タイルベースＶＲ映像を対象とした品質推定の検討としては非特許文献３がある。非特許文献３は、視聴領域の変更に伴う品質変動を考慮し、高画質タイル、低画質タイルの品質推定値あるいは品質劣化量を用いることで、ユーザ視聴時の体感品質を推定している。

【先行技術文献】

【非特許文献】

【0012】

【文献】D. Ochi, Y. Kunita, A. Kameda, A. Kojima, S. Iwaki, "Live streaming system for omnidirectional video", Proc. of IEEE Virtual Reality (VR), 2015.

【文献】Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, Recommendation ITU-T P.1203, 2017.

【文献】浦田勇一朗，小池正憲，山岸和久，"ITU-T 勧告P.1203 技術のVR映像配信への適用可能性，" 信学技報， vol. 119, no. 125, CQ2019-52, pp. 79-83, 2019 年7 月.

【発明の概要】

【発明が解決しようとする課題】

【0013】

タイルベースＶＲ映像では、視聴方向の変更により高画質領域だけでなく低画質領域も視聴され、変更後の視聴方向において低画質から高画質に切り替わるまで時間（以下、切り替え遅延）がかかる。切り替え遅延は再生プレイヤのバッファや映像のチャンクサイズに依存する。

【0014】

しかしながら、非特許文献３の品質推定法では、切り替え遅延が一定であることが前提となっており、高画質タイルと低画質タイルの品質推定値を一定の割合で重みづけして和をとっている。前提としている切り替え遅延と異なる切り替え遅延が発生した際には品質推定精度が低くなってしまう。

【0015】

本発明は、上記の点に鑑みてなされたものであり、タイルベースかつアダプティブに配信されるＶＲ映像を視聴した際にユーザが体感する品質を視聴領域の変更に伴う切り替え遅延を考慮して推定することを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0016】

開示の技術によれば、映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
を備える映像品質推定装置が提供される。

【発明の効果】

【0017】

開示の技術によれば、タイルベースかつアダプティブに配信されるＶＲ映像を視聴した際にユーザが体感する品質を視聴領域の変更に伴う切り替え遅延を考慮して推定することを可能とする技術が提供される。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態におけるＶＲ映像品質推定装置の構成図である。

【図2】本発明の一実施形態における高画質領域映像品質推定部１１への入力パラメータ例を示す図である。

【図3】本発明の一実施形態におけるＶＲ映像品質推定装置のハードウェア構成例を示す図である。

【図4】本発明の一実施形態におけるＶＲ映像品質推定装置が実行する映像品質推定方法のフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施の形態を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。以下の実施形態の説明では、ＶＲ映像を対象としているが、本発明はＶＲ映像ではない、高画質領域と低画質領域を有する映像に適用することも可能である。

【0020】

以下の実施形態においては、ユーザが３６０°見渡すことのできるＶＲ映像を、ヘッドマウントディスプレイ（ＨＭＤ）等を装着し、ユーザが首を振る、体を動かすなどの行動によって視線方向を変えることのできる状態、あるいは従来の据え置き型のディスプレイをマウス等の操作によって映像の視聴方向を変えることのできる等の状態で視聴した際に体感するＶＲ映像の品質値（映像品質値）を推定するＶＲ映像品質推定装置について説明する。

【0021】

以下、第一の実施形態と第二の実施形態を説明する。第一の実施形態と第二の実施形態において、ＶＲ映像はタイルベースであり、アダプティブビットレート配信がなされるものである。また、以下で説明する高画質領域は、例えば高画質タイルであり、低画質領域は、例えば低画質タイルである。また、ＶＲ映像品質推定装置１に入力されるパラメータの取得方法は特定の方法に限られない。例えば、映像配信サーバから取得することができる。また、ユーザが視聴する「映像」は、音声も含むことを想定している。
（第一の実施形態）
＜装置構成＞
図１は、第一の実施形態におけるＶＲ映像品質推定装置１の構成例を示す。図１に示すように、ＶＲ映像品質推定装置１は、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２、映像品質推定部１３、オーディオ品質推定部１４、品質統合部２３を有する。品質統合部２３は、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）品質・品質変動統合部２１、再生停止による劣化量推定部２２を有する。なお、ＶＲ映像品質推定装置１を、映像品質推定装置１と呼んでもよい。また、ＶＲ映像品質推定装置１において、オーディオ品質推定部１４、品質統合部２３を備えないこととしてもよい。その場合、ＶＲ映像品質推定装置１から、映像品質推定部１３により算出された映像品質推定値が出力される。

【0022】

高画質領域映像品質推定部１１は、高画質領域の映像パラメータを入力として、数秒から数十秒程度の視聴に対する高画質領域映像品質推定値を算出する。高画質領域の映像パラメータの例を図２に示す。図２に示すとおり、ビットレート、フレームレート、解像度等が入力パラメータとして使用される。

【0023】

高画質領域映像品質推定部１１は、例えば下記の数式により高画質領域映像品質推定値を算出する。

【0024】

Ｏ．２２_Ｈ＝ＭＯＳｑ
ＭＯＳｑ＝ｑ_１＋ｑ_２・ｅｘｐ（ｑ_３・ｑｕａｎｔ）
ｑｕａｎｔ＝ａ_１＋ａ_２・ｌｎ（ａ_３＋ｌｎ（ｂｒ_Ｈ）＋ｌｎ（ｂｒ_Ｈ・ｂｐｐ_Ｈ））

【0025】

【数1】

ただし、Ｏ．２２_Ｈは高画質領域映像品質推定値、ｂｒ_Ｈはビットレート、ｒｅｓ_Ｈは解像度、ｆｒはフレームレートを表し、ｑ_１～ｑ_３、ａ_１～ａ_３は予め定められた定数である。ｑｕａｎｔについては、上記のようにｂｒ_Ｈ、ｂｐｐ_Ｈから求める代わりに、所定の量子化パラメータＱＰを用いてもよい。

【0026】

なお、本明細書において示される「予め定められた定数」については、例えば、実験により最適な値を求めておくこととしてもよいし、ＩＴＵ－Ｔ勧告Ｐ．１２０３において規定されている値を適用できる場合にはその値を用いてもよい。

【0027】

高画質領域映像品質推定部１１は、高画質領域映像品質推定値を、上記のＭＯＳｑを用いて以下のように算出してもよい。

【0028】

Ｏ．２２_Ｈ＝ＭＯＳｆｒｏｍＲ（１００－Ｄ_Ｈ）
Ｄ_Ｈ＝ｍａｘ（ｍｉｎ（Ｄ_ｑ＋Ｄ_ｕ＋Ｄ_ｔ，１００），０）
Ｄ_ｑ＝ｍａｘ（ｍｉｎ（１００－ＲｆｒｏｍＭＯＳ（ＭＯＳｑ），１００），０）
Ｄ_ｕ＝ｍａｘ（ｍｉｎ（ｕ_１・ｌｏｇ_１０（ｕ_２・（ｓｃａｌｅＦａｃｔｏｒ－１）＋１），１００，０）

【0029】

【数2】

ただし、Ｄ_Ｈは高画質領域による品質劣化量を示している。また、ＭＯＳｆｒｏｍＲとＲｆｒｏｍＭＯＳはユーザ体感品質ＭＯＳと心理値Ｒを変換する関数、ｄｉｓＲｅｓは表示解像度、ｃｏｄＲｅｓは符号化解像度、ｕ_１、ｕ_２、ｔ_１～ｔ_３は予め定められた定数である。

【0030】

また、高画質領域映像品質推定部１１は、高画質領域映像品質推定値を、以下のように算出してもよい。

【0031】

Ｏ．２２_Ｈ＝ＶＱ

【0032】

【数3】

ただし、ｂｒ_Ｈ、ｒｅｓ_Ｈ、ｆｒはそれぞれビットレート、解像度、フレームレートを表し、ｖ_１～ｖ_７は予め定められた定数である。上記式におけるＸ、Ｙと同様のＸ、Ｙを用いることで、ｂｒ_Ｈの代わりに量子化パラメータＱＰ_Ｈを用いて、高画質領域映像品質推定値を下記のように算出してもよい。

【0033】

【数4】

低画質領域映像品質推定部１２も、高画質領域映像品質推定部１１と同様に、低画質領域の映像パラメータを入力として低画質領域映像品質推定値Ｏ．２２_Ｌを算出する。低画質領域映像品質推定値Ｏ．２２_Ｌも、数秒から数十秒程度の視聴に対する品質推定値である。

【0034】

なお，低画質領域映像品質推定値Ｏ．２２_Ｌを算出する際の各定数は、高画質領域映像品質推定部１１でＯ．２２_Ｈを算出する際の各定数と等しい値を用いてもよいし、異なる値を用いてもよい。

【0035】

映像品質推定部１３は、高画質領域映像品質推定部１１により算出された高画質領域映像品質推定値Ｏ．２２_Ｈと、低画質領域映像品質推定部１２により算出された低画質領域映像品質推定値Ｏ．２２_Ｌと、及び、低画質表示状態から高画質表示状態に切り替わるまでの切り替え遅延を示すパラメータ（後述するｄｅｌａｙ）とに基づいて映像品質推定値Ｏ．２２を算出する。映像品質推定値Ｏ．２２も、数秒から数十秒程度の視聴に対する品質推定値である。映像品質推定部１３は、例えば以下の計算式で映像品質推定値を算出する。

【0036】

Ｏ．２２＝ω・Ｏ．２２_Ｈ＋（１－ω）・Ｏ．２２_Ｌ

【0037】

【数5】

上記の式において、ｄｅｌａｙは切り替え遅延の秒数、ｒｅｓ_Ｈは高画質領域の解像度、ｒｅｓは映像全体の解像度、ｄ_１～ｄ_４は予め定めた係数である。ωは高画質領域の品質と低画質領域の品質の総合品質に対する寄与度を示す値である。なお、Ｓ_Ｌは、画像全体の中で低画質タイル（低画質領域）の占める面積に相当する。低画質タイルを表示しない場合、Ｓ_Ｌは０になる。特にｄ_３＝０と定めたときは、解像度の影響を考慮しないこともできる。ωは同様の変数及び係数を用いて、積の形で次のように算出してもよい。

【0038】

【数6】

説明のために、仮にｄ_１～ｄ_４をいずれも１とすると、上記のいずれのωの式においても、遅延が小さいほど、及び、高画質領域の解像度が大きいほど、ωが大きくなり、全体の映像に対する品質高画質領域の映像品質の寄与が高くなる。

【0039】

映像品質推定部１３は、ωを用いずに、次のように映像品質推定値Ｏ．２２を算出してもよい。

【0040】

【数7】

ただし、ｄ_５～ｄ_１０は予め定めた係数である。

【0041】

オーディオ品質推定部１４はオーディオパラメータを入力として、数秒から数十秒程度の視聴に対するオーディオ品質推定値を算出する。オーディオ品質推定値は以下の式で算出することができる。

【0042】

Ｏ．２１＝ａ_１Ａ・ｅｘｐ（ａ_２Ａ・ｂｒ_Ａ）＋ａ_３Ａ
ただし、Ｏ．２１はオーディオ品質推定値、ｂｒ_Ａはオーディオのビットレートを表し、ａ_１Ａ～ａ_３Ａは予め定められた定数である。また、オーディオ品質推定部１４は、オーディオ品質推定値を下記の式で算出してもよい。

【0043】

【数8】

上記の式において、ａ_４Ａ～ａ_６Ａは予め定められた定数である。

【0044】

ＡＶ品質・品質変動統合部２１及び再生停止による劣化量推定部２２を備える品質統合部２３では、映像品質推定値、オーディオ品質推定値、再生停止パラメータ、デバイスタイプを入力として、品質推定値を算出する。

【0045】

ＡＶ品質・品質変動統合部２１は、映像品質推定値とオーディオ品質推定値から数秒から数十秒程度の視聴に対する短時間ＡＶ品質推定値Ｏ．３４を算出し、帯域の時間変動に伴う品質変動を加味した数分程度の視聴に対する長時間ＡＶ品質推定値Ｏ．３５を算出する。なお、本明細書では、数秒から数十秒程度を「短時間」、数分程度を「長時間」と呼んでいる。

【0046】

ＡＶ品質・品質変動統合部２１は、Ｏ．３４を、例えば以下の式で算出することができる。

【0047】

Ｏ．３４_ｔ＝ｍａｘ（ｍｉｎ（ａｖ_１＋ａｖ_２・Ｏ．２１_ｔ＋ａｖ_３・Ｏ．２２_ｔ＋ａｖ_４・Ｏ．２１_ｔ・Ｏ．２２_ｔ，５），１）
ただし、Ｏ．３４_ｔは時刻ｔにおけるＡＶ品質推定値、Ｏ．２１_ｔは時刻ｔにおけるオーディオ品質推定値、Ｏ．２２_ｔは時刻ｔにおける映像品質推定値を表し、ａｖ_１～ａｖ_４は予め定められた定数である。

【0048】

また、ＡＶ品質・品質変動統合部２１は、メディアセッションに対するＡＶ品質推定値であるＯ．３５を以下の式で算出できる。

【0049】

Ｏ．３５＝Ｏ．３５_{ｂａｓｅｌｉｎｅ}－ｎｅｇＢｉａｓ－ｏｓｃＣｏｍｐ－ａｄａｐｔＣｏｍｐ

【0050】

【数9】

ｗ_２（ｔ）＝ｔ_４－ｔ_５・Ｏ．３４_ｔ
ただし、Ｏ．３５はＡＶ品質推定値、Ｏ．３４_ｔは時刻ｔにおけるＡＶ品質推定値、ＴはＡＶ品質推定値Ｏ．３５の対象時間長を表し、ｔ_１～ｔ_５は予め定められた定数である。ｎｅｇＢｉａｓ、ｏｓｃＣｏｍｐ、ａｄａｐｔＣｏｍｐは品質変動の幅や頻度の影響を表す変数であり、ＩＴＵ－Ｔ勧告Ｐ．１２０３において規定されている方法で計算してもよいし、計算を省略して、
Ｏ．３５＝Ｏ．３５_{ｂａｓｅｌｉｎｅ}
としてもよい。

【0051】

再生停止による劣化量推定部２２は、再生停止パラメータから再生停止による劣化量ＳＩを算出する。再生停止による劣化量ＳＩは、例えば、以下の式で算出できる。

【0052】

【数10】

ただし、ｎｕｍＳｔａｌｌｓは再生停止回数、ｔｏｔａｌＳｔａｌｌＬｅｎは再生停止時間の合計、ａｖｇＳｔａｌｌＩｎｔｅｒｖａｌは再生停止の発生間隔の平均、ＴはＡＶ品質推定値（及びＳＩ）の対象時間長を表し、ｓ_１～ｓ_３は予め定められた定数である。

【0053】

品質統合部２３は、ＡＶ品質推定値Ｏ．３５と再生停止による劣化量ＳＩから品質推定値Ｏ．４６を算出する。品質推定値は、例えば、以下の式で算出できる。

【0054】

Ｏ．４６＝０．０２８３３０５２＋０．９８１１７０５９・Ｏ．４６_ｔｅｍｐ
Ｏ．４６_ｔｅｍｐ＝０．７５・（１＋（Ｏ．３５－１）・ＳＩ）＋０．２５・ＲＦＰｒｅｄｉｃｔｉｏｎ
ただし、ＲＦＰｒｅｄｉｃｔｉｏｎはランダムフォレストにより計算される品質推定値である。ランダムフォレストの計算を省略して、以下で品質推定値Ｏ．４６を算出してもよい。

【0055】

Ｏ．４６＝１＋（Ｏ．３５－１）・ＳＩ

【0056】

（ハードウェア構成例）
ＶＲ映像品質推定装置１は、例えば、図１に示す各部の機能を実現する論理回路を用いてハードウェアで実現してもよいし、汎用のコンピュータに、第一、第二の実施形態で説明する処理内容を記述したプログラムを実行させることにより実現することとしてもよい。なお、この「コンピュータ」は、仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

【0057】

コンピュータを用いる場合、ＶＲ映像品質推定装置１は、当該コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、ＶＲ映像品質推定装置１で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0058】

図３は、上記コンピュータのハードウェア構成例を示す図である。図３のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

【0059】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0060】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、ＶＲ映像品質推定装置１に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

【0061】

（ＶＲ映像品質推定装置１の処理手順）
以下、ＶＲ映像品質推定装置１が実行する処理手順について説明する。図４は、ＶＲ映像品質推定装置１が実行する処理手順の一例を説明するためのフローチャートである。

【0062】

Ｓ１１において、高画質領域映像品質推定部１１が、高画質領域の映像パラメータに基づいて、高画質領域映像品質推定値を算出する。Ｓ１２において、低画質領域映像品質推定部１２が、低画質領域の映像パラメータに基づいて、低画質領域映像品質推定値を算出する。

【0063】

Ｓ１３において、映像品質推定部１３が、高画質領域映像品質推定値と、低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づき映像品質推定値（例：Ｏ．２２）を算出する。Ｓ１４において、オーディオ品質推定部１４がオーディオ品質推定値（例：Ｏ．２１）を算出する。

【0064】

Ｓ２１において、ＡＶ品質・品質変動統合部２１が、映像品質推定値とオーディオ品質推定値に基づき短時間ＡＶ品質推定値（例：Ｏ．３４）を算出する。Ｓ２２において、ＡＶ品質・品質変動統合部２１が、短時間ＡＶ品質推定値に基づきＡＶ品質推定値（例：Ｏ．３５）を算出する。

【0065】

Ｓ２３において、再生停止による劣化量推定部２２が、再生停止による劣化量（例：ＳＩ）を算出する。Ｓ３１において、品質統合部２３が、ＡＶ品質推定値と再生停止による劣化量に基づき、品質推定値（例：Ｏ．４６）を算出し、出力して、処理を終了する。

【0066】

（第二の実施形態）
次に、第二の実施形態について説明する。以下、第二の実施形態の第一の実施形態と異なる点を説明する。

【0067】

第二の実施形態の第一の実施形態と異なる点は、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２はそれぞれ品質劣化量を出力し、映像品質推定部１３はそれらの品質劣化量に基づいて映像品質推定値を算出する点である。

【0068】

例えば、第一の実施形態で例示した式を用いて、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２は、Ｄ_Ｈ、Ｄ_Ｌを出力する。

【0069】

映像品質推定部１３は、下記の式により映像品質推定値（Ｏ．２２）を算出することができる。

【0070】

Ｏ．２２＝ＭＯＳｆｒｏｍＲ（１００－ｍａｘ（ｍｉｎ（Ｄ_ＨＬ，１００），０））
Ｄ_ＨＬ＝ω・Ｄ_Ｈ＋（１－ω）・Ｄ_Ｌ

【0071】

【数11】

ただし、ｄｅｌａｙは切り替え遅延、ｒｅｓ_Ｈは高画質領域の解像度、ｒｅｓは映像全体の解像度、ｄ_１～ｄ_４は予め定めた係数である。

【0072】

映像品質推定部１３は、下記の式によりＤ_ＨＬを算出してもよい。

【0073】

【数12】

ただし、ｄ_５～ｄ_１０は予め定めた係数である。

【0074】

（実施形態の効果）
上記のように、タイルベースのＶＲ映像サービスに対して、高画質領域の映像品質、低画質領域の映像品質をそれぞれ算出し、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとともに考慮することで、視線移動に伴う品質劣化を加味した視聴に対する体感品質の推定を行うことができる。

【0075】

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した映像品質推定装置、映像品質推定方法、プログラムが記載されている。
（第１項）
映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
を備える映像品質推定装置。
（第２項）
前記高画質領域の映像品質に関するパラメータに基づき高画質領域の映像品質を推定する高画質領域映像品質推定部と、
前記低画質領域の映像品質に関するパラメータに基づき低画質領域の映像品質を推定する低画質領域映像品質推定部とを更に備え、
前記映像品質推定部は、前記高画質領域映像品質推定部が推定した高画質領域映像品質推定値と、前記低画質領域映像品質推定部が推定した低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて前記映像品質推定値を算出する
第１項に記載の映像品質推定装置。
（第３項）
前記映像におけるオーディオ品質に関するパラメータからオーディオ品質を推定するオーディオ品質推定部と、
前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づきオーディオビジュアル品質を推定するオーディオビジュアル品質・品質変動統合部と、
前記映像における再生停止に関するパラメータに基づき再生停止による体感品質の劣化量を推定する劣化量推定部と、
前記オーディオビジュアル品質・品質変動統合部が推定したオーディオビジュアル品質と、前記劣化量推定部が推定した再生停止による劣化量とに基づき視聴に対する体感品質を推定する品質統合部と
を更に備える第１項又は第２項に記載の映像品質推定装置。
（第４項）
前記オーディオビジュアル品質・品質変動統合部は、前記映像品質推定部が推定した映像品質推定値に基づいて短時間の視聴に対する短時間オーディオビジュアル品質を推定し、当該短時間オーディオビジュアル品質に基づいて、前記オーディオビジュアル品質を推定する
第３項に記載の映像品質推定装置。
（第５項）
ユーザが視聴する前記映像は、タイルベースのＶＲ映像である
第１項ないし第４項のうちいずれか１項に記載の映像品質推定装置。
（第６項）
映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定ステップ
を備える映像品質推定方法。
（第７項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載の映像品質推定装置の各部として機能させるためのプログラム。

【0076】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0077】

１ ＶＲ映像品質推定装置
１１ 高画質領域映像品質推定部
１２ 低画質領域映像品質推定部
１３ 映像品質推定部
１４ オーディオ品質推定部
２１ ＡＶ品質・品質変動統合部
２２ 再生停止による劣化量推定部
２３ 品質統合部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インターフェース装置
１００６ 表示装置
１００７ 入力装置

【図1】

【図2】

【図3】

【図4】