知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】画質評価方法及びその装置
(51)【国際特許分類】
H04N 17/00 20060101AFI20240208BHJP
【ＦＩ】
H04N17/00 Z
【請求項の数】
6
(21)【出願番号】P 2020030089
(22)【出願日】2020-02-26
(65)【公開番号】P2021136525
(43)【公開日】2021-09-13
【審査請求日】2023-01-05
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】中島 奈緒
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】神田 菊文
【審査官】佐野 潤一
(56)【参考文献】
【文献】中須 英輔 Eisuke Nakasu，異種符号化映像フォーマットの総合画質評価 Picture Quality Assessment Test for Digitally Coded Motion Pictures in Multi-Formats，映像情報メディア学会誌 第６２巻 第２号 The Journal of The Institute of Image Information and Television Engineers，日本，（社）映像情報メディア学会 The Institute of Image Information and Television Engineers，2008年02月，第62巻 第2号
【文献】成田 長人 Nagato NARITA，動画像品質の連続評価法に関する検討 On a Temporally Continuous Evaluation Method of the Quality of Television Sequences，映像情報メディア学会技術報告 Ｖｏｌ．２１ Ｎｏ．５４ ITE Technical Report，日本，社団法人映像情報メディア学会 The Institute of Image Information and Television Engineers，1997年09月，第21巻 第54号
【文献】三橋 哲雄 Tetsuo Mitsuhashi，画像評価技術の動向 Recent Trends of Picuture Quality Assessment，映像情報メディア学会技術報告 Ｖｏｌ．２３ Ｎｏ．４５ ITE Technical Report，日本，社団法人映像情報メディア学会 The Institute of Image Information and Television Engineers，1999年07月，第23巻 第45号
【文献】林 孝典 Takanori HAYASHI，通信サービスに対するＱｏＥ評価技術とその応用 QoE Assessment Technologies for Telecommunication Services and Their Applications，電子情報通信学会技術研究報告 Ｖｏｌ．１１４ Ｎｏ．３７３ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2014年12月，第114巻 第373号
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １７／００
Ｈ０４Ｎ １９／００
Ｈ０４Ｎ ２１／００
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
高解像度の原画像を高ビットレートで符号化した評価対象画像の画質を主観評価するための画質評価方法であって、画質評価装置が、符号化されていない前記原画像を予め設定された提示時間だけ表示した後、所定の切替画像を予め設定された切替時間だけ表示する第１原画像表示ステップと、
前記画質評価装置が、異なるビットレートで符号化された２以上の前記評価対象画像のそれぞれをビットレートの昇順で前記提示時間だけ表示すると共に、それぞれの前記評価対象画像を表示した後、前記切替画像を前記切替時間だけ表示する昇順表示ステップと、
前記画質評価装置が、前記原画像を前記提示時間だけ表示した後、前記切替画像を前記切替時間だけ表示する第２原画像表示ステップと、
前記画質評価装置が、２以上の前記評価対象画像のそれぞれをビットレートの降順で前記提示時間だけ表示すると共に、それぞれの前記評価対象画像を表示した後、前記切替画像を前記切替時間だけ表示する降順表示ステップと、を順に備えることを特徴とする画質評価方法。
【請求項2】
前記画質評価装置が、前記原画像に含まれる符号化劣化領域を示す劣化領域画像を前記提示時間だけ表示した後、前記切替画像を前記切替時間だけ表示する劣化領域画像表示ステップ、を前記第１原画像表示ステップの後に備えることを特徴とする請求項１に記載の画質評価方法。
【請求項3】
前記劣化領域画像は、前記原画像と最低のビットレートで符号化された前記評価対象画像との輝度値の差分、又は、前記原画像と最低のビットレートで符号化された前記評価対象画像との小ブロック毎のピーク信号対雑音比、ＴＩの差分、若しくは、ＳＩの差分を表す画像であることを特徴とする請求項２に記載の画質評価方法。
【請求項4】
前記切替画像は、グレー単色のグレー画像であることを特徴とする請求項１から請求項３の何れか一項に記載の画質評価方法。
【請求項5】
前記画質評価装置が、前記昇順表示ステップ、前記第２原画像表示ステップ及び前記降順表示ステップの処理を繰り返すか否かを判定する判定ステップ、を前記降順表示ステップの後に備え、前記昇順表示ステップ、前記第２原画像表示ステップ及び前記降順表示ステップの処理を繰り返すと判定された場合に、前記画質評価装置が、前記原画像を前記提示時間だけ表示した後、前記切替画像を前記切替時間だけ表示する第３原画像表示ステップ、を前記判定ステップの後に備えることを特徴とする１から請求項４の何れか一項に記載の画質評価方法。
【請求項6】
高解像度の原画像を高ビットレートで符号化した評価対象画像の画質を主観評価するための画質評価装置であって、符号化されていない前記原画像と、異なるビットレートで符号化された２以上の前記評価対象画像と、所定の切替画像とを予め記憶する記憶手段と、
前記記憶手段に記憶されている前記原画像、前記評価対象画像及び前記切替画像を切り替え出力する画像切替手段と、
予め設定された切替規則に従って、前記画像切替手段の出力を制御する制御手段と、を備え、
前記切替規則が、
前記原画像を予め設定された提示時間だけ出力した後、前記切替画像を予め設定された切替時間だけ出力し、
２以上の前記評価対象画像のそれぞれをビットレートの昇順で前記提示時間だけ出力すると共に、それぞれの前記評価対象画像を出力した後、前記切替画像を前記切替時間だけ出力し、
前記原画像を前記提示時間だけ出力した後、前記切替画像を前記切替時間だけ出力し、
２以上の前記評価対象画像のそれぞれをビットレートの降順で前記提示時間だけ出力すると共に、それぞれの前記評価対象画像を出力した後、前記切替画像を前記切替時間だけ出力するように設定されていることを特徴とする画質評価装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高解像度の原画像を高ビットレートで符号化した符号化画像の画質を主観評価するための画質評価方法及びその装置に関する。
【背景技術】
【0002】
テレビ技術の分野では、テレビの映像パラメータや符号化パラメータなどを決定する際に、画質の主観評価実験が広く行われている。画質の主観評価は、人間が知覚する画質を定量化するための方法で、例えばテレビ画像を対象とする方法として、ＩＴＵ（International Telecommunication Union）－Ｒ勧告ＢＴ．５００等によって規定されている（非特許文献１）。これらの勧告では、評価対象の画像の提示方法やデータ処理などの方法論、評価実験を行う環境や表示装置の設定、テスト画像の選定について定められている。
【0003】
従来の主観評価方法である、「二重刺激連続品質尺度（DSCQS: Double Stimulus Continuous Quality Scale）法」や「二重刺激劣化尺度（EBU：European Broadcasting Union）法」では、基準画像（原画像）と評価対象画像（符号化画像）を対にして評価者に提示する（非特許文献２）。映像符号化の分野では、基準画像を符号化処理前の原画像、評価対象画像を符号化処理後の符号化画像とすることが多い。ＤＳＣＱＳ法では、基準画像と評価対象画像の提示順番をランダムに入れ替え双方の画像の評価を行い、それらの評価値の差分を、原画と符号化画像の画質差を示すＤＳＣＱＳ値とする。ＥＢＵ法では、原画像、符号化画像の順に提示し、原画像と比較しながら符号化画像の画質劣化度合いを評価する。
【0004】
４Ｋ、８Ｋ等の高解像度画像（UHDTV：Ultra High Definition Television）は情報量が多いため、これを放送する際には高い圧縮率での符号化処理を施すことが多い。例えば、８Ｋ（フレームレート６０ｐ、ビット深度１０ビット、色差信号形式４：２：２）の場合、ビットレートが約４０Ｇ［bps］となる。２０１６年８月１日に開始された８Ｋ試験放送では、４：２：０の色差信号形式で、符号化方式としてＨＥＶＣ（High Efficiency Video Coding）／Ｈ．２６５を用いて、ビットレートを約８５Ｍ［bps］まで圧縮している。また、８Ｋ（フレームレート６０p）の映像信号を素材伝送する際には、４：２：２の色差信号形式で、ビットレートを約１５０Ｍ［bps］まで圧縮することが多い。これらの高い圧縮率（低いビットレート）での符号化画像を原画像と比較すながら評価すると、しばしば画質劣化が確認される。このような画質劣化が容易に視認可能な符号化画像を対象とした主観画質評価であれば、従来のＤＳＣＱＳ法やＥＢＵ法が有効であった。
【先行技術文献】
【非特許文献】
【0005】
【文献】ITU-R BT.500,[Methodologies for the subjective assessment of the quality of television images]
【文献】熊田、「画質評価の最新動向」、映像情報メディア学会誌、Ｖｏｌ．５３、Ｎｏ．９
【発明の概要】
【発明が解決しようとする課題】
【0006】
最近、画像信号を伝送する際の伝送帯域や蓄積する際の蓄積媒体の容量が、以前に比べて大きくなっており、今後も拡大することが予想される。それら容量の拡大に伴い、これまでの圧縮率よりも低い圧縮率（大きなビットレート）での伝送や蓄積がなされ、従来よりも画質劣化の少ない符号化画像を扱うことが可能となってきている。また、従来においても放送局間での番組交換やアーカイブで用いる素材画像については、極めて低い圧縮率（高いビットレート）で符号化している。例えば、４Ｋの映像符号化フォーマットとして広く用いられている「XAVC 4K Intra Profile」は、９６０Ｍ［bps］以下のビットレートを対象としている。このような高ビットレートの符号化画像を対象とする高品位な映像システムは、今後ますます普及するものと考えられる。しかしながら、高ビットレート符号化画像において、画面全体に及ぶ、際立って著しい符号化劣化を確認することは困難であるため、その画像を従来のＤＳＣＱＳ法やＥＢＵ法で評価するものも困難である。
【0007】
すなわち、主観評価の対象となる評価対象画像が高ビットレートの符号化画像である場合、画面全体に及ぶ、際立って著しい符号化劣化を主観評価の際に確認することは困難である。その一方、高ビットレートの符号化画像には、局所的に符号化劣化が目立つ劣化発生領域が存在し、その符号化劣化の度合いがビットレートに応じて変化する。従って、ビットレートに応じた符号化劣化の度合いの変化を評価者に確認させることで、高ビットレートの符号化画像を対象とする高品位な映像システムに適したビットレートを評価できる。
【0008】
そこで、本発明は、ビットレート毎に評価対象画像の画質を主観評価できる画質評価方法及びその装置を提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明に係る画質評価方法は、高解像度の原画像を高ビットレートで符号化した評価対象画像の画質を主観評価するための画質評価方法であって、第１原画像表示ステップと、昇順表示ステップと、第２原画像表示ステップと、降順表示ステップと、を順に備える手順とした。
【0010】
かかる画質評価方法によれば、第１原画像表示ステップでは、画質評価装置が、符号化されていない原画像を予め設定された提示時間だけ表示した後、所定の切替画像を予め設定された切替時間だけ表示する。
ここで、原画像自体の画質は主観評価の対象にならないが、主観評価の基準となる。第１原画像表示ステップでは、主観評価の対象となる評価対象画像を表示する昇順表示ステップの前に、主観評価の基準となる原画像を表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
ここで、原画像自体の画質は主観評価の対象にならないが、主観評価の基準となる。第１原画像表示ステップでは、主観評価の対象となる評価対象画像を表示する昇順表示ステップの前に、主観評価の基準となる原画像を表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
【0011】
昇順表示ステップでは、画質評価装置が、異なるビットレートで符号化された２以上の評価対象画像のそれぞれをビットレートの昇順で提示時間だけ表示すると共に、それぞれの評価対象画像を表示した後、切替画像を切替時間だけ表示する。
このように、昇順表示ステップでは、ビットレートの昇順で評価対象画像を表示するので、評価者が、ビットレートの上昇に伴う評価対象画像の画質の向上を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
このように、昇順表示ステップでは、ビットレートの昇順で評価対象画像を表示するので、評価者が、ビットレートの上昇に伴う評価対象画像の画質の向上を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
【0012】
第２原画像表示ステップでは、画質評価装置が、原画像を提示時間だけ表示した後、切替画像を切替時間だけ表示する。
このように、第２原画像表示ステップでは、主観評価の対象となる評価対象画像を表示する降順表示ステップの前に、主観評価の基準となる原画像を表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
このように、第２原画像表示ステップでは、主観評価の対象となる評価対象画像を表示する降順表示ステップの前に、主観評価の基準となる原画像を表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
【0013】
降順表示ステップでは、画質評価装置が、２以上の評価対象画像のそれぞれをビットレートの降順で提示時間だけ表示すると共に、それぞれの評価対象画像を表示した後、切替画像を前記切替時間だけ表示する。
このように、降順表示ステップでは、ビットレートの降順で評価対象画像を表示するので、評価者が、ビットレートの下落に伴う評価対象画像の画質の低下を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
このように、降順表示ステップでは、ビットレートの降順で評価対象画像を表示するので、評価者が、ビットレートの下落に伴う評価対象画像の画質の低下を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
【0014】
また、前記課題を解決するため、本発明に係る画質評価装置は、高解像度の原画像を高ビットレートで符号化した評価対象画像の画質を主観評価するための画質評価装置であって、記憶手段と、画像切替手段と、制御手段とを備える構成とした。
【0015】
かかる画質評価装置によれば、記憶手段は、符号化されていない原画像と、異なるビットレートで符号化された２以上の評価対象画像と、所定の切替画像とを予め記憶する。
画像切替手段は、記憶手段に記憶されている原画像、評価対象画像及び切替画像を切り替え出力する。
制御手段は、予め設定された切替規則に従って、画像切替手段の出力を制御する。
画像切替手段は、記憶手段に記憶されている原画像、評価対象画像及び切替画像を切り替え出力する。
制御手段は、予め設定された切替規則に従って、画像切替手段の出力を制御する。
【0016】
ここで、切替規則は、原画像を予め設定された提示時間だけ出力した後、切替画像を予め設定された切替時間だけ出力し、２以上の評価対象画像のそれぞれをビットレートの昇順で提示時間だけ出力すると共に、それぞれの評価対象画像を出力した後、切替画像を前記切替時間だけ出力し、原画像を提示時間だけ出力した後、切替画像を切替時間だけ出力し、２以上の評価対象画像のそれぞれをビットレートの降順で提示時間だけ出力すると共に、それぞれの評価対象画像を出力した後、切替画像を切替時間だけ出力するように設定されている。
【0017】
このように、画質評価装置は、主観評価の対象となる評価対象画像像を表示する前に、主観評価の基準となる原画像を表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
さらに、画質評価装置は、ビットレートの昇順及び降順で評価対象画像を表示するので、評価者が、ビットレートの変化に伴う評価対象画像の画質の変化を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
さらに、画質評価装置は、ビットレートの昇順及び降順で評価対象画像を表示するので、評価者が、ビットレートの変化に伴う評価対象画像の画質の変化を確認しながら、評価対象画像の画質をビットレート毎に比較し、評価対象画像の画質を主観評価しやすくなる。
【発明の効果】
【0018】
本発明によれば、ビットレート毎に評価対象画像の画質を主観評価することができる。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る画質評価システムの構成を示すブロック図である。
【図2】実施形態に係る画質評価方法を示すフローチャートである。
【図3】画質評価方法を説明する説明図である。
【図4】昇順表示ステップ及び降順表示ステップを説明する説明図である。
【図5】評価用紙の一例を説明する説明図である。
【図6】画質評価方法による主観評価の結果を示すグラフであり、（ａ）が４Ｋの評価結果を示し、（ｂ）が８Ｋの評価結果を示す。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。
【0021】
（実施形態）
［画質評価システム］
図１を参照し、実施形態に係る画質評価システム１００の構成について説明する。
画質評価システム１００は、評価者（不図示）が評価対象画像Ｐの画質を主観評価するためのシステムである。つまり、画質評価システム１００では、画質評価装置１が評価対象画像Ｐをモニタ７に表示し、評価者がモニタ７に表示されている評価対象画像Ｐの画質を主観評価する。図１に示すように、画質評価システム１００は、画質評価装置１と、原画像再生装置２と、符号化装置３と、復号装置４と、差分画像生成装置５と、グレー画像再生装置６と、モニタ７とを備える。
［画質評価システム］
図１を参照し、実施形態に係る画質評価システム１００の構成について説明する。
画質評価システム１００は、評価者（不図示）が評価対象画像Ｐの画質を主観評価するためのシステムである。つまり、画質評価システム１００では、画質評価装置１が評価対象画像Ｐをモニタ７に表示し、評価者がモニタ７に表示されている評価対象画像Ｐの画質を主観評価する。図１に示すように、画質評価システム１００は、画質評価装置１と、原画像再生装置２と、符号化装置３と、復号装置４と、差分画像生成装置５と、グレー画像再生装置６と、モニタ７とを備える。
【0022】
画質評価装置１は、高解像度の原画像Ｏが高ビットレートで符号化された評価対象画像Ｐの画質を主観評価するための装置である。なお、画質評価装置１の構成は、後記する。
【0023】
原画像再生装置２は、４Ｋ、８Ｋ等の高解像度画像（原画像Ｏ）を再生するものである。この原画像Ｏとは、符号化されていない画像のことであり、その内容や種類が特に制限されない。例えば、原画像Ｏは、番組制作に利用される素材映像（動画）である。そして、原画像再生装置２は、再生した原画像Ｏを画質評価装置１の記憶手段１０に書き込むと共に、この原画像Ｏを符号化装置３及び差分画像生成装置５に出力する。
【0024】
符号化装置３は、原画像再生装置２から入力された原画像Ｏを異なるビットレートで符号化し、符号化された各原画像Ｏを復号装置４に出力するものである。ここで、符号化装置３は、任意の符号化方式を利用可能であり、高解像度画像に適した符号化方式を利用することが好ましい。例えば、高解像度画像に適した符号化方式として、ＨＥＶＣ／Ｈ．２６５があげられる。本実施形態では、符号化装置３が、原画像Ｏを５通りのビットレートで符号化することとする。
【0025】
復号装置４は、符号化装置３で符号化された各原画像Ｏを復号することで、評価対象画像Ｐを生成するものである。ここで、復号装置４は、符号化装置３と同様の符号化方式（例えば、ＨＥＶＣ／Ｈ．２６５）を利用できる。本実施形態では、復号装置４は、原画像Ｏが５通りのビットレートで符号化されているので、５つの評価対象画像Ｐを生成する。
【0026】
以後、各ビットレートをビットレート１～５と記載し、ビットレート１～５で符号化された評価対象画像Ｐを評価対象画像Ｐ１～Ｐ５と記載する場合がある。また、各ビットレートを示す１～５の番号をビットレート番号と記載する場合がある。ビットレート番号は、ビットレートの昇順に振られている。本実施形態では、ビットレート番号１が最低のビットレートを示し、ビットレート番号５が最高のビットレートを示す。
【0027】
その後、復号装置４は、５つの評価対象画像Ｐ１～Ｐ５を画質評価装置１の記憶手段１０に書き込む。さらに、復号装置４は、最低のビットレートで符号化されている評価対象画像Ｐ１を差分画像生成装置５に出力する。
【0028】
差分画像生成装置５は、原画像再生装置２から入力された原画像Ｏと、復号装置４から入力された評価対象画像Ｐ１とを用いて、原画像に含まれる符号化劣化領域を示す差分画像（劣化領域画像）Ｄを生成するものである。つまり、差分画像Ｄは、原画像Ｏと評価対象画像Ｐ１との輝度値の差分の絶対値を示す画像である。例えば、差分画像Ｄは、劣化がない画素の輝度値を０（真っ黒）とすれば、明るい領域で符号化劣化が発生していることを示す。ここでは、差分画像生成装置５は、原画像Ｏと評価対象画像Ｐ１との輝度値の差分を画素毎に求めることで、差分画像Ｄを生成できる。そして、差分画像生成装置５は、生成した差分画像Ｄを画質評価装置１の記憶手段１０に書き込む。
なお、差分画像生成装置５は、画素毎に求めた輝度値の差分を二乗する処理により、符号化劣化領域を強調した差分画像Ｄを生成してもよい。
なお、差分画像生成装置５は、画素毎に求めた輝度値の差分を二乗する処理により、符号化劣化領域を強調した差分画像Ｄを生成してもよい。
【0029】
グレー画像再生装置６は、グレー画像（切替画像）Ｇを再生し、再生したグレー画像を画質評価装置１の記憶手段１０に書き込むものである。このグレー画像Ｇは、後記する切替時間に表示する画像であり、例えば、グレー色の単色画像である。
【0030】
モニタ７は、画質評価装置１から入力された各画像（原画像Ｏ、差分画像Ｄ、評価対象画像Ｐ１～Ｐ５、グレー画像Ｇ）を表示する表示装置である。例えば、モニタ７としては、一般的な液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイがあげられる。
【0031】
【0032】
記憶手段１０は、モニタ７に表示する各画像（原画像Ｏ、差分画像Ｄ、評価対象画像Ｐ１～Ｐ５、グレー画像Ｇ）を予め記憶するメモリ、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）等の記憶装置である。記憶手段１０が記憶する各画像は、画像切替手段１１によって読み出される。
【0033】
画像切替手段１１は、記憶手段１０に記憶されている各画像（原画像Ｏ、差分画像Ｄ、評価対象画像Ｐ１～Ｐ５、グレー画像Ｇ）を切り替え出力するものである。つまり、画像切替手段１１は、後記する制御手段１２からの指令に従って、原画像Ｏ、差分画像Ｄ、評価対象画像Ｐ１～Ｐ５又はグレー画像Ｇの何れかを記憶手段１０から読み出して、読み出した画像をモニタ７に切り替え表示させる。
【0034】
制御手段１２は、予め設定された切替規則Ｒに従って、画像切替手段１１の出力を制御するものである。つまり、制御手段１２は、切替規則Ｒに設定された順番及びタイミングで各画像が切り替え出力されるように、画像切替手段１１を制御する。この切替規則Ｒは、以下で説明する画質評価方法を実行するように設定されている。
【0035】
【0036】
＜第１原画像表示ステップ＞
図２及び図３に示すように、第１原画像表示ステップＳ１において、画質評価装置１は、原画像Ｏを予め設定された提示時間だけ表示した後、グレー画像Ｇを予め設定された切替時間だけ表示する。本実施形態では、一例として、提示時間が１０秒であり、切替時間が３秒であることとする。
なお、図３では、図面を見やすくするためにグレー画像Ｇの図示を省略しており、３秒と記載された時間にグレー画像Ｇが表示されることになる（図４も同様）。
図２及び図３に示すように、第１原画像表示ステップＳ１において、画質評価装置１は、原画像Ｏを予め設定された提示時間だけ表示した後、グレー画像Ｇを予め設定された切替時間だけ表示する。本実施形態では、一例として、提示時間が１０秒であり、切替時間が３秒であることとする。
なお、図３では、図面を見やすくするためにグレー画像Ｇの図示を省略しており、３秒と記載された時間にグレー画像Ｇが表示されることになる（図４も同様）。
【0037】
このように、第１原画像表示ステップＳ１では、主観評価の対象となる評価対象画像Ｐ１～Ｐ５を表示する昇順表示ステップＳ３の前に、主観評価の基準となる原画像Ｏを表示するので、評価者が評価対象画像Ｐの画質を主観評価しやすくなる。
【0038】
＜差分画像表示ステップ＞
差分画像表示ステップＳ２において、画質評価装置１は、差分画像Ｄを提示時間だけ表示した後、グレー画像を切替時間だけ表示する。
ここで、原画像Ｏが高品質な素材映像の場合、評価対象画像Ｐ１～Ｐ５も高品質になるので、評価者にとって、評価対象画像Ｐ１～Ｐ５に含まれる劣化発生領域が分かりにくい場合もある。さらに、評価者は、短時間で評価対象画像Ｐ１～Ｐ５の画質を主観評価しなければならず、劣化発生領域を見落としてしまう場合も考えられる。そこで、差分画像表示ステップＳ２では、評価対象画像Ｐ１～Ｐ５に含まれる劣化発生領域を示す差分画像Ｄを表示する。これにより、評価者が、評価対象画像Ｐの何処に劣化発生領域が存在するかを事前に把握できるので、評価対象画像Ｐの画質を主観評価しやすくなる。
なお、差分画像表示ステップＳ２は、実行ぜずともよい。この場合、第１原画像表示ステップＳ１の後、昇順表示ステップＳ３を実行することになる。また、差分画像表示ステップＳ２が請求項に記載の劣化領域画像表示ステップに相当する。
差分画像表示ステップＳ２において、画質評価装置１は、差分画像Ｄを提示時間だけ表示した後、グレー画像を切替時間だけ表示する。
ここで、原画像Ｏが高品質な素材映像の場合、評価対象画像Ｐ１～Ｐ５も高品質になるので、評価者にとって、評価対象画像Ｐ１～Ｐ５に含まれる劣化発生領域が分かりにくい場合もある。さらに、評価者は、短時間で評価対象画像Ｐ１～Ｐ５の画質を主観評価しなければならず、劣化発生領域を見落としてしまう場合も考えられる。そこで、差分画像表示ステップＳ２では、評価対象画像Ｐ１～Ｐ５に含まれる劣化発生領域を示す差分画像Ｄを表示する。これにより、評価者が、評価対象画像Ｐの何処に劣化発生領域が存在するかを事前に把握できるので、評価対象画像Ｐの画質を主観評価しやすくなる。
なお、差分画像表示ステップＳ２は、実行ぜずともよい。この場合、第１原画像表示ステップＳ１の後、昇順表示ステップＳ３を実行することになる。また、差分画像表示ステップＳ２が請求項に記載の劣化領域画像表示ステップに相当する。
【0039】
＜昇順表示ステップ＞
昇順表示ステップＳ３において、画質評価装置１は、評価対象画像Ｐ１～Ｐ５のそれぞれをビットレートの昇順で提示時間だけ表示すると共に、評価対象画像Ｐ１～Ｐ５のそれぞれを表示した後、グレー画像Ｇを切替時間だけ表示する。
昇順表示ステップＳ３において、画質評価装置１は、評価対象画像Ｐ１～Ｐ５のそれぞれをビットレートの昇順で提示時間だけ表示すると共に、評価対象画像Ｐ１～Ｐ５のそれぞれを表示した後、グレー画像Ｇを切替時間だけ表示する。
【0040】
図４を参照し、昇順表示ステップＳ３を詳細に説明する。
図４に示すように、画質評価装置１は、ビットレートが最低の評価対象画像Ｐ１を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが２番目に低い評価対象画像Ｐ２を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
図４に示すように、画質評価装置１は、ビットレートが最低の評価対象画像Ｐ１を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが２番目に低い評価対象画像Ｐ２を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
【0041】
続いて、画質評価装置１は、ビットレートが３番目に低い評価対象画像Ｐ３を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが４番目に低い評価対象画像Ｐ４を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが最高の評価対象画像Ｐ５を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが４番目に低い評価対象画像Ｐ４を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが最高の評価対象画像Ｐ５を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
【0042】
このように、昇順表示ステップＳ３では、ビットレートの昇順で評価対象画像Ｐ１～Ｐ５を表示するので、評価者が、ビットレートの上昇に伴う評価対象画像Ｐ１～Ｐ５の画質の向上を確認しながら、評価対象画像Ｐ１～Ｐ５の画質をビットレート毎に比較し、評価対象画像Ｐ１～Ｐ５の画質を主観評価しやすくなる。
【0043】
＜第２原画像表示ステップ＞
第２原画像表示ステップＳ４において、画質評価装置１は、原画像Ｏを提示時間だけ表示した後、グレー画像Ｇを切替時間だけ表示する。
このように、第２原画像表示ステップＳ４では、主観評価の対象となる評価対象画像Ｐ１～Ｐ５を表示する降順表示ステップＳ５の前に、主観評価の基準となる原画像Ｏを表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
第２原画像表示ステップＳ４において、画質評価装置１は、原画像Ｏを提示時間だけ表示した後、グレー画像Ｇを切替時間だけ表示する。
このように、第２原画像表示ステップＳ４では、主観評価の対象となる評価対象画像Ｐ１～Ｐ５を表示する降順表示ステップＳ５の前に、主観評価の基準となる原画像Ｏを表示するので、評価者が評価対象画像の画質を主観評価しやすくなる。
【0044】
＜降順表示ステップ＞
降順表示ステップＳ５において、画質評価装置１は、評価対象画像Ｐ１～Ｐ５のそれぞれをビットレートの降順で提示時間だけ表示すると共に、評価対象画像Ｐ１～Ｐ５のそれぞれを表示した後、グレー画像Ｇを切替時間だけ表示する。
降順表示ステップＳ５において、画質評価装置１は、評価対象画像Ｐ１～Ｐ５のそれぞれをビットレートの降順で提示時間だけ表示すると共に、評価対象画像Ｐ１～Ｐ５のそれぞれを表示した後、グレー画像Ｇを切替時間だけ表示する。
【0045】
図４を参照し、降順表示ステップＳ５を詳細に説明する。
図４に示すように、画質評価装置１は、ビットレートが最高の評価対象画像Ｐ５を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが２番目に高い評価対象画像Ｐ４を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
図４に示すように、画質評価装置１は、ビットレートが最高の評価対象画像Ｐ５を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが２番目に高い評価対象画像Ｐ４を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
【0046】
続いて、画質評価装置１は、ビットレートが３番目に高い評価対象画像Ｐ３を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが４番目に高い評価対象画像Ｐ２を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが最低の評価対象画像Ｐ１を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが４番目に高い評価対象画像Ｐ２を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
続いて、画質評価装置１は、ビットレートが最低の評価対象画像Ｐ１を提示時間だけ表示すると共に、グレー画像Ｇを切替時間だけ表示する。
【0047】
このように、降順表示ステップＳ５では、ビットレートの降順で評価対象画像Ｐ１～Ｐ５を表示するので、評価者が、ビットレートの下落に伴う評価対象画像Ｐ１～Ｐ５の画質の低下を確認しながら、評価対象画像Ｐ１～Ｐ５の画質をビットレート毎に比較し、評価対象画像Ｐ１～Ｐ５の画質を主観評価しやすくなる。
【0048】
＜判定ステップ＞
判定ステップＳ６において、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理を繰り返すか否かを判定する。例えば、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理回数をカウントし、カウントした処理回数の閾値判定によりこれら繰り返し処理の要否を判定する。
本実施形態では、一例として、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理を２回繰り返すこととする。
判定ステップＳ６において、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理を繰り返すか否かを判定する。例えば、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理回数をカウントし、カウントした処理回数の閾値判定によりこれら繰り返し処理の要否を判定する。
本実施形態では、一例として、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理を２回繰り返すこととする。
【0049】
繰り返し処理を行う場合（判定ステップＳ６でＹｅｓ）、画質評価装置１は、第３原画像表示ステップＳ７の処理に進む。
繰り返し処理を行わない場合（判定ステップＳ６でＮｏ）、画質評価装置１は、評価ステップＳ８の処理に進む。
繰り返し処理を行わない場合（判定ステップＳ６でＮｏ）、画質評価装置１は、評価ステップＳ８の処理に進む。
【0050】
＜第３原画像表示ステップ＞
第３原画像表示ステップＳ７において、画質評価装置１は、原画像Ｏを提示時間だけ表示した後、グレー画像Ｇを切替時間だけ表示する。その後、画質評価装置１は、昇順表示ステップＳ３の処理に戻る。
なお、第３原画像表示ステップＳ７は、実行ぜずともよい。この場合、判定ステップＳ６の後、昇順表示ステップＳ３に戻ることになる。
第３原画像表示ステップＳ７において、画質評価装置１は、原画像Ｏを提示時間だけ表示した後、グレー画像Ｇを切替時間だけ表示する。その後、画質評価装置１は、昇順表示ステップＳ３の処理に戻る。
なお、第３原画像表示ステップＳ７は、実行ぜずともよい。この場合、判定ステップＳ６の後、昇順表示ステップＳ３に戻ることになる。
【0051】
＜評価ステップ＞
評価ステップＳ８において、画質評価装置１は、グレー画像Ｇを評価時間だけ表示する。本実施形態では、一例として、評価時間が１０秒であることとする。なお、この評価ステップＳ８は、評価者が主観評価結果を評価用紙２００（図５）に記入するための処理である。
評価ステップＳ８において、画質評価装置１は、グレー画像Ｇを評価時間だけ表示する。本実施形態では、一例として、評価時間が１０秒であることとする。なお、この評価ステップＳ８は、評価者が主観評価結果を評価用紙２００（図５）に記入するための処理である。
【0052】
【0053】
前記したように、画質評価装置１は、昇順表示ステップＳ３、第２原画像表示ステップＳ４及び降順表示ステップＳ５の処理を２回繰り返す。従って、評価用紙２００には、１回目用の記入欄２１０と、２回目用の記入欄２２０と、評価記入欄２３０とが設けられている。また、記入欄２１０には、１回目の昇順表示ステップＳ３に対応した記入欄２１１と、１回目の降順表示ステップＳ５に対応した記入欄２１２とが設けられている。さらに、記入欄２２０には、２回目の昇順表示ステップＳ３に対応した記入欄２２１と、２回目の降順表示ステップＳ５に対応した記入欄２２２とが設けられている。
【0054】
１回目の昇順表示ステップＳ３において、評価者は、グレー画像Ｇが表示される切替時間内に、グレー画像Ｇの直前に表示された評価対象画像Ｐ１～Ｐ５の評価結果を記入欄２１１に記入する。最初に評価対象画像Ｐ１が表示された後、グレー画像Ｇが切替期間だけ表示されるので、評価者は、この切替期間内に評価対象画像Ｐ１についての評価結果を記入する。このとき、評価者は、評価対象画像Ｐ１の画質が許容できる場合には“〇”を記入し、評価対象画像Ｐ１の画質が許容できない場合には“×”を記入する。図５の例では、“〇”が記入されている。さらに、評価者は、評価対象画像Ｐ１と同様、評価対象画像Ｐ２～Ｐ５についての評価結果も順次記入する。
【0055】
１回目の降順表示ステップＳ５において、評価者は、グレー画像Ｇが表示される切替時間内に、グレー画像Ｇの直前に表示された評価対象画像Ｐ１～Ｐ５の評価結果を記入欄２１２に記入する。
２回目の昇順表示ステップＳ３及び降順表示ステップＳ５においても、１回目と同様、評価対象画像Ｐ１～Ｐ５の評価結果を記入欄２２１，２２２に記入する。
２回目の昇順表示ステップＳ３及び降順表示ステップＳ５においても、１回目と同様、評価対象画像Ｐ１～Ｐ５の評価結果を記入欄２２１，２２２に記入する。
【0056】
評価ステップＳ８において、評価者は、４Ｋ／８Ｋのファイルフォーマットの画質として許容できる画質を満たすビットレート番号“１”～“５”を評価記入欄２３０に記入する。なお、評価者は、該当するビットレート番号が無い場合、“９”を評価記入欄２３０に記入する。
【0057】
以上のように、画質評価装置１によれば、評価者が、ビットレートの変化に伴う評価対象画像Ｐの画質の変化を確認しながら、ビットレート毎に評価対象画像Ｐの画質を主観評価することができる。
【0058】
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、切替画像がグレー単色のグレー画像であることとして説明したが、これに限定されない。例えば、次に表示する画像の種類やビットレートを評価者に伝えるため、次に表示する画像の種類やビットレート番号を切替画像に表示してもよい。
前記した実施形態では、切替画像がグレー単色のグレー画像であることとして説明したが、これに限定されない。例えば、次に表示する画像の種類やビットレートを評価者に伝えるため、次に表示する画像の種類やビットレート番号を切替画像に表示してもよい。
【0059】
前記した実施形態では、劣化領域画像が差分画像であることとして説明したが、これに限定されない。例えば、劣化領域画像は、原画像と最低のビットレートで符号化された評価対象画像のそれぞれを小ブロックに分割し、小ブロック毎のピーク信号対雑音比（PSNR: Peak signal-to-noise ratio）を示す画像であってもよい。
さらに、劣化領域画像は、原画像と最低のビットレートで符号化された評価対象画像のそれぞれを小ブロックに分割し、それぞれの画像において小ブロック毎のＴＩ（temporal information）値を算出し、算出したＴＩ値の差分を表す画像であってもよい（参考文献１）。
さらに、劣化領域画像は、原画像と最低のビットレートで符号化された評価対象画像のそれぞれを小ブロックに分割し、それぞれの画像において小ブロック毎のＳＩ（spatial information）値を算出し、算出したＳＩ値の差分を表す画像であってもよい（参考文献１）。
参考文献１：Rec. ITU-T P.910[Annex A Details related to the characterization of the test sequences]
さらに、劣化領域画像は、原画像と最低のビットレートで符号化された評価対象画像のそれぞれを小ブロックに分割し、それぞれの画像において小ブロック毎のＴＩ（temporal information）値を算出し、算出したＴＩ値の差分を表す画像であってもよい（参考文献１）。
さらに、劣化領域画像は、原画像と最低のビットレートで符号化された評価対象画像のそれぞれを小ブロックに分割し、それぞれの画像において小ブロック毎のＳＩ（spatial information）値を算出し、算出したＳＩ値の差分を表す画像であってもよい（参考文献１）。
参考文献１：Rec. ITU-T P.910[Annex A Details related to the characterization of the test sequences]
【0060】
前記した実施形態では、ビットレート１～５で符号化されていることとして説明したが、これに限定されない。つまり、評価対象画像が異なるビットレートで符号化されていればよい。この場合、最低のビットレートが０［bps］より大きければよく、最高のビットレートが符号化規格の最高値以下であればよい。
また、ビットレートの間隔が等間隔であってもよく、ビットレートの間隔が異なってもよい。例えば、原画像と各ビットレートで符号化された評価対象画像とのピーク信号対雑音比が等間隔になるように、ビットレートの間隔を不均一にしてもよい。
また、ビットレートの間隔が等間隔であってもよく、ビットレートの間隔が異なってもよい。例えば、原画像と各ビットレートで符号化された評価対象画像とのピーク信号対雑音比が等間隔になるように、ビットレートの間隔を不均一にしてもよい。
【0061】
前記した実施形態では、画質評価装置が各画像をモニタに切り替え表示することとして説明したが、これに限定されない。例えば、画質評価装置は、各画像を切替規則に従ってファイルに出力することで、画質評価用の画像ファイルを生成してもよい。
【0062】
前記した実施形態では、提示時間及び評価時間が１０秒、切替時間が３秒であることとして説明したが、これに限定されない。例えば、提示時間及び評価時間を１０秒から１５秒の間、切替時間を３秒から５秒の間で設定してもよい。
【実施例】
【0063】
図６を参照し、実施例として、画質評価方法による評価結果について説明する。
テスト画像（評価対象画像）の符号化条件を以下の表１に示す。符号化難易度が高い５種類の画像をテスト画像とし（参考文献２，３）、Ｍａｉｎ４２２ １０プロファイル、高ビットレート対応ＨＥＶＣソフトウェアコーデックを用い、番組制作のワークフローを考慮して３回繰り返して符号化、復号した画像をテスト画像とした。テスト画像の選定では、符号化難易度が極端に高い画像に対する品質を確認するため、微細なテクスチャを多く含む「ａ０７桂川」を特異な例として採用した。
テスト画像（評価対象画像）の符号化条件を以下の表１に示す。符号化難易度が高い５種類の画像をテスト画像とし（参考文献２，３）、Ｍａｉｎ４２２ １０プロファイル、高ビットレート対応ＨＥＶＣソフトウェアコーデックを用い、番組制作のワークフローを考慮して３回繰り返して符号化、復号した画像をテスト画像とした。テスト画像の選定では、符号化難易度が極端に高い画像に対する品質を確認するため、微細なテクスチャを多く含む「ａ０７桂川」を特異な例として採用した。
【0064】
参考文献２：映情学、電波産業会、“超高精細・広色域標準動画像－Ａシリーズ解説書”（２０１６）
参考文献３：映情学、電波産業会、“超高精細・広色域標準動画像－Ｂシリーズ解説書”（２０１７）
参考文献３：映情学、電波産業会、“超高精細・広色域標準動画像－Ｂシリーズ解説書”（２０１７）
【0065】
【表1】
【0066】
実験条件を以下の表２に示す。このとき、テスト画像ごとに前記した手順を２回繰り返した。各ビットレートの具体的な数値は評価者には開示せず、ビットレート番号“１”から“５”として表示した。評価者には、各テスト画像が４Ｋ及び８Ｋのファイルフォーマットの品質として許容可能か否かを判断させ、許容可能な品質を満たすテスト画像のうち，最小のビットレート番号を選択させた。なお、何れのビットレートのテスト画像においても許容できない場合にはビットレート番号“９”を選択させた。
【0067】
【表2】
【0068】
前記した主観評価実験の結果を図６に示す。図６では、横軸がビットレート番号を示し、縦軸が累積投票者数を示す（％で表示）。なお、累積投票者数とは、各ビットレート番号を選択した評価者数の累積のことである。また、図６（ａ）が４Ｋの評価結果を示し、図６（ｂ）が８Ｋの評価結果を示す。また、図６の破線は、累積投票者数が５０％であることを示す。
【0069】
「ａ０７桂川」を除く全テスト画像の累積投票数が５０％を超える（過半数の評価者が許容可能と判断する）ビットレートは、４Ｋで２００［Mbps］、８Ｋで６００［Mbps］である。この結果から、一般的な画像を対象としたファイルフォーマットでは、４Ｋでは２００［Mbps］、８Ｋでは６００［Mbps］のビットレートを確保することで、過半数のユーザーが許容できる画質を満たすと判断した。なお、「ａ０７桂川」のように極端に符号化難易度が高い映像では、本実施例で適用した最大ビットレート（４Ｋでは３００［Mbps］，８Ｋでは８００［Mbps］）でも許容できる画質を満たさないケースがあり得ることが明らかとなった。
【0070】
以上の主観評価の結果より、実施形態に係る画質評価方法によれば、評価者がビットレート毎に評価対象画像の画質を主観評価できたことがわかった。従って、前記した画質評価方法は、評価対象画像の主観評価方法として有用であると考えらえる。
【符号の説明】
【0071】
１ 画質評価装置
２ 原画像再生装置
３ 符号化装置
４ 復号装置
５ 差分画像生成装置
６ グレー画像再生装置
７ モニタ
１０ 記憶手段
１１ 画像切替手段
１２ 制御手段
１００ 画質評価システム
Ｄ 差分画像
Ｇ グレー画像
Ｏ 原画像
Ｐ，Ｐ１～Ｐ５ 評価対象画像
Ｒ 切替規則
２ 原画像再生装置
３ 符号化装置
４ 復号装置
５ 差分画像生成装置
６ グレー画像再生装置
７ モニタ
１０ 記憶手段
１１ 画像切替手段
１２ 制御手段
１００ 画質評価システム
Ｄ 差分画像
Ｇ グレー画像
Ｏ 原画像
Ｐ，Ｐ１～Ｐ５ 評価対象画像
Ｒ 切替規則
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】