特開 2022-162510 符号化画像品質評価装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022162510

(43)【公開日】2022-10-24

(54)【発明の名称】符号化画像品質評価装置及びプログラム

(51)【国際特許分類】

   H04N 17/00 20060101AFI20221017BHJP

   H04N 19/154 20140101ALI20221017BHJP

【ＦＩ】

H04N17/00 A

H04N19/154

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021139272

(22)【出願日】2021-08-27

(31)【優先権主張番号】P 2021067348

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】中島 奈緒

【テーマコード（参考）】

5C061

5C159

【Ｆターム（参考）】

5C061BB07

5C061CC09

5C061EE21

5C159KK47

5C159MA04

5C159MA05

5C159PP05

5C159PP06

5C159PP07

5C159TB04

5C159TC02

5C159TC10

5C159TD03

5C159TD05

5C159TD06

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

【課題】符号化画像の時間方向のよるチラつきを客観的に評価可能とする。
【解決手段】符号化画像品質評価装置１は、符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部１１と、アクティビティの時間変動を品質評価値として算出するアクティビティ変動算出部１３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

符号化画像の品質を評価する符号化画像品質評価装置であって、
符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、
前記アクティビティの時間変動を品質評価値として算出するアクティビティ変動算出部と、
を備える符号化画像品質評価装置。

【請求項2】

符号化画像の品質を評価する符号化画像品質評価装置であって、
符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、
前記アクティビティを正規化して正規化アクティビティを算出するアクティビティ正規化部と、
前記正規化アクティビティの時間変動を品質評価値として算出する正規化アクティビティ変動算出部と、
を備える符号化画像品質評価装置。

【請求項3】

符号化画像の品質を評価する符号化画像品質評価装置であって、
符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、
前記アクティビティの時間変動を算出するアクティビティ変動算出部と、
前記アクティビティの時間変動を正規化して品質評価値として算出するアクティビティ変動正規化部と、
を備える符号化画像品質評価装置。

【請求項4】

前記アクティビティ算出部は、前記フレームに二次微分フィルタを掛けた画像の各画素値の平均値を前記アクティビティとして算出する、請求項１から３のいずれか一項に記載の符号化画像品質評価装置。

【請求項5】

動画像に含まれる全フレームの前記品質評価値に基づいて、動画像全体の品質を示す動画像品質評価値を求める動画像品質評価部を更に備える、請求項１から４のいずれか一項に記載の符号化画像品質評価装置。

【請求項6】

コンピュータを、請求項１から５のいずれか一項に記載の符号化画像品質評価装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化画像の品質を評価する符号化画像品質評価装置及びプログラムに関する。

【背景技術】

【0002】

ＡＶＣ／Ｈ．２６４（例えば、非特許文献１参照）やＨＥＶＣ／Ｈ．２６５（例えば、非特許文献２参照）などの非可逆符号化方式では、予測（イントラ予測及びインター予測）、変換（ＤＣＴ変換などの直交変換）、量子化、及び符号割り当て（ハフマン符号・算術符号などの情報源符号化）の４つの処理を順番に施すことで原画像（入力画像）を圧縮データに変換する。量子化処理において変換係数を離散化することが、原画像と符号化画像（圧縮データを復号して得られる画像）が一致しない原因である。なお、原画像と符号化画像の不一致を符号化劣化（符号化歪み）と呼ぶ。

【0003】

符号化画像の画像品質を客観的に評価する代表的な指標として、ＰＳＮＲ（Peak Signal to Noise Ratio）がある。ＰＳＮＲは、フレームごとに原画像と符号化画像を比較し、その差分量を数値化することで符号化歪みを評価する指標である。ＰＳＮＲの具体的な算出方法を式（１）（２）に示す。

【0004】

【数1】

【0005】

ここで、Ｓ_ｏｒｇ（ｘ，ｙ，Ｔ）は時刻Ｔに表示されるフレームの原画像であり、Ｓ_ｄｅｃ（ｘ，ｙ，Ｔ）は時刻Ｔに表示されるフレームを符号化した後に復号した符号化画像である。ｘは各フレームの横方向の画素位置を示し、ｙは各フレームの縦方向の画素位置を示す。Ｘは各フレームの横方向の画素数を示し、Ｙは各フレームの縦方向の画素数を示す。ＭＡＸは画素の最大値であり、例えばビット深度が８ｂｉｔの画像の場合はＭＡＸ＝２５５である。

【0006】

ＰＳＮＲはフレームごとに算出される値であるため、動画像の符号化劣化を評価する際には、動画像に含まれる全フレームのＰＳＮＲ（ｔ）を平均した値を用いることが一般的である。しかし、動画像に含まれるフレームのそれぞれのＰＳＮＲが高い場合でも、時間的に隣接するフレーム間において輝度レベルなどの符号化劣化傾向の大きな変動が発生した場合にはチラつきが視認される。このチラつきに起因する符号化画像の品質低下の度合いは、ＰＳＮＲでは評価できない。そこで、フレーム間における輝度レベルの変動（フリッカ）を測定する手法として、式（３）が知られている（例えば、非特許文献３参照）。

【0007】

【数2】

【0008】

フリッカは、隣接フレーム間の画像差分が符号化によって拡大又は縮小した度合いを示すものである。式（３）において、｛Ｓ_ｏｒｇ（ｘ，ｙ，ｔ）－Ｓ_ｏｒｇ（ｘ，ｙ，ｔ－１）｝は原画像の隣接フレーム間の画像差分を示し、｛Ｓ_ｄｅｃ（ｘ，ｙ，ｔ）－Ｓ_ｄｅｃ（ｘ，ｙ，ｔ－１）｝は符号化画像の隣接フレーム間の画像差分を示す。

【0009】

図８は、８Ｋ動画像をＨＥＶＣ／Ｈ．２６５符号化方式によって符号化した際の符号化画像の輝度信号のＰＳＮＲ及びフリッカの測定値例を示す図である。横軸は、フレーム番号を示している。縦軸は、図８（ａ）ではＰＳＮＲを示し、図８（ｂ）ではフリッカを示している。図８は、符号化対象の９００フレームにおける先頭フレームのフレーム番号を０とし、最終フレームのフレーム番号を８９９をとした場合の、フレーム番号３５２－４７９に該当する１２８フレームのＰＳＮＲとフリッカを示している。この測定に使用した符号化対象画像は、ＩＴＥ超高精細・広色域標準動画像－Ａシリーズの「Ｎｏ．２ 電車Ｂ」である。また、ＧＯＰ（Group Of Pictures）構造をＬｏｎｇ ＧＯＰ（Ｐピクチャ間隔：Ｍ＝４、Ｉピクチャ間隔：Ｎ＝３２）とし、レート制御を２００Ｍ［ｂｐｓ］及び４００Ｍ［ｂｐｓ］の固定ビットレート（ＣＢＲ）とし、「Ｎｏ．２ 電車Ｂ」の冒頭タイトル６０フレームを除く９００フレームを符号化した。

【0010】

図９は、ＰＳＮＲ及びフリッカの測定対象とする画像領域を示す図である。図９は、「Ｎｏ．２ 電車Ｂ」の画像を示しており、画像サイズは８Ｋである。符号化画像の画像サイズも原画像と同じ８Ｋであるが、図８のＰＳＮＲ及びフリッカは、図９に示す２５６×２５６画素サイズの領域画像を測定対象として算出した。

【0011】

Ｌｏｎｇ ＧＯＰ符号化では、フレーム内予測のみを用いて符号化されたＩピクチャ、片方向予測によるフレーム間予測を用いて符号化されたＰピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたＢピクチャにより映像符号化ストリームが構成される。フレーム間予測を用いることで符号量を低減することが可能であり、各ピクチャに割り当てる符号量はＩピクチャが最も多く、Ｐピクチャが次に多く、Ｂピクチャが最も少ない。図８（ａ）では、４フレームに１回の頻度で出現するＰピクチャのＰＳＮＲが、Ｉピクチャ及びＢピクチャのＰＳＮＲよりも高いことが確認できる。図８（ｂ）では、３２フレームに１回の頻度で出現するＩピクチャのフリッカ値が大きいことが確認できる。このＩピクチャ出現時のフリッカは、イントラフリッカと称される。

【先行技術文献】

【非特許文献】

【0012】

【非特許文献1】Rec. ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding

【非特許文献2】Rec. ITU-T Rec. H.265 | ISO/IEC 23008-2 High Efficiency Video Coding

【非特許文献3】X. Fan, W. Gao, Y. Lu, and D. Zhao, “Flickering reduction in all Intra frame coding,” JVT-E070, 2002.

【発明の概要】

【発明が解決しようとする課題】

【0013】

図１０は、「Ｎｏ．２ 電車Ｂ」をＨＥＶＣ／Ｈ．２６５で符号化した際の原画像及び符号化画像の一部を示す図である。具体的には、フレーム番号４６４－４６８の５フレームの一部分をそれぞれ切り出した５５×５５画素サイズの画像を示している。いずれのフレームも、切り出し範囲は図９に示した５５×５５画素サイズの範囲である。図１０（ａ）は原画像を示しており、図１０（ｂ）はレート制御を４００Ｍ［ｂｐｓ］の固定ビットレートとした場合の符号化画像を示しており、図１０（ｃ）はレート制御を２００Ｍ［ｂｐｓ］の固定ビットレートとした場合の符号化画像を示している。また、５５×５５画素の各画素位置に、Ｙ信号（輝度信号）の画素値に相当する濃度の黒を表示している。符号化条件は、図８のＰＳＮＲ及びフリッカの測定時と同じである。

【0014】

図１０から、原画像（図１０（ａ））は精細なテクスチャを保持しているが、符号化画像（図１０（ｂ）（ｃ））は精細感が失われていることが判る。フレーム番号が異なる（表示時刻の異なる）同一位置の画像に注目すると、フレームごとに精細感の失われ方や、その度合いが異なることが判る。なお、一つのフレーム内においても位置によって精細感の失われ方や、その度合いが異なる。この精細感の失われ方や度合いの時間的変化は、動画像として視聴した際にチラつきとして視認される。また、符号化画像には、符号化時にブロック単位で予測や、量子化の処理を行うことに起因すると考えられる階段状の模様が発生している。この模様も、フレームごとに形を変えるため、動画像として視聴した際にチラつきとして視認される。これらのチラつきによる符号化画像の品質低下の度合いは、従来技術であるＰＳＮＲやフリッカでは評価することが困難であった。

【0015】

かかる事情に鑑みてなされた本発明の目的は、イントラフリッカとは異なる、符号化画像の時間方向の画像品質変動によるチラつきを客観的に評価することが可能な符号化画像品質評価装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0016】

上記課題を解決するため、一実施形態に係る符号化画像品質評価装置は、符号化画像の品質を評価する符号化画像品質評価装置であって、符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、前記アクティビティの時間変動を品質評価値として算出するアクティビティ変動算出部と、を備える。

【0017】

また、上記課題を解決するため、一実施形態に係る符号化画像品質評価装置は、符号化画像の品質を評価する符号化画像品質評価装置であって、符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、前記アクティビティを正規化して正規化アクティビティを算出するアクティビティ正規化部と、前記正規化アクティビティの時間変動を品質評価値として算出する正規化アクティビティ変動算出部と、を備える。

【0018】

また、上記課題を解決するため、一実施形態に係る符号化画像品質評価装置は、符号化画像の品質を評価する符号化画像品質評価装置であって、符号化画像のフレームごとの精細感を数値化したアクティビティを算出するアクティビティ算出部と、前記アクティビティの時間変動を算出するアクティビティ変動算出部と、前記アクティビティの時間変動を正規化して品質評価値として算出するアクティビティ変動正規化部と、を備える。

【0019】

さらに、一実施形態において、前記アクティビティ算出部は、前記フレームに二次微分フィルタを掛けた画像の各画素値の平均値を前記アクティビティとして算出してもよい。

【0020】

さらに、一実施形態において、動画像に含まれる全フレームの前記品質評価値に基づいて、動画像全体の品質を示す動画像品質評価値を求める動画像品質評価部を更に備えてもよい。

【0021】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化画像品質評価装置として機能させる。

【発明の効果】

【0022】

本発明によれば、画像品質変動によるチラつきを評価することができる。

【図面の簡単な説明】

【0023】

【図1】第１の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。

【図2】第１の実施形態に係る符号化画像品質評価装置が算出したアクティビティの例を示す図である。

【図3】第２の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。

【図4】第２の実施形態に係る符号化画像品質評価装置が算出した正規化アクティビティの例を示す図である。

【図5】第２の実施形態に係る符号化画像品質評価装置が算出した品質評価値の例を示す図である。

【図6】第３の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。

【図7】第４の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。

【図8】符号化画像の輝度信号のＰＳＮＲ及びフリッカの測定値の例を示す図である。

【図9】ＰＳＮＲ及びフリッカの測定対象とした画像領域を示す図である。

【図10】ＩＴＥ超高精細・広色域標準動画像－Ａシリーズの「Ｎｏ．２ 電車Ｂ」をＨＥＶＣ／Ｈ．２６５で符号化した際の原画像及び符号化画像の一部を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0025】

（第１の実施形態）
図１は、第１の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。図１に示す符号化画像品質評価装置１は、アクティビティ算出部１１と、アクティビティ記憶部１２と、アクティビティ変動算出部１３と、を備える。

【0026】

符号化画像品質評価装置１は、符号化画像（圧縮データを復号して得られる画像）を入力（取得）し、符号化画像の品質を客観的に評価する装置である。

【0027】

アクティビティ算出部１１及びアクティビティ変動算出部１３により制御演算回路（コントローラ）を構成する。該制御演算回路は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0028】

アクティビティ算出部１１は、符号化画像のフレームごとの精細感を数値化したアクティビティを算出する。アクティビティ算出部１１は、例えば式（４）に示すように、各フレームにラプラシアンフィルタなどの二次微分フィルタを掛けた画像の各画素値の平均値をアクティビティとして算出する。そして、アクティビティ算出部１１は、算出したアクティビティをアクティビティ記憶部１２及びアクティビティ変動算出部１３に出力する。式（４）において、Ｆは二次微分フィルタを意味する。ここで用いられる二次微分フィルタＦは、画像中の画素値の勾配を検出することを目的とするため、そのタップ数や係数は限定されない。

【0029】

【数3】

【0030】

図２は、アクティビティ算出部１１が算出したアクティビティの例を示す図である。横軸はフレーム番号を示し、縦軸はアクティビティを示している。図２（ａ）は、図８で測定対象とした画像領域と同じく、切り出し範囲の２５６×２５６画素サイズの領域画像を対象に算出したアクティビティを示す。図２（ｂ）は、図１０の各画像と同じく、切り出し範囲の５５×５５画素サイズの領域画像を対象に算出したアクティビティを示す。図中の一点鎖線は原画像のアクティビティを示しており、点線はレート制御を４００Ｍ［ｂｐｓ］の固定ビットレートとした場合の符号化画像のアクティビティを示しており、実線はレート制御を２００Ｍ［ｂｐｓ］の固定ビットレートとした場合の符号化画像のアクティビティを示している。図２から、符号化画像は原画像に比べてアクティビティ（精細感）が著しく低下していることが判る。

【0031】

アクティビティ変動算出部１３は、アクティビティ算出部１１から入力したアクティビティの時間変動を品質評価値として求める。アクティビティ変動算出部１３は、例えば式（５）に示すように、アクティビティ算出部１１から入力した現フレームのアクティビティと、アクティビティ記憶部１２に記憶された過去のフレームのアクティビティとの差分値を算出する。そして、アクティビティ変動算出部１３は、算出した品質評価値ＱＥ（ｔ）を符号化画像品質評価装置１の外部に出力する。

【0032】

【数4】

【0033】

上述したように、本実施形態に係る符号化画像品質評価装置１は、符号化画像のフレームごとの精細感を数値化したアクティビティを算出し、アクティビティの時間変動を品質評価値ＱＥ（ｔ）として求める。そのため、イントラフリッカとは異なる、符号化画像の時間方向の画像品質変動によるチラつきを客観的に評価することが可能となる。また、品質評価値ＱＥ（ｔ）は測定対象の動画像のみを用いて算出される値であるため、符号化画像の劣化を測定する際に、原画像を必要としないノンリファレンス画像品質評価を行うことが可能となる。また、符号化画像品質評価装置１は、二次微分フィルタを用いることにより、符号化画像の品質評価に適したアクティビティを高精度に算出することが可能となる。

【0034】

（第２の実施形態）
次に、第２の実施形態に係る符号化画像品質評価装置について説明する。図３は、第２の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。図３に示す符号化画像品質評価装置２は、アクティビティ算出部１１と、アクティビティ記憶部１２と、アクティビティ正規化部１４と、正規化アクティビティ記憶部１５と、正規化アクティビティ変動算出部１６と、を備える。符号化画像品質評価装置２は、第１の実施形態に係る符号化画像品質評価装置１と比較して、アクティビティ変動算出部１３に代えて、アクティビティ正規化部１４、正規化アクティビティ記憶部１５、及び正規化アクティビティ変動算出部１６を備える点が相違する。

【0035】

アクティビティ算出部１１、アクティビティ正規化部１４、及び正規化アクティビティ変動算出部１６により制御演算回路を構成する。該制御演算回路は、ＡＳＩＣ、ＦＰＧＡなどの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0036】

アクティビティ算出部１１は、第１の実施形態と同様に、例えば式（４）によりアクティビティを算出し、アクティビティ記憶部１２に出力する。

【0037】

アクティビティ正規化部１４は、アクティビティ記憶部１２から複数フレームのアクティビティを取得し、各フレームのアクティビティを正規化して、正規化されたアクティビティ（正規化アクティビティ）を算出する。アクティビティ正規化部１４は、例えば式（６）から式（９）を用いて正規化アクティビティを算出する。そして、アクティビティ正規化部１４は、正規化アクティビティを正規化アクティビティ記憶部１５及び正規化アクティビティ変動算出部１６に出力する。

【0038】

【数5】

【0039】

式（６）では各フレームのアクティビティをＴフレームのアクティビティの平均値で割った値を正規化アクティビティとする。式（７）では各フレームのアクティビティをＴフレームのアクティビティの最大値で割った値を正規化アクティビティとする。式（８）では各フレームのアクティビティをＴフレームのアクティビティの分散値で割った値を正規化アクティビティとする。式（９）では各フレームのアクティビティをＴフレームのアクティビティの標準偏差で割った値を正規化アクティビティとする。ここで、Ｔは、符号化画像のフレーム数である。Ｔで指定されるフレームは任意とすることができるが、例えば、現フレームを中心とした１ＧＯＰ分フレーム数のフレーム、現フレームを含む１ＧＯＰのフレーム、又は現フレームを最後尾とした１ＧＯＰ分フレーム数のフレームとしてよい。

【0040】

正規化アクティビティ記憶部１５は、正規化アクティビティを記憶する。なお、アクティビティ記憶部１２及び正規化アクティビティ記憶部１５を説明の便宜上区別して記載しているが、これらを一体化して一つの記憶部としてもよい。

【0041】

図４（ａ），（ｂ）は、図２（ａ），（ｂ）に示したアクティビティを、それぞれ式（６）を用いて正規化した正規化アクティビティを示す図である。横軸はフレーム番号を示し、縦軸は正規化アクティビティを示している。ここでは、フレーム数Ｔ＝９００とした。

【0042】

図４から、符号化画像では原画像には見られない正規化アクティビティ（正規化された精細感）の小刻みな変動が見られ、その傾向は２００Ｍ［ｂｐｓ］よりも４００Ｍ［ｂｐｓ］において顕著であることが判る。この正規化アクティビティ（正規化された精細感）の小刻みな変動が、図１０を用いて説明した時間方向のチラつきを示している。

【0043】

正規化アクティビティ変動算出部１６は、アクティビティ正規化部１４から入力した正規化アクティビティの時間変動を品質評価値として求める。正規化アクティビティ変動算出部１６は、例えば式（１０）に示すように、アクティビティ正規化部１４から入力した現フレームの正規化アクティビティと、正規化アクティビティ記憶部１５に記憶された過去のフレームのアクティビティとの差分値を算出する。そして、正規化アクティビティ変動算出部１６は、算出した品質評価値ＱＥ（ｔ）を符号化画像品質評価装置２の外部に出力する。

【0044】

【数6】

【0045】

アクティビティの時間変動は、変動量が同程度であってもアクティビティが大きい場合には目立たず、アクティビティが小さい場合には目立つ。そこで、本実施形態係る符号化画像品質評価装置２では、アクティビティを正規化した後に、時間変動を算出することとした。そのため、符号化画像品質評価装置２は、より人間の視覚特性に近い評価を行うことができ、第１の実施形態に係る符号化画像品質評価装置１よりも更に評価精度を向上させることが可能となる。

【0046】

図５は、式（１０）を用いて図４（ａ），（ｂ）に示した正規化アクティビティから、算出した品質評価値ＱＥ（ｔ）を示す図である。横軸はフレーム番号を示し、縦軸は品質評価値ＱＥ（ｔ）を示している。図５では、ビットレートが２００Ｍ［ｂｐｓ］の場合よりも４００Ｍ［ｂｐｓ］の場合の方が、品質評価値ＱＥ（ｔ）が大きくなっている。すなわち、２００Ｍ［ｂｐｓ］よりも４００Ｍ［ｂｐｓ］の方が、画像品質が悪い（チラつきが激しい）という結果になっている。一般的に、映像符号化ではビットレートが高い符号化画像の方が、ビットレートが低い符号化画像よりも画像品質が良い傾向があり、図８（ａ）に示したＰＳＮＲでも２００Ｍ［ｂｐｓ］の符号化画像よりも４００Ｍ［ｂｐｓ］の符号化画像の方が高い画像品質（ＰＳＮＲ値）を示している。しかし、今回の測定対象とした符号化画像においては、２００Ｍ［ｂｐｓ］の符号化画像の方が４００Ｍ［ｂｐｓ］の符号化画像よりも主観画像品質が高いことを、ＤＳＣＱＳ（Double Stimulus Continuous Quality Scale；二重刺激連続品質尺度）法による主観画像品質評価試験を実施して確認することができた。したがって、符号化画像品質評価装置２は、上記の品質評価値ＱＥ（ｔ）を導入することで、より主観画像品質に近い品質評価値を、客観的に求めることが可能となる。

【0047】

（第３の実施形態）
次に、第３の実施形態に係る符号化画像品質評価装置について説明する。図６は、第３の実施形態に係る符号化画像品質評価装置の構成例を示すブロック図である。図６に示す符号化画像品質評価装置３は、アクティビティ算出部１１と、アクティビティ記憶部１２と、アクティビティ変動算出部１３と、アクティビティ変動記憶部１７と、アクティビティ変動正規化部１８と、を備える。符号化画像品質評価装置３は、第１の実施形態に係る符号化画像品質評価装置１と比較して、アクティビティ変動記憶部１７及びアクティビティ変動正規化部１８を更に備える点が相違する。第２の実施形態では、アクティビティを正規化した後に、正規化アクティビティの時間変動（隣接フレーム間差分）を算出したが、本実施形態では、アクティビティの隣接フレーム間差分を算出した後に、アクティビティの隣接フレーム間差分を正規化する。

【0048】

アクティビティ算出部１１、アクティビティ変動算出部１３、及びアクティビティ変動正規化部１８により制御演算回路を構成する。該制御演算回路は、ＡＳＩＣ、ＦＰＧＡなどの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0049】

アクティビティ算出部１１は、第１の実施形態と同様に、例えば式（４）によりアクティビティを算出し、アクティビティ記憶部１２及びアクティビティ変動算出部１３に出力する。

【0050】

アクティビティ変動算出部１３は、第１の実施形態と同様に、例えば式（１１）によりアクティビティの時間変動（以下、アクティビティ変動という。）を算出し、アクティビティ変動記憶部１７及びアクティビティ変動正規化部１８に出力する。

【0051】

【数7】

【0052】

アクティビティ変動正規化部１８は、アクティビティ変動記憶部１７から複数フレームのアクティビティ変動を取得し、各フレームのアクティビティ変動を正規化して、正規化されたアクティビティ変動を品質評価値ＱＥ（ｔ）として算出する。アクティビティ変動正規化部１８は、例えば式（１２）から式（１５）を用いて品質評価値ＱＥ（ｔ）を算出する。そして、アクティビティ変動正規化部１８は、算出した品質評価値ＱＥ（ｔ）を符号化画像品質評価装置３の外部に出力する。

【0053】

【数8】

【0054】

式（１２）では各フレームのアクティビティ変動をＴフレームのアクティビティ変動の平均値で割った値を品質評価値とする。式（１３）では各フレームのアクティビティ変動をＴフレームのアクティビティ変動の最大値で割った値を品質評価値とする。式（１４）では各フレームのアクティビティ変動をＴフレームのアクティビティ変動の分散値で割った値を品質評価値とする。式（１５）では各フレームのアクティビティ変動をＴフレームのアクティビティ変動の標準偏差で割った値を品質評価値とする。ここで、Ｔは、符号化画像のフレーム数である。Ｔで指定されるフレームは任意とすることができるが、例えば、現フレームを中心とした１ＧＯＰ分フレーム数のフレーム、現フレームを含む１ＧＯＰのフレーム、又は現フレームを最後尾とした１ＧＯＰ分フレーム数のフレームとしてよい。

【0055】

アクティビティの時間変動は、瞬時的な変動量が同程度であっても、時間軸方向にある程度の期間における包括的な変動量が大きい場合には目立たず、時間軸方向にある程度の期間における包括的な変動量が小さい場合には目立つ。そこで、本実施形態係る符号化画像品質評価装置３では、アクティビティ変動を算出した後に正規化することとした。そのため、符号化画像品質評価装置３は、より人間の視覚特性に近い評価を行うことができ、第１の実施形態に係る符号化画像品質評価装置１よりも更に評価精度を向上させることが可能となる。

【0056】

（第４の実施形態）
次に、第４の実施形態に係る符号化画像品質評価装置について説明する。図７は、符号化画像品質評価装置４の構成例を示すブロック図である。図７に示す符号化画像品質評価装置４は、アクティビティ算出部１１と、アクティビティ記憶部１２と、アクティビティ正規化部１４と、正規化アクティビティ記憶部１５と、正規化アクティビティ変動算出部１６と、品質評価値記憶部１９と、動画像品質評価部２０と、を備える。符号化画像品質評価装置４は、第２の実施形態に係る符号化画像品質評価装置２と比較して、品質評価値記憶部１９及び動画像品質評価部２０を更に備える点が相違する。

【0057】

アクティビティ算出部１１、アクティビティ正規化部１４、正規化アクティビティ変動算出部１６、及び動画像品質評価部２０により制御演算回路を構成する。該制御演算回路は、ＡＳＩＣ、ＦＰＧＡなどの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0058】

品質評価値ＱＥ（ｔ）の求め方は第２の実施形態に係る符号化画像品質評価装置２と同じであるため、説明を省略する。本実施形態に係る正規化アクティビティ変動算出部１６は、算出した品質評価値ＱＥ（ｔ）を符号化画像品質評価装置４の外部に出力するとともに、品質評価値記憶部１９にも出力する。

【0059】

品質評価値記憶部１９は、品質評価値を記憶する。なお、アクティビティ記憶部１２、正規化アクティビティ記憶部１５、及び品質評価値記憶部１９を説明の便宜上区別して記載しているが、これらを一体化して一つの記憶部としてもよい。

【0060】

動画像品質評価部２０は、品質評価値記憶部１９から動画像に含まれる全フレームの品質評価値ＱＥ（ｔ）（ｔ＝１，２，・・・，Ｔ）を取得し、該全フレームの品質評価値ＱＥ（ｔ）に基づいて動画像全体の品質を示す動画像品質評価値を求める。そして、動画像品質評価部２０は、動画像品質評価値を符号化画像品質評価装置４の外部に出力する。動画像品質評価部２０は、例えば動画像に含まれる全フレームの品質評価値の平均値を動画像品質評価値とする。また、動画像品質評価部２０は、動画像に含まれる全フレームの品質評価値ＱＥ（ｔ）の最大値を動画像品質評価値としてもよい。また、動画像品質評価部２０は、所定の閾値を超える品質評価値ＱＥ（ｔ）の出現頻度（出現回数／全フレーム数）を動画像品質評価値としてもよい。

【0061】

符号化画像品質評価装置４は、第２の実施形態に係る符号化画像品質評価装置２の構成に品質評価値記憶部１９及び動画像品質評価部２０を加えた構成であるが、同様に、第１の実施形態に係る符号化画像品質評価装置１又は第３の実施形態に係る符号化画像品質評価装置３の構成に品質評価値記憶部１９及び動画像品質評価部２０を加えた構成であってもよい。

【0062】

品質評価値ＱＥ（ｔ）はフレームごとに算出される値であるが、本実施形態に係る符号化画像品質評価装置４は、品質評価値記憶部１９及び動画像品質評価部２０を備えることにより、動画像全体のチラつきも同時に評価することが可能となる。

【0063】

（プログラム）
上記の符号化画像品質評価装置１，２，３，４として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0064】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。

【0065】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0066】

例えば、コンピュータを上記の符号化画像品質評価装置１として機能させるためのプログラムは、符号化画像のフレームごとの精細感を数値化したアクティビティを算出するステップと、アクティビティの時間変動を品質評価値として求めるステップと、をコンピュータに実行させる。コンピュータを上記の符号化画像品質評価装置２として機能させるためのプログラムは、アクティビティを正規化して正規化アクティビティを算出するステップを更にコンピュータに実行させる。コンピュータを上記の符号化画像品質評価装置３として機能させるためのプログラムは、アクティビティの時間変動を正規化するステップを更にコンピュータに実行させる。コンピュータを上記の符号化画像品質評価装置４として機能させるためのプログラムは、動画像に含まれる全フレームの品質評価値から、動画像全体の品質を示す動画像品質評価値を求めるステップを更にコンピュータに実行させる。

【0067】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0068】

１，２，３，４ 符号化画像品質評価装置
１１ アクティビティ算出部
１２ アクティビティ記憶部
１３ アクティビティ変動算出部
１４ アクティビティ正規化部
１５ 正規化アクティビティ記憶部
１６ 正規化アクティビティ変動算出部
１７ アクティビティ変動記憶部
１８ アクティビティ変動正規化部
１９ 品質評価値記憶部
２０ 動画像品質評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】