特許第6236906号(P6236906)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特許6236906評価装置、評価方法および評価プログラム
<>
  • 特許6236906-評価装置、評価方法および評価プログラム 図000020
  • 特許6236906-評価装置、評価方法および評価プログラム 図000021
  • 特許6236906-評価装置、評価方法および評価プログラム 図000022
  • 特許6236906-評価装置、評価方法および評価プログラム 図000023
  • 特許6236906-評価装置、評価方法および評価プログラム 図000024
  • 特許6236906-評価装置、評価方法および評価プログラム 図000025
  • 特許6236906-評価装置、評価方法および評価プログラム 図000026
  • 特許6236906-評価装置、評価方法および評価プログラム 図000027
  • 特許6236906-評価装置、評価方法および評価プログラム 図000028
  • 特許6236906-評価装置、評価方法および評価プログラム 図000029
  • 特許6236906-評価装置、評価方法および評価プログラム 図000030
  • 特許6236906-評価装置、評価方法および評価プログラム 図000031
  • 特許6236906-評価装置、評価方法および評価プログラム 図000032
  • 特許6236906-評価装置、評価方法および評価プログラム 図000033
  • 特許6236906-評価装置、評価方法および評価プログラム 図000034
  • 特許6236906-評価装置、評価方法および評価プログラム 図000035
  • 特許6236906-評価装置、評価方法および評価プログラム 図000036
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6236906
(24)【登録日】2017年11月10日
(45)【発行日】2017年11月29日
(54)【発明の名称】評価装置、評価方法および評価プログラム
(51)【国際特許分類】
   H04N 17/00 20060101AFI20171120BHJP
【FI】
   H04N17/00 A
【請求項の数】6
【全頁数】28
(21)【出願番号】特願2013-129987(P2013-129987)
(22)【出願日】2013年6月20日
(65)【公開番号】特開2015-5877(P2015-5877A)
(43)【公開日】2015年1月8日
【審査請求日】2016年3月10日
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】中潟 昌平
(72)【発明者】
【氏名】田中 竜太
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 特開平06−133176(JP,A)
【文献】 特開平06−233013(JP,A)
【文献】 特開平07−184062(JP,A)
【文献】 国際公開第2009/133884(WO,A1)
【文献】 特開2009−077433(JP,A)
【文献】 特開2012−004840(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 17/00
(57)【特許請求の範囲】
【請求項1】
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出する第一算出部と、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出する第二算出部と、
前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する評価部と
を有することを特徴とする評価装置。
【請求項2】
前記評価部は、前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする請求項1に記載の評価装置。
【請求項3】
前記評価部は、前記第一画像の前のフレームとなる第三画像と前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする請求項2に記載の評価装置。
【請求項4】
前記評価部は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする請求項1に記載の評価装置。
【請求項5】
コンピュータが実行する評価方法であって、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像に基づき算出された第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二画像に基づき算出された第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する
各処理を実行することを特徴とする評価方法。
【請求項6】
コンピュータに、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像に基づき算出された第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二画像に基づき算出された第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する
各処理を実行させることを特徴とする評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価装置等に関する。
【背景技術】
【0002】
スマートフォンやタブレット等、映像を手軽に表示可能な機器の普及と、映像配信するためのネットワーク環境の充実に伴い、映像コンテンツを様々な形式で配信する機会が増えた。様々な機器向けに映像を配信する場合には、各機器に応じた形式に映像をトランスコードする。映像のトランスコードや配信の過程で、画質が劣化してしまったり配信時のエラー等で映像が壊れてしまう可能性があるため、映像を表示する前に品質チェックが行われる。
【0003】
映像の品質をチェックする一つの方法は、配信される映像コンテンツ一つ一つを人間が目視で確認する方法であるが、膨大な人的コストと手間を要し、大量のコンテンツをチェックするには物理的な限界がある。そこで、映像品質を自動で評価し、人手による作業を大幅に削減する技術が望まれている。
【0004】
映像品質を自動評価する方法として、劣化前の原映像と劣化した映像の全てを用いるFR(Full Reference)法、2つの映像の特徴量を比較するRR(Reduced Reference)法、劣化映像のみを用いるNR(Non Reference)法の3つがある。FR法では映像の全情報を用いて評価するため、高精度な品質推定を行えるが、多くの処理時間がかかってしまうデメリットがある。
【0005】
一方、RR法は映像の特徴量同士を比較するため、FR法よりも少ない処理時間で品質を推定できるが、その分FR法と比べて推定の精度は落ちる。NR法は劣化映像のみで評価するため処理時間は最も早いが、推定の精度も3つの手法の中で一般に最も悪いと言われている。
【0006】
ここで、従来のRR法について説明する。図15は、従来のRR法を説明するための図である。図15に示す例では、特徴量生成部10a,10b、演算部11が含まれる。特徴量生成部10aは、原映像1aを基にして、特徴量を生成し、特徴量を演算部11に出力する。特徴量生成部10bは、劣化映像1bを基にして、特徴量を生成し、特徴量を演算部11に出力する。演算部11は、特徴量生成部10a,10bから取得した各特徴量の差分を演算し、演算結果を評価値1cとして出力する。
【0007】
続いて、RR法を用いた従来技術について説明する。従来技術は、映像中のエッジ量、時間方向の画像差分の統計量の変化を用いて映像品質を評価する。例えば、従来技術は、(1)画像のエッジ増減の度合い、(2)ブロックノイズ発生の強さの度合い、(3)時間方向の画像劣化の度合い、を表す3つの評価値を求める。
【0008】
図16は、RR法を用いた従来技術を説明するための図である。図16に示す例では、特徴量生成部30a,30bと、演算部30cを有する。特徴量生成部30aは、原映像1aから、第1特徴量の分布、第2特徴量の分布、第3特徴量の分布を求める。特徴量生成部30aは、第1〜第3特徴量の分布からそれぞれ統計量を求め、各統計量を用いて、第1〜第3劣化特徴量を求める。特徴量生成部30aは、第1〜第3劣化特徴量を、演算部30cに出力する。
【0009】
特徴量生成部30bは、劣化映像1bから、第1特徴量の分布、第2特徴量の分布、第3特徴量の分布を求める。特徴量生成部30bは、第1〜第3特徴量の分布からそれぞれ統計量を求め、各統計量を用いて、第1〜第3劣化特徴量を求める。特徴量生成部30bは、第1〜第3劣化特徴量を、演算部30cに出力する。
【0010】
演算部30cは、特徴量生成部30aから取得する第1〜第3劣化特徴量と、特徴量生成部30bから取得する第1〜第3劣化特徴量とを基にして、各評価値2a〜2cを演算する。演算部30cは、特徴量生成部30a,30bから取得した第1劣化特徴量を基にして、評価値2aを演算する。演算部30cは、特徴量生成部30a,30bから取得した第2劣化特徴量を基にして、評価値2bを演算する。演算部30cは、特徴量生成部30a,30bから取得した第3劣化特徴量を基にして、評価値2cを算出する。例えば、評価値2aが、画像のエッジ増減の度合いを表す評価値であり、評価値2bが、ブロックノイズ発生の強さの度合いを表す評価値であり、評価値2cが、時間方向の画像劣化の度合いを表す評価値である。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開平6−133176号公報
【特許文献2】特開平6−233013号公報
【特許文献3】国際公開第2009/133884号
【特許文献4】特許第2795147号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、上述した従来技術では、所望の品質パラメータで評価することが出来ないという問題がある。
【0013】
図16を用いて説明した従来技術は、各特徴量の一次元分布に基づく統計量を用いて、劣化特徴量を算出する。各劣化特徴量は、特徴量の分布毎に独立して求められる。図17は、従来技術を説明するための図である。図17に示す例では、第1,2特徴量の一次元分布に基づいて、第1、第2劣化特徴量を算出し、第1、第2劣化特徴量から、評価値を算出している。
【0014】
このため、各特徴量の分布のみでは検出できない劣化要因を検出する場合には、劣化を検出可能な特徴量と統計量を新たに追加して、劣化要因を検出するための劣化特徴量を再度算出することになり、処理が冗長かつ煩雑なものとなる。
【0015】
例えば、「(1)画像のエッジ増減の度合い」の劣化要因に関して、エッジの増減を更に詳しく「ノイズ発生」と「コントラスト強調」とを分けて検出したい場合には、エッジ量や時間差分以外の新たな特徴量を再度計算し、統計量を再度計算することになる。
【0016】
1つの側面では、所望の品質パラメータで評価することが出来る評価装置、評価方法および評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【0017】
第1の案では、評価装置は、第一算出部と、第二算出部と、評価部とを有する。第一算出部は、第一画像に対して一階差分を算出することで第一特徴量を算出し、第一画像に対して二階差分を算出することで第二特徴量を算出する。第二算出部は、第二画像に対して一階差分を算出することで第一特徴量を算出し、第二画像に対して二階差分を算出することで第二特徴量を算出する。評価部は、第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、第一画像に対する第二画像の劣化を評価する。
【発明の効果】
【0018】
本発明の1実施態様によれば、所望の品質パラメータで評価することができる。
【図面の簡単な説明】
【0019】
図1図1は、本実施例1に係る評価装置の構成を示す機能ブロック図である。
図2図2は、一階差分の絶対値および二階差分の絶対値と画像パターンの関係を示す図である。
図3図3は、基本特徴量の同時分布におけるノイズ、ブロックノイズ、ぼけの関係を示す図である。
図4図4は、基本特徴量の同時分布におけるコントラスト強調、コントラスト抑制の関係を示す図である。
図5図5は、ぼけに関する劣化特徴量を生成する処理手順を示すフローチャートである。
図6図6は、本実施例2に係る評価装置の構成を示す機能ブロック図である。
図7図7は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。
図8図8は、本実施例3に係る評価装置の構成を示す機能ブロック図である。
図9図9は、ぼけおよびノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。
図10図10は、本実施例4に係る評価装置の構成を示す機能ブロック図である。
図11図11は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を生成する処理手順を示すフローチャートである。
図12図12は、本実施例5に係る評価装置の構成を示す機能ブロック図である。
図13図13は、時間方向を考慮してぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。
図14図14は、評価プログラムを実行するコンピュータの一例を示す図である。
図15図15は、従来のRR法を説明するための図である。
図16図16は、RR法を用いた従来技術を説明するための図である。
図17図17は、従来技術を説明するための図である。
【発明を実施するための形態】
【0020】
以下に、本願の開示する評価装置、評価方法および評価プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例1】
【0021】
本実施例1に係る評価装置について説明する。図1は、本実施例1に係る評価装置の構成を示す機能ブロック図である。図1に示すように、この評価装置100は、通信部105、入力部110、表示部120、記憶部130、制御部140を有する。
【0022】
通信部105は、ネットワーク等を介して他の外部装置と通信を行う通信装置である。例えば、評価装置100は、通信部105を介して、他の装置から原映像データ131、劣化映像データ132を取得しても良い。
【0023】
入力部110は、各種の情報を入力する入力装置である。例えば、キーボードやマウス、タッチパネル等に対応する。表示部120は、制御部140から出力される情報を表示する表示装置である。例えば、表示部120は、モニタや液晶ディスプレイ等に対応する。
【0024】
記憶部130は、原映像データ131および劣化映像データ132を含む。記憶部130は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子などの記憶装置に対応する。
【0025】
原映像データ131は、トランスコード前の映像データである。劣化映像データ132は、原映像データ131がトランスコードされた映像データである。
【0026】
制御部140は、第一算出部141、第二算出部142、評価部143を有する。制御部140は、例えば、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などの集積装置に対応する。また、制御部140は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路に対応する。
【0027】
第一算出部141は、原映像データ131に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ131の基本特徴量を算出する処理部である。第一算出部141は、原映像データ131の基本特徴量の情報を、評価部143に出力する。
【0028】
第二算出部142は、劣化映像データ132に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ132の基本特徴量を算出する処理部である。第二算出部142は、劣化映像データ132の基本特徴量の情報を、評価部143に出力する。
【0029】
評価部143は、原映像データ131の基本特徴量と、劣化映像データ132の基本特徴量とを基にして、原映像データ131に対する劣化映像データ132の劣化を評価する処理部である。実施例1の評価部143は、一例として、画像のぼけに関して、評価を行う。
【0030】
次に、第一算出部141の処理について説明する。ここで、原映像データ131のnフレーム目の画像の位置(x,y)における映像の画素値をF(n,x,y)として、同位置における水平方向および垂直方向の空間差分の一階差分の絶対値をそれぞれDh(n,x,y)、Dv(n,x,y)として、式(1)、(2)を定義する。
【0031】
【数1】
【0032】
【数2】
【0033】
第一算出部141は、式(1)、(2)に基づいて、Dh(n,x,y)およびDv(n,x,y)を算出する。第一算出部141は、原映像データ131の各フレームの画像の画素毎に、Dh(n,x,y)およびDv(n,x,y)を算出する。この原映像データ131から算出されるDh(n,x,y)およびDv(n,x,y)は、第一特徴量に対応する。以下の説明では適宜、Dh(n,x,y)をDhと表記し、Dv(n,x,y)をDvと表記する。
【0034】
また、原映像データ131のnフレーム目の画像の位置(x,y)における映像の画素値をF(n,x,y)として、同位置における水平方向および垂直方向の空間差分の二階差分の絶対値をそれぞれEh(n,x,y)、Ev(n,x,y)として、式(3)、(4)を定義する。
【0035】
【数3】
【0036】
【数4】
【0037】
第一算出部141は、式(3)、(4)に基づいて、Eh(n,x,y)、Ev(n,x,y)を算出する。第一算出部141は、原映像データ131の各フレームの画像の画素毎に、Eh(n,x,y)およびEv(n,x,y)を算出する。この原映像データ131から算出されるEh(n,x,y)およびEv(n,x,y)は、第一特徴量に対応する。以下の説明では適宜、Eh(n,x,y)をEhと表記し、Ev(n,x,y)をEvと表記する。
【0038】
第一算出部141は、原映像データ131から算出した(Dh,Eh)および(Dv,Ev)の情報を、評価部143に出力する。(Dh,Eh)および(Dv,Ev)の情報は、原映像データ131の基本特徴量の情報に対応する。
【0039】
第二算出部142の処理は、算出対象が劣化映像データ132となるだけで、処理内容は、第一算出部141の処理と同様である。このため、第二算出部142の具体的な説明は省略する。第二算出部142は、劣化映像データ132から算出した(Dh,Eh)および(Dv,Ev)の情報を、評価部143に出力する。(Dh,Eh)および(Dv,Ev)の情報は、劣化映像データ132の基本特徴量の情報に対応する。
【0040】
ここで、(Dh,Eh)および(Dv,Ev)を二次元平面上に配置すると、(n,x,y)の画素と左および右の画素との三画素からなる画像パターンの関係は、図2に示すものとなる。(n,x,y)の画素と上および下の画素との三画素からなる画像パターンの関係も同様である。図2は、一階差分の絶対値および二階差分の絶対値と画像パターンの関係を示す図である。図2において、横軸は、一階差分の絶対値DhまたはDvに対応する。縦軸は、二階差分の絶対値EhまたはEvに対応する。本実施例では一例として、図2に示したように、(Dh,Eh)および(Dv,Ev)を二次元平面上に配置したものを、特徴量の同時分布と呼ぶ。
【0041】
図2では簡単のため、「DhとEhとの関係」および「DvとEvとの関係」をまとめて、「DとEとの関係」と表記する。DとEとの関係により特定されるグラフ上の位置が、図2の線分3a上に存在するのか、線分3a上側の領域3bに存在するのか、線分3a下側の領域3cに存在するのかにより、画像パターンが異なる。線分3aは、E=Dを示す直線である。
【0042】
DとEとの関係が「E>D」となる場合には、領域3bに含まれることになる。DとEとの関係が「E>D」となる場合には、画像パターンは、4bに示すように、真ん中の画素が極値となるような「鋭角型のパターン」となる。DとEとの関係が「E=D」となる場合には、画像パターンは、4aに示すように、左右のうち何れかの画素値が真ん中の画素値と同じになる「直角型のパターン」となる。DとEとの関係が「E<D」となる場合には、画像パターンは、4cに示すように、3画素の画素値が単調減少または単調増加する「鈍角型のパターン」となる。
【0043】
評価部143は、原映像データ131および劣化映像データ132とで、DとEとの同時分布の変化を調べることで、劣化要因毎の劣化度合いを示す評価値を求めることができる。例えば、劣化映像データ132にブロックノイズが発生すると不自然な段差のある箇所が増える。従って、劣化映像データ132の基本特徴量の同時分布において、直角型のパターンの度数が増える。
【0044】
また、劣化映像データ132にノイズが発生すると映像中に画素値がぎざぎざに変化する箇所が増え、鋭角型のパターンが増加する。ノイズには、ランダムノイズやモスキートノイズが含まれる。また、劣化映像データ132の映像がぼやけると画像値変化がなだらかとなり、鈍角のパターンが増加する。
【0045】
基本特徴量の同時分布において、各領域と関係する劣化要因の一例について説明する。図3は、基本特徴量の同時分布におけるノイズ、ブロックノイズ、ぼけの関係を示す図である。図3の横軸は、一階差分の絶対値Dに対応する。縦軸は、二階差分の絶対値Eに対応する。DとEとの関係が、領域5aに含まれる場合には、ブロックノイズの発生を示す。DとEとの関係が、領域5bに含まれる場合には、ノイズの発生を示す。DとEとの関係が、領域5cに含まれる場合には、ぼけの発生を示す。
【0046】
図4は、基本特徴量の同時分布におけるコントラスト強調、コントラスト抑制の関係を示す図である。図4の横軸は、一階差分の絶対値Dに対応する。縦軸は、二階差分の絶対値Eに対応する。DとEとの関係が、領域6aに含まれる場合には、コントラストの強調を示す。DとEとの関係が、領域6bに含まれる場合には、コントラストの抑制を示す。例えば、コントラストが強調される映像の場合、各画素位置の一階差分と二階差分の両方が大きくなるため、基本特徴量の同時分布は右上に移動する。これに対して、コントラストが抑制される映像の場合、各画素位置の一階差分と二階差分の両方が小さくなるため、基本特徴量の同時分布は左下に移動する。
【0047】
次に、評価部143の処理について説明する。実施例1の評価部143は、ぼけの劣化特徴量を算出し、ぼけに関する評価値を算出する。
【0048】
評価部143が、原映像データ131の劣化特徴量を算出する場合について説明する。評価部143は、第一算出部141から原映像データ131の基本特徴量を取得し、基本特徴量の同時分布が、図3のぼけの領域5cに含まれるか否かを判定する。評価部143は、画素毎に、基本特徴量の同時分布が、領域5cに含まれるか否かを判定し、領域5cに含まれると判定する度に、劣化特徴量FOに、所定値を加算する。劣化特徴量FOは、原映像データ131のぼけの劣化特徴量を示す。
【0049】
ぼけ領域は、対象となる画素の周囲三画素からなる画像パターンが鈍角型のパターンとなる領域に対応する。ぼけ領域となる二次元座標(D,E)の集合をBLとすると、BLは、式(5)または式(6)によって表される。式(5)に含まれるCは定数である。式(6)に含まれるCは、定数である。
【0050】
【数5】
【0051】
【数6】
【0052】
続いて、評価部143が、劣化映像データ132の劣化特徴量を算出する場合について説明する。評価部143は、第二算出部142から劣化映像データ132の基本特徴量を取得し、基本特徴量の同時分布が、図3のぼけの領域5cに含まれるか否かを判定する。評価部143は、画素毎に、基本特徴量の同時分布が、領域5cに含まれるか否かを判定し、領域5cに含まれると判定する度に、劣化特徴量FDに、所定値を加算する。劣化特徴量FDは、劣化映像データ132のぼけの劣化特徴量を示す。
【0053】
評価部143は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。この評価値Vは、ぼけに関する評価値である。評価値Vの値が正でかつ、大きいほど、劣化の度合いが大きいことを示す。
【0054】
次に、本実施例1に係る評価装置100の処理手順について説明する。図5は、ぼけに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ131、劣化映像データ132から劣化特徴量を生成する処理は共通である。
【0055】
図5に示すように、評価装置100は、統計量の初期化処理を行う(ステップS101)。ステップS101で、評価装置100は、統計量Sの値を0に設定する。評価装置100は、全画素で処理が完了したか否かを判定する(ステップS102)。評価装置100は、全画素で処理が完了した場合には(ステップS102,Yes)、劣化特徴量の生成処理を行う(ステップS103)。ステップS103で、評価装置100は、劣化特徴量Fの値を、Sの値に設定する。
【0056】
一方、評価装置100は、全画素で処理が完了していない場合には(ステップS102,No)、一階差分の絶対値Dh、Dvを生成する(ステップS104)。評価装置100は、二階差分の絶対値Eh、Evを生成する(ステップS105)。
【0057】
評価装置100は、(Dh,Eh)の位置がぼけ領域に含まれるか否かを判定する(ステップS106)。評価装置100は、(Dh,Eh)の位置がぼけ領域に含まれない場合には(ステップS106,No)、ステップS108に移行する。
【0058】
一方、評価装置100は、(Dh,Eh)の位置がぼけ領域に含まれる場合には(ステップS106,Yes)、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する(ステップS107)。
【0059】
評価装置100は、(Dv,Ev)の位置がぼけ領域に含まれるか否かを判定する(ステップS108)。評価装置100は、(Dv,Ev)の位置がぼけ領域に含まれない場合には(ステップS108,No)、ステップS110に移行する。
【0060】
一方、評価装置100は、(Dv,Ev)の位置がぼけ領域に含まれる場合には(ステップS108,Yes)、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する(ステップS109)。評価装置100は、次の画素に移行し(ステップS110)、ステップS102に移行する。
【0061】
評価装置100は、原映像データ131に対して、図5の処理を実行することで、原映像データ131の劣化特徴量FOを算出する。評価装置100は、劣化映像データ132に対して、図5の処理を実行することで、劣化映像データ132の劣化特徴量FDを算出する。そして、評価装置100は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。
【0062】
次に、本実施例1に係る評価装置100の効果について説明する。評価装置100は、原映像データ131および劣化映像データ132からそれぞれ基本特徴量を計算する。評価装置100は、原映像データ131の基本特徴量を基にして、同時分布の領域がぼけ領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FOを算出する。評価装置100は、劣化映像データ132の基本特徴量を基にして、同時分布の領域がぼけ領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FDを算出する。そして、評価装置100は、劣化特徴量FOと劣化特徴量FDとを基にして、評価値Vを算出する。このように、評価装置100は、劣化映像データ132および原映像データ131の同時分布を用いることで、ぼけをパラメータとした評価値を算出することができる。
【実施例2】
【0063】
本実施例2に係る評価装置について説明する。図6は、本実施例2に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例2に係る評価装置は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。
【0064】
図6に示すように、この評価装置200は、通信部105、入力部110、表示部120、記憶部130、制御部240を有する。通信部105、入力部110、表示部120、記憶部130に関する説明は、図1に示したものと同様であるため、ここでは説明を省略する。
【0065】
制御部240は、第一算出部141、第二算出部142、評価部243を有する。
【0066】
第一算出部141は、図1の第一算出部141と同様にして、原映像データ131に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ131の基本特徴量を算出する処理部である。第一算出部141は、原映像データ131の基本特徴量の情報を、評価部243に出力する。
【0067】
第二算出部142は、図1の第二算出部142と同様にして、劣化映像データ132に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ132の基本特徴量を算出する処理部である。第二算出部142は、劣化映像データ131の基本特徴量の情報を、評価部243に出力する。
【0068】
評価部243は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、ぼけ、ブロックノイズ、ノイズに関する評価値を算出する。このうち、ぼけに関する劣化特徴量FO、FDを算出する説明および評価値Vを算出する処理は、実施例1の評価部143の説明と同様であるため、ここでは説明を省略する。
【0069】
評価部243が、原映像データ131のブロックノイズの劣化特徴量FOを算出する場合について説明する。評価部243は、第一算出部141から原映像データ131の基本特徴量を取得し、基本特徴量の同時分布が、図3のブロックノイズの領域5aに含まれるか否かを判定する。評価部243は、画素毎に、基本特徴量の同時分布が、領域5aに含まれるか否かを判定し、領域5aに含まれると判定する度に、劣化特徴量FOに、所定値を加算する。
【0070】
例えば、ブロックノイズの領域は、対象となる画素の周辺三画素からなる画像パターンが直角型のパターンとなる領域に対応する。ブロックノイズ領域となる二次元座標(D,E)の集合をBNとすると、BNは、式(7)または式(8)によって表される。式(7)に含まれるCは定数である。式(8)に含まれるCは、定数である。
【0071】
【数7】
【0072】
【数8】
【0073】
評価部243が、劣化映像データ132のブロックノイズの劣化特徴量FDを算出する場合について説明する。評価部243は、第二算出部141から劣化映像データ132の基本特徴量を取得し、基本特徴量の同時分布が、図3のブロックノイズの領域5aに含まれるか否かを判定する。評価部243は、画素毎に、基本特徴量の同時分布が、領域5aに含まれるか否かを判定し、領域5aに含まれると判定する度に、劣化特徴量FDに、所定値を加算する。
【0074】
評価部243は、劣化特徴量FDから劣化特徴量FOを減算することで、ブロックノイズの評価値Vを算出する。評価値Vの値が正でかつ、大きいほど、ブロックノイズに関して、劣化の度合いが大きいことを示す。
【0075】
続いて、評価部243が、原映像データ131のノイズの劣化特徴量FOを算出する場合について説明する。評価部243は、第一算出部141から原映像データ131の基本特徴量を取得し、基本特徴量の同時分布が、図3のノイズの領域5bに含まれるか否かを判定する。評価部243は、画素毎に、基本特徴量の同時分布が、領域5bに含まれるか否かを判定し、領域5bに含まれると判定する度に、劣化特徴量FOに、所定値を加算する。
【0076】
例えば、ノイズの領域は、対象となる画素の周辺三画素からなる画像パターンが鋭角型のパターンとなる領域に対応する。ノイズ領域となる二次元座標(D,E)の集合をNSとすると、NSは、式(9)または式(10)によって表される。式(9)に含まれるCは定数である。式(10)に含まれるCは、定数である。
【0077】
【数9】
【0078】
【数10】
【0079】
評価部243が、劣化映像データ132のノイズの劣化特徴量FDを算出する場合について説明する。評価部243は、第二算出部142から劣化映像データ132の基本特徴量を取得し、基本特徴量の同時分布が、図3のノイズの領域5bに含まれるか否かを判定する。評価部243は、画素毎に、基本特徴量の同時分布が、領域5bに含まれるか否かを判定し、領域5bに含まれると判定する度に、劣化特徴量FDに、所定値を加算する。
【0080】
評価部243は、劣化特徴量FDから劣化特徴量FOを減算することで、ぼけの評価値Vを算出する。評価部243は、劣化特徴量FDから劣化特徴量FOを減算することで、ブロックノイズの評価値Vを算出する。評価部243は、劣化特徴量FDから劣化特徴量FOを減算することで、ノイズの評価値Vを算出する。評価値V〜Vの値が正でかつ、大きいほど、ぼけ、ブロックノイズ、ノイズに関して、それぞれ劣化の度合いが大きいことを示す。
【0081】
次に、本実施例2に係る評価装置200の処理手順について説明する。図7は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ131、劣化映像データ132から各劣化特徴量を生成する処理は共通である。
【0082】
図7に示すように、評価装置200は、統計量の初期化を行う(ステップS201)。ステップS201で、評価装置200は、統計量S、S、Sの値を0に設定する。評価装置200は、全画素で処理が終了したか否かを判定する(ステップS202)。評価装置200は、全画素で処理が完了した場合には(ステップS202,Yes)、劣化特徴量の生成処理を行う(ステップS203)。ステップS203で、評価装置200は、劣化特徴量Fの値を、Sの値に設定する。評価装置200は、劣化特徴量Fの値を、Sに設定する。評価装置200は、劣化特徴量Fの値を、Sに設定する。
【0083】
一方、評価装置200は、全画素で処理が完了していない場合には(ステップS202,No)、一階差分の絶対値Dh、Dvを生成する(ステップS204)。評価装置200は、二階差分の絶対値Eh、Evを生成する(ステップS205)。
【0084】
評価装置200は、統計量Sを更新する(ステップS206)。ステップS206において、評価装置200は、(Dh,Eh)の位置がぼけ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置200は、(Dv,Ev)の位置がぼけ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。
【0085】
評価装置200は、統計量Sを更新する(ステップS207)。ステップS207において、評価装置200は、(Dh,Eh)の位置がブロックノイズ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置200は、(Dv,Ev)の位置がブロックノイズ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。
【0086】
評価装置200は、統計量Sを更新する(ステップS208)。ステップS208において、評価装置200は、(Dh,Eh)の位置がノイズ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置200は、(Dv,Ev)の位置がノイズ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。
【0087】
評価装置200は、次の画素に移行し(ステップS209)、ステップS202に移行する。
【0088】
評価装置200は、原映像データ131に対して、図7の処理を実行することで、原映像データ131の劣化特徴量FO,FO,FOをそれぞれ算出する。評価装置200は、劣化映像データ132に対して、図7の処理を実行することで、劣化映像データ132の劣化特徴量FD,FD,FDをそれぞれ算出する。そして、評価装置200は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価装置200は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価装置200は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。
【0089】
次に、本実施例2に係る評価装置200の効果について説明する。評価装置200は、原映像データ131および劣化映像データ132からそれぞれ基本特徴量を計算する。評価装置200は、原映像データ131の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FO,FO,FOを算出する。評価装置200は、劣化映像データ132の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FD,FD,FDを算出する。そして、評価装置200は、劣化特徴量FO,FO,FOと劣化特徴量FD,FD,FDとを基にして、評価値V〜Vを算出する。このように、評価装置200は、劣化映像データ132および原映像データ131の同時分布を用いることで、ぼけ、ブロックノイズ、ノイズをパラメータとした評価値を算出することができる。
【実施例3】
【0090】
本実施例3に係る評価装置について説明する。図8は、本実施例3に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例3に係る評価装置は、ぼけおよびノイズの劣化特徴量を、複数の統計量を組み合わせて生成する。
【0091】
図8に示すように、この評価装置300は、通信部105、入力部110、表示部120、記憶部130、制御部340を有する。通信部105、入力部110、表示部120、記憶部130に関する説明は、図1に示したものと同様であるため、ここでは説明を省略する。
【0092】
制御部340は、第一算出部141、第二算出部142、評価部343を有する。
【0093】
第一算出部141は、図1の第一算出部141と同様にして、原映像データ131に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ131の基本特徴量を算出する処理部である。第一算出部141は、原映像データ131の基本特徴量の情報を、評価部343に出力する。
【0094】
第二算出部142は、図1の第二算出部142と同様にして、劣化映像データ132に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ132の基本特徴量を算出する処理部である。第二算出部142は、劣化映像データ131の基本特徴量の情報を、評価部343に出力する。
【0095】
評価部343は、ぼけおよびノイズの劣化特徴量を、複数の統計量を組み合わせて生成し、ぼけおよびノイズの評価値を算出する。評価部343は、式(11)および式(12)に示す統計量Sを新たに利用する。統計量Sは、映像中のぼけおよびノイズの発生度合いに関係する。統計量Sが小さいほど、ぼけに関連する鈍角型の画像パターンが多く、統計量Sが大きいほど、ノイズに関連する鋭角型の画像パターンが多くなることを意味する。
【0096】
【数11】
【0097】
【数12】
【0098】
式(11)、式(12)において、arctan(E/D)は、原点と座標(D,E)とを結んだ線分とD軸方向の半直線とのなす角を表す。
【0099】
評価部343は、統計量Sを用いて、ぼけおよびノイズの劣化特徴量を補正する。例えば、評価部343は、式(13)、式(14)を用いて、FO,FO,FD,FDを求める。式(13)のSは、ぼけの統計量である。式(14)のSは、ノイズの統計量である。α、β、γ、δは、それぞれ0より大きい整数である。
【0100】
【数13】
【0101】
【数14】
【0102】
評価部343は、劣化特徴量FDから劣化特徴量FOを減算することで、ぼけの評価値Vを算出する。評価値Vの値が正でかつ、大きいほど、ぼけに関して、劣化の度合いが大きいことを示す。評価部343は、劣化特徴量FDから劣化特徴量FOを減算することで、ノイズの評価値Vを算出する。評価値Vの値が正でかつ、大きいほど、ノイズに関して、劣化の度合いが大きいことを示す。
【0103】
次に、本実施例3に係る評価装置300の処理手順について説明する。図9は、ぼけおよびノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ131、劣化映像データ132から各劣化特徴量を生成する処理は共通である。
【0104】
図9に示すように、評価装置300は、統計量の初期化を行う(ステップS301)。ステップS301で、評価装置300は、統計量S、S、Sの値を0に設定する。評価装置300は、全画素で処理が終了したか否かを判定する(ステップS302)。評価装置300は、全画素で処理が完了した場合には(ステップS302,Yes)、ステップS303に移行する。
【0105】
ステップS303において、評価装置300は、Sを、DhとDvの全画素の総和で除算した値によって、Sの値を更新する(ステップS303)。このような除算を行うと、三画素からなる画像パターンの平均が画像全体で鈍角型、直角型、鋭角型のいずれに属するのかを知ることが出来る。例えば、Sが小さいほど、ほけに関連する鈍角型の画像パターンの割合が多くなる。これに対して、Sが大きいほど、ノイズに関連する鋭角型の画像パターンの割合が多くなる。
【0106】
評価装置300は、式(13)を計算することにより、ぼけに関する劣化特徴量を算出する(ステップS304)。例えば、統計量Sが小さいほど、ぼけに関係する鈍角型の画像パターンの割合が多くなるので、式(13)に、Sをマイナスした項を加えている。
【0107】
評価装置300は、式(14)を計算することにより、ノイズに関する劣化特徴量を算出する(ステップS305)。例えば、統計量Sが大きいほど、ノイズに関係する鋭角型の画像パターンの割合が多くなるので、式(14)に、Sをプラスした項を加えている。
【0108】
ステップS302の説明に戻る。評価装置300は、全画素で処理が完了していない場合には(ステップS302,No)、一階差分の絶対値Dh、Dvを生成する(ステップS306)。評価装置300は、二階差分の絶対値Eh、Evを生成する(ステップS307)。
【0109】
評価装置300は、統計量Sを更新する(ステップS308)。ステップS308において、評価装置300は、(Dh,Eh)の位置がぼけ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置300は、(Dv,Ev)の位置がぼけ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。
【0110】
評価装置300は、統計量Sを更新する(ステップS309)。ステップS309において、評価装置300は、(Dh,Eh)の位置がノイズ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置300は、(Dv,Ev)の位置がノイズ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。
【0111】
評価装置300は、式(11)を基にして、統計量Sを更新する(ステップS310)。評価装置300は、式(12)を基にして、統計量Sを更新する(ステップS311)。評価装置300は、次の画素に移行し(ステップS312)、ステップS302に移行する。
【0112】
評価装置300は、原映像データ131に対して、図9の処理を実行することで、原映像データ131の劣化特徴量FO,FOをそれぞれ算出する。劣化特徴量FO,FOは、統計量Sによって補正されたものとなる。評価装置300は、劣化映像データ132に対して、図9の処理を実行することで、劣化映像データ132の劣化特徴量FD,FDをそれぞれ算出する。劣化特徴量FD,FDは、統計量Sによって補正されたものとなる。
【0113】
評価装置300は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価装置300は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。
【0114】
次に、本実施例3に係る評価装置300の効果について説明する。評価装置300は、原映像データ131および劣化映像データ132からそれぞれ基本特徴量を計算する。評価装置300は、原映像データ131の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FO,FOを算出する。評価装置300は、劣化映像データ132の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量FD,FDを算出する。更に、評価装置300は、統計量Sによって、劣化特徴量FO,FO,FD,FDを補正する。評価装置300は、劣化特徴量FO,FO,FD,FDを基にして、評価値V,Vを算出する。このように、評価装置300は、劣化映像データ132および原映像データ131の同時分布を用い、統計量Sで値を調整することで、ぼけ、ノイズをパラメータとした評価値をより精度良く、算出することができる。
【実施例4】
【0115】
本実施例4に係る評価装置について説明する。図10は、本実施例4に係る評価装置の構成を示す機能ブロック図である。一例として、コントラスト強調またはコントラスト抑制の劣化特徴量を算出し、評価する。
【0116】
図10に示すように、この評価装置400は、通信部105、入力部110、表示部120、記憶部130、制御部440を有する。通信部105、入力部110、表示部120、記憶部130に関する説明は、図1に示したものと同様であるため、ここでは説明を省略する。
【0117】
制御部440は、第一算出部141、第二算出部142、評価部443を有する。
【0118】
第一算出部141は、図1の第一算出部141と同様にして、原映像データ131に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ131の基本特徴量を算出する処理部である。第一算出部141は、原映像データ131の基本特徴量の情報を、評価部443に出力する。
【0119】
第二算出部142は、図1の第二算出部142と同様にして、劣化映像データ132に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ132の基本特徴量を算出する処理部である。第二算出部142は、劣化映像データ131の基本特徴量の情報を、評価部443に出力する。
【0120】
評価部443は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を算出し、コントラスト強調またはコントラスト抑制に関する評価値を算出する。評価部443は、式(15)および式(16)に示す統計量Sを新たに利用する。統計量Sは、映像中のコントラスト強調または抑制の度合いに関係するものである。統計量Sは、図4に示した基本特徴量の二次元平面上において、同時分布をE=Dと平行な平面に投影した場合の分布の平均値を表す。従って、統計量Sが大きいほど、同時分布が右上に偏っていることを意味する。これに対して、統計量Sが小さいほど、同時分布が左下に偏っていることを意味する。
【0121】
【数15】
【0122】
【数16】
【0123】
評価部443が、原映像データ131のコントラスト強調またはコントラスト抑制に関する劣化特徴量FOを算出する場合について説明する。評価部443は、原映像データ131の基本特徴量を式(15)に代入して、統計量Sを更新する。更に、評価部443は、原映像データ131の基本特徴量を式(16)に代入して、統計量Sを更新する。評価部443は、原映像データ131の全画素について上記処理を繰り返し実行し平均化した、最終的な統計量Sの値を、劣化特徴量FOとする。
【0124】
評価部443が、劣化映像データ132のコントラスト強調またはコントラスト抑制に関する劣化特徴量FDを算出する場合について説明する。評価部443は、劣化映像データ132の基本特徴量を式(15)に代入して、統計量Sを更新する。更に、評価部443は、劣化映像データ132の基本特徴量を式(16)に代入して、統計量Sを更新する。評価部443は、劣化映像データ132の全画素について上記処理を繰り返し実行し平均化した、最終的な統計量Sの値を、劣化特徴量FDとする。
【0125】
次に、本実施例4に係る評価装置400の処理手順について説明する。図11は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ131、劣化映像データ132から各劣化特徴量を生成する処理は共通である。
【0126】
図11に示すように、評価装置400は、統計量の初期化を行う(ステップS401)。ステップS401で、評価装置400は、統計量Sの値を0に設定する。評価装置400は、全画素で処理が終了したか否かを判定する(ステップS402)。評価装置400は、全画素で処理が完了した場合には(ステップS402,Yes)、ステップS403に移行する。
【0127】
ステップS403において、評価装置400は、Sを、DhとDvの全画素の総和で除算した値によって、Sの値を更新する(ステップS403)。評価装置400は、統計量Sを、劣化特徴量Fとして設定する(ステップS404)。
【0128】
一方、評価装置400は、全画素で処理が完了していない場合には(ステップS402,No)、一階差分の絶対値Dh、Dvを生成する(ステップS405)。評価装置400は、二階差分の絶対値Eh、Evを生成する(ステップS406)。
【0129】
評価装置400は、式(15)によって、統計量Sを更新する(ステップS407)。評価装置400は、式(16)によって、統計量Sを更新する(ステップS408)。評価装置400は、次の画素に移行し(ステップS409)、ステップS402に移行する。
【0130】
次に、本実施例4に係る評価装置400の効果について説明する。評価装置400は、原映像データ131および劣化映像データ132からそれぞれ基本特徴量を計算する。評価装置400は、原映像データ131の基本特徴量の同時分布を基にして、コントラスト強調またはコントラスト抑制に関する劣化特徴量FOを算出する。評価装置400は、劣化映像データ132の基本特徴量の同時分布を基にして、コントラスト強調またはコントラスト抑制に関する劣化特徴量FDを算出する。そして、評価装置400は、劣化特徴量FOと劣化特徴量FDとを基にして、評価値Vを算出する。このように、評価装置400は、劣化映像データ132および原映像データ131の同時分布を用いることで、コントラスト強調またはコントラスト抑制をパラメータとした評価値を算出することができる。
【0131】
例えば、評価値Vの値が大きな正の値であるほど、原映像データ131と比較して、劣化映像データ132は、コントラスト強調が強くかかっていることがわかる。これに対して、評価値Vの値が小さな負の値であるほど、原映像データ131と比較して、劣化映像データ132はコントラスト抑制が強くかかっていることがわかる。
【実施例5】
【0132】
本実施例5に係る評価装置について説明する。図12は、本実施例5に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例5に係る評価装置は、各特徴量の時間変化を考慮して、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。
【0133】
図12に示すように、この評価装置500は、通信部105、入力部110、表示部120、記憶部130、制御部540を有する。通信部105、入力部110、表示部120、記憶部130に関する説明は、図1に示したものと同様であるため、ここでは説明を省略する。
【0134】
制御部540は、第一算出部141、第二算出部142、評価部543を有する。
【0135】
第一算出部141は、図1の第一算出部141と同様にして、原映像データ131に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ131の基本特徴量を算出する処理部である。第一算出部141は、原映像データ131の基本特徴量の情報を、評価部543に出力する。
【0136】
第二算出部142は、図1の第二算出部142と同様にして、劣化映像データ132に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ132の基本特徴量を算出する処理部である。第二算出部142は、劣化映像データ131の基本特徴量の情報を、評価部543に出力する。
【0137】
評価部543は、各特徴量の時間変化を考慮して、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、ぼけ、ブロックノイズ、ノイズに関する評価値を算出する。ここで、各劣化特徴量に対応する劣化は、動きの激しいシーンの方が、動きの静かなシーンよりも目立ち難くなる性質がある。このため、評価部543は、各画素で統計量S〜Sを更新する処理において、時間方向の画素の差分値を新たな特徴量Tとして計算する。評価部543は、特徴量Tが大きい場合に、統計量S〜Sの更新で加算する値を小さくする。
【0138】
例えば、評価部543は、式(17)および式(18)を用いて、特徴量Tを算出する。ここで、nは現在のフレーム番号、(x,y)を現在の処理位置、F(n,x,y)を現処理位置の画素値とする。
【0139】
【数17】
【0140】
【数18】
【0141】
式(17)において、μ(n,x,y)は位置(n,x,y)を中心とした領域の画素平均値を表す。Mは、例えば4等の所定の固定値をとる。式(18)は、式(17)で求まる画素平均値μ(n,x,y)と、一つ前のフレームの画素平均値μ(n−1,x,y)との差分絶対値を求めるものである。適宜、T(n,x,y)をTと略記する。
【0142】
評価部543は、特徴量Tを用いて、統計量S〜Sを更新する際に加算する値を調整する。評価部543は、特徴量Tが大きいほど、統計量S〜Sの更新で加算する値を小さくする。
【0143】
評価部543は、各画素値について上記処理を繰り返し実行することで、統計量S〜Sを更新する。評価部543は、最終的な統計量Sをぼけの劣化特徴量とする。評価部543は、最終的な統計量Sをブロックノイズの劣化特徴量とする。評価部543は、最終的な統計量Sを、ノイズの劣化特徴量とする。
【0144】
本実施例5では、原映像データ131から求めたぼけの劣化特徴量をFO、劣化映像データ132から求めたぼけの劣化特徴量をFDとする。原映像データ131から求めたブロックノイズの劣化特徴量をFO、劣化映像データ132から求めたブロックノイズの劣化特徴量をFDとする。原映像データ131から求めたノイズの劣化特徴量をFO、劣化映像データ132から求めたノイズの劣化特徴量をFDとする。
【0145】
評価部543は、劣化特徴量FDから劣化特徴量FOを減算することで、ぼけの評価値Vを算出する。評価部543は、劣化特徴量FDから劣化特徴量FOを減算することで、ブロックノイズの評価値Vを算出する。評価部543は、劣化特徴量FDから劣化特徴量FOを減算することで、ノイズの評価値Vを算出する。評価値V〜Vの値が正でかつ、大きいほど、劣化の度合いが大きいことを示す。
【0146】
次に、本実施例5に係る評価装置500の処理手順について説明する。図13は、時間方向を考慮してぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ131、劣化映像データ132から各劣化特徴量を生成する処理は共通である。
【0147】
図13に示すように、評価装置500は、統計量の初期化を行う(ステップS501)。ステップS501において、評価装置500は、統計量S〜Sの値を0に設定する。評価装置500は、全画素で処理が完了したか否かを判定する(ステップS502)。
【0148】
評価装置500は、全画素で処理が完了した場合には(ステップS502,Yes)、ステップS503に移行する。ステップS503において、評価装置500は、統計量Sを、劣化特徴量Fに設定する。評価装置500は、統計量Sを、劣化特徴量Fに設定する。評価装置500は、統計量Sを、劣化特徴量Fに設定する(ステップS503)。
【0149】
一方、評価装置500は、全画素で処理が完了していない場合には(ステップS502,No)、一階差分の絶対値Dh、Dvを生成する(ステップS504)。評価装置500は、二階差分の絶対値Eh、Evを生成する(ステップS505)。
【0150】
評価装置500は、時間差分の絶対値Tを算出する(ステップS506)。評価装置500は、「Dh/(T+C)」を算出し、算出した値によりDhの値を更新する(ステップS507)。Cは定数である。評価装置500は、「Dv/(T+C)」を算出し、Dvの値を更新する(ステップS508)。
【0151】
評価装置500は、S〜Sを更新する(ステップS509)。すなわち、評価装置500は、(Dh,Eh)の位置がぼけ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置500は、(Dv,Ev)の位置がぼけ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。なお、Sに加算されるDhおよびDvの値は、ステップS507、S508で更新された値を用いる。
【0152】
評価装置500は、(Dh,Eh)の位置がブロックノイズ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置500は、(Dv,Ev)の位置がブロックノイズ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。なお、Sに加算されるDhおよびDvの値は、ステップS507、S508で更新された値を用いる。
【0153】
評価装置500は、(Dh,Eh)の位置がノイズ領域に含まれる場合には、Sの値とDhの値とを加算した値を、Sに格納することで、Sの値を更新する。その後、評価装置500は、(Dv,Ev)の位置がノイズ領域に含まれる場合には、Sの値とDvの値とを加算した値を、Sに格納することで、Sの値を更新する。なお、Sに加算されるDhおよびDvの値は、ステップS507、S508で更新された値を用いる。
【0154】
評価装置500は、次の画素に移行し(ステップS510)、ステップS502に移行する。
【0155】
評価装置500は、原映像データ131に対して、図13の処理を実行することで、原映像データ131の劣化特徴量FO,FO,FOをそれぞれ算出する。評価装置500は、劣化映像データ132に対して、図13の処理を実行することで、劣化映像データ132の劣化特徴量FD,FD,FDをそれぞれ算出する。そして、評価装置500は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価装置500は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価装置500は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。
【0156】
次に、本実施例5に係る評価装置500の効果について説明する。評価装置500は、原映像データ131および劣化映像データ132からそれぞれ基本特徴量を計算する。また、評価装置500は、連続する画像間の画素の時間変化を考慮して、特徴量Tを算出し、特徴量Tを用いて、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。このため、映像の特徴に対応して、評価値を精度良く算出することができる。
【0157】
なお、評価装置500は、上記処理に加えて、各位置の画素値そのものを基本特徴量に加えても良い。例えば、評価部543は、画像全体の画素の平均値を統計量Sとして算出し、劣化特徴量として算出する。評価部543は、原映像データ131の統計量Sを、劣化特徴量FOとして求める。評価部543は、劣化映像データ132の統計量Sを、劣化特徴量FDとして求める。そして、評価値543は、劣化特徴量FDから劣化特徴量FOを減算することで、評価値Vを算出する。評価値Vによって、輝度変化や色変化を評価することができる。評価値Vの絶対値が大きいほど、劣化映像データ132の輝度や色が原映像データ131と比較して大きく変化していることを示す。
【0158】
ところで、上記で説明した劣化特徴量の生成例は画像の全領域を一単位としているが、これらの処理は画像を小領域に分割して、分割した領域を一単位として行っても良い。例えば、映像の一部の箇所だけが画像劣化した場合に、画像全域を一単位として劣化特徴量を求めると、特徴量が平均化されて部分的な劣化を正確に求められない場合がある。部分領域毎に劣化特徴量を求めることで、映像の部分的な劣化を高精度に検出することができる。
【0159】
次に、上記の実施例に示した評価装置と同様の機能を実現する支援プログラムを実行するコンピュータの一例を説明する。図14は、評価プログラムを実行するコンピュータの一例を示す図である。
【0160】
図14に示すように、コンピュータ600は、各種演算処理を実行するCPU601と、ユーザからのデータの入力を受け付ける入力装置602と、ディスプレイ603を有する。また、コンピュータ600は、記憶媒体からプログラム等を読取る読み取り装置604と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置605とを有する。また、コンピュータ600は、各種情報を一時記憶するRAM606と、ハードディスク装置607を有する。そして、各装置601〜607は、バス608に接続される。
【0161】
ハードディスク装置607は、第一算出プログラム607a、第二算出プログラム607b、評価プログラム607cを有する。CPU601は、各プログラム607a,607b,607cを読み出してRAM606に展開する。
【0162】
第一算出プログラム607aは、第一算出プロセス606aとして機能する。第二算出プログラム607bは、第二算出プロセス606bとして機能する。評価プログラム607cは、評価プロセス606cとして機能する。
【0163】
例えば、第一算出プロセス606aは、第一算出部141に対応する。第二算出プロセス606bは、第二算出部142に対応する。評価プロセス606cは、評価部143,243,343,443,543に対応する。
【0164】
なお、各プログラム607a〜607cについては、必ずしも最初からハードディスク装置607に記憶させておかなくてもよい。例えば、コンピュータ600に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ600がこれらから各プログラム607a〜607cを読み出して実行するようにしてもよい。
【0165】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0166】
(付記1)第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出する第一算出部と、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出する第二算出部と、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する評価部と
を有することを特徴とする評価装置。
【0167】
(付記2)前記評価部は、前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記1に記載の評価装置。
【0168】
(付記3)前記評価部は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記2に記載の評価装置。
【0169】
(付記4)前記評価部は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記1に記載の評価装置。
【0170】
(付記5)コンピュータが実行する評価方法であって、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する
各処理を実行することを特徴とする評価方法。
【0171】
(付記6)前記評価する処理は、前記第一画像から算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、
前記第二画像から算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記5に記載の評価方法。
【0172】
(付記7)前記評価する処理は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記6に記載の評価方法。
【0173】
(付記8)前記評価する処理は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記5に記載の評価方法。
【0174】
(付記9)コンピュータに、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する
各処理を実行させることを特徴とする評価プログラム。
【0175】
(付記10)前記評価する処理は、前記第一画像から算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、
前記第二画像から算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記9に記載の評価プログラム。
【0176】
(付記11)前記評価する処理は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記10に記載の評価プログラム。
【0177】
(付記12)前記評価する処理は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記9に記載の評価プログラム。
【符号の説明】
【0178】
100 評価装置
131 原映像データ
132 劣化映像データ
141 第一算出部
142 第二算出部
143 評価部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17