特許 5790944 画像処理方法、画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5790944

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月7日

(54)【発明の名称】画像処理方法、画像処理装置及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20150917BHJP

   H04N 1/387 20060101ALI20150917BHJP

【ＦＩ】

   G06T3/40 730

   H04N1/387 101

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2012-501800(P2012-501800)

(86)(22)【出願日】2011年2月23日

(86)【国際出願番号】JP2011053898

(87)【国際公開番号】WO2011105391

(87)【国際公開日】20110901

【審査請求日】2014年1月14日

(31)【優先権主張番号】特願2010-42289(P2010-42289)

(32)【優先日】2010年2月26日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100079005

【弁理士】

【氏名又は名称】宇高 克己

(72)【発明者】

【氏名】戸田 真人

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１０−１５２５１８（ＪＰ，Ａ）

【文献】 特開２００４−３０３１９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００ − ３／４０

Ｈ０４Ｎ １／３８７− １／３９３

(57)【特許請求の範囲】

【請求項1】

複数枚の低解像度画像の低解像度画像群から予測される高解像度画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定し、
前記指定色特色度に基づいて、生成する高解像度画像内の各画素のエッジ量に対する重みを適応的に変更し、
前記低解像度画像群と生成される高解像度画像との誤差と前記エッジ量に対する重みに基づくエッジ量とを含む評価関数が最小となるように、高解像度画像を生成する
画像処理方法。

【請求項2】

前記指定色が肌色である請求項１に記載の画像処理方法。

【請求項3】

複数の指定色を設定し、
前記各指定色と低解像度画像群から予測される高解像度画像の画素色との前記各指定色に対する指定色特色度を算出し、
前記各指定色に対する指定色特色度に基づいて、生成する高解像度画像内の各画素のエッジ量に対する重みを適応的に変更し、
前記低解像度画像群と生成される高解像度画像との誤差と前記エッジ量に対する重みに基づくエッジ量とを含む評価関数が最小となるように、高解像度画像を生成する
請求項１又は請求項２に記載の画像処理方法。

【請求項4】

前記指定色が肌色である場合、前記指定色特色度により高解像度画像内で肌色と近い色を持つと予測された画素のエッジ量に対する重みを大きくする
請求項２又は請求項３に記載の画像処理方法。

【請求項5】

複数枚の低解像度画像の低解像度画像群から予測される高解像度画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度算出手段と、
前記指定色特色度に基づいて、生成する高解像度画像内の各画素のエッジ量に対する重みを適応的に変更し、前記低解像度画像群と生成される高解像度画像との誤差と前記エッジ量に対する重みに基づくエッジ量とを含む評価関数が最小となるように、高解像度画像を生成する画像生成手段と
を有する画像処理装置。

【請求項6】

前記指定色が肌色である請求項５に記載の画像処理装置。

【請求項7】

複数の指定色を記憶する記憶手段を有し、
前記指定色特色度算出手段は、前記記憶手段に記憶されている各指定色と低解像度画像群から予測される高解像度画像の画素色との前記各指定色に対する指定色特色度を算出し、
前記画像生成手段は、前記各指定色に対する指定色特色度に基づいて、生成する高解像度画像内の各画素のエッジ量に対する重みを適応的に変更し、前記低解像度画像群と生成される高解像度画像との誤差と前記エッジ量に対する重みに基づくエッジ量とを含む評価関数が最小となるように、高解像度画像を生成する
請求項５又は請求項６に記載の画像処理装置。

【請求項8】

前記画像生成手段は、前記指定色が肌色である場合、前記指定色特色度により高解像度画像内で肌色と近い色を持つと予測された画素のエッジ量に対する重みを大きくする
請求項６又は請求項７に記載の画像処理装置。

【請求項9】

複数枚の低解像度画像の低解像度画像群から予測される高解像度画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度推定処理と、
前記指定色特色度に基づいて、生成する高解像度画像内の各画素のエッジ量に対する重みを適応的に変更し、前記低解像度画像群と生成される高解像度画像との誤差と前記エッジ量に対する重みに基づくエッジ量とを含む評価関数が最小となるように、高解像度画像を生成する画像生成処理と
を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

同一シーンを撮影した、位置ずれのある複数の低解像度画像を合成して、高解像度画像を生成する画像高解像度化手法がある。

【0003】

例えば、非特許文献１では、入力された低解像度画像同士の位置ずれの検出（モーション推定）を画素単位未満の精度（サブピクセル精度）で行い、低解像度画像を合成する際に、式（１）で表される評価関数ｇ（ｘ）を最小化する高解像度画像ｘを推定する画像高解像度化手法が記載されている。

【0004】

【数1】

上記式（１）において、ｘは高解像度画像、ｙは入力低解像度画像、Ａは画像間モーションやダウンサンプリングなどを含んだ画像変換行列、Ｃはハイパスフィルタ、λはあらかじめ設定される定数値である。

【0005】

式（１）における右辺第１項は、高解像度画像ｘから推定される入力低解像度画像と実際に入力された低解像度画像の誤差を表す項であり、右辺第２項は、生成される高解像度画像は滑らかであるという条件に基づく正則化項であり、高解像度画像のエッジ量を意味する。そのため、生成される高解像度画像ｘは、定数λの値が小さいほど全体的にエッジがくっきりし、逆に定数λの値が大きいほどエッジが比較的ぼやける性質にある。

【0006】

一般に、このような画像高解像度化処理は超解像処理と呼ばれる。

【0007】

これまでに、この画像高解像度化手法を用いた技術としては、以下のような技術がある。

【0008】

１．撮影された映像を高周波成分と低周波成分に分解し、高周波領域に対して超解像処理を施し、低周波領域には単一画像を拡大処理して生成した画像に合成する（特許文献１）。

【0009】

２．画像中の各物体についての物体の特徴と物体相互の位置関係などの画像の構造解析を行い構造情報の対応付けを行うことによりフレームの位置ずれを検出し、画像の高解像度化を行う（特許文献２）。

【0010】

以下に、本発明に関連する超解像処理装置の一例を示す。

【0011】

図７は、複数枚の低解像度画像を合成することで高解像度画像を生成する超解像処理装置１０のブロック図である。

【0012】

この超解像処理装置は、モーション推定手段１１と高解像度画像推定手段１２を備える。

【0013】

モーション推定手段１１は、複数の低解像度画像を入力とし、高解像度化する基準低解像度画像の各画素について、参照低解像度画像との間の動きをサブピクセル精度で推定し、推定結果を出力する。

【0014】

高解像度画像推定手段２２は、低解像度画像と動き推定結果を入力とし、これらの情報から式（１）で表される評価関数を最小化する高解像度画像を推定して出力する。

【0015】

ところで、画像の高画質化処理の一つに、美肌処理と呼ばれる画像処理がある。美肌処理とは、人物写真で最も注目される部位である顔領域に着目し、被写体人物の肌を滑らかに美しく再現するようにする処理である。

【0016】

例えば、特許文献３では、入力された画像から被写体人物の肌色を検出し、検出された肌色と類似した肌色領域に対して、その肌色らしさ（特許文献３では、肌の色強度と記述されている）に応じて、入力画像とスムージング処理をかけた入力画像とを合成することで、肌領域のみを滑らかにしている。なお、以下の説明では、肌色らしさを肌色特色度と呼ぶこととする。

【0017】

特許文献３では、画素位置ｉにおける肌色特色度ｈｘ（ｉ）を、その画素における画素値をＬａｂ表色系で表した値Ｌ（ｉ），ａ（ｉ），ｂ（ｉ）を用いて、式（２）のように算出している。ただし、Ｌ’，ａ’，ｂ’は、肌色領域におけるＬａｂ値の重心、ＷＬ，Ｗａ，Ｗｂは、重みを表している。肌色特色度ｈｘは、０．０〜１．０の値を持ち、１．０に近づくほど肌色らしいことを意味する。

【0018】

【数2】

本発明に関連する美肌処理装置の一例を示す。図８は、本発明に関連する美肌処理装置の記述をもとに作成したブロック図である。

【0019】

本発明に関連する美肌処理装置は、肌色特色度算出手段２１とスムージング処理手段２２を備える。肌色特色度算出手段２１は、入力された画像内の被写体人物の肌色を検出し、画像内の各画素についてその肌色らしさを算出し出力する。スムージング処理手段２２は、入力画像と内部で生成したスムージング処理をかけた入力画像とを肌色検出手段５１で算出された各画素の肌色特色度を用いて合成することで出力画像を生成する。

【0020】

超解像処理と美肌処理との両方の処理を実行する画像処理装置は、図９に示すブロック図のように、上述した関連する超解像処理装置と美肌処理装置とを連結させることで実現可能である。図９に示す画像処理装置では、まず、超解像処理手段１０にて、関連する超解像処理手法を用いて複数枚の低解像度画像から１枚の高解像度画像を生成する。次に、美肌処理手段２０において、生成された高解像度画像に美肌処理を施し、出力画像を生成する。

【先行技術文献】

【特許文献】

【0021】

【特許文献1】特開 ２００５−３３５２７２０号公報

【特許文献2】特開平１０−６９５３７号公報

【特許文献3】特開２００４−３０３１９３号公報

【非特許文献】

【0022】

【非特許文献1】S. C. Park and M. K. Park and M. G. Kang, “Super-Resolution Image Reconstruction: A Technical Overview”, IEEE Signal Processing Magazine, vol.20, no.3, pp.21-36, May 2003.

【発明の概要】

【発明が解決しようとする課題】

【0023】

上述した関連技術は、高画質な合成画像を生成できない問題がある。何故なら、上述した超解像処理装置では、高解像度画像生成時に、画像全体のエッジの滑らかさを制御可能だが、画像内の肌色領域のような特定領域のみに対してエッジの滑らかさを変更することはできないからである。

【0024】

図９に示すブロック図のように、超解像処理後に美肌処理のような処理を施すことで、画像内の特定領域のみに対してエッジの滑らかさを変更することは可能である。しかし、このような処理方法では、後段処理において、超解像処理時に行うような入力低解像度画像群との整合性を考慮することができない。そのため、本来再現するべき入力低解像度画像群内の滑らかなエッジがスムージング処理によって失われる場合があり、その結果出力画像の画質が劣化してしまう。

【0025】

そこで、本発明の目的は、入力画像との整合性と画像内の特定領域に対するエッジの再現性の両方を同時に考慮した高画質な出力画像を生成する画像処理方法、画像処理装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0026】

上記課題を解決する本発明は、複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する画像処理方法であって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定し、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像処理方法である。

【0027】

上記課題を解決する本発明は、複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する画像処理装置であって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度算出手段と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成手段とを有する画像処理装置である。

【0028】

上記課題を解決する本発明は、複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する情報処理装置のプログラムであって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度推定処理と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成処理とを情報処理装置に実行させるプログラムである。

【発明の効果】

【0029】

本発明は、入力画像との整合性と画像内の特定領域に対するエッジの再現性の両方を同時に考慮した高画質な出力画像を生成することができる。

【図面の簡単な説明】

【0030】

【図1】図１は本発明の第１の実施の形態の構成を示すブロック図である。

【図2】図２は第１の実施の形態のフローチャートである。

【図3】図３は第２の実施の形態の構成を示すブロック図である。

【図4】図４は第２の実施の形態のフローチャートである。

【図5】図５は第３の実施の形態の構成を示すブロック図である。

【図6】図６は第３の実施の形態のフローチャートである。

【図7】図７は複数枚の低解像度画像を合成することで高解像度画像を生成する超解像処理装置のブロック図である。

【図8】図８は本発明に関連する美肌処理装置の記述をもとに作成したブロック図である。

【図9】図９は関連する超解像処理装置と美肌処理装置とを連結させた場合のブロック図である。

【発明を実施するための形態】

【0031】

＜第１の実施の形態＞
本発明の第１の実施の形態を説明する。

【0032】

尚、以下の第１の実施の形態の説明では、予め指定された指定色を肌色として説明する。

【0033】

図１は、本発明の第１の実施の形態の構成を示すブロック図である。

【0034】

図１に示す第１の実施の形態の画像処理装置は、モーション推定手段１１と、基準低解像度画像拡大手段３３と、肌色特色度算出手段２１と、高解像度画像推定手段３２とを備え、画素数Ｍの低解像度画像（画像数Ｎ）を入力とし、美肌処理を施された高解像度画像（画素数Ｋ）を出力する。

【0035】

モーション推定手段１１は、上述した超解像処理装置におけるモーション推定手段と同様な動作を実行する。つまり、モーション推定手段１１は、Ｎ枚の低解像度画像を入力し、高解像度化する基準低解像度画像の各画素について、残り（Ｎ−１）枚の参照低解像度画像との間の動きをサブピクセル精度で推定し、推定された動きベクトルを出力する。

【0036】

基準低解像度画像拡大手段３３は、高解像度化する基準低解像度画像を、Ｂｉ−ｃｕｂｉｃ法などの補間手法を用いて拡大し、出力高解像度画像と同一サイズである拡大基準画像を生成する。拡大基準画像を生成することにより、最終的な出力高解像度画像内における各画素の色をあらかじめ予測することが可能になる。

【0037】

肌色特色度算出手段２１は、基準低解像度画像拡大手段３３によって生成された拡大基準画像を入力し、画像内の被写体人物の肌色を検出し、拡大基準画像の各画素における肌色特色度ｈｘを算出する。ここで、肌色特色度ｈｘは、肌色らしさを示す度合いであり、指定色である肌色にどれだけ類似するかを示す度合いとなる。すなわち、画素の肌色特色度が１．０の場合にはその画素の色は指定色の肌色とみなされ、肌色特色度が０に近づくにつれて指定色の肌色とは異なる色に近づき、肌色特色度が０の場合にはその画素の色は指定色の肌色とは異なる色となる。

【0038】

肌色特色度の算出方法の一例として、式（２）のような特許文献３に記載の算出式や、特許文献４に記載の算出式などが用いることができる。特許文献４（特開平１０−１９８７９５号公報）では、画素位置ｉにおける肌色特色度ｈｘ（ｉ）を、その画素における画素値をＨＳＶ表色系で表した値Ｈ（ｉ），Ｓ（ｉ），Ｖ（ｉ）を用いて、式（３）や式（４）のように算出している。但し、Ｈ’，Ｓ’，Ｖ’は、肌色領域におけるＨＳＶ値の重心、ｍ，ｍ１，ｍ２は、あらかじめ設定されたパラメータである。なお、式（３）や式（４）による算出では、ｍ−｜Ｈ’−Ｈ（ｉ）｜、または、ｍ１−｜Ｓ’−Ｓ（ｉ）｜、または、ｍ２−｜Ｖ’−Ｖ（ｉ）｜の値が０未満の場合には、ｈｘ（ｉ）の値に０が設定される。

【0039】

【数3】

【0040】

【数4】

高解像度画像推定手段３２は、入力低解像度画像群と、モーション推定手段１１で推定された動きベクトルと、肌色特色度算出手段２１で算出された肌色特色度とを入力し、式（５）で表される評価関数ｇ１（ｘ）を最小化する高解像度画像ｘを推定することにより、美肌処理を施された高解像度画像を生成する。但し、ΛはＫ×Ｋの対角行列であり、入力された肌色特色度を用いて、式（６）のように算出される。また、ｉは高解像度画像中の画素位置を表し、λｓｋｉｎ（λ＜λｓｋｉｎ）は、肌色領域における正規化項の強さを示すあらかじめ設定された定数である。尚、肌色領域とは、肌色特色度が０ではない画素が占める領域をいう。

【0041】

【数5】

【0042】

【数6】

式（５）を用いた高解像度画像推定法は、式（１）を用いた高解像度画像推定法と比較して、定数λが対角行列Λに置き換わっている点で異なる。対角行列Λの各対角要素は、出力高解像度画像の各画素における正規化項の強さを表している。式（６）によると、肌色特色度が１．０つまり完全に肌色と見なされている画素に対応する対角成分には、比較的大きな値を持つλｓｋｉｎが設定される。このことは、当該画素における高解像度画像推定のための正規化項の影響を強くすることで、当該画素を滑らかに再現することを意味し、美肌補正のスムージング処理と同等の効果をもたらすことを可能とする。

【0043】

また、肌色特色度が０．０の画素に対応する対角成分については、上述した本発明に関連する超解像処理装置での正規化項の強さを表す値λが設定され、本発明に関連する関連する超解像処理装置と類似する画素値を推定する。そのため、基準画像内に肌色領域が存在しない場合には、対角行列Λの全ての対角要素がλとなり、式（１）と等価となる。

【0044】

また、肌色特色度がそれ以外の値を持つ画素に対応する対角成分については、肌色特色度が１．０に近づくにつれてλｓｋｉｎに近づき、逆に０．０に近づくほどλに近づくように設定される。

【0045】

尚、λｓｋｉｎの一例としては、あらかじめ画像中のノイズ量に応じて手動で設定されたλの値の２倍の値が設定される。つまり、λが０．０５の場合、λｓｋｉｎは０．１、λが０．１の場合、λｓｋｉｎは０．２が設定される。従って、λが０．０５である場合、肌色特色度が１．０つまり完全に肌色と見なされている画素に対応する対角成分は０．２であり、０．０に近づくほど０．１に近づくように設定される。

【0046】

尚、式（６）は、対角行列Λの各対角要素を決定する一例であり、肌色特色度が１．０の時にλｓｋｉｎ、肌色特色度が０．０にλが算出される他の関数を用いて決定してもよい。

【0047】

次に、図１および図２のフローチャートを参照して、第１の実施の形態の全体の動作を説明する。

【0048】

まず、モーション推定手段１１は、Ｎ枚の低解像度画像を入力し、高解像度化する基準低解像度画像の各画素について、残りＮ−１枚の参照低解像度画像との間の動きをサブピクセル精度で推定し、推定された動きベクトルを出力する（Ｓ００１）。

【0049】

基準低解像度画像拡大手段３３は、高解像度化する基準低解像度画像を、Ｂｉ−ｃｕｂｉｃ法などの補間手法を用いて拡大し、出力高解像度画像と同一サイズである拡大基準画像を生成する（Ｓ００２）。

【0050】

肌色特色度算出手段２１は、拡大基準画像の各画素における肌色特色度ｈｘを算出する（Ｓ００３）。

【0051】

高解像度画像推定手段３２は、評価関数ｇ１（ｘ）を最小化する高解像度画像を推定することにより、美肌処理を施された高解像度画像を生成する（Ｓ００４）。

【0052】

このように、第１の実施の形態では、肌色特色度に応じて、高解像度画像推定時の正規化項の強さを画素毎に適応的に変更することで、肌色領域を滑らかにする美肌処理を含んだ画像の高解像度化を実現することができる。
＜第２の実施の形態＞
第２の実施の形態を説明する。

【0053】

図３は第２の実施の形態の構成を示すブロック図である。

【0054】

図３に示す第２の実施の形態の画像処理装置は、モーション推定手段１１と、低解像度画像拡大手段３３と、指定色特色度算出手段４１と、指定色記憶手段４４と、高解像度画像推定手段４２とから構成される。第２の実施の形態の画像処理装置は、第１の実施の形態の構成と比較して、指定色記憶手段４４が追加され、また、指定色特色度算出手段４１と高解像度画像推定手段４２とにおいて、その動作が異なる。

【0055】

第２の実施の形態では、肌色領域を滑らかにすることで美肌補正を実行するのではなく、指定色記憶手段４４に格納された色に対する特色度ｈｘ’を算出し、指定された色領域に対する滑らかさを変更することで高画質な高解像度画像を生成する。

【0056】

以下、指定色特色度算出手段４１と高解像度画像推定手段４２との動作の詳細を説明する。

【0057】

指定色特色度算出手段４１は、基準低解像度拡大手段３３によって生成された拡大基準画像を入力とし、拡大基準画像の各画素について、指定色記憶手段４４に記録されている色に対する特色度（指定色特色度）ｈｘ’を算出する。

【0058】

指定色特色度ｈｘ’は、肌色特色度ｈｘと同様に、０．０〜１．０の値を持ち、１．０に近づくほど指定色記憶手段４４に記録されている色に近づくことを意味する。すなわち、画素の指定色特色度が１．０の場合にはその画素の色は指定色とみなされ、指定色特色度が０に近づくにつれて指定色とは異なる色に近づき、指定色特色度が０の場合にはその画素の色は指定色とは異なる色となる。指定色特色度ｈｘ’は、肌色特色度ｈｘの算出時に用いる肌色に関する情報を指定色記憶手段４４に記録されている色に置き換えることで、算出可能である。以下、高解像度画像における画素位置iの指定色特色度をｈｘ’（ｉ）と記述することにする。

【0059】

高解像度画像推定手段４２は、入力低解像度画像群と、モーション推定手段１１で推定された動きベクトルと、指定色特色度算出手段４１で算出された指定色特色度を入力し、式（７）で表される評価関数ｇ２（ｘ）を最小化する高解像度画像ｘを推定する。ただし、Λ２はＫ×Ｋの対角行列であり、入力された特色度を用いて、式（８）のように算出される。また、ｉは高解像度画像中の画素位置を表し、λ’は、指定色領域における正規化項の強さを示すあらかじめ設定された定数である。

【0060】

【数7】

【0061】

【数8】

次に、図３および図４のフローチャートを参照して、第２の実施の形態の全体の動作を説明する。

【0062】

まず、モーション推定手段１１は、Ｎ枚の低解像度画像を入力とし、高解像度化する基準低解像度画像の各画素について、残り（Ｎ−１）枚の参照低解像度画像との間の動きをサブピクセル精度で推定し、推定された動きベクトルを出力する（Ｓ００１）。

【0063】

基準低解像度画像拡大手段３３は、高解像度化する基準低解像度画像を、Ｂｉ−ｃｕｂｉｃ法などの補間手法を用いて拡大し、出力高解像度画像と同一サイズである拡大基準画像を生成する（Ｓ００２）。

【0064】

指定色特色度算出手段４１は、拡大基準画像の各画素における、指定色記憶手段４４に記録されている色に対する特色度（指定色特色度）ｈｘ’を算出する（Ｓ１０３）。

【0065】

高解像度画像推定手段４２は、評価関数ｇ２（ｘ）を最小化する高解像度画像を推定することにより、高画質な高解像度画像を生成する（Ｓ１０４）。

【0066】

第２の実施の形態の構成を用いることによって、例えば、草木の緑色を指定色として指定色記録手段４４に記録し、λ’を比較的小さな値を設定することによって、画像内の木の葉や草原などの領域をよりシャープに再現し、この領域の躍動感を強調させることが可能となる。
＜第３の実施の形態＞
図５は、第３の実施の形態の構成を示すブロック図である。

【0067】

図５に示す第３の実施の形態の画像処理装置は、モーション推定手段１１と、低解像度画像拡大手段３３と、複数指定色特色度算出手段５１と、複数指定色記憶手段５４と、高解像度画像推定手段５２とから構成される。第３の実施の形態の画像処理装置は、第２の実施の形態と比較して、複数指定色特色度算出手段５１と複数指定色記憶手段５４と高解像度画像推定手段５２とで異なり、複数指定色記憶手段５４に記録された複数の色領域に対する滑らかさを変更することで高画質な高解像度画像を生成する。

【0068】

以下、複数指定色記憶手段５４と高解像度画像推定手段５２の動作の詳細を説明する。

【0069】

複数指定色特色度算出手段５１は、基準低解像度拡大手段３３によって生成された拡大基準画像を入力とし、拡大基準画像の各画素について、複数指定色記憶手段５４に記録されている色（指定色１〜指定色１ｋ：記録数ｋ）に対する指定色特色度ｈｘ１〜ｈｘｋをそれぞれ算出する。指定色特色度ｈｘ１〜ｈｘｋは、０．０〜１．０の値を持ち、１．０に近づくほど対応する色に近づくことを意味する。例えば、画素の指定色特色度ｈｘ１が１．０の場合にはその画素の色は指定色１とみなされ、指定色特色度ｈｘ１が０に近づくにつれて指定色１とは異なる色に近づき、指定色特色度ｈｘ１が０の場合にはその画素の色は指定色１とは異なる色となる。以下、高解像度画像における画素位置ｉの記録番号ｐの指定色に対する指定色特色度をｈｘｐ（ｉ）と記述することにする。各指定特色度は、第２の実施の形態における指定色特色度算出法をそれぞれの指定色に対して適用することで算出される。

【0070】

高解像度画像推定手段５２は、入力低解像度画像群と、モーション推定手段１１にて推定された動きベクトルと、複数指定色特色度算出手段５１で算出された複数の指定色特色度とを入力し、式（９）で表される評価関数ｇ３（ｘ）を最小化する高解像度画像ｘを推定する。ただし、Λ３はＫ×Ｋの対角行列であり、入力された特色度を用いて、式（１０）のように算出される。また、ｉは高解像度画像中の画素位置を表す。また、ｈｘｍａｘ（ｉ）およびλｍａｘ（ｉ）は、画素位置ｉにおいて最大の指定色特色度を持つ指定色（記録番号ｍａｘ）の特色度およびその指定色領域における正規化項の強さ示す定数である。なお、Λ３の対角要素の算出には、あらかじめ用意されたそれぞれの指定色領域における正規化項の強さを入力された指定色特色度に応じて合成する方法を用いてもよい。

【0071】

【数9】

【0072】

【数10】

次に、図５および図６のフローチャートを参照して、本実施の形態の全体の動作を説明する。

【0073】

まず、モーション推定手段１１は、Ｎ枚の低解像度画像を入力とし、高解像度化する基準低解像度画像の各画素について、残り（Ｎ−１）枚の参照低解像度画像との間の動きをサブピクセル精度で推定し、推定された動きベクトルを出力する（Ｓ００１）。

【0074】

基準低解像度画像拡大手段３３は、高解像度化する基準低解像度画像を、Ｂｉ−ｃｕｂｉｃ法などの補間手法を用いて拡大し、出力高解像度画像と同一サイズである拡大基準画像を生成する（Ｓ００２）。

【0075】

複数指定色特色度算出手段４１は、拡大基準画像の各画素における、複数指定色記憶手段５４に記録されている複数の色に対する指定色特色度をそれぞれ算出する（Ｓ２０３）。

【0076】

高解像度画像推定手段３２は、評価関数ｇ３（ｘ）を最小化する高解像度画像を推定することにより、高画質な高解像度画像を生成する（Ｓ２０４）。

【0077】

なお、前記第１から第３の実施の形態において、低解像度画像の画素数Ｍは、高解像度画像の画素数Ｋよりも小さいのが一般的であるが、ＭとＫが等しい場合やＭがＫより大きい場合にも適用できる。

【0078】

第３の実施の形態の構成を用いることによって、一枚の出力画像内で、木の葉や草原などの領域をよりシャープに再現したり、肌色領域を滑らかに再現したりするなど、領域別にエッジの再現方法を変更することが可能となり、高画質な出力画像を生成することができる。

【0079】

尚、上述した実施の形態において、各部をハードウェアで構成した例を説明したが、それらの全部又は一部をプログラムで動作する情報処理装置により構成することもできる。

【0080】

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0081】

［付記１］ 複数枚の画像を入力画像とし、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定し、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像処理方法。

【0082】

［付記２］ 前記指定色が肌色である付記１に記載の画像処理方法。

【0083】

［付記３］ 複数の指定色を設定し、生成画像内の各画素のエッジ量に対する重みを、前記各指定色と入力画像群から予測される生成画像の画素色との前記各指定色に対する指定色特色度を算出し、前記各指定色に対する指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記各指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する付記１又は付記２に記載の画像処理方法。

【0084】

［付記４］ 前記指定色が肌色である場合、前記指定色特色度により生成画像内で肌色と近い色を持つと予測された画素のエッジ量に対する重みを大きくする付記２又は付記３に記載の画像処理方法。

【0085】

［付記５］ 前記生成画像の解像度が前記入力画像の解像度よりも高い付記１から付記４のいずれかに記載の画像処理方法。

【0086】

［付記６］ 複数枚の画像を入力画像とし、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度算出手段と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成手段とを有する画像処理装置。

【0087】

［付記７］ 前記指定色が肌色である付記６に記載の画像処理装置。

【0088】

［付記８］ 複数の指定色を記憶する記憶手段を有し、前記指定色特色度算出手段は、生成画像内の各画素のエッジ量に対する重みを、前記記憶手段に記憶されている各指定色と入力画像群から予測される生成画像の画素色との前記各指定色に対する指定色特色度を算出し、前記画像生成手段は、前記各指定色に対する指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記各指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する付記６又は付記７に記載の画像処理装置。

【0089】

［付記９］ 前記画像生成手段は、前記指定色が肌色である場合、前記指定色特色度により生成画像内で肌色と近い色を持つと予測された画素のエッジ量に対する重みを大きくする付記７又は付記８に記載の画像処理装置。

【0090】

［付記１０］ 前記画像生成手段は、前記入力画像の解像度よりも解像度が高い生成画像を生成する付記６から付記９のいずれかに記載の画像処理装置。

【0091】

［付記１１］ 複数枚の画像を入力画像とし、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度推定処理と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成処理とを情報処理装置に実行させるプログラム。

【0092】

［付記１２］ 前記指定色が肌色である付記１１に記載のプログラム。

【0093】

［付記１３］ 前記指定色特色度推定処理は、生成画像内の各画素のエッジ量に対する重みを、記憶手段に記憶されている各指定色と入力画像群から予測される生成画像の画素色との前記各指定色に対する指定色特色度を算出し、前記画像生成処理は、前記各指定色に対する指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記各指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する付記１１又は付記１２に記載のプログラム。

【0094】

［付記１４］ 前記画像生成処理は、前記指定色が肌色である場合、前記指定色特色度により生成画像内で肌色と近い色を持つと予測された画素のエッジ量に対する重みを大きくする付記１２又は付記１３に記載のプログラム。

【0095】

［付記１５］ 前記画像生成処理は、前記入力画像の解像度よりも解像度が高い生成画像を生成する付記１１から付記１４のいずれかに記載のプログラム。

【0096】

［付記１６］ 複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する画像処理方法であって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定し、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像処理方法。

【0097】

［付記１７］ 複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する画像処理装置であって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度算出手段と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成手段とを有する画像処理装置。

【0098】

［付記１８］ 複数枚の画像を入力画像とし、入力画像群との類似度と画像全体のエッジ量の評価とに基づいて、新たな画像を生成する情報処理装置のプログラムであって、入力画像群から予測される生成画像の画素色と予め指定された指定色との類似度を示す指定色特色度を推定する指定色特色度推定処理と、前記指定色特色度に基づいて、生成する画像内の各画素のエッジ量に対する重みを変更し、前記指定色の領域のエッジの再現の仕方が他領域と異なる画像を生成する画像生成処理とを情報処理装置に実行させるプログラム。

【0099】

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

【0100】

本出願は、２０１０年２月２６日に出願された日本出願特願２０１０−０４２２８９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0101】

本発明は、複数枚の低解像度画像から高解像度画像を生成する画像高解像度化装置に適用することができる。入力画像としては静止画像だけでなく、動画像中の複数フレームにも適用することができるので、映像機器全般に適用することができる。

【符号の説明】

【0102】

１０ 超解像処理装置
１１ モーション推定手段
１２ 高解像度画像推定手段
２０ 美肌処理装置
２１ 肌色特色度算出手段
２２ スムージング処理手段
３２，４２，５２ 高解像度画像推定手段
３３ 基準低解像度画像拡大手段
４１ 指定色特色度算出手段
４４ 指定色記憶手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】