特許 5894422 時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5894422

(24)【登録日】2016年3月4日

(45)【発行日】2016年3月30日

(54)【発明の名称】時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20160317BHJP

   G06T 5/10 20060101ALI20160317BHJP

   G06T 7/40 20060101ALI20160317BHJP

【ＦＩ】

   H04N7/01 G

   G06T5/10

   G06T7/40

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2011-260807(P2011-260807)

(22)【出願日】2011年11月29日

(65)【公開番号】特開2013-115658(P2013-115658A)

(43)【公開日】2013年6月10日

【審査請求日】2014年10月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 国際公開第２０１０／１４０２８１（ＷＯ，Ａ１）

【文献】 特開２０１１−２２８９７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ５／１０

Ｇ０６Ｔ ７／４０

(57)【特許請求の範囲】

【請求項1】

時空間相関が低い画素成分から成る時空間低相関画像を超解像処理する時空間低相関画像超解像装置であって、
時空間低相関画像の多重解像度解析を行い、時空間低相関画像の高周波成分画像を生成する空間周波数分解部と、
前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整する位相調整部と、
前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いて超解像処理を行い、前記時空間低相関画像の超解像画像を生成する周波数成分再構成部と、を備えることを特徴とする時空間低相関画像超解像装置。

【請求項2】

前記空間周波数分解部は、時空間低相関画像を空間方向にデシメーション無しでハールウェーブレット分解して前記高周波成分画像を生成し、
前記位相調整部は、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて前記位相を調整した時空間低相関画像を生成し、
前記周波数成分再構成部は、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いてハールウェーブレット再構成を行い、前記時空間低相関画像の超解像画像を生成することを特徴とする、請求項１に記載の時空間低相関画像超解像装置。

【請求項3】

請求項１又は２に記載の時空間低相関画像超解像装置を用いて入力画像の超解像画像を生成する画像空間超解像装置であって、
入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離する時空間相関成分分離部と、
前記時空間相関成分分離部により分離された時空間低相関画像を超解像処理して時空間低相関超解像画像を生成する前記時空間低相関画像超解像装置と、
前記時空間相関成分分離部により分離された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成する時空間高相関画像超解部と、
前記時空間低相関超解像画像及び前記時空間高相関超解像画像を加算合成して超解像画像を生成する画像合成部と、
を備えることを特徴とする画像空間超解像装置。

【請求項4】

前記時空間相関成分分離部は、
入力画像を時間方向に多重解像度解析して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成する時間周波数分解部と、
前記時間高周波成分の画像について、空間方向に多重解像度解析して、時空間方向に低周波成分を有する画像である１次時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である１次時空間高周波成分画像を生成する空間周波数分解部と、
前記１次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、及び前記１次時空間低周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成する周波数成分再構成部と、
を備えることを特徴とする、請求項３に記載の画像空間超解像装置。

【請求項5】

前記時空間相関成分分離部は、前記１次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、前記１次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を２次時空間高周波成分画像として生成し、前記１次時空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を２次時空間低周波成分画像として生成する時空間相関成分検出部を更に備え、
前記周波数成分再構成部は、前記２次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、前記１次時空間低周波成分画像、及び前記２次時空間高周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成することを特徴とする、請求項４に記載の画像空間超解像装置。

【請求項6】

コンピュータを、請求項１又は２に記載の時空間低相関画像超解像装置として機能させるための時空間低相関画像超解像プログラム。

【請求項7】

コンピュータを、請求項３から５のいずれか一項に記載の画像空間超解像装置として機能させるための画像空間超解像プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時空間低相関画像の超解像画像を生成する時空間低相関画像超解像装置、該時空間低相関画像超解像装置を備え、入力画像の超解像画像を生成する画像空間超解像装置、及びそれらのプログラムに関するものである。

【背景技術】

【0002】

近年、撮像装置及び表示装置の高精細化が進んでおり、いわゆる４Ｋシステムと呼ばれるデジタルシネマのような高精細映像、又は８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。高精細画像は膨大な情報量を持つため、送信装置側では低解像度の画像を送信し、受信装置側で低解像度の画像から高解像度の画像を生成する超解像と称される画像の高解像化技術が研究されている。

【0003】

例えば、あらかじめ変換対象フレーム上に点（仮対応点）を設定し、各仮対応点に対応する他のフレーム上の画素（対応画素）を求め、その対応画素を基準として仮対応点の位置を対応画素に合うように修正するか、他のフレームの画像上で正確なサブピクセル位置を求め、その位置に対応する画素値を補間生成し、また、対応画素を求める際、利用可能な他のフレームのすべてに適当な範囲を設定し、その各画素を対応画素の候補としたうえで、設定した候補のうち対応する可能性が十分に高い（相対的に信頼性が高い）ものだけを残し、それ以外の（相対的に信頼性が低い）候補を排除することにより、他のフレームすべてのうちで相対的に信頼性が高い候補だけを残すことができ、ノイズが混入する可能性を軽減可能とした解像度変換装置が知られている（例えば、特許文献１参照）。

【0004】

また、基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定し、サンプリング位相差を変換し、変換後のサンプリング位相差を出力し、変換後のサンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数を増加し、画素数が増加された各画像フレームの画像データを所定量位相シフトし、位相シフトの前後の各画像データに、サンプリング位相差の情報を用いて決定した係数を乗じて加算することにより、折返し成分を除去して超解像画像を出力する解像度変換装置が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−３４６９６号公報

【特許文献2】特開２００９−９４５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来の技術では、原画像の全ての成分について画像の相関性を考慮することなく超解像処理していた。しかし、この技法では、例えば先鋭なエッジや孤立点雑音のように時空間相関が低い画素成分においては十分な超解像画質が得られないという課題があった。

【0007】

本発明は、上述の課題を鑑みて為されたものであり、時空間低相関成分を含む画像に対しても高画質の超解像画像を生成することが可能な時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る時空間低相関画像超解像装置は、時空間相関が低い画素成分から成る時空間低相関画像を超解像処理する時空間低相関画像超解像装置であって、時空間低相関画像の多重解像度解析を行い、時空間低相関画像の高周波成分画像を生成する空間周波数分解部と、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整する位相調整部と、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いて超解像処理を行い、前記時空間低相関画像の超解像画像を生成する周波数成分再構成部と、を備えることを特徴とする。

【0009】

さらに、本発明に係る時空間低相関画像超解像装置において、前記前記空間周波数分解部は、時空間低相関画像を空間方向にデシメーション無しでハールウェーブレット分解して前記高周波成分画像を生成し、前記位相調整部は、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて前記位相を調整した時空間低相関画像を生成し、前記周波数成分再構成部は、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いてハールウェーブレット再構成を行い、前記時空間低相関画像の超解像画像を生成することを特徴とする。

【0010】

また、上記課題を解決するため、本発明に係る画像空間超解像装置は、上述の時空間低相関画像超解像装置を用いて入力画像の超解像画像を生成する画像空間超解像装置であって、入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離する時空間相関成分分離部と、前記時空間相関成分分離部により分離された時空間低相関画像を超解像処理して時空間低相関超解像画像を生成する前記時空間低相関画像超解像装置と、前記時空間相関成分分離部により分離された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成する時空間高相関画像超解部と、前記時空間低相関超解像画像及び前記時空間高相関超解像画像を加算合成して超解像画像を生成する画像合成部と、を備えることを特徴とする。

【0011】

さらに、本発明に係る画像空間超解像装置において、前記時空間相関成分分離部は、入力画像を時間方向に多重解像度解析して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成する時間周波数分解部と、前記時間高周波成分の画像について、空間方向に多重解像度解析して、時空間方向に低周波成分を有する画像である１次時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である１次時空間高周波成分画像を生成する空間周波数分解部と、前記１次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、及び前記１次時空間低周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成する周波数成分再構成部と、
を備えることを特徴とする。

【0012】

さらに、本発明に係る画像空間超解像装置において、前記時空間相関成分分離部は、前記１次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、前記１次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を２次時空間高周波成分画像として生成し、前記１次時空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を２次時空間低周波成分画像として生成する時空間相関成分検出部を更に備え、前記周波数成分再構成部は、前記２次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、前記１次時空間低周波成分画像、及び前記２次時空間高周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成することを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係る時空間低相関画像超解像プログラムは、コンピュータを、上述した時空間低相関画像超解像装置として機能させることを特徴とする。

【0014】

また、上記課題を解決するため、本発明に係る画像空間超解像プログラムは、コンピュータを、上述した画像空間超解像装置として機能させることを特徴とする。

【発明の効果】

【0015】

本発明によれば、時空間低相関成分を含む画像に対しても高画質の超解像画像を生成することができるようになる。

【図面の簡単な説明】

【0016】

【図1】本発明に係る時空間低相関画像超解像装置の構成例を示すブロック図である。

【図2】本発明に係る時空間低相関画像超解像装置における位相調整部の動作を説明する図である。

【図3】本発明に係る画像空間超解像装置の構成例を示すブロック図である。

【図4】本発明に係る画像空間超解像装置における時空間相関成分分離部の第１の構成例を示すブロック図である。

【図5】本発明に係る画像空間超解像装置における時空間相関成分分離部の処理例を説明する図である。

【図6】本発明に係る画像空間超解像装置における時空間相関成分分離部の第２の構成例を示すブロック図である。

【図7】本発明に係る画像空間超解像装置における時空間相関成分分離部の孤立点抽出処理を説明する図である。

【図8】本発明に係る画像空間超解像装置における時空間高相関画像超解像部の構成例を示すブロック図である。

【図9】本発明に係る画像空間超解像装置における時空間高相関画像超解像部の動作を説明する図である。

【図10】本発明に係る画像空間超解像装置における画像合成部の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本発明による実施形態を詳細に説明する。

【実施例1】

【0018】

本発明に係る時空間低相関画像超解像装置について、以下に説明する。図１は、本発明に係る時空間低相関画像超解像装置の構成例を示すブロック図である。図１に示すように、時空間低相関画像超解像装置１０は、空間周波数分解部１１と、位相調整部１２と、周波数成分再構成部１３とを備える。時空間低相関画像超解像処理部１０は、時空間低相関画像を超解像処理し、時空間低相関超解像画像を生成する。時空間低相関画像は、自己相関性の高い画像であるため、周辺画素からの影響を受けにくい方法で超解像を行う。

【0019】

空間周波数分解部１１は、入力画像である時空間低相関画像を空間方向に多重解像度解析（例えば、ウェーブレット分解）して、時空間低相関画像の低周波成分画像、及び時空間低相関画像の高周波成分画像を生成する。そして、時空間低相関画像、及び時空間低相関画像の高周波成分画像を位相調整部１２に出力する。

【0020】

位相調整部１２は、空間周波数分解部１１により生成された高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置（例えば、ウェーブレットフィルタを適用するタップ位置）の要素を入れ替えて、位相を調整した時空間低相関画像を生成する。そして、時空間低相関画像、及び位相調整された時空間低相関画像を周波数成分再構成部１３に出力する。

【0021】

周波数成分再構成部１３は、時空間低相関画像、及び位相調整部１２により位相調整された時空間低相関画像を用いて超解像処理（再構成）を行い、時空間低相関超解像画像を生成する。

【0022】

以下に、１階のハールウェーブレット分解、及び１階のハールウェーブレット再構成により時空間低相関画像の超解像画像を生成する例を示す。空間周波数分解部１１は、時空間低相関画像（本実施例において、以下、「入力画像Ｆ」という。）を空間方向にデシメーション無しで１階ハールウェーブレット分解して、低周波成分の画像ＬＬ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを生成する。

【0023】

位相調整部１２は、空間周波数分解部１１により生成された水平方向高周波成分の画像ＬＨについて、画素値が負となる画素位置を検出する。そして、入力画像Ｆについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第１の位相調整画像Ｆ１を生成する。ハールウェーブレットフィルタのタップ数は２であるため、水平方向に隣り合う画素を入れ替えることとなる。

【0024】

また、位相調整部１２は、空間周波数分解部１１により生成された垂直方向高周波成分の画像ＨＬについて、画素値が負となる画素位置を検出する。そして、入力画像Ｆについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第２の位相調整画像Ｆ２を生成する。ハールウェーブレットフィルタのタップ数は２であるため、垂直方向に隣り合う画素を入れ替えることとなる。

【0025】

また、位相調整部１２は、空間周波数分解部１１により生成された斜め方向高周波成分の画像ＨＨについて、画素値が負となる画素位置を検出する。そして、入力画像Ｆについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第３の位相調整画像Ｆ３を生成する。ハールウェーブレットフィルタのタップ数は２であるため、斜め方向に隣り合う画素を入れ替えることとなる。

【0026】

そして、位相調整部１２は、生成した第１の位相調整画像Ｆ１、第２の位相調整画像Ｆ２、及び第３の位相調整画像Ｆ３を、入力画像Ｆとともに、周波数成分再構成部１３に出力する。なお、位相調整部１２は、斜め方向高周波成分については位相調整を行わない（すなわち、第２の位相調整画像Ｆ２を生成しない）ようにしてもよい。

【0027】

図２は、位相調整部１２の動作を説明する図である。図２（ａ）は位相調整部１２に入力される画像である、入力画像Ｆ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを示している。図中のマイナスは、当該画素の値が負であることを意味する。図２（ｂ）は位相調整部１２から出力される画像である、入力画像Ｆ、第１の位相調整画像Ｆ１、第２の位相調整画像Ｆ２、及び第３の位相調整画像Ｆ３を示している。図中の矢印は、画素値を入れ替えることを意味する。

【0028】

ある画像をハールウェーブレット分解により縮小した画像を、ハールウェーブレット再構成すると仮定すると、ハールウェーブレット分解により生成された高周波成分画像の画素値が負になる画素位置については、ハールウェーブレット再構成後の高周波成分の画素位置が隣接する画素と位相が反転することが知られている。そこで、位相調整部１２は、ハールウェーブレット再構成前に、上述したように位相を調整する。つまり、入力画像Ｆについて、水平方向高周波成分の画像ＬＨの画素値が負である画素位置について、水平方向に隣り合う画素値を入れ替えた画像を第１の位相調整画像Ｆ１とする。同様に、入力画像Ｆについて、垂直方向高周波成分の画像ＨＬの画素値が負である画素位置について、垂直方向に隣り合う画素値を入れ替えた画像を第２の位相調整画像Ｆ２とする。また、入力画像Ｆについて、斜め方向高周波成分の画像ＨＨの画素値が負である画素位置について、斜め方向に隣り合う画素値を入れ替えた画像を第３の位相調整画像Ｆ３とする。

【0029】

周波数成分再構成部１３は、入力画像Ｆを低周波成分とし、第１の位相調整画像Ｆ１を水平方向高周波成分とし、第２の位相調整画像Ｆ２を垂直方向高周波成分とし、第３の位相調整画像Ｆ３を斜め方向高周波成分とした画像を１階ハールウェーブレット再構成して、時空間低相関超解像画像を生成する。なお、位相調整部１２が斜め方向高周波成分については位相調整を行わない場合には、周波数成分再構成部１３は、入力画像Ｆを低周波成分及び斜め方向高周波成分とし、第１の位相調整画像Ｆ１を水平方向高周波成分とし、第２の位相調整画像Ｆ２を垂直方向高周波成分とした画像を１階ハールウェーブレット再構成して、時空間低相関超解像画像を生成する。

【0030】

このように、時空間低相関画像超解像装置１０は、空間周波数分解部１１により、時空間低相関画像の多重解像度解析を行って時空間低相関画像の高周波成分画像を生成し、位相調整部１２により、高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整し、周波数成分再構成部１３により、時空間低相関画像、及び位相調整後の時空間低相関画像を用いて超解像処理を行って時空間低相関画像の超解像画像を生成する。時空間低相関画像超解像装置１０は、位相調整部１２により高周波成分画像の位相調整を行うので、時空間低相関画像の超解像画像の画質を向上させることができるようになる。

【0031】

特に、多重解像度解析にハールウェーブレット分解を用いた場合には、高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて位相調整し、位相調整後の時空間低相関画像を用いてのハールウェーブレット再構成を行うことで、最適な超解像画像を生成することができる。

【0032】

なお、上述した時空間低相関画像超解像装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、時空間低相関画像超解像装置１０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵ（中央演算処理装置）によってこのプログラムを読み出して実行させることで実現することができる。

【実施例2】

【0033】

次に、本発明に係る画像空間超解像装置について、以下に説明する。図３は、本発明に係る画像空間超解像装置の構成例を示すブロック図である。図３に示すように、画像空間超解像装置１は、上述した時空間低相関画像超解像装置１０と、時空間相関成分分離部２０と、時空間高相関画像超解像部３０と、画像合成部４０とを備える。

【0034】

画像空間超解像装置１は、入力画像の相関度を考慮して入力画像の超解像画像を生成する。そのために、入力画像を時空間相関が低い画素成分から成る画像（時空間低相関画像）、及び時空間相関が高い画素成分から成る画像（時空間高相関画像）に分離し、それぞれ適した方法で超解像処理を行った後に、合成する。

【0035】

時空間相関成分分離部２０は、入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離し、時空間低相関画像を時空間低相関画像超解像装置１０に出力し、時空間高相関画像を時空間高相関画像超解像部３０に出力する。詳細については後述する。

【0036】

時空間低相関画像超解像装置１０は、時空間相関成分分離部２０により生成された時空間低相関画像を上述したように超解像処理して時空間低相関超解像画像を生成し、画像合成部４０に出力する。

【0037】

時空間高相関画像超解像部３０は、時空間相関成分分離部２０により生成された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成し、画像合成部４０に出力する。詳細については後述する。

【0038】

画像合成部４０は、時空間低相関画像超解像装置１０により生成された時空間低相関超解像画像、及び時空間高相関画像超解像部３０により生成された時空間高相関超解像画像を合成し、時空間相関を考慮した超解像画像を生成する。詳細については後述する。

【0039】

［時空間相関成分分離部］
次に、時空間相関成分分離部２０の詳細について図４を参照して説明する。図４は、時空間相関成分分離部２０の第１の構成例を示すブロック図である。図４に示すように、時空間相関成分分離部２０は、時間周波数分解部２１と、空間周波数分解部２２と、周波数成分再構成部２３とを備える。

【0040】

時間周波数分解部２１は、入力画像を時間方向に多重解像度解析（例えば、ウェーブレット分解）して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成し、時間高周波成分画像を空間周波数分解部２２に出力し、時間低周波成分画像を周波数成分再構成部２３に出力する。

【0041】

空間周波数分解部２２は、時間周波数分解部２１により生成された時間高周波成分画像について、空間方向に多重解像度解析（例えば、ウェーブレット分解）して、時空間方向に低周波成分を有する画像である時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である時空間高周波成分画像を生成し、両者を周波数成分再構成部２３に出力する。

【0042】

図５は、時間周波数分解部２１及び空間周波数分解部２２の処理例を説明する図である。図５（ａ）は、時間周波数分解部２１が、入力画像を時間方向に１階ウェーブレット分解して時間低周波成分の画像、及び時間高周波成分の画像（斜線部分）を生成する様子を示している。

【0043】

図５（ｂ）は、空間周波数分解部２２が、時間周波数分解部２１により生成された時間高周波成分の画像を空間方向にデシメーション有りの２階ウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像（斜線部分）を生成する様子を示している。空間方向にｎ階ウェーブレット分解した場合、３ｎ個の帯域の高周波成分が生成される。

【0044】

周波数成分再構成部２３は、空間周波数分解部２２により生成された時空間高周波成分画像を時空間方向に再構成（例えば、ウェーブレット再構成）し、高周波成分のみからなる画像を時空間低相関画像として生成し、時空間低相関画像超解像装置１０に出力する。
また、周波数成分再構成部２３は、時間周波数分解部２１により生成された時間低周波成分画像、及び空間周波数分解部２２により生成された時空間低周波成分画像を時空間方向に再構成（例えば、ウェーブレット再構成）し、低周波成分のみからなる画像を時空間高相関画像として生成し、時空間高相関画像超解像部３０に出力する。

【0045】

図６は、時空間相関成分分離部２０の第２の構成例を示すブロック図である。図６に示すように、時空間相関成分分離部２０は、時間周波数分解部２１と、空間周波数分解部２２と、時空間相関成分検出部２４と、周波数成分再構成部２３とを備える。

【0046】

時間周波数分解部２１及び空間周波数分解部２２の処理は、第１の構成例と同じである。なお、時空間相関成分検出部２４にて、各周波数帯域について同一サイズの領域内で同様に孤立点判定できるようにするために、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。

【0047】

空間周波数分解部２２により生成される時空間高周波成分の画像は、さらに時空間相関成分検出部２４により高周波成分及び低周波成分に分離される。そのため、空間周波数分解部２２により生成される時空間低周波成分画像及び時空間高周波成分画像を、１次時空間低周波成分画像及び１次時空間高周波成分画像と称し、時空間相関成分検出部２４により生成される時空間低周波成分画像及び時空間高周波成分画像を、２次時空間低周波成分画像及び２次時空間高周波成分画像と称することとする。

【0048】

時空間相関成分検出部２４は、空間周波数分解部２２により生成される１次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、１次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を２次時空間高周波成分画像として生成し、１次時空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を２次時空間低周波成分画像として生成する。具体的には、時空間相関成分検出部２４は、孤立点位置抽出部２４１と、孤立点成分レベル算出部２４２と、時空間相関成分解析部２４３とにより構成される。

【0049】

孤立点位置抽出部２４１は、空間周波数分解部２２により生成された１次時空間高周波成分の各帯域成分の画像について、所定の閾値Ｔｈ_１を超える画素の画素値を１とし、閾値Ｔｈ_１以下の画素の画素値を０とする２値化画像Ｂを生成する。閾値Ｔｈ_１は、例えば各帯域成分の非零の全要素値の中央値又は平均値とする。

【0050】

そして、孤立点位置抽出部２４１は、２値化画像Ｂの画素値が１である画素について、該画素を中心とする所定の判定領域内の画素値の合計値と、所定の閾値Ｔｈ_２とを比較する。２値化画像Ｂの判定領域内の画素値の合計値が閾値Ｔｈ_２を超える場合には、当該画素は孤立点ではないと判定し、２値化画像Ｂの判定領域内の画素値の合計値が閾値Ｔｈ_２以下である場合には、当該画素を孤立点と判定する。そして、孤立点であると判定した画素の位置情報（孤立点画素位置情報）を孤立点成分レベル算出部２４２に出力する。

【0051】

図７は、孤立点位置抽出部２４１の孤立点判定の動作例を説明する図であり、２値化画像Ｂの一例を示している。図７に示す例では、判定領域は３×３画素である。閾値Ｔｈ_２を１とすると、２値化画像Ｂの画素値が１となる画素の周囲の８画素の画素値が０であるときのみ、２値化画像Ｂの画素値が１である画素を孤立点とみなす。よって、閾値Ｔｈ_２＝１の場合、図中の画素Ｐ１は孤立点であると判定され、画素Ｐ２とＰ３は孤立点と判定されない。

【0052】

孤立点成分レベル算出部２４２は、空間周波数分解部２２により生成された１次時空間高周波成分の各帯域成分の画像について、孤立点位置抽出部２４１から入力される孤立点画素位置情報に基づいて、孤立点と判定された画素位置の画素値を取得し、取得した画素値に基づく値(例えば、非零要素の平均値又は中央値)を、各帯域成分の孤立点成分レベルとして算出し、時空間相関成分解析部２４３に出力する。

【0053】

時空間相関成分解析部２４３は、空間周波数分解部２２により生成された１次時空間高周波成分画像のうち、孤立点成分レベル算出部２４２により算出された孤立点成分レベル以下の画素からなる画像を２次時空間高周波成分画像として生成し、１次時空間高周波成分画像のうち、孤立点成分レベル算出部２４２により算出された孤立点成分レベルを超える画素からなる画像を２次時空間高周波成分画像として生成する

【0054】

周波数成分再構成部２３は、時空間相関成分解析部２４３により生成された２次時空間高周波成分画像を時空間方向に再構成（例えば、ウェーブレット再構成）し、高周波成分のみからなる画像を時空間低相関画像として生成し、時空間低相関画像超解像装置１０に出力する。また、周波数成分再構成部２３は、時間周波数分解部２１により生成された時間低周波成分画像、空間周波数分解部２２により生成された１次時空間低周波成分画像、及び時空間相関成分解析部２４３により生成された２次時空間低周波成分画像を時空間方向に再構成（例えば、ウェーブレット再構成）し、低周波成分のみからなる画像を時空間高相関画像として生成し、時空間高相関画像超解像部３０に出力する。

【0055】

［時空間高相関画像超解像部］
次に、時空間高相関画像超解像部３０の詳細について図８及び図９を参照して説明する。図８は、時空間高相関画像超解像部３０の構成例を示すブロック図である。図８に示すように、時空間高相関画像超解像部３０は、空間周波数分解部３１と、空間高周波成分拡大部３２と、空間高周波成分平滑化部３３と、周波数成分再構成部３４とを備える。図９は、時空間高相関画像超解像部３０の動作を説明する図である。

【0056】

空間周波数分解部３１は、入力画像である時空間高相関画像を空間方向に１階ウェーブレット分解し、空間低周波成分の画像ＬＬ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを生成する（ステップＳ１０１）。そして、高周波成分の画像、すなわち水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを空間高周波成分拡大部３２に出力する。

【0057】

空間高周波成分拡大部３２は、空間周波数分解部３１により生成された水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨをそれぞれ拡大処理（アップサンプリング）する（ステップＳ１０２，１０３，１０４）。そして、水平方向高周波成分の画像ＬＨの拡大画像（水平方向高周波成分拡大画像Ｅｘ．ＬＨ）、垂直方向高周波成分の画像ＨＬの拡大画像（垂直方向高周波成分拡大画像Ｅｘ．ＨＬ）、及び斜め方向高周波成分の画像ＨＨの拡大画像（斜め方向高周波成分拡大画像Ｅｘ．ＨＨ）を空間高周波成分平滑化部３３に出力する。

【0058】

具体的には、空間高周波成分拡大部３２は、図８に示すように、垂直方向高周波成分の画像ＨＬを拡大する場合には、垂直方向高周波成分の画像ＨＬを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ｅｘ．ＨＬを生成する。同様に、水平方向高周波成分の画像ＬＨを拡大する場合には、水平方向高周波成分の画像ＬＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ｅｘ．ＬＨを生成する。斜め方向高周波成分の画像ＨＨを拡大する場合には、斜め方向高周波成分の画像ＨＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ｅｘ．ＨＨを生成する。

【0059】

空間高周波成分平滑化部３３は、空間高周波成分拡大部３２により生成された、水平方向高周波成分拡大画像Ｅｘ．ＬＨ、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨをそれぞれ平滑化フィルタにより平滑化する（ステップＳ１０５，１０６，１０７）。そして、平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を周波数成分再構成部３４に出力する。平滑化フィルタとしては、例えば、ガウシアンフィルタやバイラテラルフィルタを用いる。

【0060】

周波数成分再構成部３４は、高周波成分平滑化部３３により平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’と、入力画像である時空間高相関画像とを用いて再構成処理を行い、超解像画像を生成する（ステップＳ１０８）。

【0061】

具体的には、周波数成分再構成部３４は、図９に示すように、入力画像である時空間高相関画像を空間低周波成分とし、水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に１階ウェーブレット再構成を行い、超解像画像を生成する。

【0062】

［画像合成部］
次に、画像合成部４０の詳細について説明する。時空間相関成分分離部２０が図４に示したように孤立点成分レベルの検出を行わない場合には、画像合成部４０は、時空間低相関画像超解像装置１０により生成された時空間低相関超解像画像と、時空間高相関画像超解像部３０により生成された時空間高相関超解像画像を加算合成して、最終的な超解像画像を生成する。

【0063】

一方、時空間相関成分分離部２０が図６に示したように孤立点成分レベルの検出を行う場合には、孤立点成分レベルを用いて時空間低相関超解像画像の正規化を行う。この場合の画像合成部４０の構成例を図１０に示す。図１０に示すように、画像合成部４０は、レベル調整部４１と、合成部４２とを備える。

【0064】

レベル調整部４１は、時空間低相関画像超解像装置１０により生成された時空間低相関超解像画像のＲＭＳ（Root Mean Square）値が、孤立点成分レベル算出部２４２により検出された孤立点成分レベル値と等しくなるように正規化し、正規化後の時空間低相関超解像画像を合成部４２に出力する。

【0065】

合成部４２は、レベル調整部４１により生成された正規化後の時空間低相関超解像画像と、時空間高相関画像超解像部３０により生成された時空間高相関超解像画像とを加算合成して、最終的な超解像画像を生成する。

【0066】

このように、画像空間超解像装置１は、時空間相関成分分離部２０により入力画像を時空間低相関画像及び時空間高相関画像に分離し、時空間低相関画像超解像装置１０により時空間低相関画像を超解像処理して時空間低相関超解像画像を生成し、時空間高相関画像超解部３０により時空間高相関画像を超解像処理して時空間高相関超解像画像を生成し、画像合成部４０により時空間低相関超解像画像及び時空間高相関超解像画像を加算合成して超解像画像を生成する。これにより、時空間相関が低い画素成分から時空間相関が高い画素成分までを高画質に超解像でき、超解像画像の画質を向上させることができるようになる。

【0067】

また、時空間相関成分分離部２０は、第１の構成例では、時間周波数分解部２１及び空間周波数分解部２２により抽出される１次時空間高周波成分画像を周波数成分再構成部２３により再構成した画像を時空間低相関画像とし、１次時空間高周波成分画像以外の成分からなる画像を周波数成分再構成部２３により再構成した画像を時空間高相関画像とする。これにより、簡易な方法で入力画像を時空間低相関画像及び時空間高相関画像に分離することができる。

【0068】

また、時空間相関成分分離部２０は、第２の構成例では、時間周波数分解部２１及び空間周波数分解部２２により生成される１次時空間高周波成分画像を、さらに時空間相関成分検出部２４により孤立点成分レベルと比較して、孤立点成分レベル以下の画素からなる画像を２次時空間高周波成分画像とし、２次時空間高周波成分画像を周波数成分再構成部２３により再構成した画像を時空間低相関画像とし、２次時空間高周波成分画像以外の成分からなる画像を周波数成分再構成部２３により再構成した画像を時空間高相関画像とする。これにより、より自己相関性の高い画像を時空間低相関画像とすることができる。また、画像合成部４０において、孤立点成分レベルを用いて時空間低相関超解像画像レベル調整を行うことができるため、より高画質の超解像画像を生成することができる。

【0069】

なお、上述した画像空間超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

【0070】

上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

【産業上の利用可能性】

【0071】

本発明は、超解像画像を生成する任意の用途、例えば、デジタルシネマのような高精細映像や、スーパーハイビジョンのような超高精細映像の生成に有用である。

【符号の説明】

【0072】

１ 画像空間超解像装置
１０ 時空間低相関画像超解像装置
１１ 空間周波数分解部
１２ 位相調整部
１３ 周波数成分再構成部
２０ 時空間相関成分分離部
２１ 時間周波数分解部
２２ 空間周波数分解部
２３ 周波数成分再構成部
２４ 時空間相関成分検出部
３０ 時空間高相関画像超解像部
３１ 空間周波数分解部
３２ 空間高周波成分拡大部
３３ 空間高周波成分平滑化部
３４ 周波数成分再構成部
４０ 画像合成部
４１ レベル調整部
４２ 合成部
２４１ 孤立点位置抽出部
２４２ 孤立点成分レベル算出部
２４３ 時空間相関成分解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】