特許 6677565 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6677565

(24)【登録日】2020年3月17日

(45)【発行日】2020年4月8日

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20200330BHJP

   H04N 1/409 20060101ALI20200330BHJP

【ＦＩ】

   G06T5/00 710

   H04N1/409

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2016-79637(P2016-79637)

(22)【出願日】2016年4月12日

(65)【公開番号】特開2017-191407(P2017-191407A)

(43)【公開日】2017年10月19日

【審査請求日】2019年2月25日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】神田 菊文

(72)【発明者】

【氏名】境田 慎一

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１３−２２３２１０（ＪＰ，Ａ）

【文献】 特表２０１４−５２６１１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ノルム正則化により劣化画像の画像復元を行う画像処理装置であって、
劣化画像の復元画像の候補となる復元候補画像を複数生成する復元候補画像生成部と、
前記複数の復元候補画像を、正則化項を用いて評価する評価部と、
前記評価部の評価結果に基づいて、前記複数の復元候補画像から復元画像を選択する判定部と、を備え、
前記正則化項は、前記復元候補画像の画素配列の２主軸とは異なる２軸上において測る非等方性のノルムにより定義されることを特徴とする画像処理装置。

【請求項2】

前記非等方性のノルムは、Ｌ１近似の全変動ノルムであることを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記２主軸とは異なる２軸は、前記２主軸とのなす角がそれぞれ４５度であることを特徴とする、請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記評価部は、
前記復元候補画像に劣化を加えて劣化模擬画像を生成する劣化過程模擬部と、
前記劣化模擬画像と前記劣化画像との誤差を評価する誤差評価部と、
前記正則化項を算出する変動評価部と、
前記誤差と前記正則化項を結合することで評価結果を求める結合部と、
を備えることを特徴とする、請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

コンピュータを、請求項１から４のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、劣化画像の画像復元を行う画像処理装置及びプログラムに関する。

【背景技術】

【0002】

従来、画像の解像度やぼやけを改善するために、画像の縮小過程や劣化過程の逆問題を解く手法がある。劣化過程には、光学系や撮像素子、撮影条件、画像処理、非可逆符号化によるぼやけやぶれ、解像度低下、標本点数減少、歪み、及びこれらの組み合わせなどが挙げられる。

【0003】

画像の縮小過程や劣化過程は、しばしば非可逆であるため、画像の連続性や滑らかさ、簡素さなどに関する拘束条件を導入することで可逆化（正則化）して解くことが行われる。正則化のための拘束条件に単なるユークリッドノルムを用いた場合には、信号波形に沿った道のりを最小化するように拘束が働き、結果として信号波形が鈍ってしまう。

【0004】

そこで、正則化のための拘束条件として全変動ノルム（ＴＶノルム；Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｎｏｒｍ）を用いる手法が知られている（例えば、特許文献１参照）。２次元の全変動ノルムは信号波形の勾配のユークリッドノルムの面積分値として定義され、信号波形の上下動の大きさの総量を求めることに対応する。全変動ノルムは信号波形の上下動の総量のみに依存し信号波形の道のりの滑らかさには依存しないため、過剰な平滑化が生じない。このため、拘束条件に全変動ノルムを用いるとぼやけの少ない画像復元が可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５２４２５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

全変動ノルムの演算にあたっては、勾配のユークリッドノルムを演算する必要がある。２次元ユークリッドノルムの算出にあたっては二乗和の平方根を求める演算が必要となり、演算コストがかさむという問題があった。ユークリッドノルムをＬ１ノルムで近似すれば、二乗和の平方根の演算を単に絶対値和として簡略化でき、演算コストを削減することができる。しかし、Ｌ１ノルムは等方的ではないため、Ｌ１近似の全変動ノルムによる拘束条件では水平及び垂直方向に強く拘束がかかる。したがって、該拘束条件を画像復元に適用すると、階段状（方形パターン状）のアーチファクトの目立った復元画像となってしまう。

【0007】

かかる事情に鑑みてなされた本発明の目的は、劣化画像を画像復元する際に、演算コストを削減しつつ、階段状の劣化（ジャギー）を抑えることが可能な画像処理装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る画像処理装置は、ノルム正則化により劣化画像の画像復元を行う画像処理装置であって、劣化画像の復元画像の候補となる復元候補画像を複数生成する復元候補画像生成部と、前記複数の復元候補画像を、正則化項を用いて評価する評価部と、前記評価部の評価結果に基づいて、前記複数の復元候補画像から復元画像を選択する判定部と、を備え、前記正則化項は、前記復元候補画像の画素配列の２主軸とは異なる２軸上において測る非等方性のノルムにより定義されることを特徴とする。

【0009】

さらに、本発明に係る画像処理装置において、前記非等方性のノルムは、Ｌ１近似の全変動ノルムであることを特徴とする。

【0010】

さらに、本発明に係る画像処理装置において、前記２主軸とは異なる２軸は、前記２主軸とのなす角がそれぞれ４５度であることを特徴とする。

【0011】

さらに、本発明に係る画像処理装置において、前記評価部は、前記復元候補画像に劣化を加えて劣化模擬画像を生成する劣化過程模擬部と、前記劣化模擬画像と前記劣化画像との誤差を評価する誤差評価部と、前記正則化項を算出する変動評価部と、前記誤差と前記正則化項を結合することで評価結果を求める結合部と、を備えることを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理装置として機能させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、画素が２次元の正方又は長方の格子状に配列した劣化画像の画像復元において、演算コストを削減しつつ、画素配列の２主軸と平行でない画像エッジにおいて顕著となる階段状の劣化を選択的に抑え、画質を向上させることが可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。

【図2】本発明の一実施形態に係る画像処理装置における評価部の構成例を示すブロック図である。

【図3】劣化画像と復元画像の例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0016】

図１に、本発明の一実施形態に係る画像処理装置の構成例を示す。画像処理装置１は、繰り返し演算により、入力された劣化画像から復元画像を得る装置であり、劣化過程が既知であるときに、当該劣化過程の逆過程を解くことで画像復元を図る。特に、逆過程が不良設定の場合（解が一意に定まらない場合）において、拘束条件を付加することで解を定める。劣化過程が適用される前の画像（求めたい復元画像の理想値）をＨ、観測される劣化画像をＬとおく。また、２次元の画像座標（ｘ，ｙ）における画像Ｈの画素値をＨ（ｘ，ｙ）と表記し、他の画像についても同様の表記とする。劣化画像Ｌは、劣化過程を汎関数Ｄとすると式（１）で表される。

【0017】

【数1】

【0018】

例えば、劣化過程Ｄが間引きフィルタと再標本化による場合、式（２）のように定式化できる。ここで、ｆは間引きフィルタのインパルス応答、Ｋは間引きフィルタの覆う領域、ｓ_x及びｓ_yは水平及び垂直方向の再標本化の間隔（画像Ｈの標本点間隔に対する倍率）、ｔ_x及びｔ_yは再標本点の原点の座標（画像Ｈの原点に対する座標）である。

【0019】

【数2】

【0020】

なお、式（２）は離散化し、積分演算を総和演算に置き換えてもよい。例えば、劣化過程Ｄとして、Ｌａｎｃｚｏｓ−３型の間引きフィルタの後、元の画像の２倍の再標本化間隔で再標本化する過程を想定する場合には、式（３）のように定式化可能である。

【0021】

【数3】

【0022】

図１に示す画像処理装置１は、初期画像設定部１０と、メモリ（記憶部）１１と、スイッチ１２と、摂動発生部１３と、加算部１４と、評価部１５と、メモリ（記憶部）１６と、判定部１７と、スイッチ１８と、スイッチ１９と、スイッチ２０とを備え、繰り返し演算により、入力された劣化画像から復元画像を得る。なお、図１ではメモリ１１とメモリ１６とを区別して記載しているが、実態は同一のメモリとし、それぞれの記憶領域をアドレスによって分割してもよい。

【0023】

初期画像設定部１０、摂動発生部１３、及び加算部１４により復元候補画像生成部２１を構成する。復元候補画像生成部２１は、入力された劣化画像Ｌの復元画像の候補となる復元候補画像を複数生成し、評価部１５に出力する。

【0024】

初期画像設定部１０は、繰り返し演算による復元画像の求解を行う際の初期値たる初期画像Ｈ₀を、入力された劣化画像Ｌに基づいて式（４）のように設定し、スイッチ１２に出力する。

【0025】

【数4】

【0026】

式（４）において、Ｄ^*は任意の汎関数である。極端な場合、定数ｃに対し、式（５）のようにＤ^*を定義してもよい。これは、初期画像設定部１０が、初期画像Ｈ₀として全画素値がｃの一様な画像を設定することを意味する。

【0027】

【数5】

【0028】

好ましくは、初期画像設定部１０は、汎関数Ｄ^*として劣化過程Ｄの逆過程を近似する汎関数を用いて初期画像Ｈ₀を生成する。例えば、劣化過程Ｄが画像の解像度を削減する場合には、汎関数Ｄ^*は双３次補間などの内挿補間によって解像度を増加させる。例えば、劣化過程Ｄが解像度を水平及び垂直に１／２に削減するものである場合には、汎関数Ｄ^*は入力画像の解像度を水平及び垂直に２倍に内挿補間によって増大する。劣化過程Ｄが式（２）で表される場合、初期画像設定部１０は、例えば式（６）により初期画像Ｈ₀を生成する。

【0029】

【数6】

【0030】

このとき関数ｇは、領域Ｊで定義される適当な補間関数であり、例えば式（７）のようなＬａｎｃｚｏｓ−３型のフィルタを用いることができる。

【0031】

【数7】

【0032】

メモリ１１は、繰り返し演算処理における現時点（第ｎ回のステップ）の１ステップ前（第ｎ−１回のステップ）に得られた復元画像Ｈ_n-1を保持する。

【0033】

スイッチ１２は、２入力１出力のスイッチであり、常時閉（Ｎｏｒｍａｌｌｙ Ｃｌｏｓｅｄ）側の入力接点はスイッチ１８の出力接点に接続される。スイッチ１２の常時開（Ｎｏｒｍａｌｌｙ Ｏｐｅｎ）側の入力接点は、初期画像設定部１０の出力に接続される。スイッチ１２は、開始信号が入力されたときに動作し、常時開側の接点を閉じて常時閉側の接点を開き、初期画像設定部１０の出力する初期画像Ｈ₀をメモリ１１に書き込む。

【0034】

摂動発生部１３は、繰り返し演算における第ｎ−１回の復元画像から第ｎ回の復元画像を得るべく、試行のための画素値変化パターンＴを生成し、加算部１４に出力する。摂動発生部１３は、例えば、ある画素位置（例えば繰り返しの回数に応じて画像内を走査するよう動作する画素位置）の画素値を所定レベルだけ増加又は減少させる。画像座標（ｐ，ｑ）における画素値をレベルｒだけ増加させる（ｒが負数のときは減少となる）場合には、画素値変化パターンＴは、式（８）となる。

【0035】

【数8】

【0036】

レベルｒは正負の値を織り交ぜて与えることが好ましい。織り交ぜ方としては、画素値変化パターンＴ内に正負（例えば、＋１と−１）を混在させたり、繰り返しの回数ｎに応じて画素値変化パターンＴの各画素の符号を反転したりする方法がある。

【0037】

加算部１４は、式（９）に示すように、第ｎ−１回の復元画像Ｈ_n-1に画素値変化パターンＴを加え、第ｎ回のステップにおける復元候補画像Ｇ_nを生成し、評価部１５及びスイッチ１８に出力する。なお、本明細書において添え字ｎは、繰り返し演算における第ｎ回のステップを意味するものとする。

【0038】

【数9】

【0039】

評価部１５は、劣化画像Ｌを参照しつつ、復元候補画像Ｇ_nの尤もらしさを評価して評価値ｗ_nを生成し、判定部１７及びスイッチ１９に出力する。本実施形態では、評価値ｗ_nは値が小さいほど評価が高いとする。詳細については後述する。

【0040】

メモリ１６は、第ｎ−１回のステップまでに計算された評価値ｕ_n-1が記憶される。なお、メモリ１６は開始信号が入力されたときにはその記憶内容を初期化する。例えば、メモリ１６は開始信号が入力されたときにはその記憶内容をｕ₀＝∞とするか、評価値が記憶されていないことが分かるような記憶内容とする。

【0041】

判定部１７は、メモリ１６に記憶された第ｎ−１回のステップまでに計算された評価値ｕ_n-1と、第ｎ回のステップで評価部１５により計算された復元候補画像Ｇ_nの評価値ｗ_nとに基づいて、復元候補画像Ｇ_nを復元画像Ｈ_nとして受け入れるか否かを判定し、判定結果ｑ_nをスイッチ１８及びスイッチ１９に出力する。判定結果ｑ_nの値は、例えば、受け入れる場合にはｑ_n＝１、受け入れない場合にはｑ_n＝０とする。判定部１７の判定方法は、例えば、評価値ｕ_n-1と評価値ｗ_nの大小を比較し、式（１０）のように判定する。

【0042】

【数10】

【0043】

スイッチ１８は、２入力１出力のスイッチであり、常時閉側の入力にはメモリ１１の出力が接続され、第ｎ−１回のステップにおける復元画像Ｈ_n-1が入力される。また、常時開側の入力には加算部１４の出力が接続され、第ｎ回のステップにおける復元候補画像Ｇ_nが入力される。スイッチ１８は、判定部１７の判定結果ｑ_n＝１のときに接点が動作し、常時開側が閉じ、常時閉側が開く。このように動作することで、第ｎ回のステップにおいてメモリ１１には、復元画像Ｈ_nが式（１１）のように設定される。

【0044】

【数11】

【0045】

すなわち、メモリ１１は、判定結果ｑ_n＝１のときにその記憶内容を復元候補画像Ｇ_nで書き換え、判定結果ｑ_n＝０のときには前の記憶内容を維持する。なお、スイッチ１２及びスイッチ１８は、３入力１出力のスイッチ１個として実装してもよい。あるいは、スイッチ１８を設けず、メモリ１１に書き込みのトリガ入力を設け、またメモリ１１のデータ入力には加算部１４の出力を常時入力しておき、判定結果ｑ_n＝１のときにメモリ１１にトリガ入力を与えて、メモリ１１の記憶内容を更新するよう構成してもよい。

【0046】

スイッチ１９は、２入力１出力のスイッチであり、常時閉側の入力には、メモリ１６の出力が接続され、第ｎ−１回のステップにおける評価値ｕ_n-1が入力される。また、常時開側の入力には評価部１５の出力が接続され、第ｎ回のステップにおける評価値ｗ_nが入力される。スイッチ１９は、判定部１７の判定結果ｑ_n＝１のときに接点が動作し、常時開側が閉じ、常時閉側が開く。このように動作することで、第ｎ回のステップにおいてメモリ１６には、評価値ｕ_nが式（１２）のように設定される。

【0047】

【数12】

【0048】

すなわち、メモリ１６は、判定結果ｑ_n＝１のときにその記憶内容を評価値ｗ_nの値で書き換え、判定結果ｑ_n＝０のときには前の記憶内容を維持する。なお、スイッチ１９を設けず、メモリ１６に書き込みのトリガ入力を設け、またメモリ１６のデータ入力には評価部１５の出力を常時入力しておき、判定結果ｑ_n＝１のときにメモリ１６にトリガ入力を与えて、メモリ１６の記憶内容を更新するよう構成してもよい。

【0049】

以上の動作により、繰り返しの回数ｎが増加するにつれ、メモリ１１に記憶される復元画像Ｈ_nが劣化を補正される方向で更新される。

【0050】

スイッチ２０は、終了信号が与えられたときに閉じ、当該時点における復元画像Ｈ_Nを外部に出力する。終了信号は、繰り返しの回数ｎが所定の回数（例えば、Ｎ回）に達したときに発生してもよい。また、評価値ｕ_nが所定の閾値以下となった場合や、評価値ｕ_nの変化（例えば、ｕ_n−ｕ_n-1）の大きさが閾値以下となった場合など、評価値ｕ_nが所定の条件を満たした際に発生してもよい。さらに、終了信号は、繰り返しの回数ｎと、評価値ｕ_nの両方に対する所定の条件式に基づいて発生するものであってもよい。

【0051】

つぎに、評価部１５について詳細に説明する。図２に、評価部１５の構成例を示す。図２に示す評価部１５は、劣化過程模擬部１５１と、誤差評価部１５２と、変動評価部１５３と、結合部１５４とを備える。

【0052】

劣化過程模擬部１５１は、復元候補画像Ｇ_nに劣化を加えて劣化模擬画像Ｅ_nを生成し、誤差評価部１５２に出力する。劣化模擬画像Ｅ_nは、劣化過程Ｄを適用して式（１３）で表される。

【0053】

【数13】

【0054】

劣化過程Ｄが解像度を水平及び垂直に１／２に削減するものである場合には、劣化過程模擬部１５１は、例えば式（１４）により劣化模擬画像Ｅ_nを生成する。

【0055】

【数14】

【0056】

誤差評価部１５２は、第ｎ回のステップにおける劣化模擬画像Ｅ_nと劣化画像Ｌとの誤差ｅ_nを評価し、結合部１５４に出力する。誤差ｅ_nは、例えば、画素値の差分の絶対値和や、式（１５）で表される画素値の差分の二乗和とする。

【0057】

【数15】

【0058】

変動評価部１５３は、画素配列の２主軸（水平軸及び垂直軸）とは異なる２軸（以下、２副軸と称する。）上において測る非等方性のノルムを用いた正則化項を算出し、結合部１５４に出力する。非等方性のノルムをＬ１近似の全変動ノルムとし、２副軸を２主軸とそれぞれ４５度をなす２軸（画像の水平軸を基準の０度として方位４５度及び１３５度の２軸）とした場合、正則化項ｖ_nは式（１６）で表される。ここで、Ｒ_xは復元候補画像Ｇ_nの水平方向の画素数であり、Ｒ_yは復元候補画像Ｇ_nの垂直方向の画素数である。

【0059】

【数16】

【0060】

結合部１５４は、誤差評価部１５２から入力された誤差ｅ_nと、変動評価部１５３から入力された正則化項ｖ_nとを結合し、評価値ｗ_nとして出力する。結合部２４は、例えば式（１７）に示すように誤差ｅ_nと正則化項ｖ_nの線形結合により評価値ｗ_nを得る。なお、λは正の実定数である。この場合、評価値ｗ_nは値が小さいほど評価が高いことを意味する。

【0061】

【数17】

【0062】

以上、画像処理装置１について説明したが、画像処理装置１として機能させるためにコンピュータを好適に用いることができる。そのようなコンピュータは、画像処理装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0063】

上述したように、本発明では２副軸において測る非等方性のノルムにより定義される正則化項ｖ_nを用いて復元候補画像Ｇ_nを評価する。そのため、画素が２次元の正方又は長方の格子状に配列した劣化画像の画像復元において、画素配列の２主軸と平行でない画像エッジにおいて顕著となる階段状の劣化を選択的に抑え、画質を向上させることが可能となる。

【0064】

図３に劣化画像と復元画像の例を示す。復元画像については本発明を含む複数の手法による結果を示す。図３（ａ）は劣化画像の例である。ここでの復元とは、図３（ａ）の１６×１６画素の劣化画像から、解像度を２×２倍にした３２×３２画素の画像を得ることとする。

【0065】

例えば、双３次補間内挿によってアップサンプリングした場合には、図３（ｂ）に示すようにぼやけの強いものとなる。また、最近傍補間によってアップサンプリングした場合には、図３（ｃ）に示すように矩形の画素構造の顕わなものとなる。なお、本発明における初期画像設定部１０は、例えば、図３（ｂ）や図３（ｃ）のような画像を初期画像Ｈ₀として設定してもよい。図３（ｄ）乃至図３（ｆ）の復元の初期画像Ｈ₀には図３（ｃ）の最近傍補間の結果を用いた。

【0066】

図３（ｄ）は、Ｌ１近似ではなく厳密な定義による全変動ノルムを用いた復元画像であり、エッジの精細感が改善している。図３（ｅ）は、Ｌ１近似の全変動ノルムを用いた復元画像である。Ｌ１ノルムの評価にあたっては、画像の水平軸及び垂直軸と平行な２軸で演算している。図３（ｅ）の復元結果は、図３（ｃ）の最近傍補間のアップサンプリング結果と同様、矩形の画素構造の顕わなものである。そして図３（ｆ）は、本発明による復元結果である。このように、図３（ｆ）に示す復元画像は、図３（ｄ）に示す厳密な全変動ノルムによる復元結果にも似た精細な復元結果が得られていることが分かる。

【0067】

また、等方性の全変動ノルムではＬ２ノルムの演算において画素位置毎に乗算（２乗）の演算が必要であったところ、本発明で用いる２副軸において測る非等方性のノルムでは絶対値演算に置換され、演算量の削減が可能となる。

【0068】

また、２副軸を２主軸とのなす角がそれぞれ４５度の２軸とすることにより、非等方性のノルムが、斜め方向に隣接する２画素間の差の絶対値を２対計算してその総和を求めることで求められるため、演算量が少なくかつハードウェアやソフトウェアでの実装が容易となる。

【0069】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0070】

１ 画像処理装置
１０ 初期画像設定部
１１ メモリ
１２ スイッチ
１３ 摂動発生部
１４ 加算部
１５ 評価部
１６ メモリ
１７ 判定部
１８ スイッチ
１９ スイッチ
２０ スイッチ
２１ 復元候補画像生成部
１５１ 劣化過程模擬部
１５２ 誤差評価部
１５３ 変動評価部
１５４ 結合部

【図1】

【図2】

【図3】