特許 6654798 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6654798

(24)【登録日】2020年2月4日

(45)【発行日】2020年2月26日

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20200217BHJP

   G06T 7/00 20170101ALI20200217BHJP

【ＦＩ】

   H04N7/01 400

   G06T7/00 300F

【請求項の数】11

【全頁数】29

(21)【出願番号】特願2014-228300(P2014-228300)

(22)【出願日】2014年11月10日

(65)【公開番号】特開2016-92732(P2016-92732A)

(43)【公開日】2016年5月23日

【審査請求日】2017年11月1日

(73)【特許権者】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】仲埜 隆

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００１−３１９２３９（ＪＰ，Ａ）

【文献】 特開平０８−３２９２５５（ＪＰ，Ａ）

【文献】 特開２０１４−１０２７１１（ＪＰ，Ａ）

【文献】 特開２０１０−２４３２０９（ＪＰ，Ａ）

【文献】 特開２０１１−１６４９９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力される入力画像信号に基づいて、前記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理部と、
前記入力画像信号に基づいて、決定された前記計算範囲内でブロックマッチング処理による計算を行うことにより、エッジの方向を検出するエッジ方向検出部と、
を備え、
前記計算範囲は、注目画素に対するブロックマッチング処理における探索範囲であり、
前記前処理部は、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、前記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、前記計算範囲を決定することを特徴とする、画像処理装置。

【請求項2】

前記前処理部は、
前記入力画像信号に基づいて前記第１の判定を行うエッジ方向判定部と、
前記入力画像信号に基づいて前記第２の判定を行う象限判定部と、
前記第１の判定の結果と前記第１の判定の結果に対応する前記第２の判定の結果との組み合わせによって、前記計算範囲を決定する計算範囲決定部と、
を備えることを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記エッジ方向判定部は、注目画素ごとに、前記注目画素の位置における画像の垂直方向よりも水平方向により近いエッジを検出する第１のフィルタの結果と、前記注目画素の位置における画像の水平方向よりも垂直方向により近いエッジを検出する第２のフィルタの結果との関係に基づいて、前記第１の判定を行うことを特徴とする、請求項２に記載の画像処理装置。

【請求項4】

前記注目画素の位置における前記第１のフィルタの結果は、前記注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値と、前記注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値とのうちの、大きい方の値である、請求項３に記載の画像処理装置。

【請求項5】

前記注目画素の位置における前記第１のフィルタの結果は、前記注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値、前記注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値、前記注目画素の上側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値、および前記注目画素の下側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値のうちの、最も大きい値である、請求項３に記載の画像処理装置。

【請求項6】

前記注目画素の位置における前記第２のフィルタの結果は、前記注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値と、前記注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値とのうちの、大きい方の値である、請求項３〜５のいずれか１項に記載の画像処理装置。

【請求項7】

前記注目画素の位置における前記第２のフィルタの結果は、前記注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値、前記注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値、前記注目画素の左側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値、および前記注目画素の右側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値のうちの、最も大きい値である、請求項３〜５のいずれか１項に記載の画像処理装置。

【請求項8】

前記エッジ方向判定部は、 前記注目画素の位置における前記第１のフィルタの結果の値が、小さなエッジを除外するための閾値よりも小さい、または、前記閾値以下であり、
かつ、
前記注目画素の位置における前記第２のフィルタの結果の値が、前記閾値よりも小さい、または、前記閾値以下である場合には、エッジであると判定しないことを特徴とする、請求項３〜７のいずれか１項に記載の画像処理装置。

【請求項9】

前記象限判定部は、微分オペレータを用いて前記第２の判定を行うことを特徴とする、請求項３〜８のいずれか１項に記載の画像処理装置。

【請求項10】

入力される入力画像信号に基づいて、前記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理ステップと、
前記入力画像信号に基づいて、決定された前記計算範囲内でブロックマッチング処理による計算を行うことにより、エッジの方向を検出するエッジ方向検出ステップと、
を有し、
前記計算範囲は、注目画素に対するブロックマッチング処理における探索範囲であり、
前記前処理ステップでは、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、前記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、前記計算範囲が決定されることを特徴とする、画像処理方法。

【請求項11】

コンピュータを、
入力される入力画像信号に基づいて、前記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理手段、
前記入力画像信号に基づいて、決定された前記計算範囲内でブロックマッチング処理による計算を行うことにより、エッジの方向を検出するエッジ方向検出手段、
として機能させ、
前記計算範囲は、注目画素に対するブロックマッチング処理における探索範囲であり、
前記前処理手段は、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、前記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、前記計算範囲を決定することを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

例えば、インターレース（interlace）画像のプログレッシブ（progressive）化（ＩＰ変換（Interlace to Progressive conversion））において、斜め線のジャギー（jaggy）を低減するために方向適応補間（エッジ（edge）の方向に適応した補間）が用いられている。また、近年、テレビ（television）受像機などの表示装置の高精細化に伴い、画像を拡大する拡大処理の重要性が増しており、当該拡大処理において斜め線のジャギーを低減することが求められている。

【0003】

このような中、画像信号に基づいて画像に含まれるエッジの方向を検出する技術が開発されている。画像信号に基づいて画像に含まれるエッジの方向を検出する技術としては、例えば、下記の特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術が挙げられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−０９４９５１号公報

【特許文献2】特開２０１３−２１９４９０号公報

【特許文献3】特開２０１４−０８５８９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＩＰ変換は画像の垂直方向のみの拡大処理と言え、ＩＰ変換が行われる場合には、画像の水平方向に近い斜め線の方向だけを検出すればよかった。これに対して、拡大処理が行われる場合には、画像の垂直方向および水平方向も拡大する場合垂直に近い斜め線の方向も検出しなければならない。そのため、拡大処理におけるエッジの方向検出に係る演算コスト（cost）は、ＩＰ変換の場合より少なくとも倍になる。

【0006】

ここで、例えば特許文献１に記載の技術が用いられる場合には、補間位置を挟む斜め方向の画素同士の差分が求められ、最も差分の小さい方向がエッジの方向として検出される。つまり、例えば特許文献１に記載の技術は、画素同士のマッチング（matching）処理によりエッジの方向を検出するものである。

【0007】

しかしながら、例えば特許文献１に記載の技術のように、画素同士の差分が小さい方向をエッジの方向とする場合には、エッジの方向の誤検出が発生しうる。

【0008】

また、画素同士のマッチング処理が行われる場合よりもエッジの方向の検出精度の向上を図るための技術としては、例えば特許文献２に記載の技術のように、差分をとる画素を複数とし、複数の画素を含むブロック（block）同士のマッチング処理（以下、「ブロックマッチング処理」と示す場合がある。）によりエッジの方向を検出するものがある。例えばブロックマッチング処理が行われることによって、画素同士のマッチング処理が行われる場合よりもエッジの方向の検出精度の向上を図ることが可能である。

【0009】

しかしながら、ブロックマッチング処理は、一般的に演算コストが高くなる。

【0010】

また、例えば特許文献３に記載の技術が用いられる場合には、水平方向の微分オペレータ（operator）の出力と垂直方向の微分オペレータの出力との比率からエッジの方向が検出される。ここで、微分オペレータによる処理は、マッチング処理よりも演算コストが低いので、例えば特許文献３に記載の技術のように微分オペレータの出力のみを用いてエッジの方向を検出することによって、エッジの方向検出に係る演算コストをより低減することができる可能性がある。

【0011】

しかしながら、微分オペレータは、注目画素の周囲３×３画素からせいぜい５×５画素を用いた演算であり、例えば特許文献３に記載の技術のように微分オペレータの出力のみを用いてエッジの方向を検出する場合には、十分なエッジの方向検出精度が得られない。

【0012】

より具体的には、例えば、微分オペレータが注目画素の周囲３×３画素を用いる場合には、画像の水平方向、または垂直方向に近い斜め線の角度を高精度に検出することはできない。また、例えば、微分オペレータが注目画素の周囲５×５画素を用いる場合には、周囲３×３画素を用いる場合よりもエッジの方向の検出精度を向上させることは可能であるが、例えば画像に細い線の周囲に細かいテクスチャ（texture）があるようなときには、周囲の影響を受けて十分な検出精度を得ることはできない。

【0013】

また、例えば、微分オペレータの出力のみを用いてエッジの方向が検出される場合には、画像における多角形の頂点部分のように２つのエッジが交わるようなときでも、１つの方向が検出される。つまり、微分オペレータの出力のみを用いてエッジの方向が検出される場合には、エッジの方向の誤検出が生じる恐れがある。

【0014】

上記のように、例えば、特許文献１に記載の技術や特許文献２に記載の技術のような既存のマッチング処理に係る技術や、特許文献３に記載の技術のような既存の微分オペレータを用いた処理に係る技術を用いたとしても、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることは、望むべくもない。

【0015】

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラム（program）を提供することにある。

【課題を解決するための手段】

【0016】

上記目的を達成するために、本発明の第１の観点によれば、入力される入力画像信号に基づいて、上記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理部と、上記入力画像信号に基づいて、決定された上記計算範囲内で計算を行うことにより、エッジの方向を検出するエッジ方向検出部と、を備え、上記前処理部は、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、上記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、上記計算範囲を決定する、画像処理装置が提供される。

【0017】

かかる構成によって、例えば入力画像信号に基づくエッジの方向に関する判定により決定された計算範囲内の計算によりエッジの方向を検出することが可能となる。よって、かかる構成によって、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【0018】

また、上記前処理部は、上記入力画像信号に基づいて上記第１の判定を行うエッジ方向判定部と、上記入力画像信号に基づいて上記第２の判定を行う象限判定部と、上記第１の判定の結果と上記第１の判定の結果に対応する上記第２の判定の結果との組み合わせによって、上記計算範囲を決定する計算範囲決定部と、を備えていてもよい。

【0019】

また、上記エッジ方向判定部は、注目画素ごとに、上記注目画素の位置における画像の垂直方向よりも水平方向により近いエッジを検出する第１のフィルタの結果と、上記注目画素の位置における画像の水平方向よりも垂直方向により近いエッジを検出する第２のフィルタの結果との関係に基づいて、上記第１の判定を行ってもよい。

【0020】

また、上記注目画素の位置における上記第１のフィルタの結果は、上記注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値と、上記注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値とのうちの、大きい値であってもよい。

【0021】

また、上記注目画素の位置における上記第１のフィルタの結果は、上記注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値、上記注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値、上記注目画素の上側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値、および上記注目画素の下側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値のうちの、大きい値であってもよい。

【0022】

また、上記注目画素の位置における上記第２のフィルタの結果は、上記注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値と、上記注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値とのうちの、大きい値であってもよい。

【0023】

また、上記注目画素の位置における上記第２のフィルタの結果は、上記注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値、上記注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値、上記注目画素の左側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値、および上記注目画素の右側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値のうちの、大きい値であってもよい。

【0024】

また、上記エッジ方向判定部は、上記注目画素の位置における上記第１のフィルタの結果の値が、小さなエッジを除外するための閾値よりも小さい、または、上記閾値以下であり、かつ、上記注目画素の位置における上記第２のフィルタの結果の値が、上記閾値よりも小さい、または、上記閾値以下である場合には、エッジであると判定しなくてもよい。

【0025】

また、上記象限判定部は、微分オペレータを用いて上記第２の判定を行ってもよい。

【0026】

また、上記目的を達成するために、本発明の第２の観点によれば、入力される入力画像信号に基づいて、上記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理ステップと、上記入力画像信号に基づいて、決定された上記計算範囲内で計算を行うことにより、エッジの方向を検出するエッジ方向検出ステップと、を有し、上記前処理ステップでは、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、上記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、上記計算範囲が決定される、画像処理方法が提供される。

【0027】

かかる方法が用いられることによって、例えば入力画像信号に基づくエッジの方向に関する判定により決定された計算範囲内の計算によりエッジの方向を検出することが可能となる。よって、かかる方法が用いられることによって、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【0028】

また、上記目的を達成するために、本発明の第３の観点によれば、コンピュータを、入力される入力画像信号に基づいて、上記入力画像信号が示す画像に含まれるエッジの方向を検出する計算における計算範囲を決定する前処理手段、上記入力画像信号に基づいて、決定された上記計算範囲内で計算を行うことにより、エッジの方向を検出するエッジ方向検出手段、として機能させ、上記前処理手段は、画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する第１の判定の結果と、上記第１の判定の結果に対応するエッジの方向が属する象限を判定する第２の判定の結果とに基づいて、上記計算範囲を決定する、プログラムが提供される。

【0029】

かかるプログラムが用いられることによって、例えば入力画像信号に基づくエッジの方向に関する判定により決定された計算範囲内の計算によりエッジの方向を検出することが可能となる。よって、かかるプログラムが用いられることによって、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【発明の効果】

【0030】

本発明によれば、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【図面の簡単な説明】

【0031】

【図1】本発明の実施形態に係る画像処理方法を説明するための説明図である。

【図2】本発明の実施形態に係る画像処理方法を説明するための説明図である。

【図3】本発明の実施形態に係る画像処理方法を説明するための説明図である。

【図4】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。

【図5】本発明の実施形態に係る画像処理装置における処理の一例を説明するための説明図である。

【図6】本発明の実施形態に係る画像処理装置が備えるマッチング演算部における処理の一例を説明するための説明図である。

【図7】本発明の実施形態に係る画像処理装置が備えるマッチング演算部における処理の一例を説明するための説明図である。

【図8】本発明の実施形態に係る画像処理装置が備えるマッチング演算部における処理の一例を説明するための説明図である。

【発明を実施するための形態】

【0032】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0033】

（本発明の実施形態に係る画像処理方法）
まず、本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行う場合を例に挙げて、本発明の実施形態に係る画像処理方法について説明する。

【0034】

［１］本発明の実施形態に係る画像処理方法の概要
上述したように、例えば、特許文献１に記載の技術や特許文献２に記載の技術のような既存のマッチング処理に係る技術や、特許文献３に記載の技術のような既存の微分オペレータを用いた処理に係る技術を用いたとしても、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることは、望むべくもない。

【0035】

そこで、本発明の実施形態に係る画像処理装置は、入力される画像信号に基づいて、入力される画像信号が示す画像に含まれるエッジの方向を検出する計算の計算範囲を決定する（前処理）。以下では、入力される画像信号を「入力画像信号」と示し、入力画像信号が示す画像を「入力画像」と示す。

【0036】

本発明の実施形態に係る前処理の一例については、後述する。

【0037】

ここで、本発明の実施形態に係る画像処理装置が処理する入力画像としては、例えば、本発明の実施形態に係る画像処理装置が備える記録媒体や、本発明の実施形態に係る画像処理装置に接続されている外部の記録媒体から読み出された画像データ（data）が示す画像が挙げられる。また、本発明の実施形態に係る画像処理装置が処理する入力画像は、例えば、本発明の実施形態に係る画像処理装置が備える通信デバイス（device）が外部装置から受信した画像信号が示す画像や、本発明の実施形態に係る画像処理装置に接続されている外部の通信デバイスが受信した画像信号が示す画像であってもよい。

【0038】

そして、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、前処理において決定された計算範囲内で計算を行うことにより、エッジの方向を検出する（エッジ検出処理）。

【0039】

本発明の実施形態に係る画像処理装置が、エッジ検出処理においてエッジの方向の検出のために行う計算としては、例えば、ブロックマッチング処理に係る計算が挙げられる。エッジの方向の検出のために行う計算が、ブロックマッチング処理に係る計算である場合、上記前処理において決定される計算範囲は、マッチング処理における探索範囲に該当する。

【0040】

なお、本発明の実施形態に係る画像処理装置が、エッジ検出処理においてエッジの方向の検出のために行う計算は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、エッジ検出処理において、エッジの方向をより精度よく検出することが可能であり、かつ、前処理において決定された計算範囲内で計算を行うことが可能な、任意の処理に係る計算を行うことが可能である。

【0041】

本発明の実施形態に係るエッジ検出処理の一例については、後述する。

【0042】

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば、上記前処理、および上記エッジ方向検出処理を行う。

【0043】

［２］本発明の実施形態に係る画像処理方法に係る処理
次に、本発明の実施形態に係る画像処理方法に係る処理について、より具体的に説明する。

【0044】

［２−１］空間フィルタ（filter）の表記方法の定義
以下では、本発明の実施形態に係る画像処理方法に係る処理の説明に際して、空間フィルタを多用して説明する。よって、本発明の実施形態に係る画像処理方法に係る処理について説明する前に、空間フィルタの表記方法を定義する。

【0045】

なお、以下では、本発明の実施形態に係る空間フィルタが、３×３の空間フィルタである場合を例に挙げる。ここで、本発明の実施形態に係る画像処理方法に係る処理を行う場合には、３×３の空間フィルタを用いれば十分であるが、本発明の実施形態に係る空間フィルタは、３×３の空間フィルタに限られない。例えば、本発明の実施形態に係る空間フィルタは、５×５の空間フィルタであってもよい。

【0046】

入力画像における処理対象として注目する画素（以下、「注目画素」と示す。）の垂直方向の座標を“ｉ”、水平方向の座標を“ｊ”とし、注目画素の画素値を“ｘ_ｉｊ”とおく。ここで、本発明の実施形態に係る画素値としては、例えば輝度値が挙げられる。

【0047】

画素値をｘ_ｉｊに対するフィルタ係数を“ａ_０，０”とすると、３×３の空間フィルタの係数行列は、例えば下記の数式１で表される。なお、係数行列が、例えば実質的に３×２の係数行列で表現することが可能である場合など、実質的に３×３の係数行列以外の係数行列で表現することが可能な場合もあるが、注目画素を確定させるために、以下では３×３の係数行列の標記をとる。

【0048】

【数1】

【0049】

注目画素位置における３×３の空間フィルタの出力を“ｆＡ_ｉ，ｊ”とおくと、空間フィルタの出力は、下記の数式２で算出される。

【0050】

【数2】

【0051】

［２−２］本発明の実施形態に係る画像処理方法に係る処理
本発明の実施形態に係る画像処理方法に係る処理について説明する。

【0052】

（１）前処理
本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、入力画像に含まれるエッジの方向を検出する計算における計算範囲を決定する。

【0053】

本発明の実施形態に係る画像処理装置は、例えば、下記に示す（１−１）の処理（エッジ方向判定処理）の判定結果と、下記に示す（１−２）の処理（象限判定処理）の判定結果とに基づいて、下記に示す（１−３）の処理（計算範囲決定処理）を行うことによって、計算範囲を決定する。

【0054】

（１−１）エッジ方向判定処理（第１の判定処理）
本発明の実施形態に係る画像処理装置は、入力画像に含まれるエッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する。以下では、エッジ方向判定処理における上記エッジの方向に係る判定を、「第１の判定」と示す場合がある。

【0055】

図１は、本発明の実施形態に係る画像処理方法を説明するための説明図であり、本発明の実施形態に係る画像処理装置におけるエッジの方向の判定の一例を示している。

【0056】

図１では、画像の水平方向を０［°］として、エッジの方向が角度で表される場合を示している。なお、本発明の実施形態に係る画像処理装置では、画像の垂直方向を０［°］として、エッジの方向が角度で表されていてもよい。以下では、図１に示すように、画像の水平方向を０［°］とする場合を例に挙げる。

【0057】

本発明の実施形態に係る画像の水平方向により近いエッジの方向とは、例えば図１に示すように、“０［°］≦エッジの方向＜４５［°］、または、１３５［°］＜エッジの方向≦１８０［°］の範囲”に含まれるエッジの方向をいう。また、本発明の実施形態に係る画像の垂直方向により近いエッジの方向とは、例えば図１に示すように、“４５［°］＜エッジの方向≦９０［°］と、９０［°］≦エッジの方向＜１３５［°］の範囲”に含まれるエッジの方向をいう。

【0058】

本発明の実施形態に係る画像処理装置は、例えば、エッジの方向が上記に示すどの範囲内に含まれるかを判定することによって、エッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定する。

【0059】

なお、エッジの方向が４５［°］または１３５［°］である場合や、画像においてエッジが交差している箇所については、本発明の実施形態に係る画像処理装置は、エッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定することができない、例外のケースとする。つまり、本発明の実施形態に係る第１の判定の結果には、エッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを示す判定結果に加え、例外のケースに該当するという判定結果が含まれうる。

【0060】

また、エッジがテクスチャ成分である場合、テクスチャ成分のエッジ部分に対して斜め補間などの補間処理が適用されると、むしろ鈍るような弊害（画質の低下の要因となる弊害の一例）が発生しうる。また、注目画素の位置においてエッジが含まれない場合もありうる。そのため、本発明の実施形態に係る画像処理装置では、後述するように、閾値を用いてエッジであるか否かを判定することも可能である。よって、本発明の実施形態に係る第１の判定の結果には、エッジが検出されないことを示す判定結果が含まれうる。

【0061】

より具体的には、本発明の実施形態に係る画像処理装置は、例えばハイパスフィルタ（High-Pass Filter。以下「ＨＰＦ」と示す。）などのエッジを検出することが可能なフィルタを用いることによって、注目画素それぞれにおけるエッジの方向に対して第１の判定を行う。以下では、本発明の実施形態に係るフィルタがＨＰＦである場合を例に挙げるが、本発明の実施形態に係るフィルタは、エッジを検出することが可能な任意のフィルタであってもよい。

【0062】

（１−１−１）エッジ方向判定処理の第１の例
本発明の実施形態に係る画像処理装置は、注目画素ごとに、“注目画素の位置における画像の垂直方向よりも水平方向により近いエッジを検出するフィルタの結果”と“注目画素の位置における画像の水平方向よりも垂直方向により近いエッジを検出するフィルタの結果”との関係に基づいて、第１の判定を行う。以下では、注目画素の位置における画像の垂直方向よりも水平方向により近いエッジを検出するフィルタを「第１のフィルタ」と示す。また、以下では、注目画素の位置における画像の水平方向よりも垂直方向により近いエッジを検出するのフィルタを「第２のフィルタ」と示す。

【0063】

本発明の実施形態に係る第１のフィルタとしては、例えば、下記の数式３、数式４でそれぞれ係数が表されるＨＰＦが挙げられる。ここで、下記の数式３に示す“ＨＵ”は、注目画素の上側の水平方向のエッジを検出するＨＰＦの係数の一例を示しており、下記の数式４に示す“ＨＤ”は、注目画素の下側の水平方向のエッジを検出するＨＰＦの係数の一例を示している。

【0064】

【数3】

【0065】

【数4】

【0066】

また、本発明の実施形態に係る第２のフィルタとしては、例えば、下記の数式５、数式６でそれぞれ係数が表されるＨＰＦが挙げられる。ここで、下記の数式５に示す“ＨＬ”は、注目画素の左側の垂直方向のエッジを検出するＨＰＦの係数の一例を示しており、下記の数式６に示す“ＨＲ”は、注目画素の右側の垂直方向のエッジを検出するＨＰＦの係数の一例を示している。

【0067】

【数5】

【0068】

【数6】

【0069】

本発明の実施形態に係る画像処理装置は、第１のフィルタの結果として、例えば下記の数式７に示す値を算出する。つまり、注目画素の位置における第１のフィルタの結果は、例えば、“注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値”と、“注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値”とのうちの、大きい値である。

【0070】

【数7】

【0071】

また、本発明の実施形態に係る画像処理装置は、第２のフィルタの結果として、例えば下記の数式８に示す値を算出する。つまり、注目画素の位置における第２のフィルタの結果は、例えば、“注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値”と、“注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値”とのうちの、大きい値である。

【0072】

【数8】

【0073】

本発明の実施形態に係る画像処理装置は、例えば、上記数式７により算出された第１のフィルタの結果ＥＨ_ｉ，ｊと、上記数式８により算出された第２のフィルタの結果ＥＶ_ｉ，ｊとの関係に基づき、第１の判定の結果として、例えば下記の（Ａ）〜（Ｃ）に示すような判定結果を得る。

【0074】

（Ａ）ＥＶ_ｉ，ｊ＞ＥＨ_ｉ，ｊの場合
ＥＶ_ｉ，ｊ＞ＥＨ_ｉ，ｊの場合、本発明の実施形態に係る画像処理装置は、注目画素におけるエッジの方向が、画像の垂直方向により近いと判定する。

【0075】

（Ｂ）ＥＶ_ｉ，ｊ＜ＥＨ_ｉ，ｊの場合
ＥＶ_ｉ，ｊ＜ＥＨ_ｉ，ｊの場合、本発明の実施形態に係る画像処理装置は、注目画素におけるエッジの方向が、画像の水平方向により近いと判定する。

【0076】

（Ｃ）ＥＶ_ｉ，ｊ＝ＥＨ_ｉ，ｊの場合
ＥＶ_ｉ，ｊ＝ＥＨ_ｉ，ｊの場合とは、エッジの方向が４５［°］または１３５［°］である、または画像においてエッジが交差している箇所に該当する。よって、ＥＶ_ｉ，ｊ＝ＥＨ_ｉ，ｊの場合、本発明の実施形態に係る画像処理装置は、エッジの方向が画像の水平方向により近いか、画像の垂直方向により近いかを判定することができない、例外のケースと判定する。

【0077】

（１−１−２）エッジ方向判定処理の第２の例
本発明の実施形態に係る第１のフィルタと、本発明の実施形態に係る第２のフィルタとは、上記（１−１−１）に示す例に限られない。

【0078】

例えば、入力画像に、一の水平ライン（line）と、当該一の水平ラインと隣接する他の水平ラインとで輝度値が近い領域が存在する場合、当該領域では、上記（１−１−１）に示す第１のフィルタおよび第２のフィルタの出力が小さくなる恐れがある。

【0079】

図２は、本発明の実施形態に係る画像処理方法を説明するための説明図であり、入力画像に存在しうる、一の水平ラインと、当該一の水平ラインと隣接する他の水平ラインとで輝度値が近い領域の一例を示している。図２のＡは、“一の水平ラインと、当該一の水平ラインと隣接する他の水平ラインとで輝度値が近い領域”を有する入力画像の一例を示しており、図２のＢは、図２のＡに示す入力画像を輝度値の大きさによって概念的に示している。図２では、“一の水平ラインと、当該一の水平ラインと隣接する他の水平ラインとで輝度値が近い領域”を「節」と示している。

【0080】

そこで、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る第１のフィルタとして、上記（１−１−１）に示す第１のフィルタに加え、さらに、水平方向に近い斜め方向のエッジを検出するフィルタを用いる。また、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る第２のフィルタとして、上記（１−１−１）に示す第２のフィルタに加え、さらに、垂直方向に近い斜め方向のエッジを検出するフィルタを用いる。

【0081】

水平方向に近い斜め方向のエッジを検出するフィルタとしては、例えば、下記の数式９、数式１０でそれぞれ係数が表されるＨＰＦが挙げられる。ここで、下記の数式９に示す“ＤＵ”は、注目画素の上側の水平方向に近い斜め方向のエッジを検出するＨＰＦの係数の一例を示しており、下記の数式１０に示す“ＤＤ”は、注目画素の下側の水平方向に近い斜め方向のエッジを検出するＨＰＦの一例を示している。

【0082】

【数9】

【0083】

【数10】

【0084】

また、垂直方向に近い斜め方向のエッジを検出するフィルタとしては、例えば、下記の数式１１、数式１２でそれぞれ係数が表されるＨＰＦが挙げられる。ここで、下記の数式１１に示す“ＤＬ”は、注目画素の左側の垂直方向に近い斜め方向のエッジを検出するＨＰＦの係数の一例を示しており、下記の数式１２に示す“ＤＲ”は、注目画素の右側の垂直方向に近い斜め方向のエッジを検出するＨＰＦの一例を示している。

【0085】

【数11】

【0086】

【数12】

【0087】

本発明の実施形態に係る画像処理装置は、第１のフィルタの結果として、例えば下記の数式１３に示す値を算出する。つまり、注目画素の位置における第１のフィルタの結果は、例えば、“注目画素の上側の水平方向のエッジを検出するフィルタの出力の絶対値”、“注目画素の下側の水平方向のエッジを検出するフィルタの出力の絶対値”、“注目画素の上側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値”、および“注目画素の下側の垂直方向よりも水平方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値”のうちの、大きい値である。

【0088】

【数13】

【0089】

また、本発明の実施形態に係る画像処理装置は、第２のフィルタの結果として、例えば下記の数式１４に示す値を算出する。つまり、注目画素の位置における第２のフィルタの結果は、例えば、“注目画素の左側の垂直方向のエッジを検出するフィルタの出力の絶対値”、“注目画素の右側の垂直方向のエッジを検出するフィルタの出力の絶対値”、“注目画素の左側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値”、および“注目画素の右側の水平方向よりも垂直方向に近い斜め方向のエッジを検出するフィルタの出力の絶対値”のうちの、大きい値である。

【0090】

【数14】

【0091】

本発明の実施形態に係る画像処理装置は、例えば、上記数式１３により算出された第１のフィルタの結果ＥＨ_ｉ，ｊと、上記数式１４により算出された第２のフィルタの結果ＥＶ_ｉ，ｊとの関係に基づき、上記（１−１−１）に示す第１の例に係る処理と同様の判定を行う。つまり、本発明の実施形態に係る画像処理装置は、上記（１−１−１）に示す第１の例に係る処理を行う場合と同様に、第１の判定の結果として上記（Ａ）〜（Ｃ）に示すような判定結果を得る。

【0092】

ここで、本発明の実施形態に係る画像処理装置は、第１のフィルタ、および第２のフィルタとして、さらに、水平方向に近い斜め方向と垂直方向に近い斜め方向のＨＰＦを用いているので、図２に示す節となるような領域に対しても、より第１の判定の精度を高めることが可能である。

【0093】

（１−１−３）エッジ方向判定処理の第３の例
なお、本発明の実施形態に係る第１のフィルタと、本発明の実施形態に係る第２のフィルタとは、上記（１−１−１）に示す例や上記（１−１−２）に示す例に限られない。

【0094】

例えば、本発明の実施形態に係る画像処理装置は、下記の数式１５で係数が表されるＨＰＦを用いることが可能である。

【0095】

【数15】

【0096】

また、上記数式３〜数式６、数式９〜数式１２、および数式１５では、ゲインをそろえるための係数を記しているが、ゲインが同じもので揃えておけば、当該係数を削除しても判定結果に影響はない。よって、エッジ方向判定処理において用いられる空間フィルタ自体は非常に簡単な整数演算で実現することが可能であり、エッジ方向判定処理における演算コストは十分低いといえる。

【0097】

また、本発明の実施形態に係る画像処理装置は、例えば、上記（１−１−１）に示す第１の例に係る処理における判定と上記（１−１−２）に示す第２の例に係る処理における判定とを組み合わせた処理（例えば、数式７に示す値と数式１４に示す値との関係に基づき判定する処理や、数式８に示す値と数式１３に示す値との関係に基づき判定する処理）を行うことも可能である。

【0098】

（１−１−４）エッジ方向判定処理の第４の例
例えば小さいエッジはテクスチャ成分である場合が多く、テクスチャ成分のエッジ部分に対して斜め補間などの補間処理が適用されると、むしろ鈍るような弊害（画質の低下の要因となる弊害の一例）が発生しうる。また、注目画素の位置においてエッジが含まれない場合もありうる。

【0099】

そこで、本発明の実施形態に係る画像処理装置は、上記（１−１−１）に示す第１の例に係る処理〜上記（１−１−３）に示す第３の例に係る処理において、小さなエッジを除外するための閾値ＴＥを用いて、エッジであるか否かを判定してもよい。

【0100】

ここで、閾値ＴＥは、例えば、テクスチャ成分のエッジを含む画像を利用して実験的に得られる。なお、閾値ＴＥは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

【0101】

具体的には、本発明の実施形態に係る画像処理装置は、例えば、注目画素の位置における第１のフィルタの結果ＥＨ_ｉ，ｊの値が、閾値ＴＥよりも小さく（または、閾値ＴＥ以下であり）、かつ、注目画素の位置における第２のフィルタの結果ＥＶ_ｉ，ｊの値が、閾値ＴＥよりも小さい（または、閾値ＴＥ以下である）場合には、エッジであると判定しない。また、本発明の実施形態に係る画像処理装置は、例えば、第１のフィルタの結果ＥＨ_ｉ，ｊの値が、閾値ＴＥ以上であり（または、閾値ＴＥより大きく）、かつ、注目画素の位置における第２のフィルタの結果ＥＶ_ｉ，ｊの値が、閾値ＴＥ以上であり（または、閾値ＴＥより大きい）場合に、エッジであると判定する。

【0102】

そして、本発明の実施形態に係る画像処理装置は、エッジであると判定されない場合には、第１の判定結果として、エッジが検出されないことを示す判定結果を得る。以下では、エッジが検出されないことを示す第１の判定結果を「エッジ無し」と示す場合がある。

【0103】

本発明の実施形態に係る画像処理装置は、例えば、上記（１−１−１）に示す第１の例に係る処理〜上記（１−１−４）に示す第４の例に係る処理のいずれかの処理を行うことによって、入力画像信号に基づいて第１の判定を行う。

【0104】

（１−２）象限判定処理（第２の判定処理）
本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、注目画素におけるエッジの方向が属する象限を判定する。ここで、本発明の実施形態に係る象限とは、例えば、画像の水平方向と画像の垂直方向とにより分けられる画像の領域である。以下では、象限判定処理における上記エッジの方向が属する象限に係る判定を、「第２の判定」と示す場合がある。

【0105】

本発明の実施形態に係る画像処理装置は、例えば、注目画素におけるエッジの方向が、図１に示す０［°］〜９０［°］の象限にあるか、９０［°］〜１８０［°］の象限にあるかを判定する。本発明の実施形態に係る画像処理装置は、例えば、微分オペレータを用いて第２の判定を行う。

【0106】

ここで、例えば微分オペレータとしてＳｏｂｅｌフィルタを用いる場合、微分オペレータとしては、例えば下記の数式１６、数式１７により係数が表されるフィルタが挙げられる。

【0107】

【数16】

【0108】

【数17】

【0109】

ここで、注目画素におけるエッジの方向が属する象限を判定する一の方法としては、例えば、上記数式１６に示す係数のフィルタの出力ｆＧＶ_ｉ，ｊ、および上記数式１７に示す係数のフィルタの出力ｆＧＨ_ｉ，ｊの乗算結果に基づき判定する方法が挙げられる。具体的には、上記一の方法では、ｆＧＶ_ｉ，ｊ・ｆＧＨ_ｉ，ｊ＜０の場合に、０［°］〜９０［°］の象限にあると判定され、ｆＧＶ_ｉ，ｊ・ｆＧＨ_ｉ，ｊ≧０の場合に、９０［°］〜１８０［°］の象限にあると判定される。

【0110】

しかしながら、上記一の方法では、例えばエッジの頂点のような微分が０となる点では、正しく象限の判定ができない。

【0111】

そこで、本発明の実施形態に係る画像処理装置は、例えば、注目画素の周辺３×３の画素について支配的な方向を求めて、象限を判定する。

【0112】

本発明の実施形態に係る画像処理装置は、例えば、下記の数式１８で示す“Ｐ０_ｉ，ｊ”と下記の数式１９で示す“Ｐ１_ｉ，ｊ”とをそれぞれ算出し、“Ｐ０_ｉ，ｊ”と“Ｐ１_ｉ，ｊ”との関係によって、象限を判定する。

【0113】

ここで、下記の数式１８に示す“Ｇ０_ｉ，ｊ”は、下記の数式２０で算出され、下記の数式１９に示す“Ｇ１_ｉ，ｊ”は、下記の数式２１で算出される。また、下記の数式２０、数式２１に示す“Ｓ_ｉ，ｊ”は、下記の数式２２で算出される。

【0114】

【数18】

【0115】

【数19】

【0116】

【数20】

【0117】

【数21】

【0118】

【数22】

【0119】

具体的には、本発明の実施形態に係る画像処理装置は、“Ｐ０_ｉ，ｊ”と“Ｐ１_ｉ，ｊ”との関係に基づき、第２の判定の結果として、例えば下記の（ａ）〜（ｃ）に示すような判定結果を得る。

【0120】

（ａ）Ｐ０_ｉ，ｊ＞α・Ｐ１_ｉ，ｊの場合
Ｐ０_ｉ，ｊ＞α・Ｐ１_ｉ，ｊの場合、本発明の実施形態に係る画像処理装置は、エッジの方向が０［°］〜９０［°］の象限にあると判定する。

【0121】

（ｂ）Ｐ１_ｉ，ｊ＞α・Ｐ０_ｉ，ｊの場合
Ｐ１_ｉ，ｊ＞α・Ｐ０_ｉ，ｊの場合、本発明の実施形態に係る画像処理装置は、エッジの方向が９０［°］〜１８０［°］の象限にあると判定する。

【0122】

（ｃ）“Ｐ０_ｉ，ｊ＞α・Ｐ１_ｉ，ｊ”と“Ｐ１_ｉ，ｊ＞α・Ｐ０_ｉ，ｊ”とのいずれの条件も満たさない場合
“Ｐ０_ｉ，ｊ＞α・Ｐ１_ｉ，ｊ”と“Ｐ１_ｉ，ｊ＞α・Ｐ０_ｉ，ｊ”とのいずれの条件も満たさない場合には、本発明の実施形態に係る画像処理装置は、正しくエッジの方向を求めることができない可能性があるため、方向無しと判定する。

【0123】

ここで、上記αは、正しくエッジの方向を求めることができない可能性がある部分について、方向無しと判定するための設定値である。設定値αの値は、例えばサンプル（sample）画像を利用して実験的に得られる。なお、設定値αは、上記に示す方法に限られず、任意の方法によって設定されてもよい。設定値αとしては、例えば１．５など、１より大きい値が挙げられる。

【0124】

本発明の実施形態に係る画像処理装置は、例えば上記のように、算出された“Ｐ０_ｉ，ｊ”と“Ｐ１_ｉ，ｊ”との関係によって象限を判定することによって、入力画像信号に基づいて第２の判定を行う。

【0125】

なお、本発明の実施形態に係る画像処理装置が用いる微分オペレータは、上記数式１６、数式１７により係数が表されるフィルタに限られない。例えば、本発明の実施形態に係る微分オペレータは、下記の数式２３により係数が表されるフィルタなど、任意の微分オペレータであってもよい。

【0126】

【数23】

【0127】

（１−３）計算範囲決定処理
本発明の実施形態に係る画像処理装置は、第１の判定の結果（上記（１−１）に示すエッジ方向判定処理の結果）と、第１の判定の結果に対応する第２の判定の結果（上記（１−２）に示す象限判定処理の結果）との組み合わせによって、計算範囲を決定する。

【0128】

図３は、本発明の実施形態に係る画像処理方法を説明するための説明図であり、第１の判定の結果、第２の判定の結果、および計算範囲が対応付けられているテーブル（table）の一例を示している。

【0129】

図３に示すテーブルは、例えば、第１の判定の結果と、第１の判定の結果に対応する第２の判定の結果とを入力とするセレクタによって、実現される。

【0130】

なお、本発明の実施形態に係るテーブルは、上記に限られない。例えば、図３に示すテーブルは、本発明の実施形態に係る画像処理装置が備える記録媒体や、本発明の実施形態に係る画像処理装置に接続されている外部の記録媒体などに記憶され、本発明の実施形態に係る画像処理装置によって適宜参照されてもよい。

【0131】

ここで、図３に示すテーブルにおいて、計算範囲として選択されうる“方向無し”とは、エッジの方向を検出する処理を行わせないことに対応する。

【0132】

本発明の実施形態に係る画像処理装置は、例えば図３に示すようなテーブルを参照することによって、第１の判定の結果と、第１の判定の結果に対応する第２の判定の結果との組み合わせに応じた、計算範囲を決定する。

【0133】

ここで、エッジの方向が、図１に示すような角度で表される場合、１８０［°］は０［°］に相当する。また、本発明の実施形態に係る画像処理方法において決定されるエッジの方向が、補間処理に用いられる場合、０［°］と９０［°］とは、斜め方向の補間処理が無いという点で同義である。よって、本発明の実施形態に係る計算範囲決定処理では、例えば図３に示すように、０［°］（１８０［°］）と９０［°］とが計算範囲に含まれる。

【0134】

なお、本発明の実施形態に係る計算範囲決定処理は、上記に限られず、本発明の実施形態に係る画像処理装置は、第１の判定の結果と、第１の判定の結果に対応する第２の判定の結果との組み合わせによって計算範囲を決定することが可能な任意の方法によって、計算範囲を決定してもよい。

【0135】

本発明の実施形態に係る画像処理装置は、例えば上記（１）の処理（前処理）として、上記（１−１）に示す処理（エッジ方向判定処理）、上記（１−２）に示す処理（象限判定処理）、および上記（１−３）の処理（計算範囲決定処理）を行い、入力画像信号に基づいて計算範囲を決定する。

【0136】

なお、上記（１−１）に示す処理（エッジ方向判定処理）、上記（１−２）に示す処理（象限判定処理）、および上記（１−３）の処理（計算範囲決定処理）は、便宜上、上記（１）の処理（前処理）を切り分けたものである。よって、上記（１）の処理（前処理）は、例えば、上記（１−１）に示す処理（エッジ方向判定処理）、上記（１−２）に示す処理（象限判定処理）、および上記（１−３）の処理（計算範囲決定処理）を、１つの処理と捉えることもできる。また、上記（１）の処理（前処理）は、例えば、上記（１−１）に示す処理（エッジ方向判定処理）、上記（１−２）に示す処理（象限判定処理）、および上記（１−３）の処理（計算範囲決定処理）を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。

【0137】

（２）エッジ方向検出処理
本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、上記（１）の処理（前処理）により決定された計算範囲内で計算を行うことにより、エッジの方向を検出する。

【0138】

本発明の実施形態に係る画像処理装置は、例えば、上記（１）の処理（前処理）により決定された計算範囲内で、ブロックマッチング処理に係る計算（エッジの方向をより精度よく検出することが可能であり、かつ、前処理において決定された計算範囲内で計算を行うことが可能な処理における計算の一例）を行うことによって、エッジの方向を検出する。

【0139】

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（前処理）および上記（２）の処理（エッジ方向検出処理）を行う。

【0140】

ここで、本発明の実施形態に係る画像処理装置は、上記（１）の処理（前処理）により決定された計算範囲内で、上記（２）の処理（エッジ方向検出処理）を行うので、全方向に対してマッチング演算を行う場合に対して、演算量を低減することができる。

【0141】

また、本発明の実施形態に係る画像処理装置は、上記（２）の処理（エッジ方向検出処理）において、ブロックマッチング処理のような、エッジの方向をより精度よく検出することが可能な処理を行う。よって、上記（２）の処理（エッジ方向検出処理）では、エッジの方向の検出精度は低下せず、また、上記（２）の処理（エッジ方向検出処理）によりエッジの方向の誤検出を抑えて信頼性が高いエッジの方向が得られる。

【0142】

したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、上記（１）の処理（前処理）および上記（２）の処理（エッジ方向検出処理）を行うことによって、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【0143】

また、本発明の実施形態に係る画像処理装置は、入力画像の画素ごとにエッジの方向を検出することが可能であるので、例えば、本発明の実施形態に係る画像処理装置により検出されたエッジの方向が、整数倍の拡大処理が用いられる場合には、斜め線のジャギーを当該ジャギーの方向にあった斜め補間を用いて低減することが実現される。ここで、ジャギーの低減に係る処理は、本発明の実施形態に係る画像処理装置が行ってもよいし、本発明の実施形態に係る画像処理装置の外部装置において行われてもよい。

【0144】

（本発明の実施形態に係る画像処理装置）
次に、上述した本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。以下では、本発明の実施形態に係る画像処理装置の構成の一例として、上記（２）の処理（エッジ方向検出処理）においてブロックマッチング処理によりエッジの方向を検出する場合における構成を例に挙げる。

【0145】

図４は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。

【0146】

画像処理装置１００は、例えば、前処理部１０２と、エッジ方向検出部１０４とを備える。

【0147】

また、画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ（processor）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１００では、制御部（図示せず）が、前処理部１０２、およびエッジ方向検出部１０４の役目を果たすことが可能である。

【0148】

なお、前処理部１０２、およびエッジ方向検出部１０４の一方または双方が、制御部（図示せず）とは別体の１または２以上の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、前処理部１０２、およびエッジ方向検出部１０４の一方または双方の処理（全処理、または一部の処理）は、プロセッサなどで実行されるプログラム（ソフトウェア（software））により実現されてもよい。

【0149】

前処理部１０２は、上記（１）の処理（前処理）を主導的に行う役目を果たし、入力画像信号に基づいて計算範囲を決定する。前処理部１０２は、上記（１−１）に示す処理（エッジ方向判定処理）による第１の判定の結果と、上記（１−２）に示す処理（象限判定処理）による、第１の判定の結果に対応する第２の判定の結果とに基づいて、計算範囲を決定する。

【0150】

前処理部１０２は、例えば、エッジ方向判定部１０６と、象限判定部１０８と、計算範囲決定部１１０とを有する。

【0151】

エッジ方向判定部１０６は、上記（１−１）に示す処理（エッジ方向判定処理）を主導的に行う役目を果たし、入力画像信号に基づいて第１の判定を行う。エッジ方向判定部１０６は、例えば、例えば、上記（１−１−１）に示す第１の例に係る処理〜上記（１−１−４）に示す第４の例に係る処理のいずれかの処理を行う。

【0152】

象限判定部１０８は、上記（１−２）に示す処理（象限判定処理）を主導的に行う役目を果たし、入力画像信号に基づいて第２の判定を行う。象限判定部１０８は、例えば微分オペレータを用いて第２の判定を行う。

【0153】

計算範囲決定部１１０は、上記（１−３）の処理（計算範囲決定処理）を主導的に行う役目を果たし、第１の判定の結果と、第１の判定の結果に対応する第２の判定の結果との組み合わせによって、計算範囲を決定する。計算範囲決定部１１０は、例えば図３に示すテーブルなどを参照することによって、第１の判定の結果と、第１の判定の結果に対応する第２の判定の結果との組み合わせに応じた、計算範囲を決定する。

【0154】

そして、計算範囲決定部１１０は、例えば、注目画素それぞれに対応する、決定された計算範囲を示す情報（データ）をエッジ方向検出部１０４へ伝達する。

【0155】

前処理部１０２は、例えば上記のような、エッジ方向判定部１０６、象限判定部１０８、および計算範囲決定部１１０を有することによって、入力画像信号に基づいて計算範囲を決定する。

【0156】

なお、前処理部１０２の構成は、図４に示す構成に限られない。

【0157】

例えば、上述したように、上記（１−１）に示す処理（エッジ方向判定処理）、上記（１−２）に示す処理（象限判定処理）、および上記（１−３）の処理（計算範囲決定処理）は、便宜上、上記（１）の処理（前処理）を切り分けたものである。よって、上記（１）の処理（前処理）を実現するための前処理部１０２の構成は、図４に示すエッジ方向判定部１０６、象限判定部１０８、および計算範囲決定部１１０に限られず、上記（１）の処理（前処理）の切り分け方に応じた構成をとることが可能である。

【0158】

エッジ方向検出部１０４は、上記（２）の処理（エッジ方向検出処理）を主導的に行う役目を果たし、入力画像信号に基づいて、前処理部１０２において決定された計算範囲内で計算を行うことにより、エッジの方向を検出する。

【0159】

エッジ方向検出部１０４は、例えば、水平オーバーサンプリング部１１２（oversampling）と、垂直オーバーサンプリング部１１４と、バッファ１１６Ａ、１１６Ｂ（buffer）と、選択部１１８Ａ、１１８Ｂと、マッチング演算部１２０Ａ、１２０Ｂと、整合性判定部１２２とを有する。

【0160】

水平オーバーサンプリング部１１２は、入力画像を水平方向にオーバーサンプリングする。また、垂直オーバーサンプリング部１１４は、入力画像を垂直方向にオーバーサンプリングする。

【0161】

ここで、マッチング演算によって角度を求める場合には、注目画素の隣接ラインの元画素同士をつないで得られる角度は限られるため、荒い角度しか得られない。このため、エッジ方向検出部１０４では、入力画像をオーバーサンプリングをすることによって、検出角度を増やす。

【0162】

水平オーバーサンプリング部１１２は、例えば、線形補間を行い補間値を得ることによって、入力画像を水平方向にオーバーサンプリングする。また、垂直オーバーサンプリング部１１４は、例えば、線形補間を行い補間値を得ることによって、入力画像を水平方向にオーバーサンプリングする。なお、水平オーバーサンプリング部１１２における処理、および垂直オーバーサンプリング部１１４における処理は、線形補間に限られず、水平オーバーサンプリング部１１２、および垂直オーバーサンプリング部１１４それぞれは、任意の補間方法に係る処理を行ってもよい。

【0163】

具体例として、水平オーバーサンプリング部１１２、および垂直オーバーサンプリング部１１４それぞれが、水平方向・垂直方向に独立に２倍にオーバーサンプリングする例を挙げる。位置（ｉ，ｊ）の画素と、位置（ｉ，ｊ＋１）との中間の位置の画素値（水平オーバーサンプル値）ｘ_{ｉ，ｊ＋０．５}は、例えば下記の数式２４で算出される。また、位置（ｉ，ｊ）の画素と、位置（ｉ＋１，ｊ）との中間の位置の画素値（垂直オーバーサンプル値）ｘ_{ｉ＋０．５，ｊ}は、例えば下記の数式２５で算出される。

【0164】

【数24】

【0165】

【数25】

【0166】

図５は、本発明の実施形態に係る画像処理装置１００における処理の一例を説明するための説明図である。図５のＡは、水平オーバーサンプリング部１１２による水平２倍オーバーサンプリングの結果の一例を示しており、図５のＢは、垂直オーバーサンプリング部１１４における垂直２倍オーバーサンプリングの結果の一例を示している。

【0167】

例えば図５のＡに示す、注目画素と注目画素に隣接する上下のラインの水平オーバーサンプル値は、主に水平方向に近いエッジの角度を求めるのに使用される（ただし、０［°］と９０［°］とは例外である）。また、例えば図５のＢに示す、注目画素と注目画素の左右のカラム（column）との垂直オーバーサンプル値は、主に垂直方向に近いエッジの角度を求めるのに使用される（ただし、０［°］と９０［°］とは例外である）。

【0168】

バッファ１１６Ａは、水平オーバーサンプリング部１１２の処理の結果を保持し、バッファ１１６Ｂは、垂直オーバーサンプリング部１１４の処理の結果を保持する。

【0169】

選択部１１８Ａ、１１８Ｂは、前処理部１０２から伝達される注目画素それぞれに対応する計算範囲を示す情報に基づいて、絞られた計算範囲のマッチング演算に必要なデータだけをバッファ１１６Ａ、１１６Ｂから選んで、マッチング演算部１２０Ａ、１２０Ｂへ供給する。

【0170】

ここで、選択部１１８Ａは、例えば、注目画素の上側または左側のマッチング演算に必要なデータを、マッチング演算部１２０Ａ、１２０Ｂへ供給する。また、選択部１１８Ｂは、例えば、注目画素の下側または右側のマッチング演算に必要なデータを、マッチング演算部１２０Ａ、１２０Ｂへ供給する。なお、選択部１１８Ａ、１１８Ｂがマッチング演算部１２０Ａ、１２０Ｂへ供給するデータの組み合わせが、上記に示す例に限られないことは、言うまでもない。

【0171】

また、計算範囲を示す情報が例外に対応する情報である場合、選択部１１８Ａ、１１８Ｂは、例えば、マッチング演算部１２０Ａ、１２０Ｂにおいて４５［°］と１３５［°］とについて水平方向または垂直方向のどちらか一方の演算が行われるように、マッチング演算に必要なデータをマッチング演算部１２０Ａ、１２０Ｂへ供給する。計算範囲を示す情報が例外に対応する情報である場合、選択部１１８Ａ、１１８Ｂは、例えば図３に示すように、０［°］と９０［°］とを含む３点に対応するデータをマッチング演算部１２０Ａ、１２０Ｂへ供給する。

【0172】

マッチング演算部１２０Ａ、１２０Ｂは、選択部１１８Ａ、１１８Ｂから伝達されるデータを用いてマッチング演算を行う。

【0173】

図６、図７は、本発明の実施形態に係る画像処理装置１００が備えるマッチング演算部１２０Ａ、１２０Ｂにおける処理の一例を説明するための説明図であり、マッチング演算位置の例を示している。図６、図７に示す“●”は、元画素（入力画像の画素）を示しており、図６、図７に示す“○”は、補間画素を示している。また、図６のＡ〜Ｉ、図７のＡ〜Ｉでは、各角度における１画素同士の位置関係を示している。なお、図６、図７において矢印が注目画素からずれている場合があるが、これは、基本的に補間したい位置に近いところを通るような線が引ける点を用いたほうがよいためである。

【0174】

マッチング演算における評価量は、例えば、図６、図７において矢印で結ばれた位置の画素の画素値の差分の絶対値としてもよいし、周辺の複数の画素の画素値を用いて、画素値の差分の絶対値の和であってもよい。また、複数の画素を用いる場合、サンプリング定理を満たす範囲で間引いた点（画素）を用いてもよい。

【0175】

図８は、本発明の実施形態に係る画像処理装置１００が備えるマッチング演算部１２０Ａ、１２０Ｂにおける処理の一例を説明するための説明図であり、１／２間引きで３点を用いた４５［°］に対する評価量の計算例を示している。

【0176】

例えば、注目画素の上のラインに対する評価量“ＪＵ４５_ｉ，ｊ”、注目画素のすたのラインに対する評価量“ＪＤ４５_ｉ，ｊ”、注目画素の左のカラムに対する評価量“ＪＬ４５_ｉ，ｊ”、および注目画素の右のカラムに対する評価量“ＪＲ４５_ｉ，ｊ”は、例えば、下記の数式２６に示す差分絶対値の総和で算出される。

【0177】

【数26】

【0178】

ここで、上記数式２６で算出される評価量は、一般的にはＳＡＤ（Sum of Absolute Difference）を用いたブロックマッチングの評価量であるといえる。なお、画像処理装置１００は、上記で使用している画素値からさらに別の演算を行った上で足し込むことによって、評価量を算出してもよい。

【0179】

マッチング演算部１２０Ａ、１２０Ｂは、例えば図６や図７に示す各角度において、図８に示す計算例と同様に評価量を算出する。

【0180】

なお、マッチング演算部１２０Ａ、１２０Ｂは、例えば、図６や図７に示す例よりも参照範囲を広げてさらに浅い角度で評価値を算出してもよいし、図６や図７に示す例において一部の検出角度を間引いて評価値を算出してもよい。

【0181】

マッチング演算部１２０Ａ、１２０Ｂは、前処理部１０２により絞られた計算範囲の離散的な角度それぞれに対して、上記のように評価量を求め、評価量が最小となる角度を検出値として出力する。

【0182】

ここで、マッチング演算部１２０Ａは、例えば、水平方向における注目画素の上側の演算、および垂直方向における注目画素の左側の演算を行う。また、マッチング演算部１２０Ｂは、例えば、水平方向における注目画素の下側の演算、および垂直方向における注目画素の右側の演算を行う。なお、マッチング演算部１２０Ａ、１２０Ｂが担当する演算の例が、上記に限られないことは、言うまでもない。

【0183】

整合性判定部１２２は、例えば、前処理部１０２から伝達される注目画素それぞれに対応する計算範囲を示す情報と、マッチング演算部１２０Ａ、１２０Ｂそれぞれから伝達される検出値との、一方または双方に基づいて、エッジの方向を検出する。

【0184】

マッチング演算部１２０Ａ、１２０Ｂそれぞれから伝達される検出値によって、整合性判定部１２２では、注目画素の上下または左右の演算による２つの独立した方向検出結果が得られる。斜め線であれば、２つの独立した方向検出結果は、ほぼ一致した方向を示すはずであり、また、マッチング演算部１２０Ａ、１２０Ｂにおける演算は離散的な角度の演算であるので、２つの独立した方向検出結果はずれても１方向単位分となるはずである。

【0185】

例えば、マッチング演算部１２０Ａが図６における２６．６［°］を検出値として出力した場合に、マッチング演算部１２０Ｂが図７における２１．８［°］〜３３．７［°］を出力していれば、マッチング演算部１２０Ａ、１２０Ｂにおいて正しい角度が得られているといえる。

【0186】

また、例えば、マッチング演算部１２０Ａが図６における２６．６［°］を検出値として出力したときに、マッチング演算部１２０Ｂが図７における４５［°］（２方向単位以上のずれの一例）が出力されている場合には、マッチング演算部１２０Ａ、１２０Ｂにおいて正しい角度が得られておらず、検出結果を方向無しとする方が、エッジの方向に適応した補間処理が行われたときにおいて斜め補間のアーティファクト（artefact）を発生させずにすむ。また、斜め補間は、０［°］や９０「°」に近づくほど、注目画素位置からより距離の離れた画素同士の補間となるため、誤って角度を検出すると上記のようなアーティファクトが大きくなる。

【0187】

そこで、整合性判定部１２２は、例えば下記の（ｉ）〜（ｉｖ）に示すように、エッジの方向を検出する。

【0188】

（ｉ）マッチング演算部１２０Ａの検出値が示す角度と、マッチング演算部１２０Ｂの検出値が示す角度とが、完全に一致する場合
整合性判定部１２２は、一致する角度が示す方向を、エッジの方向の検出結果とする。

【0189】

（ｉｉ）マッチング演算部１２０Ａの検出値が示す角度と、マッチング演算部１２０Ｂの検出値が示す角度とのずれが、１方向単位のずれである場合
整合性判定部１２２は、マッチング演算部１２０Ａの検出値が示す角度と、マッチング演算部１２０Ｂの検出値が示す角度とのうちの、一方の角度が示す方向を、エッジの方向の検出結果とする。

【0190】

例えば、整合性判定部１２２は、水平方向であれば９０［°］により近い角度が示す方向を、エッジの方向の検出結果とし、垂直方向であれば０［°］により近い角度が示す方向を、エッジの方向の検出結果とする。つまり、整合性判定部１２２は、例えば、エッジの方向に適応した補間処理が行われたときにおいて斜め補間の距離が短くなる方の角度が示す方向を、エッジの方向の検出結果とする。

【0191】

（ｉｉｉ）前処理部１０２から伝達される計算範囲を示す情報が、例外を示す場合
前処理部１０２から伝達される計算範囲を示す情報が例外を示すときには、整合性判定部１２２は、例えば、マッチング演算部１２０Ａの検出値が示す角度およびマッチング演算部１２０Ｂの検出値が示す角度が、４５［°］または１３５［°］で一致する場合にのみ、一致する角度が示す方向を、エッジの方向の検出結果とする。また、整合性判定部１２２は、例えば、マッチング演算部１２０Ａの検出値が示す角度およびマッチング演算部１２０Ｂの検出値が示す角度が、４５［°］または１３５［°］で一致しない場合には、エッジの方向が無いこと（方向無し）をエッジの方向の検出結果とする。

【0192】

（ｉｖ）前処理部１０２から伝達される計算範囲を示す情報が、方向無しを示す場合
前処理部１０２から伝達される計算範囲を示す情報が方向無しを示す場合、整合性判定部１２２は、例えば、エッジの方向が無いこと（方向無し）をエッジの方向の検出結果とする。

【0193】

エッジの方向が検出されると、整合性判定部１２２は、例えば、検出結果を示す情報を出力する。検出結果を示す情報としては、例えば、角度を示すデータや、方向無しを示すデータなどのエッジの方向を用いた処理を行わせないためのデータが挙げられる。検出結果を示す情報は、例えば、注目画素ごとのデータであってもよいし、入力画像単位のデータ（データ群）であってもよい。

【0194】

ここで、出力される検出結果を示す情報は、例えば、画像処理装置１００が備える、エッジの方向に適応した補間処理などのエッジの方向を用いた処理を行う画像処理部（図示せず）に伝達される。また、検出結果を示す情報は、例えば、記録媒体に記録されてもよいし、通信デバイスを介して画像処理装置１００の外部装置へと送信されてもよい。検出結果を示す情報の記録媒体への記録に係る処理や、通信デバイスを介した検出結果を示す情報の送信に係る処理は、例えば、制御部（図示せず）により制御される。

【0195】

エッジ方向検出部１０４は、例えば上記のような、水平オーバーサンプリング部１１２、垂直オーバーサンプリング部１１４、バッファ１１６Ａ、１１６Ｂ、選択部１１８Ａ、１１８Ｂ、マッチング演算部１２０Ａ、１２０Ｂ、および整合性判定部１２２を有することによって、入力画像信号に基づいて、前処理部１０２において決定された計算範囲内で計算を行うことにより、エッジの方向を検出する。

【0196】

なお、エッジ方向検出部１０４の構成は、図４に示す構成に限られない。例えば、図４では、エッジ方向検出部１０４が、前処理部１０２において決定された計算範囲内でブロックマッチング処理に係る計算を行う場合の構成の一例を示したが、エッジ方向検出部１０４は、前処理部１０２において決定された計算範囲内で計算を行うことが可能な、エッジの方向の検出方法に応じた構成をとることが可能である。

【0197】

本発明の実施形態に係る画像処理装置１００は、例えば図４に示す構成（変形例も含む。）によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（前処理）、および上記（２）の処理（エッジ方向検出処理））を行う。

【0198】

よって、画像処理装置１００は、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【0199】

また、画像処理装置１００は、例えば上述したような、本発明の実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。

【0200】

以上、本発明の実施形態として、画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータ（computer）や、タブレット（tablet）型の装置、携帯電話やスマートフォン（smart phone）などの通信装置など、画像信号を処理することが可能な、様々な機器に適用することができる。また、本発明の実施形態は、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated Circuit）に適用することもできる。

【0201】

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、コンピュータを、前処理部１０２に相当する前処理手段、およびエッジ方向検出部１０４に相当するエッジ方向検出手段として機能させることが可能なプログラム）が、コンピュータにおいて実行されることによって、エッジの方向検出に係る演算コストを低減しつつ、エッジの方向の検出精度の向上を図ることができる。

【0202】

また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本発明の実施形態に係る画像処理装置が用いられることにより奏される効果を、奏することができる。

【0203】

また、上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0204】

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

【符号の説明】

【0205】

１００ 画像処理装置
１０２ 前処理部
１０４ エッジ方向検出部
１０６ エッジ方向判定部
１０８ 象限判定部
１１０ 計算範囲決定部
１１２ 水平オーバーサンプリング部
１１４ 垂直オーバーサンプリング部
１１６Ａ、１１６Ｂ バッファ
１１８Ａ、１１８Ｂ 選択部
１２０Ａ、１２０Ｂ マッチング演算部
１２２ 整合性判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】