特許 6469397 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6469397

(24)【登録日】2019年1月25日

(45)【発行日】2019年2月13日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20190204BHJP

   H04N 1/409 20060101ALI20190204BHJP

   H04N 1/387 20060101ALI20190204BHJP

【ＦＩ】

   G06T3/40 715

   H04N1/409

   H04N1/387 101

【請求項の数】11

【全頁数】30

(21)【出願番号】特願2014-191225(P2014-191225)

(22)【出願日】2014年9月19日

(65)【公開番号】特開2016-62429(P2016-62429A)

(43)【公開日】2016年4月25日

【審査請求日】2017年8月24日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(72)【発明者】

【氏名】松本 武生

(72)【発明者】

【氏名】上林 輝彦

(72)【発明者】

【氏名】大西 康司

(72)【発明者】

【氏名】藤本 知之

(72)【発明者】

【氏名】山本 大輔

【審査官】 山田 辰美

(56)【参考文献】

【文献】 米国特許出願公開第２００６／００３９５９０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０２３０６０８（ＵＳ，Ａ１）

【文献】 特開２０１１−１００４２４（ＪＰ，Ａ）

【文献】 特開２０１２−２５３６８４（ＪＰ，Ａ）

【文献】 特開２０１０−１７０３０２（ＪＰ，Ａ）

【文献】 特開２００５−１３５４１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ １／４０９

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

入力画像のサイズを変更して出力画像を生成する画像処理装置であって、
前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する第１補間手段と、
前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する第２補間手段と、
前記対象画素に係る対象エッジの情報を導出するエッジ情報導出手段と、を備え、
前記第１補間手段は、前記対象エッジの水平方向に対する角度に応じた補間処理を行い、
前記エッジ情報導出手段は、
前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第１補間手段は、前記対象エッジの水平方向に対する角度に応じて、前記補間処理に用いる前記複数の入力画素の配列方向を水平方向及び垂直方向のいずれとするかを選択することを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記対象エッジの水平方向に対する角度をθとした場合、
前記第１補間手段は、
４５°＜θ＜１３５°のときは、前記補間処理に用いる前記複数の入力画素の配列方向を垂直方向とし、
０°＜θ＜４５°、または、１３５°＜θ＜１８０°のときは、前記補間処理に用いる前記複数の入力画素の配列方向を水平方向とすることを特徴とする画像処理装置。

【請求項4】

請求項１に記載の画像処理装置において、
前記周辺位置は、最小の矩形を形成する４つの入力画素の中心であることを特徴とする画像処理装置。

【請求項5】

請求項１ないし４のいずれかに記載の画像処理装置において、
前記エッジ情報導出手段は、前記複数の周辺位置におけるエッジ、及び、前記対象画素の位置におけるエッジのうち強度が最大のエッジを、前記対象エッジとして選択することを特徴とする画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記複数の周辺位置のいずれかにおけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、当該エッジの強度を弱める弱化手段、
をさらに備えることを特徴とする画像処理装置。

【請求項7】

請求項５に記載の画像処理装置において、
前記複数の周辺位置それぞれの前記対象画素の位置からの距離に応じて、前記複数の周辺位置それぞれにおけるエッジの強度を弱める弱化手段、
をさらに備えることを特徴とする画像処理装置。

【請求項8】

請求項５ないし７のいずれかに記載の画像処理装置において、
前記対象画素の位置におけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、該エッジの強度を弱める弱化手段、
をさらに備えることを特徴とする画像処理装置。

【請求項9】

請求項１ないし７のいずれかに記載の画像処理装置において、
前記対象画素の位置におけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、前記第１及び第２補間手段に代わり、水平方向及び垂直方向に沿った補間処理を行い前記対象画素の値を導出する第３補間手段、
をさらに備えることを特徴とする画像処理装置。

【請求項10】

入力画像のサイズを変更して出力画像を生成する画像処理方法であって、
（ａ）前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する工程と、
（ｂ）前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する工程と、
（ｃ）前記対象画素に係る対象エッジの情報を導出する工程と、
を備え、
前記（ａ）の工程は、
前記対象エッジの水平方向に対する角度に応じた補間処理を行い、
前記（ｃ）の工程は、
前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する
ことを特徴とする画像処理方法。

【請求項11】

入力画像のサイズを変更して出力画像を生成する画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータに、
（ａ）前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する工程と、
（ｂ）前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する工程と、
（ｃ）前記対象画素に係る対象エッジの情報を導出する工程と、
を実行させ、
前記（ａ）の工程は、
前記対象エッジの水平方向に対する角度に応じた補間処理を行い、
前記（ｃ）の工程は、
前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のサイズを変更する技術に関する。

【背景技術】

【0002】

従来より、画像のサイズを変更する（拡大または縮小する）際に、変更後の画像の各画素の値を、変更前の画像の画素を用いた補間により導出する補間処理が行われている。このような補間処理の手法としては、例えば、バイリニア、バイキュービックなどの手法が従来より知られている。

【0003】

なお、本発明に関連する技術を開示する先行技術文献として特許文献１がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１２６１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような従来の補間手法を用いた補間処理を行って画像のサイズを変更した場合においては、変更後の画像中における像の輪郭（エッジ）において、輪郭の線が階段状になるジャギーと呼ばれる現象が発生する。ジャギーは、一般に、輪郭の線が水平方向に対して傾斜している部分に生じる。

【0006】

このようなジャギーは、画像中における像の輪郭を毀損し、画像の美しさを損なうものとなる。このため、画像のサイズを変更する場合に生じるジャギーを低減する技術が望まれていた。

【0007】

本発明は、上記課題に鑑みてなされたものであり、ジャギーを低減できる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、請求項１の発明は、入力画像のサイズを変更して出力画像を生成する画像処理装置であって、前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する第１補間手段と、前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する第２補間手段と、前記対象画素に係る対象エッジの情報を導出するエッジ情報導出手段と、を備え、前記第１補間手段は、前記対象エッジの水平方向に対する角度に応じた補間処理を行い、前記エッジ情報導出手段は、前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する。

【0010】

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第１補間手段は、前記対象エッジの水平方向に対する角度に応じて、前記補間処理に用いる前記複数の入力画素の配列方向を水平方向及び垂直方向のいずれとするかを選択する。

【0011】

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記対象エッジの水平方向に対する角度をθとした場合、前記第１補間手段は、４５°＜θ＜１３５°のときは、前記補間処理に用いる前記複数の入力画素の配列方向を垂直方向とし、０°＜θ＜４５°、または、１３５°＜θ＜１８０°のときは、前記補間処理に用いる前記複数の入力画素の配列方向を水平方向とする。

【0013】

また、請求項４の発明は、請求項１に記載の画像処理装置において、前記周辺位置は、最小の矩形を形成する４つの入力画素の中心である。

【0014】

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記エッジ情報導出手段は、前記複数の周辺位置におけるエッジ、及び、前記対象画素の位置におけるエッジのうち強度が最大のエッジを、前記対象エッジとして選択する。

【0015】

また、請求項６の発明は、請求項５に記載の画像処理装置において、前記複数の周辺位置のいずれかにおけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、当該エッジの強度を弱める弱化手段、をさらに備えている。

【0016】

また、請求項７の発明は、請求項５に記載の画像処理装置において、前記複数の周辺位置それぞれの前記対象画素の位置からの距離に応じて、前記複数の周辺位置それぞれにおけるエッジの強度を弱める弱化手段、をさらに備えている。

【0017】

また、請求項８の発明は、請求項５ないし７のいずれかに記載の画像処理装置において、前記対象画素の位置におけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、該エッジの強度を弱める弱化手段、をさらに備えている。

【0018】

また、請求項９の発明は、請求項１ないし７のいずれかに記載の画像処理装置において、前記対象画素の位置におけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、前記第１及び第２補間手段に代わり、水平方向及び垂直方向に沿った補間処理を行い前記対象画素の値を導出する第３補間手段、をさらに備えている。

【0019】

また、請求項１０の発明は、入力画像のサイズを変更して出力画像を生成する画像処理方法であって、（ａ）前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する工程と、（ｂ）前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する工程と、（ｃ）前記対象画素に係る対象エッジの情報を導出する工程と、を備え、前記（ａ）の工程は、前記対象エッジの水平方向に対する角度に応じた補間処理を行い、前記（ｃ）の工程は、前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する。

【0020】

また、請求項１１の発明は、入力画像のサイズを変更して出力画像を生成する画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）前記入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた補間処理を行い、前記出力画像の対象画素の位置を通り水平方向に対して傾斜する傾斜補間線上の複数の注目点の値をそれぞれ導出する工程と、（ｂ）前記傾斜補間線上の前記複数の注目点の値を用いた補間処理を行い、前記対象画素の値を導出する工程と、（ｃ）前記対象画素に係る対象エッジの情報を導出する工程と、を実行させ、前記（ａ）の工程は、前記対象エッジの水平方向に対する角度に応じた補間処理を行い、前記（ｃ）の工程は、前記対象画素の位置に対応する入力画像の参照領域を特定し、特定した参照領域の中心を前記対象画素の周辺位置に決定し、複数の周辺位置における周辺エッジと、前記対象画素の位置における自位置エッジとに基づいて、前記対象エッジの情報を導出する。

【発明の効果】

【0021】

請求項１ないし１１の発明によれば、傾斜補間線上の複数の注目点の値を用いた補間処理により出力画像の対象画素の値を導出するため、出力画像におけるジャギーを低減できる。

【0022】

また、特に請求項１の発明によれば、対象エッジの角度に応じた補間処理を行うため、出力画像におけるジャギーを低減できる。

【0023】

また、特に請求項２及び３の発明によれば、対象エッジの角度に応じて補間処理に用いる複数の入力画素の配列方向が選択されるため、出力画像におけるジャギーを効果的に低減できる。

【0024】

また、特に請求項１の発明によれば、対象画素の位置におけるエッジのみならず、対象画素の周辺の複数の周辺位置におけるエッジも考慮して、対象画素に係る対象エッジの情報を適切に導出できる。

【0025】

また、特に請求項４の発明によれば、周辺位置におけるエッジを容易に検出できる。

【0026】

また、特に請求項５の発明によれば、対象画素に最も影響を与えるエッジを、対象画素に係る対象エッジとすることができる。

【0027】

また、特に請求項６の発明によれば、ジャギーが発生しにくいエッジの強度を弱化することで、ジャギーに関連するエッジを対象エッジとして適切に選択できる。

【0028】

また、特に請求項７の発明によれば、距離に起因した影響の減少を考慮してエッジの強度を調整するため、対象画素に影響を与えるエッジを対象エッジとして適切に選択できる。

【0029】

また、特に請求項８の発明によれば、ジャギーが発生しにくいエッジの強度を弱化することで、ジャギーに関連するエッジを対象エッジとして適切に選択できる。

【0030】

また、特に請求項９の発明によれば、対象画素の位置におけるエッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合はジャギーが発生しにくいため、水平方向及び垂直方向に沿った補間処理を行うことでノイズの発生を抑制できる。

【図面の簡単な説明】

【0031】

【図1】図１は、画像処理装置の概略構成を示す図である。

【図2】図２は、入力画像の画素の位置と出力画像の画素の位置とを示す図である。

【図3】図３は、従来の補間手法で生成される出力画像の例を示す図である。

【図4】図４は、傾斜型補間法で生成される出力画像の例を示す図である。

【図5】図５は、サイズ変更部の機能的な構成を示す図である。

【図6】図６は、傾斜型補間法に係る処理の全体的な流れを示す図である。

【図7】図７は、画像中のエッジとベクトルとの関係を示す図である。

【図8】図８は、エッジを分類するパターンを説明する図である。

【図9】図９は、エッジの角度の一例を示す図である。

【図10】図１０は、エッジの角度の一例を示す図である。

【図11】図１１は、パターンＡの場合の補間処理を示す図である。

【図12】図１２は、パターンＢの場合の補間処理を示す図である。

【図13】図１３は、パターンＣの場合の補間処理を示す図である。

【図14】図１４は、パターンＤの場合の補間処理を示す図である。

【図15】図１５は、エッジ情報導出部の構成を示す図である。

【図16】図１６は、対象画素の周辺にある複数の周辺位置を示す図である。

【図17】図１７は、エッジ情報取得処理の詳細な流れを示す図である。

【図18】図１８は、対象画素の周辺の入力画素を示す図である。

【図19】図１９は、周辺エッジのベクトルを導出する手法を説明する図である。

【図20】図２０は、延伸方向が垂直方向に略沿ったエッジの一例を示す図である。

【図21】図２１は、係数Ｊを示す図である。

【図22】図２２は、自位置エッジのベクトルを導出する手法を説明する図である。

【図23】図２３は、画素補間部の構成を示す図である。

【図24】図２４は、画素補間処理の詳細な流れを示す図である。

【図25】図２５は、対象画素の近傍の近傍画素を示す図である。

【図26】図２６は、近傍画素を分類する図である。

【図27】図２７は、パターンＡの場合の傾斜補間線の角度の一例を示す図である。

【図28】図２８は、パターンＡの場合の補間処理を示す図である。

【図29】図２９は、パターンＢの場合の傾斜補間線の角度の一例を示す図である。

【図30】図３０は、パターンＢの場合の補間処理を示す図である。

【図31】図３１は、パターンＣの場合の傾斜補間線の角度の一例を示す図である。

【図32】図３２は、パターンＣの場合の補間処理を示す図である。

【図33】図３３は、パターンＤの場合の傾斜補間線の角度の一例を示す図である。

【図34】図３４は、パターンＤの場合の補間処理を示す図である。

【図35】図３５は、オーバーシュート及びアンダーシュートを説明する図である。

【図36】図３６は、入力画素範囲を求めるための入力画素を説明する図である。

【図37】図３７は、オーバーシュート及びアンダーシュートを説明する図である。

【図38】図３８は、画素補間部の構成の他の一例を示す図である。

【発明を実施するための形態】

【0032】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0033】

＜１．画像処理装置の概要＞
図１は、本実施の形態に係る画像処理装置１の概略構成を示す図である。画像処理装置１は、例えば、車両に搭載される車載装置であり、各種の画像を表示する機能を有している。

【0034】

画像処理装置１は、カメラ１１、映像取得部１２及び表示装置１４を備えている。カメラ１１は、車両の外部に向けて搭載され、車両の周辺の画像を取得する。また、映像取得部１２は、ＤＶＤ等の記録媒体、あるいは、デジタルテレビ放送等の放送媒体から画像を取得する。表示装置１４は、車室内に配置され、各種の画像を表示する。したがって、画像処理装置１は、カメラ１１で得られた画像や映像取得部１２で取得された画像を、表示装置１４において表示できる。

【0035】

また、画像処理装置１は、制御部１０と画像処理部１３とをさらに備えている。

【0036】

制御部１０は、画像処理装置１の全体を統括的に制御する。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含むコンピュータを備えている。ＲＯＭ等に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで、制御部１０としての各種の機能が実現される。このようなプログラムは、記録媒体やネットワークを介して提供される。

【0037】

画像処理部１３は、例えば、各種の画像処理を行う機能を有するハードウェア回路（集積回路）である。画像処理部１３は、カメラ１１で得られた画像、あるいは、映像取得部１２で取得された画像に対して、表示装置１４への表示に適するように画像処理を行う。

【0038】

画像処理部１３は、そのような画像処理を行う機能の一つとしてサイズ変更部２を備えている。サイズ変更部２は、カメラ１１で得られた画像や、映像取得部１２で取得された画像などのソースとなる画像のサイズを変更し、表示装置１４への表示に適するサイズの画像を生成する。

【0039】

以下、サイズ変更部２によるサイズ変更前の元の画像を「入力画像」といい、サイズ変更部２が生成するサイズ変更後の画像を「出力画像」という。なお以下、サイズ変更部２が入力画像のサイズを拡大して出力画像を生成するものとして説明するが、以下で説明する技術を入力画像のサイズを縮小して出力画像を生成する場合に適用してもよい。

【0040】

図２は、入力画像の画素の位置と、出力画像の画素の位置とを示す図である。図中においては、入力画像の画素Ｐｓの位置を円形の記号で表し、出力画像の画素Ｐｇの位置を正方形の記号で表している（以降の図においても同様。）。

【0041】

画像中の各画素の位置、及び、隣接する画素同士の間隔は、画像のサイズ（水平方向の画素数及び垂直方向の画素数）に基づいて規定される。入力画像と出力画像とではサイズが異なるため、図２に示すように、入力画像の各画素Ｐｓの位置と、出力画像の各画素Ｐｇの位置とは相違する。このため、出力画像の各画素Ｐｇの値（輝度値及び色差値）は、当該画素Ｐｇの位置の周辺にある入力画像の複数の画素Ｐｇの値を用いた補間処理により導出される。

【0042】

このような補間処理には、一般には、バイリニア、バイキュービックなどの補間手法が用いられる。バイリニアは、対象となる画素の周辺の２×２の画素（４画素）を用いて線型的に補間して画素の値を求める手法である。また、バイキュービックは、対象となる画素の周辺の４×４の画素（１６画素）を用いて所定の演算式で補間して画素の値を求める手法である。これら従来の補間手法はいずれも、画像の垂直方向及び水平方向に沿って補間を行う。より具体的には、従来の補間手法は、垂直方向及び水平方向の一方に沿って補間を行った後、垂直方向及び水平方向の他方に沿って補間を行う。

【0043】

これに対して、本実施の形態の画像処理装置１は、従来の補間手法とは異なり、水平方向に対して傾斜した線に沿って補間を行う補間手法（以下、「傾斜型補間法」という。）を採用する。

【0044】

図３及び図４はそれぞれ、同一の入力画像Ｇｓに対して補間処理を行うことで生成される出力画像の例を示す図である。図３は、従来の補間手法であるバイリニアを採用して生成される出力画像Ｇｇｃの例を表している。一方、図４は、傾斜型補間法を採用して生成される出力画像Ｇｇの例を表している。これらの図においては、各画素の輝度値をハッチングにより表しており、ハッチングが濃いほど輝度値が低い。

【0045】

図３及び図４に示す入力画像Ｇｓにおいては、像の輪郭となるエッジ（明るさが不連続に変化する部分）が水平方向に対して傾斜して存在している。図３の下部に示すように、この入力画像Ｇｓを従来の補間手法で拡大した出力画像Ｇｇｃにおいては、輪郭の線が階段状になる顕著なジャギーが発生する。これに対し、図４の下部に示すように、入力画像Ｇｓを傾斜型補間法で拡大した出力画像Ｇｇにおいては、従来の補間手法と比較してジャギーが大きく抑制される。以下、このような傾斜型補間法について詳細に説明する。

【0046】

＜２．傾斜型補間法の全体概要＞
以下においては、まず、傾斜型補間法の全体概要について説明する。その後、傾斜型補間法に含まれる２つの処理（エッジ情報導出処理、及び、画素補間処理）をそれぞれ詳細に説明する。

【0047】

図５は、傾斜型補間法を実行するサイズ変更部２の機能的な構成を示す図である。サイズ変更部２は、画像メモリ２１、エッジ情報導出部３、及び、画素補間部４を備えている。

【0048】

画像メモリ２１は、処理の対象となる入力画像を記憶する。エッジ情報導出部３及び画素補間部４は、画像メモリ２１に記憶された入力画像を利用して各種の画像処理を行う。

【0049】

エッジ情報導出部３は、入力画像に基づいて出力画像の画素に係るエッジの情報を導出するエッジ情報導出処理を行う。また、画素補間部４は、入力画像に基づいて補間処理を行って出力画像の画素の値を導出する画素補間処理を行う。画素補間部４は、エッジ情報導出部３が導出したエッジの情報に応じた補間処理を行う。

【0050】

図６は、サイズ変更部２が実行する傾斜型補間法に係る処理の全体的な流れを示す図である。

【0051】

まず、エッジ情報導出部３が、出力画像の各画素に関してエッジ情報導出処理を実行する。エッジ情報導出部３は、出力画像の一の画素を処理の対象とする「対象画素」として選択し（ステップＳ１）、その対象画素に関してエッジ情報導出処理を実行する（ステップＳ２）。エッジ情報導出部３は、出力画像に含まれる画素のそれぞれを配列順序に従って順次に対象画素として選択しながら（ステップＳ３にてＮｏ）、エッジ情報導出処理を繰り返す。これにより、エッジ情報導出部３は、出力画像の全ての画素に関してエッジ情報導出処理を実行する。

【0052】

エッジ情報導出処理（ステップＳ２）においては、エッジ情報導出部３は、対象画素に係るエッジの情報を導出する。エッジ情報導出部３は、演算上において、画像中のエッジをベクトルとして扱う。図７は、画像中のエッジＥと、そのエッジＥを表すベクトルＶとの関係を示す図である。図に示すように、ベクトルＶの方向は、エッジＥの延伸方向に直交している。また、ベクトルＶの大きさは、エッジＥの強度に相当する。

【0053】

画像の水平方向はＸ軸方向、垂直方向はＹ軸方向と定められる。エッジ情報導出部３は、Ｘ軸方向の成分ＶｘとＹ軸方向の成分ＹｙとでベクトルＶを特定する。エッジ情報導出部３は、このベクトルＶの２つの成分Ｖｘ，Ｖｙを、対象画素の周辺の入力画像の画素の値（輝度値）に基づいて導出する（詳細は後述）。

【0054】

そして、エッジ情報導出部３は、対象画素に係るエッジを、その水平方向に対する角度に基づいて４つのパターンのいずれかに分類する。分類されたパターンは、対象画素に係るエッジの情報の一部となる。以下、エッジの水平方向に対する角度に記号θを用いる。このエッジの角度θは、ベクトルＶの２つの成分Ｖｘ，Ｖｙを用いた三角関数により導出され、度数法を用いて０°＜θ＜１８０°の範囲の値とされる。

【0055】

図８は、エッジを分類するパターンを説明する図である。図に示すように、エッジ情報導出部３は、０°＜θ＜４５°の場合はパターンＡに、４５°＜θ＜９０°の場合はパターンＢに、９０°＜θ＜１３５°の場合はパターンＣに、１３５°＜θ＜１８０°の場合はパターンＤにそれぞれエッジを分類する。

【0056】

例えば、図９に示すようにエッジの角度θが３０°の場合は、エッジ情報導出部３は当該エッジをパターンＡに分類する。また、図１０に示すようにエッジの角度θが１２０°の場合は、エッジ情報導出部３は当該エッジをパターンＣに分類する。

【0057】

エッジ情報導出部３は、このエッジ情報導出処理を出力画像の全ての画素に関して実行することで（図６のステップＳ３にてＹｅｓ）、出力画像の全ての画素に係るエッジの情報（パターン等）を導出する。エッジ情報導出部３は、導出したエッジの情報を、画素補間部４に受け渡す（ステップＳ４）。

【0058】

次に、画素補間部４が、出力画像の各画素に関して画素補間処理を実行する。画素補間部４は、出力画像の一の画素を処理の対象とする「対象画素」として選択し（ステップＳ５）、その対象画素に関して画素補間処理を実行する（ステップＳ６）。画素補間部４は、出力画像に含まれる画素のそれぞれを配列順序に従って順次に対象画素として選択しながら（ステップＳ７にてＮｏ）、画素補間処理を繰り返す。これにより、画素補間部４は、出力画像の全ての画素に関して画素補間処理を実行する。

【0059】

画素補間処理（ステップＳ６）においては、画素補間部４は、対象画素に係るエッジのパターンに応じた補間処理を行って対象画素の値（輝度値及び色差値）を導出する。図１１ないし図１４は、画素補間部４が実行する補間処理を説明する図である。図１１はパターンＡの場合、図１２はパターンＢの場合、図１３はパターンＣの場合、図１４はパターンＤの場合のそれぞれの補間処理を示している。いずれの場合においても、画素補間部４は２段階の補間処理（第１補間処理、及び、第２補間処理）を行うことになる。以下、入力画像の画素Ｐｓを「入力画素」という。

【0060】

まず、画素補間部４は、入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素Ｐｓの値を用いた第１補間処理を行う。これにより、画素補間部４は、対象画素Ｐｇｔの位置を通り水平方向に対して傾斜する傾斜補間線Ｌａ上の複数の注目点Ｎ１〜Ｎ４の値をそれぞれ導出する。

【0061】

次に、画素補間部４は、第１補間処理で導出した傾斜補間線Ｌａ上の複数の注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行い、対象画素Ｐｇｔの値を導出する。第１補間処理及び第２補間処理のいずれにおいても、補間の演算式としてはバイキュービックと同じ演算式が採用される。

【0062】

このような第１補間処理に用いる複数の入力画素Ｐｓの配列方向、及び、傾斜補間線Ｌａの水平方向に対する角度は、対象画素に係るエッジのパターンに応じて異なる。以下、傾斜補間線Ｌａの水平方向に対する角度に記号αを用いる。この傾斜補間線Ｌａの角度αは、度数法を用いて０°＜α＜１８０°の範囲の値とされる。

【0063】

図１１に示すように、パターンＡ（０°＜θ＜４５°）の場合は、第１補間処理に用いる複数の入力画素Ｐｓの配列方向は「水平方向」とされる。また、傾斜補間線Ｌａが「右肩上がり」となるように、傾斜補間線Ｌａの角度αは０°＜α＜９０°の範囲で設定される。

【0064】

画素補間部４は、第１補間処理として、図１１中に示す４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４のそれぞれにおいて、「水平方向」に並ぶ４つの入力画素Ｐｓを用いた補間処理を行う。したがって、第１補間処理では４×４の１６の入力画素Ｐｓが用いられる。これにより、画素補間部４は、領域Ｒ１では注目点Ｎ１の値、領域Ｒ２では注目点Ｎ２の値、領域Ｒ３では注目点Ｎ３の値、領域Ｒ４では注目点Ｎ４の値をそれぞれ導出する。これら注目点Ｎ１〜Ｎ４は、対象画素Ｐｇｔの位置を通り、「右肩上がり」となる傾斜補間線Ｌａ上の４つの点である。そして、画素補間部４は、第２補間処理として、この傾斜補間線Ｌａ上に並ぶ４つの注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行い、対象画素Ｐｇｔの値を導出する。

【0065】

また、図１２に示すように、パターンＢ（４５°＜θ＜９０°）の場合は、第１補間処理に用いる複数の入力画素Ｐｓの配列方向は「垂直方向」とされる。また、傾斜補間線Ｌａが「右肩上がり」となるように、傾斜補間線Ｌａの角度αは０°＜α＜９０°の範囲で設定される。

【0066】

画素補間部４は、第１補間処理として、図１２中に示す４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４のそれぞれにおいて、「垂直方向」に並ぶ４つの入力画素Ｐｓを用いた補間処理を行い、注目点Ｎ１〜Ｎ４の値を導出する。これら注目点Ｎ１〜Ｎ４は、対象画素Ｐｇｔの位置を通り、「右肩上がり」となる傾斜補間線Ｌａ上の４つの点である。そして、画素補間部４は、第２補間処理として、この傾斜補間線Ｌａ上に並ぶ４つの注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行い、対象画素Ｐｇｔの値を導出する。

【0067】

また、図１３に示すように、パターンＣ（９０°＜θ＜１３５°）の場合は、第１補間処理に用いる複数の入力画素Ｐｓの配列方向は「垂直方向」とされる。また、傾斜補間線Ｌａが「右肩下がり」となるように、傾斜補間線Ｌａの角度αは９０°＜α＜１８０°の範囲で設定される。

【0068】

画素補間部４は、第１補間処理として、図１３中に示す４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４のそれぞれにおいて、「垂直方向」に並ぶ４つの入力画素Ｐｓを用いた補間処理を行い、注目点Ｎ１〜Ｎ４の値を導出する。これら注目点Ｎ１〜Ｎ４は、対象画素Ｐｇｔの位置を通り、「右肩下がり」となる傾斜補間線Ｌａ上の４つの点である。そして、画素補間部４は、第２補間処理として、この傾斜補間線Ｌａ上に並ぶ４つの注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行い、対象画素Ｐｇｔの値を導出する。

【0069】

また、図１４に示すように、パターンＤ（１３５°＜θ＜１８０°）の場合は、第１補間処理に用いる複数の入力画素Ｐｓの配列方向は「水平方向」とされる。また、傾斜補間線Ｌａが「右肩下がり」となるように、傾斜補間線Ｌａの角度αは９０°＜α＜１８０°の範囲で設定される。

【0070】

画素補間部４は、第１補間処理として、図１４中に示す４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４のそれぞれにおいて、「水平方向」に並ぶ４つの入力画素Ｐｓを用いた補間処理を行い、注目点Ｎ１〜Ｎ４の値を導出する。これら注目点Ｎ１〜Ｎ４は、対象画素Ｐｇｔの位置を通り、「右肩下がり」となる傾斜補間線Ｌａ上の４つの点である。そして、画素補間部４は、第２補間処理として、この傾斜補間線Ｌａ上に並ぶ４つの注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行い、対象画素Ｐｇｔの値を導出する。

【0071】

画素補間部４が、このような画素補間処理を出力画像の全ての画素に関して実行することで（図６のステップＳ７にてＹｅｓ）、出力画像の全ての画素の値が導出される。これにより、サイズ変更部２は、入力画像のサイズを変更した出力画像を生成する。

【0072】

このように本実施の形態の画像処理装置１においては、画素補間部４が、入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素Ｐｓの値を用いた第１補間処理を行う。これにより、画素補間部４は、出力画像の対象画素Ｐｇｔの位置を通り水平方向に対して傾斜する傾斜補間線Ｌａ上の複数の注目点Ｎ１〜Ｎ４の値をそれぞれ導出する。さらに、画素補間部４は、傾斜補間線Ｌａ上の複数の注目点Ｎ１〜Ｎ４の値を用いた第２補間処理を行って、対象画素Ｐｇｔの値を導出する。

【0073】

第１補間処理に用いる入力画素Ｐｓの配列方向を「水平方向」及び「垂直方向」のいずれとするかは、対象画素のエッジのパターン（すなわち、エッジの角度θ）に応じて選択される。パターンＡまたはパターンＤの場合（０°＜θ＜４５°、または、１３５°＜θ＜１８０°の場合）は、第１補間処理に用いる入力画素Ｐｓの配列方向は「水平方向」とされる。一方、パターンＢまたはパターンＣの場合（４５°＜θ＜１３５°の場合）は、第１補間処理に用いる複数の入力画素Ｐｓの配列方向は「垂直方向」とされる。

【0074】

すなわち、対象画素のエッジの水平方向に対する傾きの絶対値が比較的小さい場合（傾斜が緩やかな場合）は、第１補間処理に用いる入力画素Ｐｓの配列方向は「水平方向」とされる。一方で、対象画素のエッジの水平方向に対する傾きの絶対値が比較的大きい場合（傾斜が急な場合）は、第１補間処理に用いる入力画素Ｐｓの配列方向は「垂直方向」とされる。これにより、エッジの延伸方向に近似する方向に沿って第１補間処理を行うため、ジャギーを有効に低減できる。

【0075】

また、傾斜補間線Ｌａの水平方向に対する角度αは、対象画素のエッジのパターン（すなわち、エッジの角度θ）に応じて設定される。パターンＡまたはパターンＢの場合（０°＜θ＜９０°の場合）は、傾斜補間線Ｌａの角度αは０°＜α＜９０°の範囲で設定される。一方、パターンＣまたはパターンＤの場合（９０°＜θ＜１８０°の場合）は、傾斜補間線Ｌａの角度αは９０°＜α＜１８０°の範囲で設定される。すなわち、対象画素のエッジが「右肩上がり」の場合は、傾斜補間線Ｌａも「右肩上がり」に設定される。一方で、対象画素のエッジが「右肩下がり」の場合は、傾斜補間線Ｌａも「右肩下がり」に設定される。その結果、エッジの延伸方向に近似する方向に沿って第２補間処理を行うため、ジャギーを有効に低減できる。

【0076】

＜３．エッジ情報導出処理＞
次に、エッジ情報導出処理（図６のステップＳ２）について、さらに詳細に説明する。図１５は、エッジ情報導出処理を実行するエッジ情報導出部３（図５参照。）の詳細な構成を示す図である。

【0077】

エッジ情報導出部３は、第１エッジ処理部３１、第２エッジ処理部３２、エッジ選択部３３、及び、エッジ分類部３４を備えている。

【0078】

第１エッジ処理部３１は、図１６に示すように、対象画素Ｐｇｔの周辺にある複数の周辺位置Ｃｓにおけるエッジ（以下、「周辺エッジ」という。）をそれぞれ検出し、これら複数の周辺エッジを対象とした処理を行う。第１エッジ処理部３１は、エッジ検出部３１ａ、第１弱化部３１ｂ及び第２弱化部３１ｃを備えている。これらの処理の詳細は後述する。なお、図中では、周辺位置Ｃｓをハッチングをした菱型の記号で表している（以降の図においても同様。）。

【0079】

第２エッジ処理部３２は、対象画素Ｐｇｔの位置におけるエッジ（以下、「自位置エッジ」という。）を検出し、この自位置エッジを対象とした処理を行う。第２エッジ処理部３１は、補間部３２ａ、第３弱化部３２ｂ及び強化部３２ｃを備えている。これらの処理の詳細は後述する。

【0080】

エッジ選択部３３は、第１エッジ処理部３１で処理された周辺エッジと、第２エッジ処理部３２で処理された自位置エッジとのうちから、以降の処理に用いる対象画素に係るエッジ（以下、「対象エッジ」という。）を選択する。エッジ選択部３３は、対象画素Ｐｇｔに最も影響を与えるエッジを対象エッジとして選択する。より具体的には、エッジ選択部３３は、複数の周辺エッジと自位置エッジとのうち、強度が最大のエッジを対象エッジとして選択する。

【0081】

また、エッジ分類部３４は、対象画素Ｐｇｔに係る対象エッジを、図８に示す４つのパターンのいずれかに分類する。この対象エッジのパターンが、画素補間部４が実行する画素補間処理（図６のステップＳ６）において参照される。

【0082】

図１７は、エッジ情報取得処理（図６のステップＳ２）の詳細な流れを示す図である。前述のように、このエッジ情報取得処理は、出力画像の全ての画素に関して実行される。

【0083】

まず、第１エッジ処理部３１のエッジ検出部３１ａが、対象画素Ｐｇｔの周辺の入力画素Ｐｓに基づいて、対象画素Ｐｇｔの周辺の複数の周辺位置Ｃｓにおける周辺エッジをそれぞれ検出する（ステップＳ１０）。

【0084】

図１８は、対象画素Ｐｇｔの周辺の入力画素Ｐｓを示す図である。エッジ検出部３１ａは、対象画素Ｐｇｔの周辺の４×４の入力画素Ｐｓを参照する。エッジ検出部３１ａは、これら１６の入力画素Ｐｓにおいて最小の矩形（正方形）を形成する４つの入力画素Ｐｓの中心をそれぞれ着目すべき周辺位置Ｃｓとする。そして、エッジ検出部３１ａは、３×３の周辺位置Ｃｓそれぞれにおけるエッジを「周辺エッジ」として検出する。

【0085】

エッジ検出部３１ａは、周辺位置Ｃｓを囲む４つの入力画素ＰｓのＸ軸方向及びＹ軸方向における輝度値の差に基づいて、周辺エッジのベクトルＶを導出する。このベクトルＶを導出することにより、エッジ検出部３１ａは、周辺エッジを実質的に検出する。周辺位置Ｃｓを囲む４つの入力画素Ｐｓの輝度値を図１９に示すカッコ内の値とすると、エッジ検出部３１ａは、周辺エッジのベクトルＶのＸ軸方向の成分ＶｘとＹ軸方向の成分Ｙｙとを、次の式（１），式（２）でそれぞれ導出する。

【0086】

Ｖｘ＝（ｄ１２＋ｄ２２）−（ｄ１１＋ｄ２１） …（１）
Ｖｙ＝（ｄ１１＋ｄ１２）−（ｄ２１＋ｄ２２） …（２）
エッジ検出部３１ａが周辺エッジを検出すると、以降、第１エッジ処理部３１と第２エッジ処理部３２とにおいて並行して処理がなされる。図１７に示す処理のうち、ステップＳ１１〜Ｓ１６は第１エッジ処理部３１による処理であり、ステップＳ２１〜Ｓ２５は第２エッジ処理部３２による処理である。

【0087】

第１エッジ処理部３１においては、第１弱化部３１ｂ及び第２弱化部３１ｃが、複数の周辺エッジそれぞれの強度を調整する。一方で、第２エッジ処理部３２においては、補間部３２ａが自位置エッジを導出し、第３弱化部３２ｂ及び強化部３２ｃが自位置エッジの強度を調整する。このようなエッジの強度の調整は、その後のステップＳ３１におけるエッジ選択部３３による対象エッジの選択に向けてなされる。

【0088】

第１エッジ処理部３１は、まず、複数の周辺エッジのうちから一の周辺エッジを処理の対象となる「対象周辺エッジ」として選択する（ステップＳ１１）。そして、第１弱化部３１ｂが、対象周辺エッジの強度を導出する（ステップＳ１２）。

【0089】

第１弱化部３１ｂは、例えば、対象周辺エッジのベクトルＶの２つの成分Ｖｘ，Ｖｙを用いて、対象周辺エッジの強度Ｓｅを次の式（３）で導出する。式（３）において、Ｉは所定の定数である。

【0090】

Ｓｅ＝（Ｖｘ＾２＋Ｖｙ＾２）／Ｉ …（３）
次に、第１弱化部３１ｂは、対象周辺エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っているか否かを判定する（ステップＳ１３）。図２０に示すように、対象周辺エッジＥの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合とは、対象周辺エッジのベクトルＶの２つの成分Ｖｘ，Ｖｙの一方が非常に小さい場合に相当する。このため、第１弱化部３１ｂは、２つの成分Ｖｘ，Ｖｙのうちの小さい方を参照値とし、参照値が所定の閾値よりも小さい場合は、対象周辺エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っていると判断する。

【0091】

第１弱化部３１ｂは、対象周辺エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、次の式（４）により、対象周辺エッジの強度を弱める（ステップＳ１４）。式（４）において、Ｓｅはエッジの強度であり、Ｊは係数（０＜Ｊ＜１）である。

【0092】

Ｓｅ＝Ｓｅ・Ｊ …（４）
式（４）の係数Ｊは、参照値（２つの成分Ｖｘ，Ｖｙのうちの小さい方）をＶｓとし、参照値Ｖｓと比較される閾値をＴｈとすると、次の式（５）で与えられる。すなわち、係数Ｊは、図２１のグラフに示す値をとる。

【0093】

Ｊ＝Ｖｓ／Ｔｈ …（５）
このように第１弱化部３１ｂは、延伸方向が水平方向及び垂直方向のいずれかに略沿っている対象周辺エッジの強度Ｓｅを弱める。このような対象周辺エッジに関してはジャギーが発生しにくいため、当該対象周辺エッジの強度Ｓｅを弱めることで、ジャギーが発生しにくいエッジを対象エッジとしてエッジ選択部３３が選択することを回避できる。

【0094】

次に、第２弱化部３１ｂが、対象周辺エッジに係る周辺位置Ｃｓの対象画素Ｐｇｔの位置からの距離に応じて、対象周辺エッジの強度Ｓｅを弱める（ステップＳ１５）。第２弱化部３１ｂは、次の式（６）により、対象周辺エッジの強度Ｓｅを弱める。式（６）において、Ｋは所定の定数、Ｌは周辺位置の対象画素Ｐｇｔの位置からの距離である。

【0095】

Ｓｅ＝Ｓｅ・（Ｋ−Ｌ）／Ｋ …（６）
対象周辺エッジに係る周辺位置Ｃｓは対象画素Ｐｇｔの位置から離れているため、距離に応じて対象周辺エッジが対象画素Ｐｇｔに影響を与える程度は小さくなる。第２弱化部３１ｂは周辺位置Ｃｓの対象画素Ｐｇｔの位置からの距離が大きいほど対象周辺エッジの強度Ｓｅを弱めるため、距離に起因した影響の減少を考慮して対象周辺エッジの強度Ｓｅを調整できる。その結果、対象画素Ｐｇｔに影響を与えるエッジを対象エッジとしてエッジ選択部３３が適切に選択できる。

【0096】

第１エッジ処理部３１は、このようなステップＳ１１〜Ｓ１５の処理を、複数の周辺エッジのそれぞれに関して実行する（ステップＳ１６にてＮｏ）。このため、各周辺エッジの強度Ｓｅは、その延伸方向及び距離に応じて弱められる。第１エッジ処理部３１が、全ての周辺エッジに関して処理を完了すると（ステップＳ１６にてＹｅｓ）、処理はステップＳ３１に進む。

【0097】

一方、第２エッジ処理部３２においては、まず、補間部３２ａが、自位置エッジを検出する（ステップＳ２１）。補間部３２ａは、自位置エッジのベクトルＶを導出することで、自位置エッジを実質的に検出する。補間部３２ａは、図２２に示すように、対象画素Ｐｇｔの位置に最も近い４つの周辺位置Ｃｓの周辺エッジのベクトルＶを線形的に補間することで、自位置エッジのベクトルＶを導出する。そして、補間部３２ａは、上述した式（３）を用いて自位置エッジの強度Ｓｅを導出する（ステップＳ２２）。

【0098】

次に、第３弱化部３２ｂが、自位置エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っているか否かを判定する（ステップＳ２３）。そして、第３弱化部３２ｂは、自位置エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、自位置エッジの強度Ｓｅを弱める（ステップＳ２４）。第３弱化部３２ｂが行う具体的な処理としては、第１弱化部３１ｂと同一の処理を採用できる。なお、第３弱化部３２ｂと第１弱化部３１ｂとで用いる閾値Ｔｈを変更してもよい。

【0099】

このように第３弱化部３２ｂが、延伸方向が水平方向及び垂直方向のいずれかに略沿っている自位置エッジの強度Ｓｅを弱める。このため、ジャギーが発生しにくい自位置エッジの強度Ｓｅを弱めることができる。その結果、ジャギーが発生しにくいエッジを対象エッジとしてエッジ選択部３３が選択することを回避できる。

【0100】

次に、強化部３２ｃが、自位置エッジの強度Ｓｅを強める（ステップＳ２５）。強化部３２ｃは、次の式（７）により、自位置エッジの強度Ｓｅを弱める。式（７）において、Ｍは係数（１＜Ｍ）である。

【0101】

Ｓｅ＝Ｓｅ・Ｍ …（７）
自位置エッジは、対象画素の位置におけるエッジであるため、周辺エッジと比較して対象画素に影響を与える程度が大きくなる。強化部３２ｃが自位置エッジの強度Ｓｅを強めことで、その影響の程度に応じて自位置エッジの強度Ｓｅを適切に調整できる。その結果、対象画素に最も影響を与えるエッジを対象エッジとしてエッジ選択部３３が適切に選択できる。この強化部３２ｃの処理が完了すると、処理はステップＳ３１に進む。

【0102】

第１エッジ処理部３１及び第２エッジ処理部３２の双方の処理が完了すると、エッジ選択部３３は、対象画素に係る対象エッジを選択する（ステップＳ３１）。エッジ選択部３３は、第１エッジ処理部３１が強度Ｓｅを調整した複数の周辺エッジと、第２エッジ処理部３２が強度Ｓｅを調整した自位置エッジとのうちから、対象エッジを選択する。前述のように、エッジ選択部３３は、強度Ｓｅが最大のエッジを対象エッジとして選択する。

【0103】

このように、エッジ選択部３３は、対象画素の位置における自位置エッジのみならず、対象画素の周辺の複数の周辺位置における周辺エッジも考慮して対象エッジを選択する。このため、対象画素に最も影響を与えるエッジを対象画素に係る対象エッジとして適切に選択することができる。

【0104】

次に、エッジ分類部３４が、対象画素に係る対象エッジを、図８に示す４つのパターンのいずれかに分類する（ステップＳ３２）。図８を用いて説明したとおり、エッジ分類部３４は、対象エッジの水平方向に対する角度θに基づいて対象エッジを分類する。

【0105】

エッジ分類部３４が分類したパターンは、画素補間部４に受け渡されるエッジの情報の一部となる。なお、画素補間部４に受け渡されるエッジの情報には、エッジ情報導出処理で導出される角度θ、強度Ｓｅ、ベクトルＶの成分Ｖｘ，Ｖｙなどが含まれてもよい。

【0106】

また、対象エッジの角度θが４５°あるいは１３５°となり対象エッジを４つのパターンのいずれにも分類できない場合は、対象エッジに代えて対象画素に係る自位置エッジを分類した結果を、対象画素に係るエッジのパターンとして用いればよい。

【0107】

＜４．画素補間処理＞
次に、画素補間処理（図６のステップＳ６）について、さらに詳細に説明する。図２３は、画素補間処理を実行する画素補間部４（図５参照。）の詳細な構成を示す図である。

【0108】

画素補間部４は、傾斜角設定部４１と、第１補間処理部４２と、第２補間処理部４３と、画素値修正部４４とを備えている。

【0109】

傾斜角設定部４１は、傾斜補間線Ｌａの水平方向に対する角度αを設定する。傾斜型補間法においては、傾斜補間線Ｌａの角度αが４５°または１３５°の場合に補間処理による効果が最も大きくなる。そして、傾斜補間線Ｌａの角度αが水平方向及び垂直方向のいずれかに近づくほど（４５°または１３５°から離れるほど）、補間処理による効果が小さくなる。この補間処理による効果には、ジャギーを抑制する効果とともに、ノイズを増幅する作用もある。このため、傾斜角設定部４１は、４５°または１３５°を基準角度とし、特定の条件下で傾斜補間線Ｌａの角度αを基準角度から変更することで補間処理による効果を緩和する。なお、前述した図１１から図１４は全て、傾斜補間線Ｌａの角度αが基準角度（４５°または１３５°）である場合の第１補間処理、及び、第２補間処理を表している。

【0110】

第１補間処理部４２は、入力画像の水平方向及び垂直方向のいずれかを配列方向とする複数の入力画素の値を用いた第１補間処理を行い、傾斜補間線Ｌａ上の複数の注目点の値をそれぞれ導出する。第２補間処理部４３は、傾斜補間線Ｌａ上の複数の注目点の値を用いた第２補間処理を行い、対象画素の値を導出する。また、画素値修正部４４は、導出された対象画素の値にオーバーシュートまたはアンダーシュートが生じている場合に、対象画素の値を修正する。

【0111】

図２４は、画素補間処理（図６のステップＳ６）の詳細な流れを示す図である。前述のように、この画素補間処理は、出力画像の全ての画素に関して実行される。また、この画素補間処理の開始時点においては、出力画像の全ての画素に係るエッジの情報（パターン等）が、エッジ情報導出部３から画素補間部４に受け渡されている。以下、画素補間処理の対象となる対象画素に係るエッジを「対象エッジ」という。

【0112】

画素補間処理においては、まず、傾斜角設定部４１が、対象画素に係る対象エッジのパターンに応じて対象画素に係る傾斜補間線Ｌａの角度αを設定する（ステップＳ４０〜Ｓ４３）。そして、設定された傾斜補間線Ｌａの角度αに応じて第１補間処理部４２が第１補間処理を行い（ステップＳ４４）、さらに、第２補間処理部４２が第２補間処理を行って対象画素の値を導出する（ステップＳ４５）。

【0113】

傾斜角設定部４１は、最初に、初期値として対象画素に係る傾斜補間線Ｌａの角度αを基準角度に設定する（ステップＳ４０）。

【0114】

前述のように、傾斜角設定部４１は、パターンＡまたはパターンＢの場合（０°＜θ＜９０°の場合）は傾斜補間線Ｌａの角度αを０°＜α＜９０°の範囲で設定し、パターンＣまたはパターンＤの場合（９０°＜θ＜１８０°の場合）は傾斜補間線Ｌａの角度αを９０°＜α＜１８０°の範囲で設定する。このため、パターンＡまたはパターンＢの場合（０°＜θ＜９０°の場合）は基準角度は４５°となり、パターンＣまたはパターンＤの場合（９０°＜θ＜１８０°の場合）は基準角度は１３５°となる。

【0115】

次に、傾斜角設定部４１は、出力画像における対象画素の近傍の複数の画素（以下、「近傍画素」という。）に注目し、対象画素に係る対象エッジのパターンと近傍画素に係るエッジのパターンとを比較する（ステップＳ４１）。

【0116】

図２５は、出力画像における対象画素Ｐｇｔと、その対象画素Ｐｇｔの近傍の複数の近傍画素Ｐｇとを示す図である。図に示すように、傾斜角設定部４１は、出力画像における対象画素Ｐｇｔを中心とした５×５の画素に含まれる近傍画素Ｐｇに注目する。そして、傾斜角設定部４１は、対象画素Ｐｇｔに係る対象エッジのパターンと、近傍画素Ｐｇに係るエッジのパターンとを比較する。

【0117】

図２５においては、対象画素Ｐｇｔ及び近傍画素Ｐｇそれぞれに係るエッジのパターンを符号（ＡまたはＤ）によって示している。図２５の例では、対象画素Ｐｇｔに係る対象エッジはパターンＡとなっている。一方で、大部分の近傍画素ＰｇのエッジはパターンＡとなっているが、一つの近傍画素ＰｇｘのエッジがパターンＤとなっている。

【0118】

通常、対象画素Ｐｇｔに係る対象エッジのパターンと、近傍画素Ｐｇに係るエッジのパターンとは一致する。しかしながら、このようにエッジのパターンが対象画素Ｐｇｔと異なる近傍画素（以下、「異型画素」という。）Ｐｇｘが存在する場合、対象画素Ｐｇｔの近傍にノイズが存在している可能性が高い。そして、このようなノイズは、補間処理において増幅される可能性がある。

【0119】

このため、このようなノイズの増幅を防止するため、異型画素Ｐｇｘが存在している場合は（図２４のステップＳ４２にてＹｅｓ）、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度から変更する（ステップＳ４３）。傾斜角設定部４１は、対象画素Ｐｇｔと異型画素Ｐｇｘとの距離が近いほど、傾斜補間線Ｌａの角度αを基準角度から変更する程度を大きくする。

【0120】

図２６は、近傍画素Ｐｇを、対象画素Ｐｇｔとの距離の関係で分類する図である。図中において各近傍画素Ｐｇに付した符号Ｄ１〜Ｄ５は、対象画素Ｐｇｔからの距離の程度を表している。符号Ｄ１を付した近傍画素Ｐｇが対象画素Ｐｇｔに最も近く、符号Ｄ５を付した近傍画素Ｐｇが対象画素Ｐｇｔから最も遠くなっている。したがって、符号Ｄ１を付した近傍画素Ｐｇが異型画素Ｐｇｘである場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度を基準角度から比較的大きく変更する。一方で、符号Ｄ５を付した近傍画素Ｐｇが異型画素Ｐｇｘである場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度から比較的小さく変更する。

【0121】

例えば、傾斜角設定部４１は、符号Ｄ１を付した近傍画素Ｐｇに関しては３０°、符号Ｄ２を付した近傍画素Ｐｇに関しては２５°、符号Ｄ３を付した近傍画素Ｐｇに関しては２０°、符号Ｄ４を付した近傍画素Ｐｇに関しては１５°、符号Ｄ５を付した近傍画素Ｐｇに関しては１０°、それぞれ傾斜補間線Ｌａの角度αを基準角度から変更する。図２５の場合は、符号Ｄ２が付された近傍画素Ｐｇが異型画素Ｐｇｘとなるため、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度から２５°変更する。

【0122】

なお、対象画素Ｐｇｔの近傍に複数の異型画素Ｐｇｘが存在する場合は、傾斜角設定部４１は、対象画素Ｐｇｔに最も近い異型画素Ｐｇｘに基づいて傾斜補間線Ｌａの角度αを基準角度から変更する。

【0123】

また、傾斜角設定部４１が、傾斜補間線Ｌａの角度αを変更する向きは、対象画素に係る対象エッジのパターンに応じて異なっている。

【0124】

図２７に示すように、パターンＡ（０°＜θ＜４５°）の場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度の４５°から増加する向きに変更する。したがって、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを４５°≦α＜９０°の範囲で設定する。

【0125】

図２８は、パターンＡの場合において、傾斜補間線Ｌａの角度αが基準角度から変更されたときの第１補間処理、及び、第２補間処理を示している。図１１と図２８とを比較して分かるように、傾斜補間線Ｌａの角度αが基準角度から変更されると、角度αが基準角度の場合と比較して対象画素Ｐｇｔに近い入力画素Ｐｓが補間処理に用いられる。このため、補間処理による効果（ジャギーを低減する効果、及び、ノイズを増幅する作用）を緩和することができる。

【0126】

図２９に示すように、パターンＢ（４５°＜θ＜９０°）の場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度の４５°から減少する向きに変更する。したがって、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを０°＜α≦４５°の範囲で設定する。

【0127】

図３０は、パターンＢの場合において、傾斜補間線Ｌａの角度αが基準角度から変更されたときの第１補間処理、及び、第２補間処理を示している。図１２と図３０とを比較して分かるように、傾斜補間線Ｌａの角度αが基準角度から変更されると、角度αが基準角度の場合と比較して対象画素Ｐｇｔに近い入力画素Ｐｓが補間処理に用いられる。このため、補間処理による効果（ジャギーを低減する効果、及び、ノイズを増幅する作用）を緩和することができる。

【0128】

図３１に示すように、パターンＣ（９０°＜θ＜１３５°）の場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度の１３５°から増加する向きに変更する。したがって、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを１３５°≦α＜１８０°の範囲で設定する。

【0129】

図３２は、パターンＣの場合において、傾斜補間線Ｌａの角度αが基準角度から変更されたときの第１補間処理、及び、第２補間処理を示している。図１３と図３２とを比較して分かるように、傾斜補間線Ｌａの角度αが基準角度から変更されると、角度αが基準角度の場合と比較して対象画素Ｐｇｔに近い入力画素Ｐｓが補間処理に用いられる。このため、補間処理による効果（ジャギーを低減する効果、及び、ノイズを増幅する作用）を緩和することができる。

【0130】

図３３に示すように、パターンＤ（１３５°＜θ＜１８０°）の場合は、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを基準角度の１３５°から減少する向きに変更する。したがって、傾斜角設定部４１は、傾斜補間線Ｌａの角度αを９０°＜α≦１３５°の範囲で設定する。

【0131】

図３４は、パターンＤの場合において、傾斜補間線Ｌａの角度αが基準角度から変更されたときの第１補間処理、及び、第２補間処理を示している。図１４と図３４とを比較して分かるように、傾斜補間線Ｌａの角度αが基準角度から変更されると、角度αが基準角度の場合と比較して対象画素Ｐｇｔに近い入力画素Ｐｓが補間処理に用いられる。このため、補間処理による効果（ジャギーを低減する効果、及び、ノイズを増幅する作用）を緩和することができる。

【0132】

第１及び第２補間処理（ステップＳ４４，Ｓ４５）が完了して対象画素の値が導出されると、次に、画素値修正部４４が、導出された対象画素の値にオーバーシュートまたはアンダーシュートが生じている場合は対象画素の値を修正する（ステップＳ４６〜Ｓ４８）。

【0133】

前述のように、第１補間処理及び第２補間処理においては補間の演算式としてはバイキュービックと同じ演算式が採用される。このため、図３５に示すように、入力画像の画素の値Ｂ１が急激に変化する箇所において、補間処理後の画像の画素の値Ｂ２が補間元となった入力画像の画素の値Ｂ１の最小値Ｂｍｉｎから最大値Ｂｍａｘまでの範囲から外れる現象（オーバーシュートまたはアンダーシュート）が生じることがある。この現象が生じた場合に補間処理後の画像をそのまま出力画像とすると、その出力画像を視認したユーザが違和感を感じる可能性がある。このため、この現象が生じる場合は、画素値修正部４４は、図３５の下部に示すように、入力画像の画素の値Ｂ１の範囲（Ｂｍｉｎ〜Ｂｍａｘ）に近づくように画素の値Ｂ２を修正した結果を、出力画像の画素の値Ｂ３とする。

【0134】

画素値修正部４４は、まず、補間元となった入力画像の画素の値の範囲（以下、「入力画素範囲」という。）を取得する（ステップＳ４６）。画素値修正部４４は、第１補間処理で用いた１６の入力画素Ｐｓのうちから、入力画素範囲を求めるための４つの入力画素Ｐｓを選択する。

【0135】

画素値修正部４４は、図３６に示すように、傾斜補間線Ｌａに隣接し、かつ、対象画素Ｐｇｔに最も近い４つの入力画素Ｐｓｔを選択する。換言すれば、画素値修正部４４は、第１補間処理で用いた１６の入力画素Ｐｓのうちの中央の４つの入力画素Ｐｓｔを選択する。そして、画素値修正部４４は、選択した４つの入力画素Ｐｓｔの最大値Ｂｍａｘと最小値Ｂｍｉｎとを取得し、その最小値Ｂｍｉｎから最大値Ｂｍａｘまでの範囲を入力画素範囲として取得する。

【0136】

次に、画素値修正部４４は、補間処理で導出された対象画素の値が入力画素範囲から外れるか否かを判定する（ステップＳ４７）。そして、対象画素の値が入力画素範囲から外れる場合は、画素値修正部４４は、対象画素の値を入力画素範囲に近づくように修正する（ステップＳ４８）。

【0137】

画素値修正部４４は、オーバーシュートの場合は以下の式（８）を用いて対象画素の値Ｂｇを修正し、アンダーシュートの場合は以下の式（９）を用いて対象画素の値を修正する。これらの式（８），式（９）において、Ｂｇは対象画素の値であり、Ｎは係数（０＜Ｎ＜１）である。

【0138】

Ｂｇ＝Ｂｇ−（Ｂｇ−Ｂｍａｘ）・Ｎ …（８）
Ｂｇ＝Ｂｇ＋（Ｂｍｉｎ−Ｂｇ）・Ｎ …（９）
このように傾斜補間線Ｌａを考慮した４つの入力画素Ｐｓｔの最大値と最小値とで規定される入力画素範囲に基づいて対象画素の値を修正するため、傾斜補間線Ｌａを用いた補間処理によって生じるオーバーシュート及びアンダーシュートを適切に修正することができる。

【0139】

なお、本実施例では、画素値修正部４４は、入力画素範囲に近づくように対象画素の値を修正しているが、図３７に示すように、対象画素の値を入力画素範囲内に制限してもよい。この場合は、上記式（８）及び式（９）の係数Ｎを１とすればよい。

【0140】

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0141】

上記実施の形態では、エッジ情報取得処理（図１７参照。）のステップＳ２３において、自位置エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、自位置エッジの強度Ｓｅを弱めるようにしていた。これに対して、自位置エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、傾斜型補間法（第１及び第２補間処理）に代えて、水平方向及び垂直方向に沿ったバイリニアなどの従来の補間手法の補間処理を行って対象画素の値を導出するようにしてもよい。この場合は、図３８に示すように、画素補間部４は、従来の補間手法の補間処理を行う第３補間処理部４５を備える。自位置エッジの延伸方向が水平方向及び垂直方向のいずれかに略沿っている場合は、対象画素の位置におけるジャギーが発生しにくいため、従来の補間処理を行うことで、第１及び第２補間処理に起因したノイズの発生を抑制できる。

【0142】

また、上記実施の形態では、エッジ情報取得処理（図１７参照。）のステップＳ３１において、複数の周辺エッジと自位置エッジとのうちから強度が最大のエッジを選択することで対象エッジを導出していた。これに対して、対象画素の位置からの距離に応じた重みを採用して、複数の周辺エッジと自位置エッジとの加重平均により対象エッジを導出してもよい。

【0143】

また、エッジ情報取得処理のステップＳ３１において対象エッジを導出する際に参照する周辺エッジとして、任意の周辺エッジが選択されてもよい。

【0144】

また、上記実施の形態の第１補間処理及び第２補間処理ではバイキュービックと同じ演算式を用いるものとして説明したが、バイリニアやＬａｎｃｚｏｓ３などの他の周知の演算式を採用してもよい。採用する演算式に応じて、補間処理に用いる入力画素Ｐｓの数も変更される。

【0145】

また、上記実施の形態の画素補間処理においては、傾斜角設定部４１は、異型画素Ｐｇｘが存在している場合に、傾斜補間線Ｌａの角度αを基準角度から変更するようにしていた。これに代えて、あるいは、これに加えて、傾斜角設定部４１は、対象エッジの強度に応じて傾斜補間線Ｌａの水平方向に対する角度αを基準角度から変更してもよい。対象エッジの強度が比較的小さい場合に、効果の大きな補間処理を行うとノイズを増幅する可能性がある。このため、対象エッジの強度が小さいほど、傾斜補間線Ｌａの角度αを基準角度から変更する程度を大きくすることが望ましい。これによれば、補間処理による効果（ジャギーを低減する効果、及び、ノイズを増幅する作用）を対象エッジの強度に合わせて調整できる。

【0146】

また、上述した式に用いる定数や係数は、適宜に変更できるようになっていてもよい。

【0147】

また、上記実施の形態において、ハードウェア回路による機能として説明したサイズ変更部２の機能の全部又は一部はソフトウェア的に実現されてもよい。例えば、サイズ変更部２と同一の機能が、プログラムに従って制御部１０のＣＰＵが演算処理を行うことで実現されてもよい。

【0148】

また、上記実施の形態の画像処理装置１は車載装置であるとしていたが、パーソナルコンピュータやタブレットなどの汎用のコンピュータ上においてプログラムを実行することで、当該コンピュータが上記と同様の機能を有する画像処理装置として機能してもよい。

【符号の説明】

【0149】

１ 画像処理装置
２ サイズ変更部
３ エッジ情報導出部
４ 画素補間部
３３ エッジ選択部
３４ エッジ分類部
４１ 傾斜角設定部
４２ 第１補間処理部
４３ 第２補間処理部
Ｐｇｔ 対象画素
Ｐｓ 入力画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】