IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7246103画像処理装置、画像処理方法、及び画像処理プログラム
<>
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図1
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図2
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図3
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図4
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図5
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図6
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図7
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図8
  • -画像処理装置、画像処理方法、及び画像処理プログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-16
(45)【発行日】2023-03-27
(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム
(51)【国際特許分類】
   G06T 7/70 20170101AFI20230317BHJP
【FI】
G06T7/70 B
【請求項の数】 9
(21)【出願番号】P 2021076266
(22)【出願日】2021-04-28
(62)【分割の表示】P 2018195831の分割
【原出願日】2018-10-17
(65)【公開番号】P2021108222
(43)【公開日】2021-07-29
【審査請求日】2021-10-07
(73)【特許権者】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】中村 祐樹
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2004-180171(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/70
(57)【特許請求の範囲】
【請求項1】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出手段と、を備え、
前記エッジ算出手段は、前記画素値の最大値と最小値との差が閾値未満の場合に前記第一画素領域を参照領域に設定し、前記画素値の最大値と最小値との差が閾値以上の場合に前記第二画素領域を参照領域に設定し、設定された前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする画像処理装置。
【請求項2】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出手段と、を備え、
前記エッジ算出手段は、前記画素値の最大値と最小値との差に応じて前記第一画素領域を含む参照領域を設定し、該参照領域として前記第二画素領域を設定したとき、前記参照領域の各画素の画素値に対し、前記第一画素領域を構成する画素の画素値の重みが大きくなるように設定された重み付け係数を乗じた上で前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする画像処理装置。
【請求項3】
前記重み付け係数には2のべき乗値が設定されていることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記エッジ算出手段は、前記参照領域の水平方向における画素値の変化率と垂直方向における画素値の変化率とに基づいて前記エッジの角度を算出することを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。
【請求項5】
処理の対象が複数の要素について画素値を有する多要素画像であるとき、前記差分算出手段は、前記画素値の最大値と最小値との差を前記要素毎に算出し、該要素毎に算出された前記画素値の最大値と最小値との差の合計を用いて、前記画素値の最大値と最小値との差を求めることを特徴とする請求項1乃至4の何れか一項に記載の画像処理装置。
【請求項6】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得ステップと、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出ステップと、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出ステップと、を含み、
前記エッジ算出ステップでは、前記画素値の最大値と最小値との差が閾値未満の場合に前記第一画素領域を参照領域に設定し、前記画素値の最大値と最小値との差が閾値以上の場合に前記第二画素領域を参照領域に設定し、設定された前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする画像処理方法。
【請求項7】
コンピュータを、
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出手段と、として機能させると共に、
前記エッジ算出手段が、前記画素値の最大値と最小値との差が閾値未満の場合に前記第一画素領域を参照領域に設定し、前記画素値の最大値と最小値との差が閾値以上の場合に前記第二画素領域を参照領域に設定し、設定された前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出するように機能させることを特徴とする画像処理プログラム。
【請求項8】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得ステップと、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出ステップと、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出ステップと、を含み、
前記エッジ算出ステップでは、前記画素値の最大値と最小値との差に応じて前記第一画素領域を含む参照領域を設定し、該参照領域として前記第二画素領域を設定したとき、前記参照領域の各画素の画素値に対し、前記第一画素領域を構成する画素の画素値の重みが大きくなるように設定された重み付け係数を乗じた上で前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする画像処理方法。
【請求項9】
コンピュータを、
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、
前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出手段と、として機能させると共に、
前記エッジ算出手段が、前記画素値の最大値と最小値との差に応じて前記第一画素領域を含む参照領域を設定し、該参照領域として前記第二画素領域を設定したとき、前記参照領域の各画素の画素値に対し、前記第一画素領域を構成する画素の画素値の重みが大きくなるように設定された重み付け係数を乗じた上で前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出するように機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像を高品質に拡大する画像処理装置、画像処理方法、及びそのプログラムに関し、特に、入力画像を複数の三角形により領域分割して画素を補間するデータ依存性三角形分割手法(Data Dependent Triangulation:DDT法)を用いて、入力画像を高品質に拡大することができる画像処理装置、画像処理方法、及びそのプログラムに関する。
【背景技術】
【0002】
ビットマップ画像等のラスタ画像の拡大、回転、変形等をする際に、画像中に存在するエッジの角度を算出し、算出されたエッジの角度に基づいて作成したベクトルデータを用いて画素を補間する技術として、例えばDDT法が知られている(非特許文献1)。
DDT法は、コスト関数やエッジの角度に基づいて、ラスタ画像を複数の三角形によって領域分割する。ラスタ画像を領域分割する三角形メッシュデータはベクトルデータである。DDT法は、三角形の頂点に対応する画素の画素値と、ベクトルデータである三角形メッシュデータとを用いて、三角形メッシュ内の領域に画素を線形補間する。
上記DDT法を画像拡大処理に応用した画像処理方法として、特許文献2が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-32301号公報
【非特許文献】
【0004】
【文献】X.Yu, B.S. Morse, and T.W. Sederberg, “Image Reconstruction UsingData-Dependent Triangulation”, IEEE Computer Graphics and Applications, Vol.21, No. 3, pp. 62-68 May/Jun. (2001)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1においては、ラスタ画像中の2×2画素からなる画素領域のエッジの角度を、2×2画素領域の情報のみに基づいて算出するため、エッジの角度の算出精度が低下する虞がある。
本発明は上述の事情に鑑みてなされたものであり、エッジの角度の算出精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明は、複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、前記第一画素領域における前記画素の画素値の最大値と最小値との差を算出する差分算出手段と、を備え、前記エッジ算出手段は、前記画素値の最大値と最小値との差が閾値未満の場合に前記第一画素領域を参照領域に設定し、前記画素値の最大値と最小値との差が閾値以上の場合に前記第二画素領域を参照領域に設定し、設定された前記参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする。

【発明の効果】
【0007】
一実施態様によれば、エッジの角度の算出精度を向上させることが可能となる。
【図面の簡単な説明】
【0008】
図1】本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。
図2】本発明の一実施形態に係るコンピュータのハードウェア構成を示すブロック図である。
図3】(a)~(c)は、本発明の一実施形態に係る画像処理装置によるエッジ算出方法の概要について説明する図である。
図4】エッジ算出部が生成する中間画像を示す図である。
図5】エッジ抽出部による対角線の抽出方法の一例について説明する模式図である。
図6】(a)~(f)は、分割エッジとして抽出される対角線の検出パターンの一例を示す図である。
図7】(a)、(b)は、判定用の角度範囲の決定方法の一例について説明する模式図である。
図8】(a)~(d)は、補間される分割エッジの一例を示す図である。
図9】本発明の一実施形態に係る画像の処理手順を示したフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【0010】
〔機能構成〕
図1は、本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。
画像処理装置100は、ビットマップ画像等(ラスタ画像の一例)の入力画像を拡大・回転・変形し、高解像度化した或いは高品質化した出力画像を生成する装置である。画像処理装置100は、複数の画素により構成される入力画像(元画像)を、入力画像中のエッジを活用した複数の三角形によりメッシュ状に領域分割する。入力画像を三角形メッシュにより領域分割する領域分割情報はベクターデータである。画像処理装置100は、領域分割情報に基づいて入力画像を拡大して出力画像を生成する。
画像処理装置100は、エッジ算出部(画素値取得手段、エッジ算出手段)110、メッシュ生成部120、エッジ強調部130、及びラスタライズ部140を備える。
エッジ算出部110は、入力画像から複数の画素(元画素)を含む第一画素領域を選択し、第一画素領域における各画素の画素値に基づいてエッジの角度を算出する手段である。また、エッジ算出部110は、算出された各エッジの角度に対応する画素値を夫々有した中間画素により構成された中間画像を生成するエッジ画像生成手段としても機能する。エッジ算出部110は、コントラスト算出部(差分算出手段)111、グラディエント算出部112、及び、アウトライヤ算出部113を備える。
【0011】
メッシュ生成部120は、エッジ算出部110により算出されたエッジの角度に基づいて、入力画像を複数の三角形により領域分割する手段である。メッシュ生成部120は、エッジ抽出部(エッジ抽出手段)121、検出パターン記憶部122、メッシュ補間部123、及び、補間パターン記憶部124を備える。
エッジ強調部130は、入力画像のエッジを強調した鮮鋭化画像を生成する。
ラスタライズ部140は、エッジ強調部130から出力される鮮鋭化画像を、メッシュ生成部120から出力される領域分割情報を用いて拡大すると共に、必要に応じてバイリニア法やバイキュービック法等を用いてピクセル補間を行って、高解像度化した出力画像を生成する。
上記画像処理装置100を構成する各部は電子回路(ハードウェア)により実現されるが、一般的なコンピュータが実行するソフトウェアにより実現されてもよい。
【0012】
〔コンピュータの構成〕
図1に示した画像処理装置の各部をソフトウェアにより実現する場合のコンピュータのハードウェア構成の一例について説明する。
図2は、本発明の一実施形態に係るコンピュータのハードウェア構成を示すブロック図である。
画像処理装置100は、CPU(Central Processing Unit)151、ROM(Read Only Memory)152、RAM(Random Access Memory)153、及びバス154を備える。各構成要素は、バス154により接続される。なお、画像処理装置100は、記憶装置155、外部I/F156、リーダライタ157の何れか又は全部を備えてもよい。
【0013】
CPU151は、ROM152に格納されたプログラム等を用いて画像処理装置100全体の制御をする。ROM152は、CPU151に画像処理装置100全体を制御する処理を実行させるための制御プログラムを記憶する不揮発性の記憶手段である。画像処理装置100全体を制御する処理を実行させるための制御プログラムは、画像処理装置100が備える記憶装置155に記憶されてもよい。ここで、記憶装置155は例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等である。
画像処理装置100全体を制御する処理を実行させるための制御プログラムは、記録媒体162に記憶され、画像処理装置100が備えるリーダライタ157で読み出されてROM152又は画像処理装置100が備える記憶装置155に記憶されてもよい。記録媒体162は、例えば、SDメモリーカード(SD Memory Card)、FD(Floppy Disk)、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray(登録商標) Disk)、およびフラッシュメモリなどの非一時的記録媒体である。
【0014】
RAM153は、ROM152から読み出されたプログラムやデータ等を一時的に格納する揮発性の記憶手段である。CPU151が起動時にROM152から制御プログラムを読み出してRAM153に展開し、RAM153をワークスペースとして制御プログラムを実行することにより、各種の機能が実現される。
外部I/F156は、画像処理装置100と外部記憶装置161とを接続する。外部記憶装置161は、入力画像や出力画像等、各種のデータを記憶する。外部記憶装置161は、例えば、HDDやSSD等である。
図1に示したエッジ算出部110、メッシュ生成部120、エッジ強調部130、及びラスタライズ部140は、夫々、CPU151が制御プログラムをROM152等から読み出してRAM153に展開して実行することにより実現される。また、検出パターン記憶部122及び補間パターン記憶部124は、記憶装置155により実現される。
【0015】
〔エッジ算出部〕
<処理概要>
図3(a)~(c)は、本発明の一実施形態に係る画像処理装置によるエッジ算出方法の概要について説明する図である。
コントラスト算出部111は、図3(a)に示す入力画像10から、複数の画素11により形成される所定形状の第一画素領域12を選択し、第一画素領域12の各画素11の画素値(例えば輝度値)を取得する。コントラスト算出部111は、第一画素領域12を構成する各画素11の各画素値に基づいて、第一画素領域12における画素の画素値の差、即ちコントラストC(f_cont)を算出する(図3(b))。
グラディエント算出部112、及びアウトライヤ算出部113は、第一画素領域12のエッジ13の角度を算出する(図3(c))。本例において、グラディエント算出部112はエッジ13の角度を0~90度の範囲で算出し、アウトライヤ算出部113はエッジ13の向き(右下方向、又は左下方向)を算出する。
【0016】
グラディエント算出部112は、第一画素領域12のコントラストCの大きさに応じて第一画素領域12を含む参照領域15(15a,15b)を設定する(図3(c))。即ち、グラディエント算出部112は、コントラストCが閾値Cτ未満の場合に第一画素領域12を参照領域15aとして設定し、コントラストCが閾値Cτ以上の場合に第一画素領域12よりも広い第二画素領域を参照領域15bとして設定する。グラディエント算出部112は、設定した参照領域15の各画素11の画素値を取得し、参照領域15における各画素の画素値を用いて第一画素領域12のエッジ13の角度を算出する。
アウトライヤ算出部113は、第一画素領域12の各画素11の画素値を取得し、第一画素領域12における各画素の画素値を用いて第一画素領域12のエッジ13の向きを算出する。
以下、各部の動作について、具体例を用いて詳細に説明する。
【0017】
<コントラスト算出部>
<<1要素画像の場合>>
図3(a)に示すように、コントラスト算出部111は、入力画像10の例えば左上から複数の画素11を含む第一画素領域12を順次設定し、各第一画素領域12に含まれる各画素の輝度値を取得する。コントラスト算出部111は第一画素領域12のコントラストC、言い換えれば、第一画素領域12における画素の輝度値の差を算出する。
ここで、第一画素領域12を2×2画素領域(2×2行列A)とし、各画素の輝度値(2×2行列Aの成分)をa,b,c,dとした場合、コントラストC(f_cont)は、例えば、
・・・式(1)
のように算出される。なお、符号
は、小数点以下の数値を切り捨てる床関数である。
このように、コントラスト算出部111は、第一画素領域12における最大輝度値と最小輝度値の差をコントラストCとして算出することができる。
【0018】
<<多要素画像の場合>>
仮に、入力画像が、その各画素が夫々R(Red)、G(Green)、B(Blue)の各要素について夫々輝度値を有するRGB画像(多要素画像、特に3要素画像の一例)である場合、コントラストC(f_cont)は、第一画素領域12を2×2画素領域、要素Xに係る各画素の輝度値(行列Axの成分)をax,bx,cx,dxとして、



・・・式(2)
のように算出される。
このように、コントラスト算出部111は、入力画像が、入力画像の各画素が夫々複数の要素を有した多要素画像である場合も1要素画像の場合と同様に、コントラストCを算出することができる。
【0019】
<<第一画素領域の形状>>
本例では第一画素領域を2×2画素により構成される正方形状の画素領域としているが、第一画素領域を、複数の画素を含むその他の矩形状の画素領域としてもよい。また、第一画素領域を、複数の画素を含む任意の形状の画素領域(例えば円形の画素領域)としてもよい。この場合、コントラスト算出部111は、矩形状の画素領域を選択し、不要な画素をマスクすることで、任意の形状の画素領域を第一画素領域として設定することができる。
【0020】
<グラディエント算出部>
グラディエント算出部112は、図3(c)に示すようにコントラストCの大きさに応じて第一画素領域12を含む参照領域15(15a,15b)を設定する。具体的には、グラディエント算出部112は、コントラストCの大きさに応じて、第一画素領域12(参照領域15a)又は第一画素領域12よりも広い領域(参照領域15b)を参照領域15として設定する。グラディエント算出部112は、設定した参照領域15における各画素の輝度値を用いて第一画素領域12のエッジ13の角度θが0度~90度の範囲で示されたグラディエントG(f_grad、(gx,gy))を算出する。
【0021】
<<2×2グラディエント関数>>
グラディエント算出部112は、コントラストCが閾値Cτ未満の場合に第一画素領域12を参照領域15aとして設定する(図3(c))。
参照領域15aが2×2画素領域であり、2×2行列Aとして表現される場合、グラディエント算出部112は、以下の式(3)に示される2×2グラディエント関数により参照領域15aの水平方向における輝度値の変化量(又は変化率)gxと、垂直方向における輝度値の変化量(又は変化率)gyと、を算出する。
・・・式(3)
なお、記号「*」は行列のたたみ込みを表し、各行列の夫々の成分の積を足し合わせることを意味する。参照領域15aの各画素の輝度値(行列Aの成分)をa,b,c,dとしてグラディエントG(f_grad)を具体的に示せば、


・・・式(4)
となる。式(4)に示すように、本例においてgxとgyは、共に正の数となる。
【0022】
仮に、入力画像が、入力画像の各画素が夫々R(Red)、G(Green)、B(Blue)の各要素について夫々輝度値を有するRGB画像(多要素画像、特に3要素画像の一例)である場合、そのグラディエントG(f_grad)は、各要素X(X∈{R,G,B})に係るグラディエントGの総和として求めることができる。
・・・式(5)
【0023】
<<4×4グラディエント関数>>
グラディエント算出部112は、コントラストCが閾値Cτ以上の場合に第一画素領域12を含み、且つ第一画素領域12よりも大きい領域(第二画素領域)を参照領域15bとして設定する(図3(c))。
本例において、グラディエント算出部112は、第一画素領域12よりも一回り大きい4×4画素領域を参照領域15bとして設定する。
【0024】
参照領域15bが4×4画素領域である場合(4×4行列Bとして表現される)、グラディエント算出部112は、以下の式(6)に示される4×4グラディエント関数により参照領域15bの水平方向における輝度値の変化量(又は変化率)gxと、垂直方向における輝度値の変化量(又は変化率)gyと、を算出する。
・・・式(6)
【0025】
グラディエント算出部112は、参照領域15bの各画素の輝度値に対し、第一画素領域12に含まれる画素との位置関係に応じた重み付け係数を乗じた上でエッジの角度(グラディエント)を算出する。即ち、グラディエント算出部112は、第一画素領域12を構成する画素の輝度値に対して重み付け係数「+4」又は「-4」を乗じ、第一画素領域12に対して水平又は垂直方向に隣接する画素の輝度値に対して重み付け係数「+2」又は「-2」を乗じ、他の画素の輝度値に対して重み付け係数「+1」又は「-1」を乗じている。
上記、重み付け係数には2のべき乗値が設定されている。重み付け係数に2のべき乗値を設定することにより、ビットをずらして計算するシフト演算が利用できるようになり、処理速度の向上を図ることができる。
【0026】
<<エッジの角度θ>>
グラディエント算出部112は、式(3)又は式(6)により求めたグラディエントG(gx,gy)から、逆三角関数により第一画素領域12のエッジ13の角度θ(0°≦θ≦90°)を求めることができる。
・・・式(7)
即ち、グラディエント算出部112は、参照領域15の水平方向における輝度値の変化率gxと垂直方向における輝度値の変化率gyとに基づいてエッジ13の角度θを算出する。
なお、逆三角関数の計算は処理負荷が高いため、式(7)の代わりに、角度θの正接
・・・式(8)
を求めてもよい。
【0027】
グラディエント算出部112は、コントラストCが閾値Cτ以上の場合に、第一画素領域12よりも広い参照領域15bの各画素の輝度値に基づいてグラディエントGを算出するため、より正確にエッジ13の角度θを算出可能となる。また、参照領域15bの各輝度値に対して、第一画素領域12との位置関係に応じた重み付け係数を乗じることにより、より正確にエッジ13の角度θを算出できる。
【0028】
<アウトライヤ算出部>
アウトライヤ算出部113は、第一画素領域12における局所的なエッジ13の強さと方向を推定する値であるアウトライヤ(f_outlier)を算出する。
例えば、第一画素領域12を2×2画素領域(行列A)とした場合、アウトライヤ(f_outlier)は、
・・・式(9)
のように算出される。なお、記号「*」は行列のたたみ込みを表し、各行列の夫々の成分の積を足し合わせることを意味する。
【0029】
第一画素領域12の各画素の輝度値(行列Aの成分)をa,b,c,dとしてアウトライヤ(f_outlier)を具体的に示せば、以下のようになる。
・・・式(10)
即ち、アウトライヤ(f_outlier)の大きさは、斜め方向における輝度変化の大きさを示し、アウトライヤ(f_outlier)の符号は、エッジ13の向きを表す。アウトライヤ(f_outlier)が正の数をとるときエッジ13は右下方向を向き、負の数をとるときエッジ13は左下方向に向いていることを示す。
グラディエントGから求められるエッジの角度θが0~90度の範囲であっても、アウトライヤの値を求めることによって、エッジの角度θを0~180度の範囲で特定することができる。
【0030】
<エッジ算出部が生成する中間画像>
図4は、エッジ算出部が生成する中間画像を示す図である。
最終的に、エッジ算出部110は、夫々の第一画素領域12における各エッジ13の角度θ(0~90度、又は0~180度)、又はこれを示す値(グラディエント(gx,gy)、及びアウトライヤ)を画素値として夫々有した複数の中間画素21により構成される中間画像20を生成する。即ち、エッジ算出部110は、各画素がエッジの角度情報を有する中間画像20を生成するエッジ画像生成手段として機能する。本例において中間画像20は、各中間画素21がグラディエントの値を有したグラディエント画像と、各中間画素21がアウトライヤの値を有したアウトライヤ画像の複数の画像から構成される。
各中間画素21が有するアウトライヤとグラディエントの値は、元画像(入力画像10)において第一画素領域12を構成する4つの画素11の関係性を示すものである。中間画像20は、入力画像10の各画素11の画素中心を頂点とする正方形状の領域として表される複数の中間画素21から構成される。また、中間画像20は入力画像10に対して右下方向に半画素ずれた位置関係となる。
【0031】
<変形例>
本実施形態においては、グラディエントを算出するための参照領域15を設定するに際して、第一画素領域12の輝度のコントラスト(輝度値の差)を利用しているが、色のコントラスト(色差)等、画素の持つ輝度値以外の画素値の差を利用してもよい。輝度のコントラストに代えて、色のコントラスト(色を表す画素値の差)を用いてもよい。
グラディエント算出部112は、上記実施形態とは異なり、コントラストCが閾値Cτ未満の場合に第一画素領域12よりも広い領域を参照領域として設定し、コントラストCが閾値Cτ以上の場合に第一画素領域12を参照領域として設定してもよい。
【0032】
〔メッシュ生成部〕
<処理概要>
メッシュ生成部120は、入力画像10中のエッジを活用して、入力画像10を複数の三角形により領域分割する。即ち、入力画像10中のエッジが、入力画像10を領域分割する三角形のエッジとなるように、入力画像10を分割する三角形を選択する。
エッジ抽出部121は、エッジ算出部110により算出されたエッジの角度θ(エッジの角度を示す値を含む)、又はこれを示す値(例えば、グラディエント(gx,gy)及びアウトライヤ)に基づいて、入力画像10を領域分割する三角形の辺である分割エッジ(対角線23)を順次抽出する。
メッシュ補間部123は、入力画像10の全体が三角形により領域分割されるように、メッシュが不完全な部分について分割エッジを補間する。
【0033】
<エッジ抽出部:対角線の抽出方法>
図5は、エッジ抽出部による対角線の抽出方法の一例について説明する模式図である。以下、対角線を形成する矩形領域が右3×2画素領域である場合の例により説明する。なお、「右3×2画素領域」とは、図中、対角線が右下方向に伸び、且つ3×2画素からなる矩形領域を意味する。対角線が図中左下方向に伸びる場合は「左・・・画素領域」と表現する。
エッジ抽出部121は、図4に示す中間画像20から、複数の中間画素21により形成される矩形領域22(ここでは右3×2画素領域)を選択する。エッジ抽出部121は、矩形領域22の対角線23が通過する中間画素を判定対象画素24(図中、着色部分)として設定する。エッジ抽出部121は、矩形領域22中の全ての判定対象画素24が示す夫々のエッジ13の角度θが対角線23の角度φに対して所定の角度範囲内にあるとき、対角線23を、入力画像を領域分割する三角形の辺を構成する分割エッジとして抽出する。
【0034】
<分割エッジの検出パターン>
図6(a)~(f)は、分割エッジとして抽出される対角線の検出パターンの一例を示す図である。
検出パターン記憶部122(図1)は、複数種類の対角線の検出パターンを記憶している。具体的には、検出パターン記憶部122は、矩形領域22である右3×2画素領域、左3×2画素領域(図6(a))、右2×3画素領域、左2×3画素領域(図6(b))、右3×1画素領域、左3×1画素領域(図6(c))、右1×3画素領域、左1×3画素領域(図6(d))、右2×1画素領域、左2×1画素領域(図6(e))、右1×2画素領域、左1×2画素領域(図6(f))の夫々の対角線に係る検出パターンを記憶している。なお、右1×1画素領域と左1×1画素領域の対角線は、補間対象の分割エッジとして取り扱われるため(図7参照)、検出パターンとしては記憶されていない。
本例において検出パターン記憶部122は、3×3画素領域よりも面積が小さい矩形領域の対角線を検出パターンとして記憶しているが、検出パターン記憶部122は、これよりも大きい矩形領域の対角線に係る検出パターンを記憶してもよい。
【0035】
検出パターン記憶部122は、互いに重複しない角度関係にある対角線に係る検出パターンを記憶する。特に、検出パターン記憶部122は、端点以外の対角線上に中間画素の交点(角部)を含まない対角線を検出パターンとして記憶することが望ましい。すなわち、検出パターンとして記憶される対角線を形成する矩形領域は、矩形領域の対角線と同一角度の対角線を有する小矩形領域を内部に含まない、互いに直行する2辺の長さが「互いに素」の関係にある矩形領域であることが望ましい。2辺の長さが「互いに素」とは、矩形領域を構成する直行する2辺の長さの最大公約数が1である関係を意味する。
例えば、6×4画素領域はその内部に4個の3×2画素領域を含み、6×4画素領域の対角線上には3×2画素領域の角部(交点)を含むため、検出パターン記憶部122は3×2画素領域の対角線を検出パターンとして記憶してもよいが、6×4画素領域の対角線は検出パターンとして記憶しないことが望ましい。これは、ラスタライズ時には、三角形メッシュの頂点に位置する元画素の画素値を参照して三角形メッシュ内を塗りつぶす画素値が決定されることに起因する。例えば、6×4画素領域の対角線を抽出する場合、この対角線を含んで構成される三角形メッシュの各辺の中央には3×2画素領域の角部が存在するが、各辺の中央に位置する元画素の画素値はラスタライズ時に参照されないため、元画像の再現率が低下する虞がある。検出パターン記憶部122に「互いに素」の関係にある矩形領域に係る対角線のみを検出パターンとして記憶させておくことにより、ラスタライズ時において元画像の再現率を向上させ、より元画像に近い画像を出力することが可能となる。
【0036】
検出パターン記憶部122(図1)には、各対角線23の検出パターンに対して、判定対象画素24の位置と、判定用の角度範囲(パラメータa、b、アウトライヤ符号)とが対応付けて判定テーブルとして記憶されている。さらに、各対角線23の検出パターンには、検出対象である対角線23の基点23aの位置と、判定対象画素24のうち最初に判定が行われる注目画素25の位置とに係る情報が対応付けられている。なお、検出対象である対角線23の基点23aを有した判定対象画素24が注目画素25である。つまり、各対角線23の検出パターンは、注目画素25と注目画素25以外の判定対象画素24との位置関係を示す情報を含むと言える。
検出パターン記憶部122に記憶される判定用の角度範囲は、エッジ抽出部121によって抽出される対角線が互いに交差しないように設定されている。
【0037】
図7(a)、(b)は、判定用の角度範囲の決定方法の一例について説明する模式図である。以下、右3×2画素からなる矩形領域22に係る対角線23を検出するための、判定用の角度範囲を決定する場合の例により説明する。
まず、抽出対象となる対角線23に対して、反時計回り方向に最も近い矩形領域(右2×1画素領域)の対角線d1と、時計回り方向に最も近い矩形領域(右1×1画素領域)の対角線d2とを見つける。ここで、対角線23の角度をφ、対角線d1の角度をα、対角線d2の角度をβとする。
対角線23の角度φと対角線d1の角度αを等角度分割した角度(φ+α)/2と、対角線23の角度φと対角線d2の角度βを等角度分割した角度(φ+β)/2との間を、判定用の角度範囲とする。
・・・式(11)
なお、θは各中間画素21が示すエッジの角度である。
【0038】
ところで、中間画素21のエッジの角度θは、中間画素21のグラディエントを(gx,gy)とするとき、以下の式(12)により求められる。
・・・式(12)
しかし、逆三角関数の計算は複雑であり、これを中間画素ごとに計算する場合には、回路の複雑化と処理負荷の増大を招くという問題がある。そこで、式(12)を以下の式(13)ように変形して、グラディエント比(gy/gx)の下限値をパラメータa、上限値をパラメータbとして判定テーブル(図6)に記憶させることで、逆三角関数の計算を省略することが可能となる。
・・・式(13)
【0039】
なお、図6に示す検出パターンにおいて、各対角線(角度φ)を決定するパラメータa,bは、a<tanφ、tanφ<bを満たす任意の値に設定することができる。また、各対角線を決定する角度範囲は、異なる対角線を決定するパラメータ同士で重複する部分を有していてもよい。例えば、図6に示す検出パターンにおいては、図6(c)に示す左右3×1画素領域のパラメータaと、図6(d)に示す左右1×3画素領域のパラメータbについては、判定されないエッジの範囲が生じないように、エッジの判定範囲を拡大している。また、図6(e)に示す左右2×1画素領域の対角線と、図6(f)に示す左右1×2画素領域の対角線は、誤検出が少ないことから、判定用の角度範囲を拡大している。
更に、左右3×1画素領域と、左右1×3画素領域については、水平方向のエッジと垂直方向のエッジを誤検出しないようにするために、グラディエントのy成分gyがゼロである場合は対角線を抽出しないように設定されている。
【0040】
<対角線の検出手順>
エッジ抽出部121は、面積の大きい矩形領域に係る対角線を、面積の小さい矩形領域に係る対角線に優先して抽出するように、分割エッジの抽出処理を実行する。即ち、エッジ抽出部121は、検出パターン記憶部122から検出パターンを読み出して、図6(a)~(f)に示す順番で対角線を抽出するように分割エッジの抽出処理を実行する。エッジ抽出部121は、面積の大きい矩形領域に係る対角線を、面積の小さい矩形領域に係る対角線に優先して抽出することで、分割エッジが交差しないように対角線を抽出することができる。
【0041】
具体的には、エッジ抽出部121は、図5に示すように、中間画像20(図4)の例えば左上から順番に一の中間画素21を選択し、注目画素25として設定する。エッジ抽出部121は、注目画素25のエッジ13の角度θと対角線23の判定用の角度範囲とを、面積の大きい矩形領域22に係る対角線23の検出パターンから順番に比較する。エッジ抽出部121は、注目画素25のエッジの角度θが、ある対角線23の判定用の角度範囲に含まれるとき、当該対角線23の検出パターンに基づいて注目画素25以外の判定対象画素24を設定する。エッジ抽出部121は、新たに設定した判定対象画素24のエッジ13の角度θと判定用の角度範囲とを比較する。エッジ抽出部121は、全ての判定対象画素24が示すエッジ13の角度θが判定用の角度範囲内にあるとき、当該対角線23を、入力画像10(図3(a))を領域分割する三角形の辺を構成する分割エッジとして抽出する。
仮に、何れかの判定対象画素24が示すエッジ13の角度θが対角線23の角度φに対して判定用の角度範囲を逸脱するとき、エッジ抽出部121は、注目画素25のエッジ13の角度θを、次に面積が大きい矩形領域に係る対角線の判定用の角度範囲と比較する。エッジ抽出部121は、比較結果に基づいて新たに注目画素25以外の判定対象画素24を設定する。
エッジ抽出部121は、以上の処理を順次実行することにより、中間画像20の全領域から分割エッジとしての対角線23を抽出する。
【0042】
<メッシュ補間部>
エッジ抽出部121が抽出した対角線23のみでは完全なメッシュを形成できないため、メッシュ補間部123は、メッシュが不完全な部分について分割エッジを補間し、入力画像10の全体を三角形により領域分割する。
図8(a)~(d)は、補間される分割エッジの一例を示す図である。本図に示す分割エッジは、補間パターン記憶部124(図1)に記憶されている。
エッジ抽出部121は、メッシュが不完全な部分について図8(a)~(d)の順に分割エッジを挿入することにより、入力画像10の全体を三角形により領域分割することができる。但し、エッジ抽出部121は、既に抽出されている分割エッジと交差しない場合にのみ、図示する分割エッジを挿入する。
なお、メッシュ生成部120のエッジ抽出部121は、上記以外の方法により算出された元画素のエッジの角度(或いはグラディエントの値)を用いて、分割エッジを抽出しても構わない。
【0043】
〔フローチャート〕
図9は、本発明の一実施形態に係る画像の処理手順を示したフローチャートである。
ステップS1において、画像処理装置100は、入力画像10(図3(a))を取得する。入力画像10は、エッジ算出部110とエッジ強調部130に入力される。
ステップS3において、コントラスト算出部111は、複数の画素11を含む第一画素領域12を順次設定し、各第一画素領域12に含まれる各画素11の輝度値を取得する。コントラスト算出部111は、第一画素領域12に含まれる各画素11の輝度値に基づいて第一画素領域12のコントラストCを算出する(図3(b))。
ステップS5において、グラディエント算出部112は、第一画素領域12のコントラストCの大きさに基づいて、参照領域15を設定する。即ち、グラディエント算出部112は、コントラストCが閾値Cτ未満の場合に第一画素領域12を参照領域15aとして設定し、コントラストCが閾値Cτ以上の場合に第一画素領域12を含み、且つ第一画素領域12よりも大きい領域(第二画素領域)を参照領域15bとして設定する(図3(c))。
【0044】
ステップS7において、グラディエント算出部112は、設定した参照領域15に含まれる各画素11の輝度値を取得する。グラディエント算出部112は、参照領域15に含まれる各画素11の輝度値に基づいて、第一画素領域12のグラディエントG(gx,gy)を算出する。なお、グラディエントGは、第一画素領域12に存在するエッジ13の角度θを0~90度の範囲で示す値である。本処理により、グラディエント算出部112は、各第一画素領域12のグラディエントGを画素値として有する複数の画素から構成されるグラディエント画像(中間画像)を生成する。
ステップS9において、アウトライヤ算出部113は、第一画素領域12における局所的なエッジ13の強さと方向を推定する値であるアウトライヤを算出する。アウトライヤ算出部113は、第一画素領域12に含まれる各画素11の輝度値に基づいてアウトライヤを算出する。本処理により、アウトライヤ算出部113は、各第一画素領域12のアウトライヤを画素値として有する複数の画素から構成されるアウトライヤ画像(中間画像)を生成する。
エッジ算出部110からは、各画素がグラディエントGとアウトライヤの情報とを有する中間画像20(図4)が、メッシュ生成部120に対して出力される。
【0045】
ステップS11において、メッシュ生成部120のエッジ抽出部121は、グラディエント算出部112とアウトライヤ算出部113により生成された中間画像20の各中間画素21が示すエッジ13の角度θに基づいて、入力画像10を領域分割する三角形の辺を構成する分割エッジを抽出する。即ち、図5に示すように、エッジ抽出部121は、複数の中間画素21により形成される矩形領域22を設定し、矩形領域22の対角線23が通過する判定対象画素24の全てが対角線23を含む所定の角度範囲内にあるとき、その対角線23を、入力画像10を領域分割する三角形の辺を構成する分割エッジとして抽出する。本処理において、エッジ抽出部121は、面積の大きい矩形領域22に係る対角線23が面積の小さい矩形領域22に係る対角線23に優先して抽出されるように、図6(a)~(f)に示す検出パターンの順に対角線を抽出する。
【0046】
ステップS13において、メッシュ生成部120のメッシュ補間部123は、補間パターン記憶部124から補間対象となる分割エッジを読み出して、メッシュが不完全な部分について分割エッジを図8(a)~(d)の順番で補間し、入力画像10の全体を三角形により領域分割する。入力画像10を領域分割する領域分割情報は、ベクターデータであり、拡大・縮小によってもその鮮鋭さを失うことのない情報である。
ステップS15において、エッジ強調部130は、入力画像10のエッジを強調して鮮鋭化した鮮鋭化画像を生成する。
ステップS17において、ラスタライズ部140は、エッジ強調部130から出力される鮮鋭化画像を、メッシュ生成部120から出力される領域分割情報を用いて拡大する。また、ラスタライズ部140は、三角形メッシュの頂点に相当する画素11の画素値を用いて、三角形メッシュ内を塗りつぶすための画素値を決定し、決定された画素値を用いて三角形メッシュ内を塗りつぶす。また、ラスタライズ部140は、必要に応じてバイリニア法やバイキュービック法等を用いてピクセル補間を行って、高解像度化した出力画像を生成する。
【0047】
〔本発明の実施態様例と作用、効果のまとめ〕
<第一の実施態様>
本態様に係る画像処理装置100は、複数の画素11を含む第一画素領域12を含み、第一画素領域よりも広い第二画素領域(参照領域15b)における各画素の画素値を取得する画素値取得手段(エッジ算出部110)と、第二画素領域における各画素の画素値を用いて第一画素領域のエッジの角度θを算出するエッジ算出手段(エッジ算出部110)と、を備えることを特徴とする。
本態様によれば、第一画素領域よりも広い第二画素領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【0048】
<第二の実施態様>
本態様に係る画像処理装置100は、第一画素領域12における画素11の画素値の差(コントラストC)を算出する差分算出手段(コントラスト算出部111)を備え、エッジ算出手段(エッジ算出部110)は、画素値の差に応じて第一画素領域を含む参照領域15(15a,15b)を設定し、該参照領域における各画素の画素値を用いて第一画素領域のエッジの角度θを算出することを特徴とする。
本態様によれば、画素値の差に応じて参照領域を設定し、設定した参照領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【0049】
<第三の実施態様>
本態様に係る画像処理装置100において、エッジ算出手段(エッジ算出部110)は、画素値の差に応じて、第一画素領域12又は第二画素領域(参照領域15b)を参照領域15に設定することを特徴とする。
本態様において、エッジ算出手段は、画素値の差に応じて第一画素領域又は第二画素領域を参照領域として設定し、設定した参照領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出する。即ち、エッジ算出手段は、画素値の差に応じて、第一画素領域(参照領域15a)を構成する各画素の画素値を用いて第一画素領域のエッジの角度を算出するか、第一画素領域よりも広い第二画素領域(参照領域15b)を構成する各画素の画素値を用いて第一画素領域のエッジの角度を算出する。
本態様によれば、画素値の差に応じて、第一画素領域又は第二画素領域を参照領域に設定して、第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【0050】
<第四の実施態様>
本態様に係る画像処理装置100において、エッジ算出手段(エッジ算出部110)は、参照領域15の水平方向における画素値の変化率gxと垂直方向における画素値の変化率gyとに基づいてエッジの角度θを算出することを特徴とする。
角度θは、画素値の変化率gx,gyから逆三角関数により直接的に算出してもよいし、角度θの正接(gy/gx)を求めることで間接的に算出してもよい。逆三角関数の計算は処理負荷が高いため、後者の方法を採用すれば計算に係る処理負荷を低減できる。
【0051】
<第五の実施態様>
本態様に係る画像処理装置100において、エッジ算出手段(エッジ算出部110)は、参照領域15の各画素11の画素値に対し、第一画素領域12に含まれる画素との位置関係に応じた重み付け係数を乗じた上でエッジの角度θを算出することを特徴とする。
本態様によれば、必要に応じて第一画素領域の周辺に位置する画素の画素値を参照しつつ、より正確にエッジの角度を算出できる。
【0052】
<第六の実施態様>
本態様に係る画像処理装置100において、重み付け係数には2のべき乗値が設定されていることを特徴とする。
重み付け係数に2のべき乗値を設定することにより、ビットをずらして計算するシフト演算が利用できるようになり、処理速度の向上を図ることができる。
【符号の説明】
【0053】
10…入力画像、11…画素、12…第一画素領域、13…エッジ、15…参照領域、15a…参照領域、15b…参照領域(第二画素領域)、20…中間画像、21…中間画素、22…矩形領域、23…対角線、23a…基点、24…判定対象画素、25…注目画素、 100…画像処理装置、110…エッジ算出部(画素値取得手段、エッジ算出手段)、111…コントラスト算出部(差分算出手段)、112…グラディエント算出部、113…アウトライヤ算出部、120…メッシュ生成部、121…エッジ抽出部、122…検出パターン記憶部、123…メッシュ補間部、124…補間パターン記憶部、130…エッジ強調部、140…ラスタライズ部、151…CPU、152…ROM、153…RAM、154…バス、155…記憶装置、156…外部I/F、157…リーダライタ、161…外部記憶装置、162…記録媒体、d1,d2…対角線
図1
図2
図3
図4
図5
図6
図7
図8
図9