IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7471832画像処理装置、画像処理方法、及びプログラム
<>
  • 特許-画像処理装置、画像処理方法、及びプログラム 図1
  • 特許-画像処理装置、画像処理方法、及びプログラム 図2
  • 特許-画像処理装置、画像処理方法、及びプログラム 図3
  • 特許-画像処理装置、画像処理方法、及びプログラム 図4
  • 特許-画像処理装置、画像処理方法、及びプログラム 図5
  • 特許-画像処理装置、画像処理方法、及びプログラム 図6
  • 特許-画像処理装置、画像処理方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-12
(45)【発行日】2024-04-22
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
   G06T 5/90 20240101AFI20240415BHJP
   H04N 1/407 20060101ALI20240415BHJP
【FI】
G06T5/90
H04N1/407
【請求項の数】 10
(21)【出願番号】P 2020009386
(22)【出願日】2020-01-23
(65)【公開番号】P2021117610
(43)【公開日】2021-08-10
【審査請求日】2023-01-19
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】大澤 新之介
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2007-288484(JP,A)
【文献】特開2018-181070(JP,A)
【文献】特開2018-067190(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/90
H04N 1/407
(57)【特許請求の範囲】
【請求項1】
入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第1のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第1のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理手段とを有することを特徴とする画像処理装置。
【請求項2】
前記検出手段は、前記入力画像と前記縮小画像との対応する画素の輝度値の差が小さい領域を前記グラデーション領域と判定することを特徴とする請求項に記載の画像処理装置。
【請求項3】
前記処理手段は、前記グラデーション領域には、前記第1のゲイン特性を基に輝度値に対するゲインの変化量を前記第1のゲイン特性よりも抑えたゲインが設定された第2のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施すことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第1のゲイン特性に基づいて生成された第1のゲインマップ、前記第2のゲイン特性に基づいて生成された第2のゲインマップ、及び前記検出手段による検出結果に基づいて、第3のゲインマップを生成する生成手段を有し、
前記処理手段は、前記生成手段により生成された前記第3のゲインマップに基づいて前記入力画像にゲイン処理を施すことを特徴とする請求項に記載の画像処理装置。
【請求項5】
前記生成手段は、前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には前記第1のゲインマップの値を適用し、前記グラデーション領域には前記第2のゲインマップの値を適用して、前記第3のゲインマップを生成することを特徴とする請求項に記載の画像処理装置。
【請求項6】
前記第1のゲインマップは、前記入力画像を縮小処理した複数の縮小画像に対応する、前記第1のゲイン特性に基づく複数のゲインマップに基づいて生成され、
前記第2のゲインマップは、前記入力画像を縮小処理した複数の縮小画像に対応する、前記第2のゲイン特性に基づく複数のゲインマップに基づいて生成されることを特徴とする請求項又はに記載の画像処理装置。
【請求項7】
前記第2のゲイン特性は、トーンカーブを用いて生成された第1のゲイン特性に基づき、トーンカーブの点同士の傾きの変化が所定値未満となるように、トーンカーブの点の位置を変更することによって生成されることを特徴とする請求項の何れか1項に記載の画像処理装置。
【請求項8】
前記検出手段による検出結果に基づいて、前記第1のゲイン特性に基づいて生成されたゲインマップの前記グラデーション領域に対応する領域にフィルター処理を行い前記ゲイン処理に用いるゲインマップを生成する生成手段を有し、
前記処理手段は、前記生成手段により生成されたゲインマップに基づいて前記入力画像にゲイン処理を施すことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項9】
入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出工程と、
前記検出工程での検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第1のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第1のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理工程とを有することを特徴とする画像処理方法。
【請求項10】
入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出ステップと、
前記検出ステップでの検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第1のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第1のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラなどの画像処理装置では、ダイナミックレンジの広いシーンを撮影して得られた画像に対して、シーンの特徴をなるべく再現できるよう、暗部を明るくし、明部を暗くするような階調圧縮処理が提案されている(例えば、特許文献1参照)。このような階調圧縮処理を画像に施した際、光学的なボケ部のようなグラデーション領域で、図7の点線で示すような疑似輪郭701が発生する場合がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2007-293528号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、画像のグラデーション領域における疑似輪郭の発生を抑制し、所望の階調補正を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る画像処理装置は、入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出手段と、前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第1のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第1のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理手段とを有することを特徴とする。
【発明の効果】
【0006】
本発明によれば、画像のグラデーション領域における疑似輪郭の発生を抑制し、所望の階調補正を可能にした画像処理装置を提供することができる。
【図面の簡単な説明】
【0007】
図1】本実施形態における画像処理装置の構成例を示す図である。
図2】階調特性及びゲインマップを説明する図である。
図3】ゲイン特性の生成を説明する図である。
図4】本実施形態における画像処理装置の処理例を示すフローチャートである。
図5】入力画像の一例を示す図である。
図6】グラデーション領域の検出を説明する図である。
図7】グラデーション領域における疑似輪郭を説明する図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態を図面に基づいて説明する。
【0009】
図1は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置は、入力される画像において光学的なボケ部のようなグラデーション領域を検出し、グラデーション領域とそうでない領域とで、異なるゲイン特性を適用したゲインマップを生成して画像に対するゲイン処理を行う。なお、ゲイン特性とは、図2(a)に一例を示すように、横軸を入力輝度信号とし、縦軸をゲイン信号としたテーブルを指し、入力輝度に応じてかけるゲインを示している。また、ゲインマップとは、図2(b)に示すように、画像内の位置に応じて適用するゲインが決められた画像を指す。
【0010】
本実施形態における画像処理装置は、図1に示すように、画像入力部101、第1の縮小画像生成部102、第2の縮小画像生成部103、第1のゲイン変換部104、及び第1のゲインマップ生成部105を有する。また、本実施形態における画像処理装置は、第2のゲイン変換部106、第2のゲインマップ生成部107、MIX比率算出部108、第3のゲインマップ生成部109、及びゲイン処理部110を有する。本実施形態における画像処理装置は、入力された画像に対してゲイン処理を施して画像を出力する処理を実施する。なお、本実施形態における画像処理装置で入出力する画像は輝度信号によって構成される。
【0011】
画像入力部101は、ゲイン処理を行う入力画像を入力する。画像入力部101に入力された入力画像は、第1の縮小画像生成部102、MIX比率算出部108、及びゲイン処理部110に供給される。第1の縮小画像生成部102は、画像入力部101を介して供給される入力画像に縮小処理を施して第1の縮小画像を生成する。第2の縮小画像生成部103は、第1の縮小画像生成部102で生成された第1の縮小画像にさらに縮小処理を施して第2の縮小画像を生成する。このように本実施形態における画像処理装置では、第1の縮小画像生成部102及び第2の縮小画像生成部103により縮小率が異なる縮小画像を生成する。
【0012】
第1のゲイン変換部104は、第1の縮小画像生成部102及び第2の縮小画像生成部103で生成された各々の画像に対し、非グラデーション部用ゲインとして第1のゲイン特性に基づいてゲインマップを生成する。すなわち、第1のゲイン変換部104は、第1のゲイン特性に基づいて、第1の縮小画像に対応するゲインマップ及び第2の縮小画像に対応するゲインマップをそれぞれ生成する。なお、第1のゲイン特性には、輝度値に応じ異なるゲインが設定されたゲイン特性を与える。例えば、第1のゲイン特性として、図3(a)に一例を示すような、暗部を明るくし、明部を暗くするような、入力画像に対して本来実施したい階調補正(階調圧縮)を行うゲイン特性を与える。
【0013】
第1のゲインマップ生成部105は、第1のゲイン変換部104で生成した複数のゲインマップに基づいて、非グラデーション部用の第1のゲインマップを生成する。第1のゲインマップ生成部105は、第1のゲイン変換部104でそれぞれ生成された第1の縮小画像に対応するゲインマップ及び第2の縮小画像に対応するゲインマップを所定のMIX比率で合成して第1のゲインマップを生成する。
【0014】
第2のゲイン変換部106は、第1の縮小画像生成部102及び第2の縮小画像生成部103で生成された各々の画像に対し、グラデーション部用ゲインとして第2のゲイン特性に基づいてゲインマップを生成する。すなわち、第2のゲイン変換部106は、第2のゲイン特性に基づいて、第1の縮小画像に対応するゲインマップ及び第2の縮小画像に対応するゲインマップをそれぞれ生成する。なお、第2のゲイン特性には、前述した第1のゲイン特性を元にして、図3(b)及び図3(c)に一例を示すような、ゲイン特性の傾きの変化を第1のゲイン特性よりも抑えたゲイン特性を与える。すなわち、第2のゲイン特性には、第1のゲイン特性よりも輝度値に対するゲインの変化量を抑えた(変化量が少ない)ゲイン特性を与える。
【0015】
第2のゲインマップ生成部107は、第2のゲイン変換部106で生成した複数のゲインマップに基づいて、グラデーション部用の第2のゲインマップを生成する。第2のゲインマップ生成部107は、第2のゲイン変換部106でそれぞれ生成された第1の縮小画像に対応するゲインマップ及び第2の縮小画像に対応するゲインマップを所定のMIX比率で合成して第2のゲインマップを生成する。
【0016】
MIX比率算出部108は、画像入力部101を介して供給される入力画像、及び第1の縮小画像生成部102で生成された画像に基づいて、画像におけるボケ部のようなグラデーション領域を検出する。MIX比率算出部108は、検出手段の一例である。MIX比率算出部108は、グラデーション領域の検出結果に基づいて、グラデーションの度合に応じた、領域毎のMIX比率を示す画像を生成する。
【0017】
第3のゲインマップ生成部109は、MIX比率算出部108で生成したMIX比率画像に基づいて、入力画像に対するゲイン処理に用いる第3のゲインマップを生成する。第3のゲインマップ生成部109は、MIX比率画像に基づいて、グラデーション領域には第2のゲインマップの値を適用し、グラデーション領域でない領域には第1のゲインマップの値を適用して、第3のゲインマップを生成する。
【0018】
ゲイン処理部110は、第3のゲインマップ生成部109で生成した第3のゲインマップに基づいて、画像入力部101を介して供給される入力画像にゲイン処理を施す。ゲイン処理部110での第3のゲインマップに基づくゲイン処理により階調補正(階調圧縮)された画像は出力画像として出力される。
【0019】
図4は、本実施形態における画像処理装置の処理例を示すフローチャートである。
ステップS401では、第1のゲイン変換部104及び第2のゲイン変換部106が、非グラデーション部用のゲイン特性(第1のゲイン特性)及びグラデーション部用のゲイン特性(第2のゲイン特性)を生成する。非グラデーション部用のゲイン特性は、図3(a)に一例を示したようなゲイン特性301であり、グラデーション部用のゲイン特性は、図3(c)に一例を示したようなゲイン特性311である。
【0020】
以下、ゲイン特性の生成方法について説明する。非グラデーション部用のゲイン特性は、図3(a)に一例を示したように、ダイナミックレンジの広いシーンにおいても、被写体を階調性豊かに表現できるよう、暗部を明るくし、明部を暗くするようなゲイン特性とする。例えば、トーンカーブ上で、図3(a)の302に示すような、所定の暗部の輝度を持ち上げる点と、303に示すような、所定の明部の輝度を引き下げる点とを決め、その2点を滑らかにつなぐような線を引き、非グラデーション部用のゲイン特性301とする。
【0021】
次に、グラデーション部用のゲイン特性の生成方法を、図3(b)を参照して説明する。グラデーション部用のゲイン特性は、非グラデーション部用のゲイン特性を元に、ゲイン特性の傾きの変化を抑えたゲインを生成する。階調補正において輝度域ごとに掛かるゲインが大きく異なるゲイン処理をすることで、画像における滑らかな階調変化が失われてボケ部のようなグラデーション領域に疑似輪郭が発生する。そこで、輝度域の変化に対するゲイン特性の変化(つまり、トーンカーブにおける傾きの変化)を抑えることで、この現象を抑制することができる。
【0022】
ゲイン特性の傾きの変化を抑える方法の一例を図3(b)で説明する。まず、図3(a)に示したような非グラデーション部用のゲイン特性に対して、例えばp1からp5で示すような所定の入力輝度間隔ごとに点を設定する。次に、入力輝度が低い側から順にp1-p2間、p2-p3間という順で区間毎(トーンカーブにおける点同士)のゲイン特性の傾きを求め、前の区間との傾きの変化が所定値g_thを超えていないかを判定する。例えば、p3-p4間の傾きg3とp4-p5間の傾きg4との差がg_thを超えている場合、以下のような式で決めた傾きg4’で引いた直線上のp5’を定めて、トーンカーブの点の位置を変更する。
g3<g4のとき g4’=g4+g_th …(式1)
g3≧g4のとき g4’=g3-g_th …(式2)
その後は、p5’と後に続く点と間の傾きを求め、この処理を繰り返す。
【0023】
このように処理することで、全輝度域で隣接区間のゲイン特性の傾きの変化が所定値g_th未満となった図3(c)に示したようなゲイン特性311を生成することができる。これをグラデーション部用のゲイン特性とする。
【0024】
図4に戻り、次に、ステップS402では、第1の縮小画像生成部102及び第2の縮小画像生成部103が第1の縮小画像及び第2の縮小画像を生成する。第1の縮小画像生成部102が、入力画像に縮小処理を施して第1の縮小画像を生成し、第2の縮小画像生成部103が、第1の縮小画像生成部102で生成された第1の縮小画像に縮小処理を施して第2の縮小画像を生成する。縮小処理の方法については、バイリニア法を用いた縮小など一般的な方法を適用できる。
【0025】
ステップS403では、MIX比率算出部108がMIX比率画像を生成する。MIX比率画像は、前述のとおり、グラデーションの度合を判定する目的のものである。この目的を達する種々の方法を用いて構わないが、ここでは、一例として、入力画像と縮小画像とを使ってグラデーション領域を判定する方法を説明する。図5(a)は、入力画像500の例である。図5(a)において、領域501は光学的にボケている花の一部を示しており、領域502はピントのあった花の一部を示している。まず初めに、MIX比率算出部108は、第1の縮小画像生成部102で生成された第1の縮小画像を、入力画像の大きさまで拡大する。この処理によって、入力画像にローパスフィルター処理を施したような、低周波画像が生成される。
【0026】
図6(a)は、ボケ部の領域501の輝度値を座標ごとにプロットしたグラフである。図6(a)において、破線601が入力画像におけるボケ部の領域501の輝度値を示しており、実線602が第1の縮小画像を拡大処理して得られる画像(低周波画像)におけるボケ部の領域501の輝度値を示している。また、図6(b)は、ピント部の領域502の輝度値を座標ごとにプロットしたグラフである。図6(b)において、破線611が入力画像におけるピント部の領域502の輝度値を示しており、実線612が第1の縮小画像を拡大処理して得られる画像(低周波画像)におけるピント部の領域502の輝度値を示している。
【0027】
図6(a)に示されるように、画像におけるボケ部は、入力画像がもともと低周波な画像であるため、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値に差が少ない。一方、図6(b)に示されるように、画像におけるピント部は、縮小拡大処理を経て周波数が低下するため、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値に差が生じる。
【0028】
そこで、MIX比率算出部108は、入力画像と縮小画像を拡大処理して得られる低周波画像との輝度値の差に基づき、輝度値の差が大きいほど画素値を小さくし、輝度値の差が小さいほど画素値を大きくした画像を生成し、これをMIX比率画像とする。例えば、図3(a)に示したシーンの入力画像500について、この方法でMIX比率画像を生成すると、図3(b)に示したMIX比率画像510のようになる。このような処理によって、グラデーション領域の画素値が大きく、グラデーション領域でない領域の画素値が小さくなった、グラデーション度合を示すMIX比率画像が生成できる。なお、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値の差に応じた画素値ではなく、輝度値の差が所定値より大きいか否かに応じた二値画像をMIX比率画像とするようにしてもよい。
【0029】
図4に戻り、ステップS404では、第1のゲインマップ生成部105が非グラデーション部用の第1のゲインマップを生成し、第2のゲインマップ生成部107がグラデーション部用の第2のゲインマップを生成する。このステップS404では、まず第1のゲイン変換部104及び第2のゲイン変換部106のそれぞれが、各縮小画像に対応する複数のゲインマップを生成する。そして、第1のゲインマップ生成部105が、第1のゲイン変換部104で生成された複数のゲインマップに基づいて、非グラデーション部用の第1のゲインマップを生成する。また、第2のゲインマップ生成部107が、第2のゲイン変換部106で生成された複数のゲインマップに基づいて、グラデーション部用の第2のゲインマップを生成する。
【0030】
次に、ステップS405では、第3のゲインマップ生成部109が、ステップS403において生成されたMIX比率画像と、ステップS404において生成された第1のゲインマップ及び第2のゲインマップとに基づいて、第3のゲインマップを生成する。例えば、第3のゲインマップ生成部109は、入力画像の各領域に対して、MIX比率画像に応じて第1のゲインマップの値又は第2のゲインマップの値を選択的に適用することで第3のゲインマップを生成する。
【0031】
ステップS406では、ゲイン処理部109が、ステップS405において生成された第3のゲインマップに基づいて入力画像にゲイン処理を施す。
【0032】
以上説明したように、本実施形態では、非グラデーション部用のゲイン特性に加え、全輝度域でゲイン特性の傾きの変化が所定値未満となるグラデーション部用のゲイン特性を生成する。そして、本実施形態における画像処理装置は、非グラデーション部用のゲイン特性及びグラデーション部用のゲイン特性を適用し、グラデーションの度合を示すMIX比率画像に応じてゲイン処理に用いる第3のゲインマップを生成する。これにより、グラデーション部のみに選択的にグラデーション部用のゲインを掛けるゲイン処理を実現できる。したがって、画像のボケ部のようなグラデーション領域における疑似輪郭の発生を抑制しつつ、非グラデーション領域には、ダイナミックレンジの広いシーンの特徴を再現できるような階調圧縮を含む所望の階調補正を同時に実現することが可能となる。
【0033】
前述した実施形態における画像処理装置は、基準となるゲインとしての第1のゲイン特性に基づく第1のゲインマップと、第1のゲイン特性を基にゲイン特性の変化を抑制した第2のゲイン特性に基づく第2のゲインマップとを生成する。そして、MIX比率画像によって、第1のゲインマップと第2のゲインマップとをMIXしたゲインを掛けることにより、輝度に対するゲインの変化量を少なくしたゲインを掛けることを実現している。しかしながら、この方法に限定されるものではない。例えば、第2のゲインマップを生成せずに、第1のゲインマップのグラデーション検出領域にローパスフィルター処理を施すことにより、グラデーション領域内で、入力輝度に対するゲインの急峻な変化を少なくする方法を適用してもよい。
【0034】
また、前述した実施形態における画像処理装置は、入力画像から第1の縮小画像と第2の縮小画像との2つの縮小画像を生成して処理を行うようにしているが、これに限定されるものではなく、3以上の縮小画像を生成して処理を行うようにしてもよい。
【0035】
なお、前述した実施形態における説明では、階調変化の滑らかなグラデーション領域として、光学的なボケ領域を例に説明したが、これに限定されるものではない。階調変化の滑らかなグラデーション領域が、例えば、空や壁面等のもともと階調の変化が滑らかな被写体であったり、ブレ領域や、光学的又は画像処理によってローパスフィルター処理が施された領域等であったりしてもよい。このような領域にも、同様の理由により疑似輪郭が発生することがあるため、本実施形態が適用可能である。
【0036】
(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0037】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0038】
101:画像入力部 102:第1の縮小画像生成部 103:第2の縮小画像生成部 104:第1のゲイン変換部 105:第1のゲインマップ生成部 106:第2のゲイン変換部 107:第2のゲインマップ生成部 108:MIX比率算出部 109:第3のゲインマップ生成部 110:ゲイン処理部
図1
図2
図3
図4
図5
図6
図7