知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024046817
(43)【公開日】2024-04-05
(54)【発明の名称】画像処理装置及びプログラム
(51)【国際特許分類】
G06T 7/187 20170101AFI20240329BHJP
H04N 1/40 20060101ALI20240329BHJP
H04N 23/60 20230101ALI20240329BHJP
【ＦＩ】
G06T7/187
H04N1/40
H04N5/232 290
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022152119
(22)【出願日】2022-09-26
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】池田 和敏
【テーマコード（参考）】
5C077
5C122
5L096
【Ｆターム（参考）】
5C077LL02
5C077PP25
5C077PP47
5C077PP53
5C077PQ12
5C077SS05
5C077SS06
5C122EA12
5C122FH09
5C122FH11
5C122FH16
5C122FH18
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5C122HB06
5L096CA02
5L096CA23
5L096DA01
5L096FA14
5L096GA07
5L096GA13
5L096MA03
(57)【要約】
【課題】画像内の影が存在し得る領域を特定する。
【解決手段】画像処理装置はプロセッサを備える。プロセッサは、元画像１０の一端部からそれに対向する他端部に向かう方向において、一端部から、一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域ＡＲを、影が存在し得る領域３２として特定する。
【選択図】図４Ｋ
【解決手段】画像処理装置はプロセッサを備える。プロセッサは、元画像１０の一端部からそれに対向する他端部に向かう方向において、一端部から、一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域ＡＲを、影が存在し得る領域３２として特定する。
【選択図】図４Ｋ
【特許請求の範囲】
【請求項1】
プロセッサを含み、
前記プロセッサは、
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
画像処理装置。
前記プロセッサは、
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、
前記プロセッサは、
前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向において、
前記他端部から、前記他端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域としてさらに特定する、
画像処理装置。
前記プロセッサは、
前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向において、
前記他端部から、前記他端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域としてさらに特定する、
画像処理装置。
【請求項3】
請求項２に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域の輝度値を、前記一端部の輝度値に置き換えるとともに、前記他端部を含む前記影が存在し得る領域の輝度値を、前記他端部の輝度値に置き換えることで、影画像を生成する、
画像処理装置。
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域の輝度値を、前記一端部の輝度値に置き換えるとともに、前記他端部を含む前記影が存在し得る領域の輝度値を、前記他端部の輝度値に置き換えることで、影画像を生成する、
画像処理装置。
【請求項4】
請求項３に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域と前記他端部を含む前記影が存在し得る領域との間の領域の輝度値を、前記一端部及び前記他端部の輝度値よりも高い輝度値に置き換えることで、前記影画像を生成する、
画像処理装置。
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域と前記他端部を含む前記影が存在し得る領域との間の領域の輝度値を、前記一端部及び前記他端部の輝度値よりも高い輝度値に置き換えることで、前記影画像を生成する、
画像処理装置。
【請求項5】
請求項１に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記一端部側に隣り合う比較画素の値としての、前記影画像の輝度値としてすでに設定された前記比較画素の輝度値とを比較し、
前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記一端部側に隣り合う比較画素の値としての、前記影画像の輝度値としてすでに設定された前記比較画素の輝度値とを比較し、
前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
【請求項6】
請求項５に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記他端部側に隣り合う比較画素の値としての、前記新影画像の輝度値としてすでに設定された前記比較画素の輝度値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記他端部側に隣り合う比較画素の値としての、前記新影画像の輝度値としてすでに設定された前記比較画素の輝度値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
【請求項7】
請求項１に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値とを比較し、
前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値とを比較し、
前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
【請求項8】
請求項７に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記新影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記新影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
【請求項9】
請求項３～８のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記元画像と前記影画像を用いて正規化処理を行うことで、影除去画像を生成する、
画像処理装置。
前記プロセッサは、
前記元画像と前記影画像を用いて正規化処理を行うことで、影除去画像を生成する、
画像処理装置。
【請求項10】
請求項１～８のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行う、
画像処理装置。
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行う、
画像処理装置。
【請求項11】
請求項３～８のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行うとともに、前記表示部に表示された画像に対して、ユーザから前記影が存在し得る領域を変更する指示を受け付け、
ユーザから前記影が存在し得る領域の変更指示がされた際に、前記影画像を更新する、
画像処理装置。
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行うとともに、前記表示部に表示された画像に対して、ユーザから前記影が存在し得る領域を変更する指示を受け付け、
ユーザから前記影が存在し得る領域の変更指示がされた際に、前記影画像を更新する、
画像処理装置。
【請求項12】
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
処理をコンピュータに実行させるプログラム。
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【0002】
帳票等の紙媒体をカメラで撮影し、得られた撮影画像を保存しておいたり、利用したりすることが行われている。撮影画像には影が写り込むことがある。そのため、従来から、撮影画像内に存在する影を特定して、影を除去する技術の検討が進められている。
【0003】
特許文献１には、原稿画像を撮影することで得られた入力画像の輝度成分を示す画像において、画素の輝度成分を用いて、原稿画像のオブジェクトの色により影の写り込みの影響が少ない特異画素の領域を決定するステップと、特異画素の周辺の画素値を参照し、特異画素の領域がなくなるまで、特異画素の画素値を周辺の影が写り込んでいる領域の値に置き換える処理を繰り返すことで、入力画像の影成分を示す画像を生成するステップと、を備える情報処理方法が開示されている。
【0004】
特許文献２には、被写体を撮像して得られたカラー画像を複数の部分領域に分割した後、部分領域それぞれについて地色を検出し、部分領域それぞれの地色に基づいて被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、地色濃度マップを用いて、地色が濃いほど影が濃いものとしてカラー画像における各画素値から影を除去する、画像補正装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６６２４８２７号公報
【特許文献2】特許第５６０８５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
画像内の影が存在し得る領域を特定する技術について検討が望まれている。
【0007】
本発明の目的は、画像内の影が存在し得る領域を特定することにある。
【課題を解決するための手段】
【0008】
請求項１に係る発明は、プロセッサを含み、前記プロセッサは、元画像の一端部からそれに対向する他端部に向かう方向において、前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、画像処理装置である。
【0009】
請求項２に係る発明は、請求項１に記載の画像処理装置であって、前記プロセッサは、前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向において、前記他端部から、前記他端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域としてさらに特定する、画像処理装置である。
【0010】
請求項３に係る発明は、請求項２に記載の画像処理装置であって、前記プロセッサは、前記元画像における、前記一端部を含む前記影が存在し得る領域の輝度値を、前記一端部の輝度値に置き換えるとともに、前記他端部を含む前記影が存在し得る領域の輝度値を、前記他端部の輝度値に置き換えることで、影画像を生成する、画像処理装置である。
【0011】
請求項４に係る発明は、請求項３に記載の画像処理装置であって、前記プロセッサは、前記元画像における、前記一端部を含む前記影が存在し得る領域と前記他端部を含む前記影が存在し得る領域との間の領域の輝度値を、前記一端部及び前記他端部の輝度値よりも高い輝度値に置き換えることで、前記影画像を生成する、画像処理装置である。
【0012】
請求項５に係る発明は、請求項１に記載の画像処理装置であって、前記プロセッサは、影画像を生成し、前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記一端部側に隣り合う比較画素の値としての、前記影画像の輝度値としてすでに設定された前記比較画素の輝度値とを比較し、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、画像処理装置である。
【0013】
請求項６に係る発明は、請求項５に記載の画像処理装置であって、前記影推定処理は、１回目の影推定処理であり、前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、前記プロセッサは、新影画像を生成し、前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記他端部側に隣り合う比較画素の値としての、前記新影画像の輝度値としてすでに設定された前記比較画素の輝度値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、前記対象画素の現推定値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、そうでない場合において、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、画像処理装置である。
【0014】
請求項７に係る発明は、請求項１に記載の画像処理装置であって、前記プロセッサは、影画像を生成し、前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値とを比較し、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、画像処理装置である。
【0015】
請求項８に係る発明は、請求項７に記載の画像処理装置であって、前記影推定処理は、１回目の影推定処理であり、前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、前記プロセッサは、新影画像を生成し、前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記新影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、前記対象画素の現推定値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、そうでない場合において、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、画像処理装置である。
【0016】
請求項９に係る発明は、請求項３～８のいずれか１つに記載の画像処理装置であって、前記プロセッサは、前記元画像と前記影画像を用いて正規化処理を行うことで、影除去画像を生成する、画像処理装置である。
【0017】
請求項１０に係る発明は、請求項１～８のいずれか１つに記載の画像処理装置であって、前記プロセッサは、前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行う、画像処理装置である。
【0018】
請求項１１に係る発明は、請求項３～８のいずれか１つに記載の画像処理装置であって、前記プロセッサは、前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行うとともに、前記表示部に表示された画像に対して、ユーザから前記影が存在し得る領域を変更する指示を受け付け、ユーザから前記影が存在し得る領域の変更指示がされた際に、前記影画像を更新する、画像処理装置である。
【0019】
請求項１２に係る発明は、元画像の一端部からそれに対向する他端部に向かう方向において、前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0020】
請求項１に係る発明によれば、元画像内の影が存在し得る領域が特定される。
【0021】
請求項２に係る発明によれば、元画像の他端部から延びる、影が存在し得る領域が特定される。
【0022】
請求項３に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
【0023】
請求項４に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
【0024】
請求項５に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
【0025】
請求項６に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
【0026】
請求項７に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
【0027】
請求項８に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
【0028】
請求項９に係る発明によれば、元画像から少なくとも一部の影が除去された影除去画像が得られる。
【0029】
請求項１０に係る発明によれば、ユーザが、影が存在し得る領域を把握することが可能となる。
【0030】
請求項１１に係る発明によれば、ユーザが、影が存在し得る領域を変更することが可能となる。
【0031】
請求項１２に係る発明によれば、元画像内の影が存在し得る領域が特定される。
【図面の簡単な説明】
【0032】
【図1】影除去画像の取得の流れを示す図である。
【図2】第１実施形態の影推定処理の流れ（１回目）を示すフローチャートである。
【図3】第１実施形態の影推定処理の流れ（２回目以降）を示すフローチャートである。
【図4A】第１実施形態に係る影推定処理の説明図である。
【図4B】第１実施形態に係る影推定処理の説明図である。
【図4C】第１実施形態に係る影推定処理の説明図である。
【図4D】第１実施形態に係る影推定処理の説明図である。
【図4E】第１実施形態に係る影推定処理の説明図である。
【図4F】第１実施形態に係る影推定処理の説明図である。
【図4G】第１実施形態に係る影推定処理の説明図である。
【図4H】第１実施形態に係る影推定処理の説明図である。
【図4I】第１実施形態に係る影推定処理の説明図である。
【図4J】第１実施形態に係る影推定処理の説明図である。
【図4K】第１実施形態に係る影推定処理の説明図である。
【図5】第２実施形態の影推定処理（１回目）の流れを示すフローチャートである。
【図6】第２実施形態の影推定処理（２回目以降）の流れを示すフローチャートである。
【図7】第２実施形態に係る影推定処理の説明図である。
【図8】第２実施形態に係る影推定処理の説明図である。
【図9】第２実施形態に係る影推定処理の説明図である。
【図10】第２実施形態に係る影推定処理の説明図である。
【図11】影画像を用いた処理についての説明図である。
【図12】影画像を用いた処理についての説明図である。
【図13】影除去処理の実施有無の判定についての説明図である。
【図14】影除去画像の別の取得処理の流れを示す図である。
【図15】影除去画像のさらに別の取得処理の流れを示す図である。
【図16】色ムラ除去画像の取得処理の流れを示す図である。
【図17】コンピュータのハードウェア構成を例示する図である。
【発明を実施するための形態】
【0033】
＜概要＞
以下、本発明に係る実施形態について添付図面を確認しながら詳細に説明する。以下で述べる構成は、説明のための例示であって、画像処理装置の仕様等に合わせて適宜変更が可能である。また、以下において複数の実施形態や変形例等が含まれる場合、それらの特徴部分を適宜に組み合わせて用いることは当初から想定されている。全ての図面において同一の要素には同一の符号を付し、重複する説明を省略する。
以下、本発明に係る実施形態について添付図面を確認しながら詳細に説明する。以下で述べる構成は、説明のための例示であって、画像処理装置の仕様等に合わせて適宜変更が可能である。また、以下において複数の実施形態や変形例等が含まれる場合、それらの特徴部分を適宜に組み合わせて用いることは当初から想定されている。全ての図面において同一の要素には同一の符号を付し、重複する説明を省略する。
【0034】
元画像から影画像を取得し、取得された影画像を用いて影除去画像を取得する画像処理装置についての実施形態を説明する。
【0035】
画像処理装置は、例えば書画カメラ、スマートフォンやタブレット端末等の携帯端末装置、ＰＣ（パーソナルコンピュータ）、プリンタ、複写機等である。画像処理装置は、カメラ、イメージスキャナ（画像読取装置）等の撮像装置を含んで構成された装置であってもよいし、撮像装置とは別体の装置であってもよい。画像処理装置は、カメラ、イメージスキャナ等の撮像装置によって撮像された画像に対して、以下説明する処理を行う。
【0036】
以下では、画像処理装置の処理対象となる画像を元カラー画像、元画像と言う。元カラー画像又は元画像は、一般的には、カメラやイメージスキャナ等の撮像装置から出力された画像（撮像装置の出力画像と言う）である。しかし、元カラー画像又は元画像は、撮像装置の出力画像に対して何らかの補正処理を行った後の画像であってもよい。また、撮像装置の出力画像は、何らかの補正処理がすでに施されている場合もあるし、それが施されていない場合もある。なお、元画像は、元カラー画像を処理して得られる画像であってよい。
【0037】
なお、以下説明する輝度値（または画素値）は、０（黒を表す）～２５５（白を表す）の範囲の値として記載してある。しかし、輝度値（または画素値）の範囲はそれに限定されるものではない。また、一般的に、輝度と明度は異なるものとして定義されるが、特許請求の範囲に記載された「輝度」、「輝度値」は、広義的に解釈されるべきであり、明度を含むものである。
【0038】
以下説明するように、画像処理装置は、影画像や影除去画像等を生成（取得）する処理を行う。これらの処理は、他の補正処理と組み合わせて実施されてもよい。例えば、影画像や影除去画像等の生成処理の途中で、他の補正処理が合わせて実行されてもよい。また、例えば、生成された影画像や影除去画像等に対して他の補正処理が実行されて、影画像や影除去画像等が更新されてもよい。
【0039】
＜影除去画像の取得の流れ＞
図１は、影除去画像１８の取得の流れを示す図である。元カラー画像１００は、帳票等の紙書類を、撮像装置で撮像して得られたカラー画像である。例えば、カラー画像は、書画カメラで撮像された画像である。なお、各図に示された画像は例示であって、模式的に表わされている。画像処理装置は、元カラー画像１００にある影３０を除去した影除去画像１８を生成する。具体的には、以下の処理を行う。
図１は、影除去画像１８の取得の流れを示す図である。元カラー画像１００は、帳票等の紙書類を、撮像装置で撮像して得られたカラー画像である。例えば、カラー画像は、書画カメラで撮像された画像である。なお、各図に示された画像は例示であって、模式的に表わされている。画像処理装置は、元カラー画像１００にある影３０を除去した影除去画像１８を生成する。具体的には、以下の処理を行う。
【0040】
Ｓ１００で、画像処理装置は、元カラー画像１００を、輝度成分（Ｙ）の画像１０と色成分（ＣｂＣｒ）の画像１６に分離する。ここで、輝度成分（Ｙ）の画像１０が、元画像１０である。輝度成分（Ｙ）の画像１０の各画素値は、輝度値である。
【0041】
次に、Ｓ１０２で、画像処理装置は、元画像１０から影画像１２を生成する。具体的な生成処理については、以下で詳しく説明する。
【0042】
次に、Ｓ１０４で、画像処理装置は、元画像１０と影画像１２から、色なしの影除去画像１４を生成する。Ｓ１０４は、例えば、元画像１０の各輝度値を影画像１２の各輝度値で除算した後、得られた各輝度値に輝度最大値（例えば２５５）を乗算することで、色なしの影除去画像１４の各輝度値を取得する処理（正規化処理と言う）である。なお、Ｓ１０４で、画像処理装置は、正規化処理に加えて別の画像処理を行うこと、または、正規化処理に代えて別の画像処理を行うことで、色なし影除去画像１４を取得してもよい。
【0043】
次に、Ｓ１０６で、画像処理装置は、色なし影除去画像１４と色成分画像１６を合成して、色あり影除去画像１８を取得する。
【0044】
＜影推定処理の概要＞
以下では、図１のＳ１０２における、元画像１０から影画像１２を生成（取得）する処理（影推定処理と言う）について、詳しく説明する。
以下では、図１のＳ１０２における、元画像１０から影画像１２を生成（取得）する処理（影推定処理と言う）について、詳しく説明する。
【0045】
実施形態に係る影推定処理は、帳票等の紙をカメラ等で撮像する際に、紙と光源の間に浮かんだものが入り込む以外の場合では、撮像画像において影は紙の中央に現れないこと（前提Ａ）と、紙の端部に文字、図形等が印字されていない（紙の端部が紙白である）こと（前提Ｂ）を前提としたものである。なお、ここでは、撮像画像に紙が映っているものとして説明をしたが、撮像画像に映っているものは紙に限定されない。
【0046】
そして、影推定処理は、撮像画像（元画像１０）において、影を画像端部から画像内部にかかる明るさを低減させる連続的なディフェクト（欠陥）と捉え、画像端部の画素値を画像内部に伝搬することで画像内部の文字、図形等を取り除き、推定された影が表われる影画像１２を生成するものである。
【0047】
影推定処理には、元画像１０の横方向又は縦方向のみに影を伝搬させる形態（第１実施形態と言う）と、元画像１０の横、縦、及び斜め方向に影を伝搬させる形態（第２実施形態と言う）がある。第１実施形態は、図２、３、４Ａ～４Ｋに示されており、第２実施形態は、図５～１０に示されている。
【0048】
＜第１実施形態＞
まず、第１実施形態について説明する。図２は、第１実施形態の影推定処理の流れ（１回目）を示すフローチャートであり、図３は、第１実施形態の影推定処理の流れ（２回目以降）を示すフローチャートである。ここで、１回目、２回目とは、影推定処理を２回以上行う場合における、何回目の影推定処理であるかを示す。
まず、第１実施形態について説明する。図２は、第１実施形態の影推定処理の流れ（１回目）を示すフローチャートであり、図３は、第１実施形態の影推定処理の流れ（２回目以降）を示すフローチャートである。ここで、１回目、２回目とは、影推定処理を２回以上行う場合における、何回目の影推定処理であるかを示す。
【0049】
以下説明する実施例（図４Ａ～４Ｋ）では、画像処理装置は、左側から右側に向かって対象画素を移動させて１回目の影推定処理（図２のフローを使用、図４Ｃ～４Ｇ）を行い、次に、右側から左側に向かって対象画素を移動させて２回目の影推定処理（図３のフローを使用、図４Ｈ～４Ｊ）を行う。
【0050】
図４Ａ～４Ｋは、上側に、画像を例示して、下側に、上側の画像の破線を付した位置における各画素の輝度値を示す図である。図４Ａには、影がない場合の元画像（影なし元画像１０ＣＬ）が例示されている。図４Ａの矢印（Ａ）に示すように、影なし元画像１０ＣＬにおける文字や図形の部分は、局所的に輝度値が低くなる。
【0051】
図４Ｂには、元画像１０（影３０あり）が例示されている。図４Ｂの矢印（Ｂ）に示すように、影がかかるとその部分の輝度値は低くなる。文字や図形とは異なり、影により元画像１０の端から輝度値が低くなる。矢印（Ｃ）に示すように、元画像１０の端には、文字や図形が現れないため、背景（紙等）が白い場合、元画像１０の端の輝度値は、影の影響を示していることになる。すなわち、元画像１０の端の輝度値に基づいて、影の影響のみを推定することができる。
【0052】
ここから、１回目の影推定処理について説明する。図４Ｃ～４Ｇには、１回目の影推定処理における、生成中の影画像１２Ｐが例示されている。１回目の影推定処理では、画像処理装置は、元画像の上下方向（縦方向）に並ぶ各画素を対象画素として、対象画素を左端部（一端部）から右端部（他端部）に向かって横方向に移動させながら、対象画素の値（影画像１２Ｐの輝度値）を取得していく。なお、図４Ｃ～４Ｇの下側には、影画像１２Ｐの輝度値を取得済みの範囲が符号Ｒで示されている。
【0053】
具体的には、画像処理装置は、図２のフローに従って１回目の影推定処理を行う。図２のフローについて説明する。Ｓ２００で、画像処理装置は、対象画素を、一端部（ここでは左端部）の画素位置に設定する。Ｓ２０２で、画像処理装置は、対象画素の値（影画像の輝度値）を、対象画素の元値（元画像の輝度値）とする。すなわち、影画像の左端部の画素の輝度値は、元画像の左端部の画素の輝度値となる。
【0054】
次に、Ｓ２０４で、画像処理装置は、比較画素を、対象画素の位置に設定する。そして、Ｓ２０６で、画像処理装置は、対象画素をインクリメントして、対象画素の位置を１画素分だけ右側に移動させる。この状態が、図４Ｃの下側の矢印ａに示されている。矢印ａの根本が比較画素であり、矢印ａの先端が対象画素である。以降説明する矢印ｂ～ｔ（図４Ｄ～４Ｊ参照）においても、矢印の根本が比較画素であり、矢印の先端が対象画素である。なお、比較画素は、常に対象画素に隣り合う画素である。
【0055】
次に、図２のＳ２０８で、画像処理装置は、対象画素が他端部（ここでは右端部）に到達していないことを確認する。Ｓ２０８がＮｏの場合（対象画素が右端部に到達した場合）には、１回目の影推定処理が終了となる。一方、Ｓ２０８がＹｅｓの場合（対象画素が右端部に到達していない場合）には、Ｓ２１０に進む。
【0056】
Ｓ２１０で、画像処理装置は、対象画素の元値（元画像の輝度値）が、比較画素（ここででは対象画素の左隣の画素）の値（すでに取得された影画像の輝度値）以下であるかを確認する。Ｓ２１０がＹｅｓの場合には、Ｓ２１２で、画像処理装置は、対象画素の値（影画像の輝度値）を、比較画素の値（すでに取得された影画像の輝度値）に設定する。一方、Ｓ２１０がＮｏの場合には、Ｓ２１４で、画像処理装置は、対象画素の値（影画像の輝度値）を、対象画素の元値（元画像の輝度値）に設定する。
【0057】
そして、画像処理装置は、Ｓ２０４～Ｓ２１４を繰り返し行う。これにより、対象画素の位置が右側に向かって移動していき（Ｓ２０６、図４Ｃ～４Ｇ参照）、影画像の輝度値が設定されていく（Ｓ２１２、Ｓ２１４）。そして、対象画素が他端部（ここでは右端部）に到達した際には（Ｓ２０８：Ｎｏ）、１回目の影推定処理が終了となる。
【0058】
ここで、図２のフローを、図４Ｃ～４Ｇの実施例を見ながら再確認する。図４Ｃの矢印ａ、図４Ｄの矢印ｂ～ｄでは、対象画素の元値（元画像の輝度値）が、比較画素（対象画素の左隣の画素）の値（すでに取得された影画像の輝度値）以下であるため、Ｓ２１０はＹｅｓとなる。よって、対象画素の値は、比較画素（対象画素の左隣の画素）の値に設定される（Ｓ２１２）。これは、左端部から内部への影の伝搬を意味し、元画像の文字や図形等が、影画像では取り除かれることを意味する。図４Ｄの矢印ｄから、図４Ｅの矢印ｅ手前までの画素も、同様の処理となる。
【0059】
図４Ｅの矢印ｅでは、対象画素の元値（元画像の輝度値）が、比較画素（対象画素の左隣の画素）の値（すでに取得された影画像の輝度値）より大きいため、Ｓ２１０はＮｏとなる。よって、対象画素の値は、対象画素の元値（元画像の輝度値）に設定される（Ｓ２１４）。これは、対象画素が、文字や図形等が存在せず、かつ、影も存在しない部分（影無しの紙白）に到達したことを意味し、影の伝搬を止めることを意味する。
【0060】
そして、図４Ｅの矢印ｆから右側の画素（図４Ｆの矢印ｇ，ｈ，ｉ、図４Ｇの矢印ｊ，ｋの画素を含む）では、対象画素の元値（元画像の輝度値）が、比較画素（対象画素の左隣の画素）の値（すでに取得された影画像の輝度値）以下であるため、Ｓ２１０はＹｅｓとなる。よって、対象画素の値は、比較画素（対象画素の左隣の画素）の値に設定される（Ｓ２１２）。なお、図４Ｇに示すように、影画像において、他端部（ここでは右端部）の画素の輝度値は、元画像１０の輝度値（右端部の影の影響が反映された輝度値）に設定する。
【0061】
このようにして１回目の影推定処理が終了し、図４Ｇに示すように影画像１２Ｐが得られることになる。図４Ｇの（Ｄ）に示すように、影画像１２Ｐにおいて文字や図形等が消えており、左端から発生する影のみが残ることが分かる。しかし、図４Ｇの（Ｅ）に示すように、右端（他端）から発生する影が消えてしまっている。そこで、右端から発生する影を影画像１２Ｐに反映するために、２回目の影推定処理を行う。
【0062】
ここから、２回目の影推定処理について説明する。図４Ｈ～４Ｊには、２回目の影推定処理における、生成中の影画像１２Ｐが例示されている。２回目の影推定処理では、画像処理装置は、元画像の上下方向（縦方向）に並ぶ各画素を対象画素として、対象画素を右端部（一端部）から左端部（他端部）に向かって横方向に移動させながら、対象画素の値（影画像１２Ｐの輝度値）を取得していく。なお、図４Ｈ～４Ｊの下側には、影画像１２Ｐの輝度値を取得済みの範囲が符号Ｒで示されている。
【0063】
２回目の影推定処理では、元画像１０と、１回目で生成された影画像１２Ｐとを用いて、新たな影画像１２Ｐを生成する。すなわち、影画像１２Ｐを更新する。以下では、前回（ここでは１回目）で取得された影画像１２Ｐを現影画像と言い、現影画像の各画素の輝度値を、現推定値と言う。また、現在（ここでは２回目）で生成している影画像１２Ｐを新影画像と言う。
【0064】
なお、新影画像の端部（上下左右のそれぞれの端部）の輝度値は、元画像１０の端部の輝度値に予め設定されて、維持される。
【0065】
具体的には、画像処理装置は、図３のフローに従って２回目の影推定処理を行う。図３のフローについて説明する。図３のフローにおいて、「一端部」は右端部となり、「他端部」は左端部となる。図３のフロー（２回目の影推定処理）は、図２のフロー（１回目の影推定処理）と基本的な処理は同じであるが、一部だけ異なっている。すなわち、図３のフローでは、図２のフローに対してＳ３０９、Ｓ３１６が追加されている。その他の処理は同じである（図３のＳ３００～Ｓ３０８、Ｓ３１０～Ｓ３１４は、図２のＳ２００～Ｓ２０８、Ｓ２１０～Ｓ２１４と同じ処理である）。
【0066】
Ｓ３０９は、対象画素の現推定値（現影画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）より大きいかを確認する処理である。Ｓ３０９がＮｏの場合、すなわち、対象画素の現推定値（現影画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）以下の場合には、対象画素の値は、対象画素の現推定値（現影画像の輝度値）に設定される（Ｓ３１６）。これは、現影画像の輝度値を、新影画像に継承させる処理であり、前回推定された影（図４Ｇの影画像１２Ｐでは左側の影：現影画像の輝度値が低い部分）を新影画像でも維持させる処理である。
【0067】
一方、Ｓ３０９がＹｅｓの場合には、Ｓ３１０に進み、図２のフロー（１回目の影推定処理）のＳ２１０～Ｓ２１４と同じ処理であるＳ３１０～Ｓ３１４（対象画素の元値と比較画素の値を対比することで、対象画素の値を設定する処理）が行われる。
【0068】
ここで、図３のフローを、図４Ｈ～４Ｊの実施例を見ながら再確認する。図４Ｈの矢印ｌ、図４Ｉの矢印ｍ～ｏでは、対象画素の現推定値（現影画像の輝度値、図４Ｇ参照）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）より大きいため、Ｓ３０９がＹｅｓとなる（Ｓ３１０に進む）。そして、対象画素の元値（元画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）以下であるため、Ｓ３１０がＹｅｓとなる。よって、対象画素の値は、比較画素（対象画素の右隣の画素）の値に設定される（Ｓ３１２）。これは、右端部からの影の伝搬を意味する。図４Ｉの矢印ｏから、図４Ｊの矢印ｐ手前までの画素も、同様の処理となる。
【0069】
図４Ｊの矢印ｐでは、対象画素の現推定値（現影画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）より大きいため、Ｓ３０９がＹｅｓとなる（Ｓ３１０に進む）。そして、対象画素の元値（元画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）より大きいため、Ｓ３１０がＮｏとなる。よって、対象画素の値は、対象画素の元値（元画像の輝度値）に設定される（Ｓ３１４）。これは、対象画素が、影が存在しない部分（影無し紙白）に到達したことを意味し、影の伝搬を止めることを意味する。
【0070】
そして、図４Ｊの矢印ｑから左側の画素（矢印ｒ，ｓ，ｔの画素を含む）では、対象画素の現推定値（現影画像の輝度値）が、比較画素（対象画素の右隣の画素）の値（すでに取得された新影画像の輝度値）以下となっているため、Ｓ３０９がＮｏとなる。そのため、対象画素の値は、対象画素の現推定値（現影画像の輝度値）に設定される（Ｓ３１６）。
【0071】
このようにして２回目の影推定処理が終了し、新たな影画像１２Ｐが得られることになる。図４Ｋは、左側に元画像１０を示し、右側に２回目の影推定処理により得られた影画像１２を示す。図４Ｋに示すように、同図の影画像１２では、図４Ｇの影画像１２Ｐでは消えていた右側の影が現れているのが分かる。
【0072】
影画像１２において、輝度値が白（例えば輝度値：２５５）より小さい画素、または、輝度値が予め定められた値より小さい画素の領域が、影が存在し得る領域３２（影が存在する可能性がある領域）である。以上説明した処理では、画像処理装置が、元画像１０の一端部からそれに対向する他端部に向かう方向において、一端部から、一端部の輝度値よりも高い輝度値を有する画素又は画素群（影無しの紙白と推定される部分）が現れる前までの領域ＡＲを、影が存在し得る領域３２として特定している、ことになる。
【0073】
なお、影画像１２の端部（上下左右のそれぞれの端部、端部の幅は１画素又は複数画素であってよい）の輝度値は、元画像１０の端部の輝度値に維持される。これは、以下説明する第２実施形態でも同じである。
【0074】
また、上記した第１実施形態において、図３のフローを用いて、さらに３、４回目の影推定処理が行われてもよい。すなわち、３回目の影推定処理として、画像処理装置は、元画像の左右方向（横方向）に並ぶ各画素を対象画素として、対象画素を上端部（一端部）から下端部（他端部）に向かって縦方向に移動させながら、対象画素の値（影画像の輝度値）を取得してもよい。また、４回目の影推定処理として、画像処理装置は、元画像の左右方向（横方向）に並ぶ各画素を対象画素として、対象画素を下端部（一端部）から上端部（他端部）に向かって縦方向に移動させながら、対象画素の値（影画像の輝度値）を取得してもよい。
【0075】
なお、上記した１～４回の影推定処理は、順番を入れ替えて実施されてもよい。また、図４Ａ～４Ｋを用いて説明した対象画素を横方向に移動させる影推定処理に代えて、対象画素を縦方向に移動させる影推定処理（上記した３、４回目の影推定処理）のみが実施されてもよい。
【0076】
また、影推定処理における画像の一端部、他端部は、１画素に限られず、複数画素であってもよい。複数画素の場合には、一端部、他端部の輝度値として、複数画素の平均輝度値、複数画素の代表輝度値（例えば最小の輝度値）等を用いてもよい。
【0077】
＜第２実施形態＞
次に、第２実施形態について説明する。図５は、第２実施形態の影推定処理の流れ（１回目）を示すフローチャートであり、図６は、第２実施形態の影推定処理の流れ（２回目以降）を示すフローチャートである。第２実施形態は、第１実施形態を拡張した形態であり、画素群を用いて影の伝搬を縦、横、斜め方向に行う形態である。
次に、第２実施形態について説明する。図５は、第２実施形態の影推定処理の流れ（１回目）を示すフローチャートであり、図６は、第２実施形態の影推定処理の流れ（２回目以降）を示すフローチャートである。第２実施形態は、第１実施形態を拡張した形態であり、画素群を用いて影の伝搬を縦、横、斜め方向に行う形態である。
【0078】
まず、第２実施形態の概要を説明する。図７～１０は、第２実施形態の説明図である。第２実施形態では、画像処理装置は、図７の画素群（２－２）に示すように、対象画素（画素群の中央位置にある画素）と、対象画素の周囲の画素（画素群（２－２）では８つの画素、比較画素群と言う）とを用いて処理を行う。
【0079】
画像処理装置は、１回目の影推定処理で、図７の（３）に示すように、対象画素を左上端部（一端部）から右下端部（他端部）に向かって移動させながら、対象画素の値（影画像の輝度値）を取得していく。これには、図８の（１－ａ）と（１－ｂ）の形態がある。（１－ａ）の形態は、最初に対象画素を左上端部に設定して、対象画素を上から下に移動させた後、対象画素を１画素分だけ右側にずらして上から下に移動させる処理を繰り返すことで、対象画素が右下端部に向かう形態である。（１－ｂ）の形態は、最初に対象画素を左上端部に設定して、対象画素を左から右に移動させた後、対象画素を１画素分だけ下側にずらして左から右に移動させる処理を繰り返すことで、対象画素が右下端部に向かう形態である。画像処理装置は、（１－ａ）と（１－ｂ）のどちらか１つを採用して、１回目の影推定処理を行う。
【0080】
また、画像処理装置は、２回目の影推定処理で、図７の（５）に示すように、対象画素を右下端部（一端部）から左上端部（他端部）に向かって移動させながら、対象画素の値（影画像の輝度値）を取得していく。これには、図８の（２－ａ）と（２－ｂ）の形態がある。（２－ａ）の形態は、最初に対象画素を右下端部に設定して、対象画素を下から上に移動させた後、対象画素を１画素分だけ左側にずらして下から上に移動させる処理を繰り返すことで、対象画素が左上端部に向かう形態である。（２－ｂ）の形態は、最初に対象画素を右下端部に設定して、対象画素を右から左に移動させた後、対象画素を１画素分だけ上側にずらして右から左に移動させる処理を繰り返すことで、対象画素が左上端部に向かう形態である。画像処理装置は、（２－ａ）と（２－ｂ）のどちらか１つを採用して、２回目の影推定処理を行う。
【0081】
第２実施形態を具体的に説明する。画像処理装置は、図５のフローに従って１回目の影推定処理（影画像の取得処理）を行う。まず、Ｓ４００で、画像処理装置は、対象画素を、一端部（ここでは左上端部）の画素群（例えば３×３の画素群）の中央画素の位置に設定する。図７の画素群（１－１）には、この状態が例示されている。なお、画素群（１－１）には元画像の輝度値が例示されており、影画像の輝度値は例示されていない。
【0082】
なお、画像処理装置は、生成する影画像の端部（上下左右のそれぞれの端部、端部の幅は１画素又は複数画素であってよい）の輝度値を、元画像１０の端部の輝度値に予め設定しておく。そして、画像処理装置は、図５のフローを進めることで、影画像の内部画素の輝度値を徐々に取得していく。よって、影画像において輝度値を取得済みの画素（影画像の端部の画素及び図５のフローにより輝度値がすでに取得された画素：取得済み画素と言う）と、輝度値を未取得の画素（未取得画素と言う）が存在する。画像処理装置は、以下説明するＳ４１０において、比較画素群を構成する画素の輝度値の最小値（比較画素群の最小値）を取得する際に、比較画素群を構成する画素のうち未取得画素についてはその輝度値を無視して、比較画素群の最小値を取得する必要がある。そこで、画像処理装置、図７の画素群（２－１）に示すように未取得画素に記号「－」を付す等して未取得画素を管理するか、または、未取得画素に仮の輝度値として最大輝度値（例えば２５５）を設定しておく。最大輝度値を設定しておくことで、比較画素群の最小値を取得する際に、未取得画素の輝度値が考慮されなくなる。図７の画素群（２－２）、（２－３）には、未取得画素に、仮の輝度値として最大輝度値：２５５を設定した例が示されている。
【0083】
次に、図５のＳ４０４で、画像処理装置は、対象画素の周囲の画素群を比較画素群として設定する。そして、Ｓ４０６で、画像処理装置は、比較画素群が右下端部（他端部）に到達していないことを確認する。Ｓ４０６がＮｏの場合（比較画素群が右下端部に到達した場合）には、１回目の影推定処理が終了となる。一方、Ｓ４０６がＹｅｓの場合（比較画素群が右下端部に到達していない場合）には、Ｓ４１０に進む。
【0084】
Ｓ４１０で、画像処理装置は、対象画素の元値（元画像の輝度値）が、比較画素群の最小値（比較画素群を構成する画素の輝度値の最小値）以下であるかを確認する。図７の（２－２）では、中央画素（対象画素）の周囲にある８画素が比較画素群であり、比較画素群の最小値は１２６である。
【0085】
Ｓ４１０がＹｅｓの場合には、Ｓ４１２で、画像処理装置は、対象画素の値（影画像の輝度値）を、比較画素群の最小値に設定する。図７の（２－３）には、この場合が例示されており、対象画素の値（影画像の輝度値）を、比較画素群の最小値：１２６に設定している。一方、Ｓ４１０がＮｏの場合には、Ｓ４１４で、画像処理装置は、対象画素の値（影画像の輝度値）を、対象画素の元値（元画像の輝度値）に設定する。
【0086】
そして、Ｓ４１８で、画像処理装置は、対象画素をインクリメントして、対象画素の位置を１画素分だけ移動させる。この時、図８の（１－ａ）の形態では、対象画素の位置は１画素分だけ下に移動することになり、（１－ｂ）の形態では、対象画素の位置は１画素分だけ右に移動することになる。
【0087】
画像処理装置は、Ｓ４０４～Ｓ４１８を繰り返し行う。これにより、対象画素の位置が右下端部に向かって移動していき（Ｓ４１８）、影画像の輝度値が設定されていく（Ｓ４１２、Ｓ４１４）。この図５のフローによれば、影画像において、図７の画素群（３－１）に示すように影の影響が、縦、横、及び斜めに伝搬していくことになる。そして、比較画素群が右下端部（他端部）に到達した際には（Ｓ４０８：Ｎｏ）、１回目の影推定処理が終了となる。
【0088】
図７の（３）には、１回目の影推定処理により得られた影画像１２－１が例示されている。影画像１２－１において文字や図形等が消えており、左上から右下に延びる影が現れている。しかし、破線で囲った部分（右上の部分）の影は消えてしまっていることが分かる。よって、元画像１０と影画像１２－１から影除去画像を生成した場合には、図７の（４）に示すように、影除去画像１４－１において影が残ってしまうことになる。そこで、右上部分の影を影画像に反映させるために、２回目の影推定処理を行う。
【0089】
２回目の影推定処理では、元画像１０と、１回目で生成された影画像１２－１とを用いて、新たな影画像１２－２を生成する。すなわち、影画像１２を更新する。第１実施形態と同様に、以下では、前回（ここでは１回目）で取得された影画像１２－１を現影画像と言い、現影画像の各画素の輝度値を、現推定値と言う。また、現在（ここでは２回目）で生成している影画像１２－２を新影画像と言う。
【0090】
なお、新影画像においても、端部（上下左右のそれぞれの端部）の輝度値は、元画像１０の端部の輝度値に予め設定されて、維持される。
【0091】
上記したように、画像処理装置は、２回目の影推定処理では、図７の（５）に示すように、対象画素を右下端部（一端部）から左上端部（他端部）に向かって移動させながら、対象画素の値（影画像の輝度値）を取得していく。
【0092】
具体的には、画像処理装置は、図６のフローに従って２回目の影推定処理を行う。図６のフローについて説明する。図６のフローにおいて、「一端部」は右下端部となり、「他端部」は左上端部となる。図６のフロー（２回目の影推定処理）は、図５のフロー（１回目の影推定処理）と基本的な処理は同じであるが、一部だけ異なっている。すなわち、図６のフローでは、図５のフローに対してＳ５０９、Ｓ５１６が追加されている。その他の処理は同じである（図６のＳ５００～Ｓ５０８、Ｓ５１０～Ｓ５１４、Ｓ５１８は、図５のＳ４００～Ｓ４０８、Ｓ４１０～Ｓ４１４、Ｓ４１８と同じ処理である）。
【0093】
Ｓ５０９は、対象画素の現推定値（現影画像の輝度値）が、比較画素群の最小値（比較画素群における、新影画像としてすでに輝度値が取得された画素の輝度値の最小値）より大きいかを確認する処理である。Ｓ５０９がＮｏの場合、すなわち、対象画素の現推定値（現影画像の輝度値）が、比較画素群の最小値以下である場合には、対象画素の値は、対象画素の現推定値（現影画像の輝度値）に設定される（Ｓ５１６）。これは、現影画像の輝度値を、新影画像に継承させる処理であり、前回推定された影（図７の（３）の影：現影画像の輝度値が低い部分）を新影画像でも維持させる処理である。
【0094】
一方、Ｓ５０９がＹｅｓの場合には、Ｓ５１０に進み、図５のフロー（１回目の影推定処理）のＳ４１０～Ｓ４１４と同じ処理であるＳ５１０～Ｓ５１４（対象画素の元値と比較画素群の最小値を対比することで、対象画素の値を設定する処理）が行われる。
【0095】
２回目の影推定処理が終了すると、図７の（５）に示すように、新たな影画像１２－２が得られることになる。影画像１２－２に示すように、影画像１２－１で消えていた右上側の影が現れていることが分かる。よって、元画像１０と影画像１２－２から影除去画像を生成した場合には、図７の（６）のように影除去画像１４において影が残らないか、又は、少しの影しか残らないことになる。
【0096】
影画像１２－１、１２－２において、輝度値が白（例えば２５５）より小さい画素、または、輝度値が予め定められた値より小さい画素の領域が、影が存在し得る領域３２（影が存在する可能性がある領域）である。以上説明した処理では、画像処理装置が、元画像１０の左右方向、上下方向、又は斜め方向の一端部からそれに対向する他端部に向かう方向において、一端部から、一端部の輝度値よりも高い輝度値を有する画素又は画素群（影無しの紙白と推定される部分）が現れる前までの領域を、影が存在し得る領域３２として特定している、ことになる。
【0097】
なお、以上説明した図７の例では、比較画素群を、中央画素の周囲の８画素（８近傍エリア）としたが、比較画素群は、図９の例のように中央画素の周囲の４画素（上下左右の４画素、４近傍エリア）としてもよい。この場合には、４つの画素の輝度値の最小値が、「比較画素群の最小値」となる。また、画素群は３×３（縦３画素、横３画素）に限られず、５×５、７×７、・・・等としてもよい。また、比較画素群は、中央画素の周囲の２４画素（２４近傍エリア、５×５の場合）、４８画素（４８近傍エリア、７×７の場合）、・・・等としてもよい。
【0098】
また、上記した１回目の影推定処理と、２回目の影推定処理とを繰り返し（例えば計１０回程度）行ってもよい。この際、１回目の影推定処理では図５のフローを用い、２回目以降の影推定処理では図６のフローを用いる。これにより、最終的に得られる影画像が、精度の高いものとなり得る。
【0099】
また、異なる影推定処理を３回以上、行ってもよい。図１０には、異なる影推定処理を４回行う形態が示されている。１回目の影推定処理は、図１０の（１）に示すように、対象画素を左上端部（一端部）から右下端部（他端部）に向かって移動させて、影画像１２－１を生成するものである。２回目の影推定処理は、図１０の（２）に示すように、対象画素を右上端部（一端部）から左下端部（他端部）に向かって移動させて、影画像１２－２を生成するものである。３回目の影推定処理は、図１０の（３）に示すように、対象画素を右下端部（一端部）から左上端部（他端部）に向かって移動させて、影画像１２－３を生成するものである。４回目の影推定処理は、図１０の（４）に示すように、対象画素を左下端部（一端部）から右上端部（他端部）に向かって移動させて、影画像１２－４を生成するものである。この際、１回目の影推定処理では図５のフローを用い、２回目以降の影推定処理では図６のフローを用いる。この形態でも、最終的に得られる影画像が、精度の高いものとなり得る。なお、上記した１～４回の影推定処理は、順番を入れ替えて実施されてもよい。
【0100】
＜影画像を用いた各種の処理＞
次に、影画像を用いた各種の処理について説明する。画像処理装置は、図１１に示すように、影画像１２Ｅ１，１２Ｅ２に対して２値化などの処理を行うことで影のマスク画像２０Ｅ１，２０Ｅ２を生成してもよい。なお、マスク画像２０Ｅ１，２０Ｅ２は、影が存在し得る領域３２と、その他の領域とを区分けした画像の一例である。画像処理装置は、マスク画像２０Ｅ１，２０Ｅ２を、表示部としてのディスプレイに表示する制御を行ってもよい。そして、画像処理装置は、影のマスク画像２０Ｅ１，２０Ｅ２に基づいて、影の形状、面積、位置、度合（最大値との差分など）を算出してもよい。また、画像処理装置は、影の面積が閾値より大きい場合（例えば影画像１２Ｅ１のような場合）には、影画像１２Ｅ１を用いて影除去処理を実行するとしてもよい。一方、画像処理装置は、影の面積が閾値以下である場合（例えば影画像１２Ｅ２のような場合）には、影除去処理を実行しないとしてもよい。また、画像処理装置は、影に矩形（紙に印刷された図形のようなもの）が含まれている場合（例えば影画像１２Ｅ１のような場合）には、別の影推定処理（例えば上記した３、４回目の影推定処理等）や他の画像処理を実行して、影画像を更新してもよい。
次に、影画像を用いた各種の処理について説明する。画像処理装置は、図１１に示すように、影画像１２Ｅ１，１２Ｅ２に対して２値化などの処理を行うことで影のマスク画像２０Ｅ１，２０Ｅ２を生成してもよい。なお、マスク画像２０Ｅ１，２０Ｅ２は、影が存在し得る領域３２と、その他の領域とを区分けした画像の一例である。画像処理装置は、マスク画像２０Ｅ１，２０Ｅ２を、表示部としてのディスプレイに表示する制御を行ってもよい。そして、画像処理装置は、影のマスク画像２０Ｅ１，２０Ｅ２に基づいて、影の形状、面積、位置、度合（最大値との差分など）を算出してもよい。また、画像処理装置は、影の面積が閾値より大きい場合（例えば影画像１２Ｅ１のような場合）には、影画像１２Ｅ１を用いて影除去処理を実行するとしてもよい。一方、画像処理装置は、影の面積が閾値以下である場合（例えば影画像１２Ｅ２のような場合）には、影除去処理を実行しないとしてもよい。また、画像処理装置は、影に矩形（紙に印刷された図形のようなもの）が含まれている場合（例えば影画像１２Ｅ１のような場合）には、別の影推定処理（例えば上記した３、４回目の影推定処理等）や他の画像処理を実行して、影画像を更新してもよい。
【0101】
また、画像処理装置は、図１２に示すように、元画像１０と影画像１２を並べて配置したウィンドウ５０を、表示部としてのディスプレイに表示してもよい。そして、画像処理装置は、ユーザから入力装置（キーボード、マウス、タッチパネル等）を介して、影画像１２に対して影対象外エリア（例えば図１２の影画像１２の破線内側のような領域）を受け付けてもよい。そして、画像処理装置は、ユーザから入力装置を介して再実行のボタン５２が押下された際に、影画像１２の影対象外エリア（図１２の破線内側のような領域）を修正した影画像１２Ｕを生成して、ディスプレイに表示してもよい。この際、画像処理装置は、例えば影対象外エリアにあった影を取り除いた影画像１２Ｕを生成してもよい。
【0102】
また、画像処理装置は、影が存在し得る領域３２と、その他の領域とを区分けした画像（ここでは影画像１２，１２Ｕ）を、表示部としてのディスプレイに表示する制御を行ってもよい。そして、画像処理装置は、ディスプレイに表示された画像に対して、ユーザから、入力装置を介して影が存在し得る領域３２を変更する指示を受け付けてもよい。また、画像処理装置は、ユーザから、影が存在し得る領域３２の変更指示がされた際に、影画像１２を更新して、変更指示に従って変更された新たな影画像１２を生成してもよい。
【0103】
＜影除去の実施有無の判定＞
次に、影除去の実施有無の判定について説明する。画像処理装置は、図１３に示すように、原稿種別判定手段と影除去ルール適用手段を備えてもよい。原稿種別判定手段は、元カラー画像１００又は元画像１０において、端部まで図形や写真等が存在するか否かを判定するものである。原稿種別判定手段は、例えば元カラー画像１００又は元画像１０が全面写真１０２を含むものであれば、端部まで図形や写真等が存在すると判定する。なお、原稿種別判定手段は、元カラー画像１００又は元画像１０が全面写真１０２であるか否か（原稿の種類）を判定するものであってもよい。影除去ルール適用手段は、原稿種別判定手段の判定結果によって、影除去処理（ここでは影推定処理を含む処理）を実行するか否かを決定するものである。具体的には、影除去ルール適用手段は、元カラー画像１００又は元画像１０の端部まで図形や写真等が存在する場合には、影除去処理を実行しないと決定し、そうでない場合には、影除去処理を実行すると決定する。従って、画像処理装置は、例えば元カラー画像１００又は元画像１０が全面写真１０２を含む場合には、影除去処理（影推定処理を含む処理）を実行しない、という制御が可能となる。
次に、影除去の実施有無の判定について説明する。画像処理装置は、図１３に示すように、原稿種別判定手段と影除去ルール適用手段を備えてもよい。原稿種別判定手段は、元カラー画像１００又は元画像１０において、端部まで図形や写真等が存在するか否かを判定するものである。原稿種別判定手段は、例えば元カラー画像１００又は元画像１０が全面写真１０２を含むものであれば、端部まで図形や写真等が存在すると判定する。なお、原稿種別判定手段は、元カラー画像１００又は元画像１０が全面写真１０２であるか否か（原稿の種類）を判定するものであってもよい。影除去ルール適用手段は、原稿種別判定手段の判定結果によって、影除去処理（ここでは影推定処理を含む処理）を実行するか否かを決定するものである。具体的には、影除去ルール適用手段は、元カラー画像１００又は元画像１０の端部まで図形や写真等が存在する場合には、影除去処理を実行しないと決定し、そうでない場合には、影除去処理を実行すると決定する。従って、画像処理装置は、例えば元カラー画像１００又は元画像１０が全面写真１０２を含む場合には、影除去処理（影推定処理を含む処理）を実行しない、という制御が可能となる。
【0104】
＜元画像の別の例＞
次に、各種の元画像１０について説明する。以上説明した実施形態では、元画像１０は、輝度成分（Ｙ）の画像であった（図１参照）。しかし、元画像１０は、輝度成分（Ｙ）の画像以外の画像であってもよい。以下に、複数の元画像の例と、元画像ごとの処理について説明する。
次に、各種の元画像１０について説明する。以上説明した実施形態では、元画像１０は、輝度成分（Ｙ）の画像であった（図１参照）。しかし、元画像１０は、輝度成分（Ｙ）の画像以外の画像であってもよい。以下に、複数の元画像の例と、元画像ごとの処理について説明する。
【0105】
図１４は、影除去画像の別の取得処理の流れを示す図である。図１４の処理について説明する。Ｓ８００で、画像処理装置は、元カラー画像１００を、明度成分（Ｖ）の画像１０Ａと色成分（Ｈ／Ｓ）の画像１６Ａに分離する。ここで、明度成分（Ｖ）の画像１０Ａが、元画像１０Ａである。なお、明度成分（Ｖ）の画像１０Ａの各画素値は、明度値（明度）であり、輝度値に準ずる値と言える。次に、Ｓ８０２で、画像処理装置は、元画像１０Ａから影画像１２Ａを生成する。なお、この処理は、以上で説明した各実施形態の影推定処理を使用可能である。そして、Ｓ８０４で、画像処理装置は、元画像１０Ａと影画像１２Ａから、色なしの影除去画像１４Ａを生成する。次に、Ｓ８０６で、画像処理装置は、色なし影除去画像１４Ａと色成分画像１６Ａを合成して、色あり影除去画像１８Ａを取得する。以上説明した図１４の処理であっても、影除去画像を得ることが可能である。
【0106】
図１５は、影除去画像のさらに別の取得処理の流れを示す図である。図１５の処理について説明する。Ｓ９００で、画像処理装置は、グレースケール画像を、元画像１０Ｂとして取得する。なお、グレースケール画像の各画素値は、輝度値又は輝度値に準ずる値と言える。次に、Ｓ９０２で、画像処理装置は、元画像１０Ｂから影画像１２Ｂを生成する。なお、この処理は、以上で説明した各実施形態の影推定処理を使用可能である。そして、Ｓ９０４で、画像処理装置は、元画像１０Ｂと影画像１２Ｂから、影除去画像１４Ｂを生成する。以上説明した図１５の処理であっても、影除去画像を得ることが可能である。
【0107】
次に、色ムラ除去画像の取得処理について説明する。図１６は、色ムラ除去画像の取得処理の流れを示す図である。図１６の処理について説明する。Ｓ１００１で、画像処理装置は、元カラー画像１００を、ＲＧＢ等のチャンネル画像（例えば３つのチャンネル画像）に分離する。ここで、チャンネル画像のそれぞれが、元画像１０Ｃである。なお、チャンネル画像の各画素値は、輝度値又は輝度値に準ずる値と言える。次に、Ｓ１００２で、画像処理装置は、元画像１０Ｃのそれぞれから影画像１２Ｃ（色ムラ画像とも言う）を生成する。なお、この処理は、以上で説明した各実施形態の影推定処理を使用可能である。そして、Ｓ１００４で、画像処理装置は、複数の元画像１０Ｃのそれぞれに関し、元画像１０Ｃとそれに対応する影画像１２Ｃから、影除去画像１４Ｃを生成する。次に、Ｓ１００６で、画像処理装置は、複数の影除去画像１４Ｃを統合して、影除去画像１８Ｃ（色ムラ除去画像とも言う）を取得する。以上説明した図１６の処理によれば、色ムラ除去画像を得ることが可能である。
【0108】
＜その他＞
なお、以上説明した各実施形態では、元カラー画像、元画像に現れる紙等が、白であることを前提としていた。しかし、元カラー画像、元画像に現れる紙等は、黒やその他の色であってもよい。例えば、紙が黒の場合には、元カラー画像又は元画像の色を反転させる等の画像処理を行った後、上記した各種処理を行うとよい。その他の色についても、所定の画像処理を行うことで、上記した各種処理を適用可能である。
なお、以上説明した各実施形態では、元カラー画像、元画像に現れる紙等が、白であることを前提としていた。しかし、元カラー画像、元画像に現れる紙等は、黒やその他の色であってもよい。例えば、紙が黒の場合には、元カラー画像又は元画像の色を反転させる等の画像処理を行った後、上記した各種処理を行うとよい。その他の色についても、所定の画像処理を行うことで、上記した各種処理を適用可能である。
【0109】
＜ハードウェア構成＞
上記実施形態の画像処理装置は、例えば汎用のコンピュータを用いて構成される。図１７に例示するように、画像処理装置１０００のベースとなるコンピュータは、プロセッサ１００２、ランダムアクセスメモリ（ＲＡＭ）等のメモリ（主記憶装置）１００４、フラッシュメモリやＳＳＤ（ソリッドステートドライブ）、ＨＤＤ（ハードディスクドライブ）等の不揮発性記憶装置である補助記憶装置１００６を制御するコントローラ、各種の入出力装置１００８とのインタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース１０１０等が、例えばバス１０１２等のデータ伝送路を介して接続された回路構成を有する。上記実施形態の処理の内容が記述されたプログラムが、ネットワーク等を経由してそのコンピュータにインストールされ、補助記憶装置１００６に記憶される。補助記憶装置１００６に記憶されたプログラムが、プロセッサ１００２によりメモリ１００４を用いて実行されることにより、本実施形態の画像処理装置１０００が構成される。
上記実施形態の画像処理装置は、例えば汎用のコンピュータを用いて構成される。図１７に例示するように、画像処理装置１０００のベースとなるコンピュータは、プロセッサ１００２、ランダムアクセスメモリ（ＲＡＭ）等のメモリ（主記憶装置）１００４、フラッシュメモリやＳＳＤ（ソリッドステートドライブ）、ＨＤＤ（ハードディスクドライブ）等の不揮発性記憶装置である補助記憶装置１００６を制御するコントローラ、各種の入出力装置１００８とのインタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース１０１０等が、例えばバス１０１２等のデータ伝送路を介して接続された回路構成を有する。上記実施形態の処理の内容が記述されたプログラムが、ネットワーク等を経由してそのコンピュータにインストールされ、補助記憶装置１００６に記憶される。補助記憶装置１００６に記憶されたプログラムが、プロセッサ１００２によりメモリ１００４を用いて実行されることにより、本実施形態の画像処理装置１０００が構成される。
【0110】
なお、上記プログラムは、インターネット等のネットワークを介して提供することはもちろん、光ディスクやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することが可能である。
【0111】
上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。
【0112】
また上記実施形態におけるプロセッサの動作は、１つのプロセッサによってなすのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働してなすものであってもよい。また、プロセッサの各動作は、以上の実施形態において説明した順序のみに限定されるものではなく、適宜に変更してもよい。
【0113】
（付記）
（（（１）））
プロセッサを含み、
前記プロセッサは、
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
画像処理装置。
（（（２）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向において、
前記他端部から、前記他端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域としてさらに特定する、
画像処理装置。
（（（３）））
（（（２）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域の輝度値を、前記一端部の輝度値に置き換えるとともに、前記他端部を含む前記影が存在し得る領域の輝度値を、前記他端部の輝度値に置き換えることで、影画像を生成する、
画像処理装置。
（（（４）））
（（（３）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域と前記他端部を含む前記影が存在し得る領域との間の領域の輝度値を、前記一端部及び前記他端部の輝度値よりも高い輝度値に置き換えることで、前記影画像を生成する、
画像処理装置。
（（（５）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記一端部側に隣り合う比較画素の値としての、前記影画像の輝度値としてすでに設定された前記比較画素の輝度値とを比較し、
前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（６）））
（（（５）））に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記他端部側に隣り合う比較画素の値としての、前記新影画像の輝度値としてすでに設定された前記比較画素の輝度値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（７）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値とを比較し、
前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（８）））
（（（７）））に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記新影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（９）））
（（（３）））～（（（８）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記元画像と前記影画像を用いて正規化処理を行うことで、影除去画像を生成する、
画像処理装置。
（（（１０）））
（（（１）））～（（（９）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行う、
画像処理装置。
（（（１１）））
（（（３）））～（（（９）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行うとともに、前記表示部に表示された画像に対して、ユーザから前記影が存在し得る領域を変更する指示を受け付け、
ユーザから前記影が存在し得る領域の変更指示がされた際に、前記影画像を更新する、
画像処理装置。
（（（１２）））
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
処理をコンピュータに実行させるプログラム。
（（（１）））
プロセッサを含み、
前記プロセッサは、
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
画像処理装置。
（（（２）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向において、
前記他端部から、前記他端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域としてさらに特定する、
画像処理装置。
（（（３）））
（（（２）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域の輝度値を、前記一端部の輝度値に置き換えるとともに、前記他端部を含む前記影が存在し得る領域の輝度値を、前記他端部の輝度値に置き換えることで、影画像を生成する、
画像処理装置。
（（（４）））
（（（３）））に記載の画像処理装置であって、
前記プロセッサは、
前記元画像における、前記一端部を含む前記影が存在し得る領域と前記他端部を含む前記影が存在し得る領域との間の領域の輝度値を、前記一端部及び前記他端部の輝度値よりも高い輝度値に置き換えることで、前記影画像を生成する、
画像処理装置。
（（（５）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記一端部側に隣り合う比較画素の値としての、前記影画像の輝度値としてすでに設定された前記比較画素の輝度値とを比較し、
前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（６）））
（（（５）））に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素に前記他端部側に隣り合う比較画素の値としての、前記新影画像の輝度値としてすでに設定された前記比較画素の輝度値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素の値以下である場合には、前記対象画素の輝度値を前記比較画素の値に設定し、前記対象画素の元値が前記比較画素の値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（７）））
（（（１）））に記載の画像処理装置であって、
前記プロセッサは、
影画像を生成し、
前記影画像の生成において、前記影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する影推定処理を実行し、
前記影推定処理において、前記対象画素を前記元画像の前記一端部からそれに対向する前記他端部に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値とを比較し、
前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（８）））
（（（７）））に記載の画像処理装置であって、
前記影推定処理は、１回目の影推定処理であり、
前記１回目の影推定処理により生成された前記影画像は、現影画像であり、前記現影画像の各画素の輝度値は、現推定値であり、
前記プロセッサは、
新影画像を生成し、
前記新影画像の生成において、前記新影画像の端部の輝度値を、前記元画像の端部の輝度値に設定して、前記新影画像の内側の各画素の輝度値となる対象画素の輝度値を設定する２回目の影推定処理を実行し、
前記２回目の影推定処理において、前記対象画素を前記元画像の前記他端部からそれに対向する前記一端部に向かう逆方向に移動させながら、前記対象画素の元値としての前記対象画素の前記元画像の輝度値と、前記対象画素の周囲の画素群である比較画素群の最小値としての、前記新影画像の輝度値としてすでに設定された前記比較画素群の輝度値の最小値と、前記対象画素の現推定値としての、前記現影画像における前記対象画素の現推定値と、を比較し、
前記対象画素の現推定値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記対象画素の現推定値に設定し、
そうでない場合において、前記対象画素の元値が前記比較画素群の最小値以下である場合には、前記対象画素の輝度値を前記比較画素群の最小値に設定し、前記対象画素の元値が前記比較画素群の最小値より大きい場合には、前記対象画素の輝度値を前記対象画素の元値に設定する、
画像処理装置。
（（（９）））
（（（３）））～（（（８）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記元画像と前記影画像を用いて正規化処理を行うことで、影除去画像を生成する、
画像処理装置。
（（（１０）））
（（（１）））～（（（９）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行う、
画像処理装置。
（（（１１）））
（（（３）））～（（（９）））のいずれか１つに記載の画像処理装置であって、
前記プロセッサは、
前記影が存在し得る領域と、その他の領域とを区分けした画像を、表示部に表示する制御を行うとともに、前記表示部に表示された画像に対して、ユーザから前記影が存在し得る領域を変更する指示を受け付け、
ユーザから前記影が存在し得る領域の変更指示がされた際に、前記影画像を更新する、
画像処理装置。
（（（１２）））
元画像の一端部からそれに対向する他端部に向かう方向において、
前記一端部から、前記一端部の輝度値よりも高い輝度値を有する画素又は画素群が現れる前までの領域を、影が存在し得る領域として特定する、
処理をコンピュータに実行させるプログラム。
【0114】
（（（１）））に係る発明によれば、元画像内の影が存在し得る領域が特定される。
（（（２）））に係る発明によれば、元画像の他端部から延びる、影が存在し得る領域が特定される。
（（（３）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（４）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（５）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（６）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（７）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（８）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（９）））に係る発明によれば、元画像から少なくとも一部の影が除去された影除去画像が得られる。
（（（１０）））に係る発明によれば、ユーザが、影が存在し得る領域を把握することが可能となる。
（（（１１）））に係る発明によれば、ユーザが、影が存在し得る領域を変更することが可能となる。
（（（１２）））に係る発明によれば、元画像内の影が存在し得る領域が特定される。
（（（２）））に係る発明によれば、元画像の他端部から延びる、影が存在し得る領域が特定される。
（（（３）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（４）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（５）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（６）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（７）））に係る発明によれば、影が存在し得る領域が現われた影画像が得られる。
（（（８）））に係る発明によれば、元画像の影を除去することに使用可能な影画像が得られる。
（（（９）））に係る発明によれば、元画像から少なくとも一部の影が除去された影除去画像が得られる。
（（（１０）））に係る発明によれば、ユーザが、影が存在し得る領域を把握することが可能となる。
（（（１１）））に係る発明によれば、ユーザが、影が存在し得る領域を変更することが可能となる。
（（（１２）））に係る発明によれば、元画像内の影が存在し得る領域が特定される。
【符号の説明】
【0115】
１０，１０Ａ，１０Ｂ，１０Ｃ，１０ＣＬ 元画像（画像）、１２，１２－１，１２－２，１２－３，１２－４，１２Ａ，１２Ｂ，１２Ｃ，１２Ｅ１，１２Ｅ２，１２Ｐ，１２Ｕ 影画像、１４，１４－１，１４Ａ，１４Ｂ 影除去画像（色なし）、１４Ｃ 影除去画像、１６，１６Ａ 色成分画像（画像）、１８，１８Ａ，１８Ｃ 影除去画像（色あり影除去画像）、２０Ｅ１，２０Ｅ２ マスク画像、３０ 影、３２ 影が存在し得る領域（領域）、５０ ウィンドウ、５２ ボタン、１００ 元カラー画像、１０２ 全面写真、１０００ 画像処理装置、１００２ プロセッサ、１００４ メモリ、１００６ 補助記憶装置、１００８ 入出力装置、１０１０ ネットワークインタフェース、１０１２ バス。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図4I】
【図4J】
【図4K】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】