ホーム > 特許ランキング > 学校法人東京理科大学
▶ 学校法人東京理科大学の特許一覧 ▶ 公立大学法人公立諏訪東京理科大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-22
(45)【発行日】2022-03-04
(54)【発明の名称】画像復元装置、方法、及びプログラム
(51)【国際特許分類】
H04N 1/407 20060101AFI20220224BHJP
G06T 5/00 20060101ALI20220224BHJP
G06T 7/41 20170101ALI20220224BHJP
G06T 7/90 20170101ALI20220224BHJP
【ＦＩ】
H04N1/407
G06T5/00 700
G06T7/41
G06T7/90 Z
【請求項の数】
8
(21)【出願番号】P 2018552951
(86)(22)【出願日】2017-11-22
(86)【国際出願番号】 JP2017042106
(87)【国際公開番号】W WO2018097211
(87)【国際公開日】2018-05-31
【審査請求日】2020-09-23
(31)【優先権主張番号】P 2016229777
(32)【優先日】2016-11-28
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000125370
【氏名又は名称】学校法人東京理科大学
(73)【特許権者】
【識別番号】518212241
【氏名又は名称】公立大学法人公立諏訪東京理科大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】田邉 造
(72)【発明者】
【氏名】名取 隆廣
(72)【発明者】
【氏名】古川 利博
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０１５－１５６５３９（ＪＰ，Ａ）
【文献】特開２００１－１９７３０５（ＪＰ，Ａ）
【文献】特開２０１４－０３８３６６（ＪＰ，Ａ）
【文献】特開２０１１－１６５０１３（ＪＰ，Ａ）
【文献】特開２０１１－０５５３０４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／４０７
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ ７／４１
Ｇ０６Ｔ ７／９０
(57)【特許請求の範囲】
【請求項1】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、
前記原画像情報の時刻ｎでの状態ｎにおける状態量を、時刻（ｎ－１）での状態（ｎ－１）の状態量、前記状態（ｎ－１）から前記状態ｎへの状態遷移、及び前記状態（ｎ－１）の状態量に含まれない前記状態ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態ｎの状態量と、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値に、前記原画像情報に応じて重みが変化する非線形項を乗算した値とを用いて算出する観測量算出手段と、
前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態ｎの状態量の最適値を原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項2】
前記観測画像情報は、両面に画像を有する文書を読み取ることにより得られ、前記不一様なテクスチャは、前記文書の原画像情報を有する面に、他方の面の画像が裏写りした裏写り画像情報であり、
前記観測量算出手段は、前記裏写り画像情報に前記非線形項を乗算して、前記原画像情報に加えることにより、前記観測量を算出する
請求項１に記載の画像復元装置。
【請求項3】
前記観測量算出手段は、前記判定手段により前記不一様なテクスチャと判定された画素の画素値を、前記裏写り画像情報として用いる請求項２に記載の画像復元装置。
【請求項4】
前記観測量算出手段は、前記文書の裏面を読み取ることにより得られた裏面観測情報を、前記裏写り画像情報として用いる請求項２に記載の画像復元装置。
【請求項5】
前記不一様なテクスチャは、前記観測画像情報が示す画像に含まれるシワ及び折り目、並びに前記観測画像情報が示す画像の背景に施されたグラデーションの少なくとも一つであり、前記観測量算出手段は、前記不一様なテクスチャを示すテクスチャ画像情報に前記非線形項を乗算して、前記原画像情報に加算することにより、前記観測量を算出する
請求項１に記載の画像復元装置。
【請求項6】
前記基準値は、前記観測画像情報に含まれる画素の画素値のヒストグラムから算出される値である請求項１～請求項５のいずれか１項に記載の画像復元装置。
【請求項7】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、判定手段が、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、
状態量算出手段が、前記原画像情報の時刻ｎでの状態ｎにおける状態量を、時刻（ｎ－１）での状態（ｎ－１）の状態量、前記状態（ｎ－１）から前記状態ｎへの状態遷移、及び前記状態（ｎ－１）の状態量に含まれない前記状態ｎの状態量の要素を含む前記駆動源を用いて算出し、
観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態ｎの状態量と、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値に、前記原画像情報に応じて重みが変化する非線形項を乗算した値とを用いて算出し、
推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態ｎの状態量の最適値を原画像情報として推定する
画像復元方法。
【請求項8】
コンピュータを、請求項１～請求項６のいずれか１項に記載の画像復元装置を構成する各手段として機能させるための画像復元プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復元装置、方法、及びプログラムに関する。
【背景技術】
【0002】
従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像情報（所望の情報）に劣化情報（ぼけ、雑音、裏写り等）が混在した劣化画像情報（取得された情報）から劣化画像情報を取り除き、原画像を復元する技術が提案されている。
【0003】
例えば、ファクシミリから送られてきた文書画像を認識する文字認識装置に関するもので、文書画像に含まれる縦ラインノイズを検出し、ノイズを除去する文字認識装置が提案されている（例えば、特許文献１参照）。この文字認識装置では、文書画像からファクシミリで送られてくる文書に特徴的な縦ラインノイズを検出し、縦ラインノイズを除去し、縦ラインノイズを除去した部分で文字の線分があると推定できる画素を黒画素に修正する。
【0004】
また、例えば、原稿用紙の折り目跡に基づいて原稿画像に作成された縦及び横方向の折り目ノイズを除去する折り目ノイズ除去装置が提案されている。この折り目ノイズ除去装置では、原稿を読み取り、２値の原稿画像を出力し、原稿用紙の所定の折り畳み方に基づいて形成される折り目の位置に、原稿画像の折り目方向に所定幅の折り目ノイズ探索範囲を設定する。そして、この折り目ノイズ探索範囲内で、横方向の探索範囲においては水平方向に、縦方向の探索範囲においては垂直方向に、それぞれ所定画素値の画素が連結する所定長さ以上のランレングスを統合した矩形領域を抽出し、この矩形領域内の所定の画素を除去する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開平９－２３８２０８号公報
【文献】特開２００４－７２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１及び２に記載の技術では、縦ラインノイズのように発生状況が限られたノイズや、折り目ノイズのように発生箇所が限られたノイズを対象としている。そのため、従来技術では、例えば、シワや不規則な折り目が生じた文書や、背景にグラデーションが施されている文書などをスキャナで読み取った画像情報に含まれる不一様なテクスチャをノイズとして除去したい場合などには対応することができない。また、画像の色と、文書が印刷される用紙の色や背景色とが同系色の場合には、その文書をスキャナで読み取った画像情報に対する文字認識の精度が低下する場合がある。そのため、用紙の色や背景色などの地色をノイズとして除去したい場合もあるが、従来技術では対応することができない。
【0007】
本発明は、上記事情に鑑みてなされたものであり、画像情報に含まれる不一様なテクスチャ及び地色の少なくとも一方を除去することができる画像復元装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、第１の発明に係る画像復元装置は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、前記原画像情報の時刻ｎでの状態ｎにおける状態量を、時刻（ｎ－１）での状態（ｎ－１）の状態量、前記状態（ｎ－１）から前記状態ｎへの状態遷移、及び前記状態（ｎ－１）の状態量に含まれない前記状態ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態ｎの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態ｎの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。
【0011】
これにより、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0012】
また、第１の発明において、前記観測画像情報は、両面に画像を有する文書を読み取ることにより得られ、前記不一様なテクスチャは、前記文書の原画像情報を有する面に、他方の面の画像が裏写りした裏写り画像情報であり、前記観測量算出手段は、前記裏写り画像情報に前記非線形項を乗算して、前記原画像情報に加えることにより、前記観測量を算出することができる。これにより、原画像情報に裏写り画像情報が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0013】
また、第１の発明において、前記観測量算出手段は、前記判定手段により前記不一様なテクスチャと判定された画素の画素値を、前記裏写り画像情報として用いることができる。これにより、表面の観測画像情報のみから、裏写り画像を除去した原画像を復元することができる。
【0014】
また、第１の発明において、前記観測量算出手段は、前記文書の裏面を読み取ることにより得られた裏面観測情報を、前記裏写り画像情報として用いることができる。これにより、より精度良く裏写り画像を除去することができる。
【0015】
また、第１の発明において、前記不一様なテクスチャは、前記観測画像情報が示す画像に含まれるシワ及び折り目、並びに前記観測画像情報が示す画像の背景に施されたグラデーションの少なくとも一つであり、前記観測量算出手段は、前記不一様なテクスチャを示すテクスチャ画像情報に前記非線形項を乗算して、前記原画像情報に加算することにより、前記観測量を算出することができる。これにより、原画像情報に不一様なテクスチャ地色が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0016】
また、第１の発明において、前記基準値は、前記観測画像情報に含まれる画素の画素値のヒストグラムから算出される値である。これにより、不一様なテクスチャ及び地色の判定のための基準値の処理量を削減できると共に、肌色などの画像部分が不一様なテクスチャ及び地色と判定される誤判定を低減することができる。
【0018】
また、第２の発明に係る画像復元方法は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、判定手段が、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、状態量算出手段が、前記原画像情報の時刻ｎでの状態ｎにおける状態量を、時刻（ｎ－１）での状態（ｎ－１）の状態量、前記状態（ｎ－１）から前記状態ｎへの状態遷移、及び前記状態（ｎ－１）の状態量に含まれない前記状態ｎの状態量の要素を含む前記駆動源を用いて算出し、観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態ｎの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出し、推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態ｎの状態量の最適値を原画像情報として推定する方法である。
【0019】
また、第３の発明に係る画像復元プログラムは、コンピュータを、第１の発明に係る画像復元装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【0020】
以上説明したように、本発明の画像復元装置、方法、及びプログラムによれば、画像情報に含まれる不一様なテクスチャ及び地色の少なくとも一方を除去することができる、という効果が得られる。
【図面の簡単な説明】
【0021】
【図1】不一様なテクスチャを説明するための図である。
【図2】第１～第４の実施の形態に係る画像復元装置の概略構成図である。
【図3】第１～第３の実施の形態における画像復元処理部の機能ブロック図である。
【図4】第１～第３の実施の形態における画像復元処理の一例を示すフローチャートである。
【図5】第１の実施の形態における判定処理の一例を示すフローチャートである。
【図6】第１の実施の形態における判定処理の基準値を説明するための図である。
【図7】第１の実施の形態における状態空間モデルを説明するための図である。
【図8】第１の実施の形態における状態方程式を説明するための図である。
【図9】第１の実施の形態における観測方程式を説明するための図である。
【図10】有色性駆動源付カルマンアルゴリズムの一例を示すフローチャートである。
【図11】第１の実施の形態の処理結果の一例を示す図である。
【図12】第２の実施の形態における判定処理の一例を示すフローチャートである。
【図13】第２の実施の形態における状態空間モデルを説明するための図である。
【図14】原画像情報が裏写りに与える影響を説明するための図である。
【図15】第２の実施の形態における状態方程式を説明するための図である。
【図16】第２の実施の形態における観測方程式を説明するための図である。
【図17】第３の実施の形態における状態方程式を説明するための図である。
【図18】第３の実施の形態の処理結果の一例を示す図である。
【図19】本手法の処理結果の一例を示す図である。
【図20】本手法の処理結果の一例を示す図である。
【図21】第４の実施の形態における画像復元処理部の機能ブロック図である。
【図22】第４の実施の形態における画像復元処理の一例を示すフローチャートである。
【図23】第４の実施の形態の処理結果の一例を示す図である。
【図24】判定処理の他の例を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0023】
＜第１の実施の形態＞
第１の実施の形態では、画像情報に含まれる不一様なテクスチャ及び地色を除去する画像復元装置について説明する。
第１の実施の形態では、画像情報に含まれる不一様なテクスチャ及び地色を除去する画像復元装置について説明する。
【0024】
なお、本実施の形態において、不一様なテクスチャとは、用紙にシワや不規則な折り目が生じている文書や、背景にグラデーションが施された文書等をスキャナで読み取って画像情報を取得した場合に、その画像情報に含まれるシワ、折り目、グラデーション等を示す箇所である。また、本実施の形態において、地色とは、用紙の色又は用紙に印刷された背景の色である。
【0025】
図１に、不一様なテクスチャ及び地色を含む画像、及びその一部拡大図の一例を示す。このような不一様なテクスチャ及び地色が画像に含まれる場合、この画像に対して文字認識を行う場合などに誤認識が生じ易くなるため、不一様なテクスチャ及び地色を除去して、必要な原画像を示す原画像情報のみを取り出せることが望ましい。なお、上述したように、本実施の形態では、用紙に印刷された背景色も除去することを目的としているため、用紙に印刷された画像のうち、背景色については原画像に含まない。
【0026】
第１の実施の形態に係る画像復元装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、図２に示すように、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部６０、及び出力インタフェース部７０を備えている。
【0027】
入力インタフェース部２０は、画像入力装置から提供される画像情報をコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。画像入力装置は、処理の対象となる画像情報（観測画像情報）をデジタルデータとしてコンピュータに入力するための入力装置である。本実施の形態では、画像入力装置がスキャナである場合について説明する。スキャナは、文書が印刷された原稿を読み取り、読み取った画像情報を観測画像情報として出力する。
【0028】
なお、画像入力装置はスキャナに限定されず、例えば、カメラ、記録メディア、モデムなどを用いることができる。カメラは、撮像機能を有する全ての装置を意味し、例えば、デジタルビデオカメラの他に、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。記録メディアは、画像情報を記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデムは、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。画像入力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。
【0029】
図示は省略するが、入力インタフェース部２０は、画像入力装置の種類に応じて別個独立に設けられる。例えば、記録メディアの入力インタフェース部２０は、ドライブとも呼ばれ、記録メディアの種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。また、通常、モデムは、画像入力装置としても画像出力装置としても機能しうるため、モデムに関しても、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。入力インタフェース部２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部（図示省略）を介して接続された外部設置型機器であってもよい。
【0030】
なお、画像入力装置が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部２０は、サンプリング部及びＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理の対象となる画像の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。
【0031】
操作部３０は、例えば、キーボートやマウス、タッチパネル等であるが、音声認識装置などを用いてもよい。使用者による操作部３０を用いた入力操作により、本実施の形態における画像復元処理に必要な各種パラメータの設定を行うことができる。
【0032】
記憶部４０は、コンピュータの本体を構成する一要素であって、主記憶部４１、補助記憶部４４、及び表示メモリ４５を有する。主記憶部４１は、入力インタフェース部２０を介して取り込んだ画像情報が記憶される取込画像メモリ４２と、後述する画像復元処理を実行するためのプログラムや各種パラメータが記憶された処理パラメータメモリ４３とを有する。
【0033】
表示メモリ４５は、ディスプレイ等で構成された画像出力装置（図示省略）に表示する画像を示す画像情報が記憶される領域であり、取り込んだ画像情報（観測画像情報）が示す観測画像を表示するために、処理前の観測画像情報が記憶される取込画像メモリ４６と、画像復元処理において一時的に必要な記憶領域である処理メモリ４７と、復元処理された復元画像を表示するために、復元処理後の画像情報（復元画像情報）が記憶される復元画像メモリ４８とを有する。
【0034】
補助記憶部４４は、主記憶部４１の容量不足を補う。補助記憶部４４は、例えば、ハードディスク（ＨＤ）であってもよいし、ＣＤ－ＲＯＭ、ＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。
【0035】
また、本実施の形態では、処理パラメータメモリ４３に予め画像復元処理プログラムが記憶されている場合について説明するが、画像復元処理プログラムは、記録メディアから入力インタフェース部２０を介して記憶部４０にインストールしたり、モデム及び入力インタフェース部２０を介して外部から記憶部４０にダウンロードしたりしてもよい。
【0036】
画像復元処理部６０は、後述する画像復元処理を実行するための処理部であり、機能的には、図３に示すように、判定部６１と、状態量算出部６２と、観測量算出部６３と、推定部６４と、復元画像出力部６５とを含んだ構成で表すことができる。
【0037】
判定部６１は、観測画像に含まれる各画素の画素値を、観測画像に含まれる各画素の画素値のヒストグラムから算出した基準値と比較することにより、各画素が不一様なテクスチャを示す画素か否か、又は地色を示す画素か否かを判定する。
【0038】
状態量算出部６２は、観測画像における時刻ｎでの状態ｎを、時刻（ｎ－１）での状態（ｎ－１）から状態ｎへの状態遷移、及び状態（ｎ－１）に含まれない状態ｎの要素で構成される有色性駆動源を用いて算出する。
【0039】
観測量算出部６３は、観測画像における時刻ｎでの状態ｎに基づき、判定部６１によって不一様なテクスチャと判定された画素、又は地色と判定された画素の画素値を用いて、原画像に不一様なテクスチャ及び地色の少なくとも一方が加わって観測画像となる過程を観測量として算出する。
【0040】
推定部６４は、観測画像における時刻ｎでの状態ｎについて、状態量算出部６２により算出された状態量、及び観測量算出部６３により算出された観測量から状態空間モデルに基づいた予測法を用い、状態ｎの最適値を推定する。
【0041】
復元画像出力部６５は、推定部６４により推定された時刻ｎでの状態ｎの最適値を、不一様なテクスチャ及び地色を除去して原画像を復元した復元画像を示す復元画像情報として、復元画像メモリ４８に記憶する。
【0042】
なお、画像復元処理部６０の各部の処理については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。
【0043】
出力インタフェース部７０は、画像復元処理部６０で復元処理され、復元画像メモリ４８に記憶された復元画像情報を、ディスプレイなどで構成された画像出力装置に出力可能なデータ形式に変換して出力処理を行う。
【0044】
なお、処理画像の出力形態は画像出力装置に表示する場合に限定されず、他の画像出力装置に出力するようにしてもよい。例えば、画像出力装置として、プリンタ、記録メディア、モデムなどを用いることができる。記録メディア及びモデムは、画像入力装置としての記録メディア及びモデムとそれぞれ共用としてもよい。なお、画像出力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。
【0045】
また、図示は省略するが、出力インタフェース部７０は、画像出力装置の種類に応じて別個独立に設けられる。上記のように、記録メディア及びモデムに関しては、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。出力インタフェース部７０も、入力インタフェース部２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部を介して接続された外部設置型機器であってもよい。
【0046】
次に、図４を参照して、第１の実施の形態に係る画像復元装置１０の作用について説明する。なお、図４に示す画像復元処理ルーチンは、記憶部４０に画像復元プログラムとして格納されており、図示しないＣＰＵによって実行される。
【0047】
ステップ１００で、画像入力装置であるスキャナにより、文書が印刷された原稿を読み取ることにより得られた観測画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。また、取り込んだ観測画像情報を表示メモリ４５の取込画像メモリ４６にも記憶し、出力インタフェース部７０を介して、画像出力装置に観測画像を表示する。
【0048】
次に、ステップ２００で、判定部６１が、図５に示す判定処理を実行する。
【0049】
図５に示す判定処理のステップ２０２で、判定部６１が、取込画像メモリ４２から観測画像情報を取得する。
【0050】
次に、ステップ２０４で、判定部６１が、取得した観測画像情報に含まれる各画素のＲＧＢ成分毎の画素値から、ＲＧＢ成分毎に、画素値のヒストグラムを作成する。
【0051】
次に、ステップ２０６で、判定部６１が、作成したヒストグラムに基づいて、各画素が不一様なテクスチャ又は地色か否かを判定するための基準値ｙｔｈを、ＲＧＢ成分毎に算出する。
【0052】
ここで、図６に示すように、文字などの原画像に相当する画素の画素値は濃い色（画素値が小さい）であり、不一様なテクスチャや地色などに相当する画素の画素値は、文字などに比べて画素値が大きいことが想定される。そこで、ヒストグラムにおいて、画素値の小さい部分と画素値の大きい部分とを区別するための画素値が定まれば、この画素値を基準値ｙｔｈとして用いることができる。ヒストグラムから、このような基準値ｙｔｈを算出する方法としては、例えば、大津法を用いることができる。大津法では、画素値がＬ階調（１，２，・・・，Ｌ）の場合において、１～ｋ番目までの画素値のクラスと、ｋ＋１～Ｌ番目までの画素値のクラスとのクラス間分散σ２
Ｂが最大になるときのｋを、クラス識別のための閾値として求める。クラス間分散σ２
Ｂは下記（１）式で表される。なお、μ（ｋ）は、１～ｋ番目までの画素値のクラスに含まれる画素値の平均、ω（ｋ）は、１～ｋ番目までの画素値のクラスの生起確率である。
【0053】
【数1】
【0054】
なお、ヒストグラムから基準値ｙｔｈを算出する方法は、上記の大津法に限定されない。例えば、ヒストグラムの２つのピーク間の中央値、２つのピークの裾野間の中央値等を基準値ｙｔｈとして算出してもよい。ヒストグラムにおいて、ピークや裾野に相当する画素値を検出する手法は、従来既知の手法を用いることができる。
【0055】
次に、ステップ２０８で、判定部６１は、画素値ｙｍ，ｎが基準値ｙｔｈより大きいか否かを判定する。なお、ｙｍ，ｎは、観測画像の画素（ｍ，ｎ）の画素値であり、（ｍ，ｎ）は、観測画像の横及び縦方向の画素位置（画素座標）である。ＲＧＢのいずれかの成分で、ｙｍ，ｎ＞ｙｔｈとなる場合には、ステップ２１１へ移行し、判定部６１が、画素（ｍ，ｎ）は、不一様なテクスチャを示す画素、又は地色を示す画素であると判定し、画像復元処理ルーチン（図４）に戻る。一方、ＲＧＢのいずれの成分についても、ｙｍ，ｎ≦ｙｔｈとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ２０８及び２１１の処理は、観測画像に含まれる全画素について、画素毎に実行する。
【0056】
次に、図４のステップ３００で、状態量算出部６２が、原画像及び観測画像に対して、共通の処理対象領域ｎ（例えば、３×３画素の領域）を設定する。そして、ステップ４００～６００において、原画像情報のみを用いて算出した状態量と、観測画像情報、原画像情報、及び不一様なテクスチャ又は地色と判定された画素の画素値を用いて算出した観測量とで表される有色性駆動源を含む状態空間モデルを用いた有色性駆動源付カルマンアルゴリズムにより、状態量の最適値を推定する処理を実行する。
【0057】
ここで、第１の実施の形態における状態空間モデルについて説明する。
【0058】
図７に示すように、観測画像ｙｉ，ｊは、原画像ｘｉ，ｊに、シワ、折り目、グラデーション、地色等のノイズｖｉ，ｊを加えた状態空間モデルによって表される。
【0059】
上記の状態空間モデルは、下記（２）式の状態方程式と、下記（３）式の観測方程式とで表される。状態方程式において、ベクトルｘ（ｎ）は時刻ｎにおける状態ｎの状態ベクトル（原画像情報）、行列Φは状態遷移行列、ベクトルδ（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙ（ｎ）は観測ベクトル（観測画像情報）、行列Ｍは観測行列、ベクトルｙｖ（ｎ）は観測雑音ベクトルである。
【0060】
【数2】
【0061】
（２）式の状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態、つまり状態変数（ここでは、状態ベクトルｘ（ｎ－１）、ｘ（ｎ））の生成過程を表している。
【0062】
図８に示すように、第１の実施の形態において、状態ベクトルｘ（ｎ）は、処理対象領域ｎに含まれる原画像の画素値を要素とするベクトルであり、状態（ｎ－１）から状態ｎへの変化は、原画像内での処理対象領域ｎの所定方向への所定画素数分（図８の例では、右方向に１画素分）のシフトで表される。従って、図８に示すように、状態遷移行列Φは、状態ベクトルｘ（ｎ－１）の要素のうち、状態ベクトルｘ（ｎ）と同一のシステム状態量を持つ要素を抽出する作用を有する。また、駆動源ベクトルδ（ｎ）は、状態ベクトルｘ（ｎ－１）に含まれない状態ベクトルｘ（ｎ）の要素により構成される。
【0063】
また、（３）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙ（ｎ））が、被観測量、つまり入力（ここでは、状態ベクトルｘ（ｎ））に依存して生成される様子を示している。
【0064】
第１の実施の形態では、上述したように、原画像ｘｉ，ｊに、シワ、折り目、グラデーション、地色等のノイズｖｉ，ｊが加わって、観測画像ｙｉ，ｊとなる過程を表現するため、図９に示すように、観測雑音ベクトルｙｖ（ｎ）としては、判定部６１により、不一様なテクスチャ又は地色と判定された画素の画素値が適用される。なお、観測行列Ｍとしては、観測方程式を満たすための単位行列が適用される。
【0065】
図４の画像復元処理ルーチンの説明に戻って、次のステップ４００で、状態量算出部６２が、時刻ｎにおける状態ｎの状態量（状態方程式）を算出する。
【0066】
具体的には、状態量算出部６２は、時刻（ｎ－１）において設定された処理対象領域（ｎ－１）内の各画素のシステム状態量を要素とする時刻（ｎ－１）の状態ベクトルｘ（ｎ－１）と、時刻ｎにおいて設定された処理対象領域ｎ内の各画素のシステム状態量を要素とする時刻ｎの状態ベクトルｘ（ｎ）とを導出する。そして、状態量算出部６２は、状態ベクトルｘ（ｎ－１）の要素のうち、状態ベクトルｘ（ｎ）と同一のシステム状態量を持つ要素を抽出するための状態遷移行列Φを構成する。さらに、状態量算出部６２は、状態ベクトルｘ（ｎ－１）に含まれない状態ベクトルｘ（ｎ）の要素により、駆動源ベクトルδ（ｎ）を構成する。状態量算出部６２は、各ベクトル及び行列を用いて、上記（２）式の状態方程式を算出する。
【0067】
次に、ステップ５００で、観測量算出部６３が、時刻ｎにおける観測量（観測方程式）を算出する。
【0068】
具体的には、観測量算出部６３は、観測画像に設定された処理対象領域ｎに含まれる画素の画素値で観測ベクトルｙ（ｎ）を構成し、観測行列Ｍとして単位行列を適用する。また、観測量算出部６３は、観測画像に設定された処理対象領域ｎに含まれる画素に対応する要素を含む観測雑音ベクトルｙｖ（ｎ）を構成し、各要素に対応する画素が判定部６１により不一様なテクスチャ又は地色であると判定されている場合には、その画素の画素値を対応する要素の値とし、不一様なテクスチャでも地色でもない場合には、その画素に対応する要素の値を０とする。観測量算出部６３は、各ベクトル及び行列を用いて、上記（３）式の観測方程式を算出する。
【0069】
次に、ステップ６００で、推定部６４が、上記ステップ４００で算出された状態量（状態方程式）及び上記ステップ５００で算出された観測量（観測方程式）により、下記に示す有色性駆動源付カルマンアルゴリズムを導出する。
【0070】
【数3】
【0071】
上記のアルゴリズムは、初期設定の過程［Initialization］と反復の過程［Iteration］とに大別され、反復の過程では、１～５の手順を逐次繰り返す。以下、図１０を参照して、有色性駆動源付カルマンアルゴリズムの詳細について説明する。
【0072】
ステップ６０２で、推定部６４が、カルマンアルゴリズムの処理が初回か否かを判定する。初回の場合には、ステップ６０４へ移行し、２回目以降の場合には、ステップ６０６へ移行する。
【0073】
ステップ６０４では、推定部６４が、初期設定を行う。具体的には、推定部６４は、所望の原画像情報を示す状態ベクトルの最適推定値（以下「最適推定値ベクトル」という）の初期値ｘ＾（０｜０）、及び所望の原画像情報を示す状態ベクトルの推定誤差（以下「推定誤差ベクトル」という）の相関行列の初期値Ｐ（０｜０）を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。
【0074】
次に、ステップ６０６で、推定部６４が、上記ステップ４００で定義した状態空間モデルにおける状態遷移行列Φ、上記ステップ６０４で設定した推定誤差ベクトルの相関行列の初期値Ｐ（０｜０）、又は１時刻前に後述するステップ６１２で更新された相関行列Ｐ（ｎ｜ｎ）、及び駆動源ベクトルの共分散行列Ｒδ（ｎ）を用いて、時刻（ｎ－１）までの情報により時刻ｎの状態ベクトルを推定した場合の誤差である相関行列Ｐ（ｎ｜ｎ－１）を計算する（上述の反復の過程［Iteration］の手順１）。
【0075】
次に、ステップ６０８で、推定部６４が、上記ステップ６０６で計算した相関行列Ｐ（ｎ｜ｎ－１）、上記ステップ５００で定義した状態空間モデルにおける観測行列Ｍ、及び観測雑音ベクトルの共分散行列Ｒε（ｎ）を用いて、カルマンゲイン行列Ｋ（ｎ）を計算する（同手順２）。
【0076】
次に、ステップ６１０で、推定部６４が、状態遷移行列Φ、及び上記ステップ６０４で設定した最適推定値ベクトルの初期値ｘ＾（０｜０）、又は１時刻前に本ステップで得られた最適推定値ベクトルｘ＾（ｎ｜ｎ）を用いて、時刻（ｎ－１）までの情報による時刻ｎでの最適推定値ベクトルｘ＾（ｎ｜ｎ－１）を計算する（同手順３）。そして、推定部６４が、計算した最適推定値ベクトルｘ＾（ｎ｜ｎ－１）、上記ステップ６０８で計算したカルマンゲイン行列Ｋ（ｎ）、観測ベクトルｙ（ｎ）、及び観測行列Ｍを用いて、時刻ｎまでの情報によるその時刻での最適推定値ベクトルｘ＾（ｎ｜ｎ）を計算する（同手順４）。
【0077】
次に、ステップ６１２で、推定部６４が、単位行列Ｉ、カルマンゲイン行列Ｋ（ｎ）、観測行列Ｍ、及び上記ステップ６０６で計算された相関行列Ｐ（ｎ｜ｎ－１）を用いて、時刻ｎまでの情報によるその時刻での相関行列Ｐ（ｎ｜ｎ）を更新する。次に、ステップ６１４で、上記ステップ６１０で計算された最適推定値ベクトルｘ＾（ｎ｜ｎ）を、現在設定されている処理対象領域ｎの処理結果として一旦復元画像メモリ４８に記憶する。
【0078】
有色性駆動源付カルマンアルゴリズムが終了すると、画像復元処理ルーチン（図４）へリターンして、ステップ７００へ移行し、原画像の全領域について画像復元処理が終了したか否かを判定する。全領域について処理が終了していない場合には、ステップ３００へ戻って、次の処理対象領域ｎを設定して処理を繰り返す。全領域について処理が終了した場合には、ステップ９００へ移行して、復元画像出力部６５が、復元画像メモリ４８に記憶された画像情報を、出力インタフェース部７０を介して出力して、画像出力装置に復元画像を表示し、画像復元処理を終了する。
【0079】
以上説明したように、第１の実施の形態に係る画像復元装置１０によれば、観測画像の画素値のヒストグラムから算出した基準値に基づいて、観測画像の各画素が不一様なテクスチャか否か、及び各画素が地色か否かを判定する。このように、観測画像の画素値のヒストグラムから算出した基準値を用いることで、局所的に算出した基準値を用いる場合に比べ、観測画像のどの部分に生じているか不明である不一様なテクスチャについても、精度良く判定することができる。また、ヒストグラムに表れる原画像に相当する部分と不一様なテクスチャや地色に相当する部分とを精度良く分離可能な基準値を算出することができるため、画像の画素値の高低に基準値が影響され難くなる。例えば、文字部分が多い画像の場合、画像全体の画素値が低くなり、これに影響されて、基準値も低目の画素値に設定されたとする。この場合、肌色などの原画像部分が不一様なテクスチャ又は地色と判定され、除去される可能性が高まる。特に、肌色部分の劣化は人が視覚的に認識し易い要素であるため、復元画像全体の画像品質に対して大きな影響を与える。画素値のヒストグラムから基準値を算出することで、ある程度面積を有する肌色部分の画素値が基準値として設定される可能性は低くなるため、上記のような品質劣化を抑制することができる。また、ヒストグラムのピークや裾野間の中央値を基準値として算出する場合には、基準値算出の処理量を削減することができる。
【0080】
そして、有色性駆動源ベクトルを含む状態方程式と、不一様なテクスチャ又は地色と判定された画素の画素値を用いて、原画像に不一様なテクスチャ及び地色が加わって観測画像となる過程を示す観測方程式とに基づいて、有色性駆動源付カルマンアルゴリズムにより、原画像の最適値を推定する。そして、この推定した最適値を、原画像を復元した復元画像とすることで、観測画像から、不一様なテクスチャ及び地色を除去して、原画像を復原することができる。
【0081】
次に、第１の実施の形態に係る画像復元装置１０の処理結果の一例について説明する。
【0082】
図１に示すような、シワや地色を含む原稿を読み取った観測画像に対して、第１の実施の形態に係る画像復元装置１０による画像復元処理を行った。なお、図１に示す文書は、実際には、一部の文字部分と、背景とが同系色（緑色）で印刷された文書である。
【0083】
図１１に示すように、画像復元処理後は、シワなどの不一様なテクスチャ、及び地色が除去されている。また、地色と同系色の文字部分は、除去されることなく残っており、原画像の復元性が高いことが分かる。
【0084】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを除去する画像復元装置について説明する。なお、第２の実施の形態に係る画像復元装置の構成について、第１の実施の形態に係る画像復元装置１０と同一の部分については、第１の実施の形態と同一符号を付して詳細な説明を省略する。
次に、第２の実施の形態について説明する。第２の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを除去する画像復元装置について説明する。なお、第２の実施の形態に係る画像復元装置の構成について、第１の実施の形態に係る画像復元装置１０と同一の部分については、第１の実施の形態と同一符号を付して詳細な説明を省略する。
【0085】
第２の実施の形態に係る画像復元装置２１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、図２に示すように、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部２６０、及び出力インタフェース部７０を備えている。
【0086】
画像復元処理部２６０は、機能的には、図３に示すように、判定部２６１と、状態量算出部６２と、観測量算出部２６３と、推定部２６４と、復元画像出力部６５とを含んだ構成で表すことができる。
【0087】
判定部２６１は、観測画像の局所領域に含まれる画素の画素値の分散値を用いた基準値と、各画素の画素値とに基づいて、各画素が、裏面の画像が表面に裏写りした画像（裏写り画像）を示す画素か否かを判定する。なお、裏写り画像も、本発明の不一様なテクスチャの一例である。
【0088】
観測量算出部２６３は、観測画像における時刻ｎでの状態ｎに基づき、判定部２６１によって裏写り画像の画素と判定された画素の画素値を用いて、表面の原画像に裏写り画像が加わって観測画像となる過程を観測量として算出する。
【0089】
推定部２６４は、観測画像における時刻ｎでの状態ｎについて、状態量算出部６２により算出された状態量、及び観測量算出部２６３により算出された観測量から状態空間モデルに基づいた予測法を用い、状態ｎの最適値を推定する。
【0090】
なお、画像復元処理部２６０の各部の処理について、第１の実施の形態と異なる点については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。
【0091】
次に、第２の実施の形態に係る画像復元装置２１０の作用について、第１の実施の形態と異なる点について説明する。
【0092】
【0093】
図１２に示す判定処理のステップ２２２で、判定部６１が、取込画像メモリ４２から観測画像情報を取得する。
【0094】
次に、ステップ２２４で、判定部２６１が、観測画像の局所領域Ｌ（例えば、３×３画素の領域）毎に、その局所領域Ｌに含まれる各画素のＲＧＢ成分毎の画素値に基づいて、ＲＧＢ成分毎に、局所領域Ｌの画素値の平均値￣ｙＬ及び、下記（４）式に示す分散値σ２
ｙＬを算出する。なお、Ｍは局所領域Ｌの横方向の画素数、Ｎは局所領域Ｌの縦方向の画素数である。局所領域Ｌのサイズは、観測画像の解像度等に応じて、任意の値を設定することができる。
【0095】
【数4】
【0096】
次に、ステップ２２６で、判定部２６１が、上記ステップ２２４でＲＧＢ成分毎に算出された観測画像の局所領域Ｌ毎の画素値の平均値￣ｙＬ及び分散値σ２
ｙＬから、各画素が裏写り画像を示す画素か否かを判定するための基準値ｙｔｈＬを下記（５）式により算出する。
【0097】
【数5】
【0098】
次に、ステップ２２８で、判定部２６１が、取得した観測画像の局所領域Ｌに含まれる各画素のＲＧＢ成分毎の画素値ｙＲｍ，ｎ、ｙＧｍ，ｎ、ｙＢｍ，ｎを用いて、下記（６）式により、観測画像をグレースケール化した場合の濃淡値ｙｇｒａｙｍ，ｎを算出する。
【0099】
【数6】
【0100】
次に、ステップ２３０で、判定部２６１が、観測画像の局所領域Ｌに含まれる各画素（ｍ，ｎ）のＲＧＢのいずれかの成分の画素値ｙｍ，ｎ及び濃淡値ｙｇｒａｙｍ，ｎが共に基準値ｙｔｈＬより大きいか否かを判定する。ＲＧＢのいずれかの成分で、ｙｍ，ｎ，ｙｇｒａｙｍ，ｎ＞ｙｔｈＬとなる場合には、ステップ２３２へ移行し、判定部２６１が、画素（ｍ，ｎ）は裏写り画像を示す画素であると判定し、画像復元処理ルーチン（図４）に戻る。一方、ＲＧＢのいずれの成分についても、ｙｍ，ｎ，ｙｇｒａｙｍ，ｎ≦ｙｔｈＬとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ２２４～２３２の処理は、観測画像全体にわたって、局所領域Ｌ毎に実行する。
【0101】
次に、図４のステップ３００で、状態量算出部６２が、原画像及び観測画像に対して、共通の処理対象領域ｎ（例えば、３×３画素の領域）を設定する。そして、ステップ４００～６００において、原画像情報のみを用いて算出した状態量と、観測画像情報、原画像情報、及び裏写り画像を示す画素と判定された画素の画素値を用いて算出した観測量とで表される有色性駆動源を含む状態空間モデルを用いた有色性駆動源付カルマンアルゴリズムにより、状態量の最適値を推定する処理を実行する。
【0102】
ここで、第２の実施の形態における状態空間モデルについて説明する。
【0103】
両面に画像が印刷された原稿をスキャンした場合、表面の原画像に裏面の画像が裏写りする。図１３に示すように、裏写りが生じている観測画像ｙｉ，ｊは、表面の原画像ｘｆ
ｉ，ｊに、裏面の画像ｘｂ
ｉ－ｐ，ｊ－ｑが透過し、かつぼけが生じた状態の画像が重畳された状態空間モデルによって表される。図１３のｓは透過率、ｈｐ，ｑはぼけを表す点広がり関数、ｌ（エル）は画素値の最大値、ｐは画像の横方向の画素数、ｑは画像の縦方向の画素数である。すなわち、（ｌ－ｘｂ
ｉ－ｐ，ｊ－ｑ）は、表面の原画像ｘｆの画素位置（ｉ，ｊ）に対応する裏面の画像ｘｂの画素位置（ｉ－ｐ，ｊ－ｑ）の画素の画素値を反転させることを表す。なお、裏面の画像が透過する透過率は、原稿の厚さ、画像の濃度、スキャン時の照明強度等に依存する。
【0104】
さらに、裏写り画像が表面の原画像に与える影響は、表面の原画像の画像情報に応じて異なる。例えば、図１４に示すように、表面の原画像が黒（輝度値が０）に近いほど、裏写りの影響は少なく（例えば、図１４中のＡで示す箇所）、表面の原画像が白（８ビットのクレースケールで輝度値が２５５）に近いほど、裏写りの影響を受け易い（例えば、図１４中のＢで示す箇所）。したがって、表面の原画像の画像情報に関係なく、一定量の裏写りが観測画像に付加されると仮定すると、原画像の復元を精度良く行うことができない。
【0105】
そこで、第２の実施の形態では、図１３に示す状態空間モデルに、表面の原画像の画像情報に応じて重みが変化する非線形項ｇ（ｘｆ
ｉ，ｊ）を加えた状態空間モデルを用いて、原画像を推定する。したがって、第２の実施の形態における状態空間モデルは、下記（７）式で表すことができる。
【0106】
【数7】
【0107】
非線形項ｇ（ｘｆ
ｉ，ｊ）は、例えば、輝度値０～２５５の画素を各行に持つ表面画像ｘｆ
ｉ，ｊが表面に印刷され、輝度値０～２５５の画素を各列に持つ裏面画像ｘｂ
ｉ，ｊが裏面に印刷された原稿の表面をスキャナで読み取った観測画像ｙｆ
ｉ，ｊにより、上記（７）式を変形した下記（８）式で導出することができる（参考文献「F. Merrikh-Bayat, M. Babaie-Zadeh, "A Nonlinear Blind Source Separation for Removing the Show-through Effect in the Scanned Documents", European Signal Processing Conference-EUSIPCO, Aug. 2008」）。
【0108】
【数8】
【0109】
第２の実施の形態では、上記（８）式から算出したｇ（ｘｆ
ｉ，ｊ）を、横軸を表面画像ｘｆ
ｉ，ｊの輝度値、縦軸をｇ（ｘｆ
ｉ，ｊ）としてプロットした分布結果を下記（９）式のように近似し、さらに一次のテイラー展開を行った下記（１０）式を、状態空間モデルの非線形項ｇ（ｘｆ
ｉ，ｊ）として用いる。なお、ｇ（ｘｆ
ｉ，ｊ）は、この例に限定されず、上述のように、表面の画像情報に応じた裏写りの影響を表す重み付けを行う関数であればよい。
【0110】
【数9】
【0111】
上記（１０）式の非線形項、及び判定部２６１で裏写り画像を示す画素と判定された画素の画素値ｙｖｍ，ｎを用いて、（７）式の状態空間モデルは、下記（１１）式のように導出される。
【0112】
【数10】
【0113】
図１５に示すように、状態方程式については、第１の実施の形態と同様に構成される。なお、状態ベクトルｘ（ｎ）及び駆動源ベクトルδ（ｎ）は、表面の原画像の画素値を要素とするため、第２の実施の形態では、ｘｆ（ｎ）及びδｆ（ｎ）と表記する。
【0114】
また、観測方程式については、図１６に示すように、上記（１１）式を適用する。図１６の例では、時刻ｎでの観測画像における注目画素（２，２）の画素値ｙｆ
２，２（ｎ）に着目した観測方程式である。（１１）式の（１－ｃｙｖｍ，ｎ）に相当する｛ｍＴ－ｙｖ２，２（ｎ）ｃＴ｝が、第１の実施の形態における観測行列Ｍに相当する。また、第１の実施の形態における観測方程式の観測雑音ベクトルｙｖ（ｎ）に相当するｙｆ
ｖ２，２（ｎ）には、判定部２６１により、注目画素（２，２）が裏写り画像を示す画素と判定されている場合には、画素値ｙｆ
２，２（ｎ）が適用される。なお、注目画素（２，２）は、３×３画素の処理対象領域ｎの中心画素であるが、この例に限定されない。
【0115】
図４の画像復元処理ルーチンの説明に戻って、次のステップ４００で、状態量算出部６２が、第１の実施の形態と同様に、時刻ｎにおける状態ｎの状態量（状態方程式）を算出する。
【0116】
次に、ステップ５００で、観測量算出部２６３が、時刻ｎにおける観測量（観測方程式）を算出する。
【0117】
具体的には、観測量算出部２６３は、観測画像に設定された処理対象領域ｎの注目画素（２，２）の画素値ｙｆ
２，２（ｎ）の観測方程式について、注目画素（２，２）が裏写り画像を示す画素と判定されている場合には、画素値ｙｆ
ｖ２，２（ｎ）をそのまま適用し、注目画素（２，２）が裏写り画像を示す画素ではない場合には、ｙｆ
ｖ２，２（ｎ）を０とする。さらに、観測量算出部２６３は、観測行列に相当する項を構成するための単位ベクトルｍ及び定数を示すベクトルｃを用いて、画素値ｙｆ
２，２（ｎ）の観測方程式を算出する。
【0118】
次に、ステップ６００で、推定部２６４が、上記ステップ４００で算出された状態量（状態方程式）及び上記ステップ５００で算出された観測量（観測方程式）により、下記に示す有色性駆動源付カルマンアルゴリズムを導出する。
【0119】
【数11】
【0120】
第２の実施の形態における有色性駆動源付カルマンアルゴリズムにおいて、第１の実施の形態における有色性駆動源付カルマンアルゴリズムと異なる点は、観測行列Ｍに替えて、下記（１２）式に示す行列ｍｐを用い、観測雑音ベクトルの共分散行列Ｒε（ｎ）に替えて、下記（１３）式に示す行列ｒε（ｎ）を用いる点、及び手順２で、カルマンゲイン行列として、行列Ｋ（ｎ）に変えて行列ｋ（ｎ）を計算する点である。
【0121】
【数12】
【0122】
以上説明したように、第２の実施の形態に係る画像復元装置２１０によれば、両面に画像が印刷された原稿の表面をスキャンした際に、裏面の画像が表面に裏写りしている場合に、表面の原画像情報が裏写りに与える影響を反映した非線形項を含む状態空間モデルを用いるため、原画像情報を精度良く復元することができる。
【0123】
なお、第２の実施の形態においても、除去の対象を、第１の実施の形態と同様に、シワや不規則な折り目等を示す不一様なテクスチャ及び地色とすることができる。この場合、観測方程式のｙｎ２，２に、不一様なテクスチャ又は地色と判定された画素の画素値を用いればよい。同様に、第１の実施の形態においても、除去の対象を、第２の実施の形態と同様に、裏写り画像とすることができる。この場合、観測方程式の観測雑音ベクトルｙｖ（ｎ）に、裏写り画像を示す画素と判定された画素の画素値を用いればよい。
【0124】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、地色の除去に、第２の実施の形態と同様に非線形項を導入した画像復元装置について説明する。なお、第３の実施の形態に係る画像復元装置の構成について、第２の実施の形態に係る画像復元装置２１０と同一の部分については、第２の実施の形態と同一符号を付して詳細な説明を省略する。
次に、第３の実施の形態について説明する。第３の実施の形態では、地色の除去に、第２の実施の形態と同様に非線形項を導入した画像復元装置について説明する。なお、第３の実施の形態に係る画像復元装置の構成について、第２の実施の形態に係る画像復元装置２１０と同一の部分については、第２の実施の形態と同一符号を付して詳細な説明を省略する。
【0125】
第３の実施の形態に係る画像復元装置３１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、図２に示すように、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部３６０、及び出力インタフェース部７０を備えている。
【0126】
画像復元処理部３６０は、機能的には、図３に示すように、判定部３６１と、状態量算出部６２と、観測量算出部３６３と、推定部２６４と、復元画像出力部６５とを含んだ構成で表すことができる。
【0127】
判定部３６１は、第２の実施の形態における判定部２６１と同様の処理により、観測画像の局所領域に含まれる画素の画素値の分散値を用いた基準値と、各画素の画素値とに基づいて、各画素が地色を示す画素か否かを判定する。
【0128】
観測量算出部３６３は、観測画像における時刻ｎでの状態ｎに基づき、判定部３６１によって地色を示す画素と判定された画素の画素値を用いて、原画像に地色が加わって観測画像となる過程を観測量として算出する。
【0129】
ここで、第３の実施の形態における状態空間モデルについて説明する。
【0130】
図１７に示すように、地色を含む文書をスキャンすることにより得られる観測画像ｙｉ，ｊは、原画像ｘｉ，ｊに地色ｖｉ，ｊが加わった状態空間モデルによって表される。第３の実施の形態では、さらに、地色ｖｉ，ｊが原画像ｘｉ，ｊに加わる過程において、原画像の画像情報が地色に与える影響を反映した非線形項ｇ（ｘｉ，ｊ）を加えた状態空間モデルを用いて、原画像を推定する。したがって、第３の実施の形態における状態空間モデルは、下記（１４）式で表すことができる。
【0131】
【数13】
【0132】
非線形項ｇ（ｘｉ，ｊ）は、第２の実施の形態と同様に、（１０）式を適用することができる。この場合、第２の実施の形態と同様に、（１４）式及び（１０）式から、（１１）式が導出される。このため、観測量算出部３６３は、第２の実施の形態における観測量算出部２６３と同様に、時刻ｎにおける観測量（観測方程式）を算出することができる。この際、観測量算出部３６３は、注目画素（２，２）が地色示す画素と判定されている場合には、画素値ｙｆ
ｖ２，２（ｎ）をそのまま適用し、注目画素（２，２）が地色を示す画素ではない場合には、ｙｆ
ｖ２，２（ｎ）を０とする。
【0133】
状態方程式及び観測方程式が第２の実施の形態と同様であるため、推定部２６４における有色性駆動源付カルマンアルゴリズムも、第２の実施の形態と同様に実行することができる。
【0134】
以上説明したように、第３の実施の形態に係る画像復元装置３１０によれば、原画像情報が地色に与える影響を反映した非線形項を含む状態空間モデルを用いるため、原画像情報を精度良く復元することができる。
【0135】
【0136】
また、第２及び第３実施形態に係る画像復元装置は、シワなどの不一様なテクスチャ、地色、裏写り等が複合的に生じている観測画像に対しても精度良く原画像を復元することができる。
【0137】
図１９に、文字及び写真が両面に印刷された原稿（実際にはカラー画像）を読み取り、裏写り及び地色が含まれている観測画像に対して本手法による復元処理を行った処理結果の一例を示す。図１９に示すように、観測画像に含まれる裏写りや地色が、復元画像において除去されていることが分かる。また、人物の肌色部分なども、裏写りや地色の除去の影響による画質劣化が抑制されている。肌色部分の劣化は人が視覚的に認識し易い要素であるため、肌色部分の再現性がよいことで、復元画像全体の画像品質の向上が図れる。
【0138】
また、図２０に、レシートを読み取り、シワ及び地色が含まれている観測画像に対して本手法による復元処理を行った処理結果の一例を示す。図２０には、非線形項を含む状態空間モデルを用いない従来手法による復元画像を比較例として示している。本手法による復元画像では、従来手法に比べ、シワ及び地色共に精度良く除去されていることが分かる。なお、図２０の処理結果の本手法による復元処理には、観測方程式における観測行列にエッジ抽出フィルタを適用し、文字の鮮明化を行っている。
【0139】
このように、本手法では、シワなどの不一様なテクスチャ、地色、裏写り等の除去精度が高いことから、図２０に示す処理結果の一例のように、レシートなどのシワになり易い原稿の読み取りに対しても有効である。例えば、レシートをスキャンして、文字認識したレシートの内容を家計簿に記録するようなアプリケーションに本発明を適用した場合、シワの多いレシートからも精度良く原画像（レシートの内容）を復元することができるため、文字認識の誤認識を低減することができる。
【0140】
＜第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを、裏面の画像情報も用いて除去する画像復元装置について説明する。なお、第４の実施の形態に係る画像復元装置の構成について、第２の実施の形態に係る画像復元装置２１０と同一の部分については、第２の実施の形態と同一符号を付して詳細な説明を省略する。
次に、第４の実施の形態について説明する。第４の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを、裏面の画像情報も用いて除去する画像復元装置について説明する。なお、第４の実施の形態に係る画像復元装置の構成について、第２の実施の形態に係る画像復元装置２１０と同一の部分については、第２の実施の形態と同一符号を付して詳細な説明を省略する。
【0141】
第４の実施の形態に係る画像復元装置４１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、図２に示すように、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部４６０、及び出力インタフェース部７０を備えている。
【0142】
画像復元処理部４６０は、機能的には、図２１に示すように、位置合わせ部４６１と、状態量算出部６２と、観測量算出部４６３と、推定部４６４と、復元画像出力部６５とを含んだ構成で表すことができる。
【0143】
位置合わせ部４６１は、表面の観測画像ｘｆ
ｉ，ｊと裏面の観測画像ｘｂ
ｉ，ｊとで対応する画素同士の位置合せを行う。位置合わせ部４６１は、例えば、ブロックマッチング等の手法により位置合せを行うことができる。また、表面と裏面とを同時にスキャンするタイプのスキャナによりスキャンされた場合など、表面の観測画像ｘｆ
ｉ，ｊと裏面の観測画像ｘｂ
ｉ，ｊとの位置合せに使用可能な情報を取得可能な場合には、位置合わせ部４６１は、その情報を取得して、位置合せを行ってもよい。
【0144】
観測量算出部４６３は、観測画像における時刻ｎでの状態ｎに基づき、裏面の画像情報を用いて、表面の原画像に裏写り画像が加わって観測画像となる過程を観測量として算出する。
【0145】
推定部４６４は、観測画像における時刻ｎでの状態ｎについて、状態量算出部６２により算出された状態量、及び観測量算出部４６３により算出された観測量から状態空間モデルに基づいた予測法を用い、状態ｎの最適値を推定する。
【0146】
なお、画像復元処理部４６０の各部の処理について、第２の実施の形態と異なる点については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。
【0147】
次に、図２２を参照して、第４の実施の形態に係る画像復元装置４１０の作用について説明する。なお、図２２に示す画像復元処理ルーチンは、記憶部４０に画像復元プログラムとして格納されており、図示しないＣＰＵによって実行される。
【0148】
ステップ１５０で、画像入力装置であるスキャナにより、両面に文書が印刷された原稿の表面及び裏面の各々を読み取ることにより得られた表面の観測画像情報及び裏面の観測画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。
【0149】
次に、ステップ２５０で、位置合わせ部４６１が、取込画像メモリ４２から表面及び裏面の観測画像情報を取得し、表面と裏面との位置合せを行う。
【0150】
ここで、第４の実施の形態における状態空間モデルについて説明する。第４の実施の形態における状態空間モデルも、第２の実施の形態における状態空間モデルと同様に、（７）式で表すことができる。そして、（７）式に（１０）式に示す非線形項を適用して、（１５）式に示す状態空間モデルが導出される。
【0151】
【数14】
【0152】
上記（１５）式を、時刻ｎでの観測画像における注目画素（２，２）の画素値ｙｆ
２，２（ｎ）に着目した観測方程式に適用すると、下記（１６）式となる。
【0153】
【数15】
【0154】
裏面の原画像情報であるｘｂ（ｎ）は不明であるため、（１６）式において、ｘｂ（ｎ）を、裏面の観測画像情報で表される観測ベクトルｙｂ（ｎ）に置換する。これにより、（１６）式は、下記（１７）式のように変換される。
【0155】
【数16】
【0156】
図２２の画像復元処理ルーチンの説明に戻って、次のステップ４００で、状態量算出部６２が、第２の実施の形態と同様に、時刻ｎにおける状態ｎの状態量（状態方程式）を算出する。
【0157】
次に、ステップ５５０で、観測量算出部４６３が、時刻ｎにおける観測量（観測方程式）を算出する。
【0158】
具体的には、観測量算出部４６３は、観測画像に設定された処理対象領域ｎの注目画素（２，２）の画素値ｙｆ
２，２（ｎ）の観測方程式について、観測行列に相当する項を構成するための単位ベクトルｍ、定数ｓ、点広がり関数を示すベクトルｈ、画素値の最大値ｌ（エル）、及び裏面の観測画像情報で表される観測ベクトルｙｂ（ｎ）を用いて、画素値ｙｆ
２，２（ｎ）の観測方程式を算出する。
【0159】
次に、ステップ６００で、推定部２６４が、上記ステップ４００で算出された状態量（状態方程式）及び上記ステップ５５０で算出された観測量（観測方程式）により、第２の実施の形態と同様に、有色性駆動源付カルマンアルゴリズムを導出する。なお、第４の実施の形態における有色性駆動源付カルマンアルゴリズムにおいては、下記（１８）式に示す行列ｍｐ、及び下記（１９）式に示す行列ｒε（ｎ）を用いる。
【0160】
【数17】
【0161】
以上説明したように、第４の実施の形態に係る画像復元装置４１０によれば、表面の原画像情報が裏写りに与える影響を反映した非線形項を含む状態空間モデルにおいて、裏面の画像情報も用いて原画像情報を復元するため、より精度良く原画像情報を復元することができる。
【0162】
【0163】
なお、本発明は、上述した各実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0164】
例えば、上記各実施の形態では、状態（ｎ－１）から状態ｎへの変化として、処理対象領域を右方向に１画素分シフトさせる場合について説明したが、これに限定されない。例えば、処理対象領域を、画像内の下方向へシフトさせてもよい。この場合、システム状態量が重なる領域を考慮した状態遷移行列Φ及び駆動源ベクトルδを構成するとよい。
【0165】
また、図４のステップ２００において、第１の実施の形態では図５に示す判定処理を実行し、第２及び第３の実施の形態では図１２に示す判定処理を実行する場合について説明したが、これに限定されない。第１の実施の形態で図１２に示す判定処理を実行してもよいし、第２及び第３の実施の形態で図５に示す判定処理を実行してもよい。また、判定処理は、図５及び図１２に示す例に限定されない。例えば、観測画像の全画素の分散値から算出される基準値を用いて判定を行ってもよい。以下、図２４を参照して、この場合の判定処理について説明する。
【0166】
ステップ２５２で、判定部が、取込画像メモリ４２から観測画像情報を取得する。
【0167】
次に、ステップ２５４で、判定部が、取得した観測画像情報に含まれる各画素のＲＧＢ成分毎の画素値から、ＲＧＢ成分毎に、観測画像全体の画素値の平均値￣ｙを算出する。そして、判定部、算出した平均値￣ｙを用いて、上記（４）式により、ＲＧＢ成分毎に観測画像全体の画素値の分散値σ２
ｙを算出する。この際、（４）式の分散値σ２
ｙＬをσ２
ｙ、平均値￣ｙＬを￣ｙ、Ｍを観測画像の横方向の画素数、Ｎを観測画像の縦方向の画素数と読み替える。
【0168】
次に、ステップ２５６で、判定部が、観測画像の局所領域Ｌ（例えば、３×３画素の領域）毎に、その局所領域Ｌに含まれる各画素のＲＧＢ成分毎の画素値に基づいて、ＲＧＢ成分毎に、局所領域Ｌの画素値の平均値￣ｙＬ及び分散値σ２
ｙＬを算出する。分散値σ２
ｙＬは、上記（４）式により算出する。
【0169】
次に、ステップ２５８で、判定部が、局所領域Ｌの画素値の平均値￣ｙＬが観測画像全体の画素値の平均値￣ｙより大きく、かつ局所領域Ｌの画素値の分散値σ２
ｙＬが観測画像全体の画素値の分散値σ２
ｙより大きいか否かを判定する。ＲＧＢのいずれかの成分で上記判定が肯定判定となる場合には、ステップ２６０へ移行し、ＲＧＢのいずれの成分についても、上記判定が否定判定となる場合には、ステップ２６２へ移行する。
【0170】
ステップ２６０では、判定部が、該当の局所領域Ｌに含まれる各画素は、不一様なテクスチャを示す画素であると判定し、ステップ２６２へ移行する。ステップ２５６～２６０の処理は、観測画像全体にわたって、局所領域Ｌ毎に実行する。
【0171】
ステップ２６２では、判定部が、上記ステップ２５４でＲＧＢ成分毎に算出された観測画像全体の画素値の平均値￣ｙ及び分散値σ２
ｙから、各画素が地色か否かを判定するための基準値ｙｔｈを上記（５）式により算出する。この際、（５）式の分散値σ２
ｙＬをσ２
ｙ、平均値￣ｙＬを￣ｙと読み替える。
【0172】
そして、判定部は、観測画像に含まれる各画素（ｍ，ｎ）の画素値ｙｍ，ｎが基準値ｙｔｈより大きいか否かを判定する。ＲＧＢのいずれかの成分で、ｙｍ，ｎ＞ｙｔｈとなる場合には、ステップ２６６へ移行し、判定部が、画素（ｍ，ｎ）は地色を示す画素であると判定し、画像復元処理ルーチン（図４）に戻る。一方、ＲＧＢのいずれの成分についても、ｙｍ，ｎ≦ｙｔｈとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ２６４及び２６６の処理は、観測画像に含まれる全画素について、画素毎に実行する。
【0173】
また、上記各実施の形態では、文書をスキャナで読み取ることにより観測画像情報を取得する場合について説明したが、これに限定されず、様々な分野で撮影された画像を観測画像として用いてもよい。例えば、医療用画像や、建築・土木の現場などで、点検や検査のために撮影された画像などを、観測画像として用いてもよい。これにより、医療分野、建築・土木分野等、様々な分野において、リアルタイムな画像分析などに本発明を応用することができる。
【0174】
また、上記各実施の形態では、ＣＰＵによりプログラムを実行することで各部の処理を実行する場合について説明したが、各部をハードウエアにより構成するようにしてもよい。
【符号の説明】
【0175】
１０、２１０、３１０、４１０ 画像復元装置
２０ 入力インタフェース部
３０ 操作部
４０ 記憶部
６０、２６０、３６０、４６０ 画像復元処理部
６１、２６１、３６１、４６１ 判定部
６２ 状態量算出部
６３、２６３、３６３、４６３ 観測量算出部
６４、２６４、４６４ 推定部
６５ 復元画像出力部
７０ 出力インタフェース部
２０ 入力インタフェース部
３０ 操作部
４０ 記憶部
６０、２６０、３６０、４６０ 画像復元処理部
６１、２６１、３６１、４６１ 判定部
６２ 状態量算出部
６３、２６３、３６３、４６３ 観測量算出部
６４、２６４、４６４ 推定部
６５ 復元画像出力部
７０ 出力インタフェース部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
