特許5963166 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人東京理科大学の特許一覧

特許5963166画像復元装置、方法、及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5963166

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】画像復元装置、方法、及びプログラム

(51)【国際特許分類】

G06T 5/00 20060101AFI20160721BHJP

G06T 5/50 20060101ALI20160721BHJP

H04N 1/409 20060101ALI20160721BHJP

【ＦＩ】

G06T5/00 705

G06T5/50

H04N1/40 101C

H04N1/40 101D

【請求項の数】10

【全頁数】31

(21)【出願番号】特願2012-178700(P2012-178700)

(22)【出願日】2012年8月10日

(65)【公開番号】特開2014-38366(P2014-38366A)

(43)【公開日】2014年2月27日

【審査請求日】2015年7月3日

(73)【特許権者】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田浩志

(72)【発明者】

【氏名】田邉造

(72)【発明者】

【氏名】古川利博

(72)【発明者】

【氏名】長保龍

【審査官】佐藤実

(56)【参考文献】

【文献】特開２０１１−１６５０１３（ＪＰ，Ａ）

【文献】特開２００８−３１０５０９（ＪＰ，Ａ）

【文献】特開２００９−１５９３４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ５／００ − ５／５０

Ｈ０４Ｎ１／４０９

(57)【特許請求の範囲】

【請求項1】

原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、
前記劣化画像情報を時系列に複数フレーム取得する画像取得手段と、
前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定する位置変化量推定手段と、
時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、
時刻ｎのフレームの劣化画像情報、時刻ｎのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、
前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、時刻ｎのフレームの原画像情報として推定する推定手段と、
を含む画像復元装置。

【請求項2】

前記時刻（ｎ−１）までに取得されたフレームを複数フレームとした請求項１記載の画像復元装置。

【請求項3】

前記状態遷移を、時刻（ｎ−１）におけるシステム状態量と時刻ｎにおけるシステム状態量との相関を表す忘却係数を用いて表した請求項１または請求項２記載の画像復元装置。

【請求項4】

両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、
前記原稿の両面を各々読み取ることにより得られた表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得する画像取得手段と、
前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻（ｎ−１）までに取得されたフレームの各々とし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を設定する位置変化量設定手段と、
時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、
前記表面画像のフレームの劣化画像情報、時刻ｎのシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、
前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、前記表面画像の原画像情報として推定する推定手段と、
を含む画像復元装置。

【請求項5】

前記状態遷移を、時刻（ｎ−１）におけるシステム状態量と時刻ｎにおけるシステム状態量との相関を表す忘却係数を用いて表し、前記忘却係数は、時刻（ｎ−１）におけるシステム状態量を構成する表面画像のフレームの要素より裏面画像のフレームの要素に対する値を小さくした請求項４記載の画像復元装置。

【請求項6】

前記劣化情報は、前記一方の面に対する前記他方の面の透過率を含む請求項４または請求項５に記載の画像復元装置。

【請求項7】

各手段の処理を、各フレームに対して設定した局所領域毎に行う請求項１〜請求項６のいずれか１項記載の画像復元装置。

【請求項8】

原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、
画像取得手段が、前記劣化画像情報を時系列に複数フレーム取得し、
位置変化量推定手段が、前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定し、
システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出し、
観測量算出手段が、時刻ｎのフレームの劣化画像情報、時刻ｎのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、
推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、時刻ｎのフレームの原画像情報として推定する
画像復元方法。

【請求項9】

両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、
画像取得手段が、前記原稿の両面を各々読み取ることにより、表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得し、
位置変化量設定手段が、前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻（ｎ−１）までに取得されたフレームの各々とし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を設定し、
システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出し、
観測量算出手段が、前記表面画像のフレームの劣化画像情報、時刻ｎにおける表面画像及び裏面画像の各々のシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、
推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、前記表面画像の原画像情報として推定する
画像復元方法。

【請求項10】

コンピュータを、請求項１〜請求項７のいずれか１項記載の画像復元装置を構成する各手段として機能させるための画像復元プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復元装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像（所望の情報、クリアな画像）に劣化情報（ぼけ、雑音、裏写り等）が混在した劣化画像（取得された情報）から劣化情報を取り除き、原画像を復元する技術が提案されている。

【0003】

例えば、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差との関係を規定するための重み係数を算出する重み係数算出部と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部とを有する画像復元装置が提案されている（例えば、特許文献１参照）。

【0004】

また、画素値を含む画像を１フレーム以上受け付け、フレームのうちの１フレームを高解像度画像に変換する変換対象フレームとして設定し、受け付けたフレーム数が１である場合には変換対象フレームに複数の注目画素を設定し、受け付けたフレーム数が複数である場合には変換対象フレームの他の１以上の他フレームに複数の注目画素を設定し、予め設定された１以上のサブピクセル位置ずれを記憶し、サブピクセル位置ずれに対応して注目画素をずらし、注目画素に対応する変換対象フレーム内の推定サンプリング点を推定し、推定サンプリング点に対応する注目画素の画素値を、推定サンプリング点の画素値として設定する画像処理装置が提案されている（例えば、特許文献２参照）。

【0005】

また、Ｎ個の画像データから１個の補正画像データを生成する画像処理装置において、Ｎ個の画像データの中から１個の基準画像データを選択する選択手段と、基準画像データを除く（Ｎ−１）個の画像データの各々について、画像に含まれる複数の部分領域毎に基準画像データの画像からの画像移動量を導出する導出手段と、（Ｎ−１）個の画像データの各々について導出された画像移動量が大きいほど小さな重み値となるように複数の部分領域毎に重み値を設定する設定手段と、基準画像データの画像に設定された重み値に応じて（Ｎ−１）個の画像データの各々の画像を順次に合成することで補正画像データを生成する合成手段と、を備える画像処理装置が提案されている（例えば、特許文献３参照）。

【0006】

また、複数枚の画像を用いたカルマンフィルタによる劣化画像復元技術が提案されている（例えば、非特許文献１参照）。非特許文献１の技術では、まずステップ１で、連続する２枚の劣化画像間における対応画素の位置合わせを全フレームに対して実行し、ステップ２で、位置合わせ結果に基づいて、原画像のＡＲ（Auto Regressive：自己回帰）システムのパラメータ（以下「ＡＲ係数」という）を推定した後、ステップ３で、ステップ２で推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成し、これにカルマンフィルタ理論（カルマンフィルタアルゴリズム）を適用することによって、高性能な画像復元を実現している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−１６５０１３号公報

【特許文献2】特開２００９−８１７３４号公報

【特許文献3】特開２０１２−３５０３号公報

【非特許文献】

【0008】

【非特許文献1】S. Farsiu, M. Elad, and P. Milanfar. ”Video-to-video dynamic super-resolution for grayscale and color sequences,” EURASIP J. Applied Signal Processing, Article ID 61859, pp.1-15, 2006.

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１に記載の技術では、１枚の静止画像内での局所領域における変化を用いて状態方程式を構成するため、物体の急激な変化に対応できない場合があり、高性能な復元画像を得られない場合がある、という問題がある。

【0010】

また、特許文献２及び３に記載の技術は、複数の画像から１枚の高解像度画像を生成する技術であり、画像復元に関するものではない。

【0011】

また、非特許文献１に記載の技術では、画像の復元性能がＡＲ係数の推定精度に依存するため、処理対象画像（劣化画像）に含まれるぼけや雑音などによりＡＲ係数を精度良く推定することが困難であり、画像復元の精度に影響がでてしまう、という問題がある。

【0012】

本発明は、上記問題点に鑑みてなされたものであり、原画像に劣化情報が加わった劣化画像を精度良く復元することができる画像復元装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するために、第１の発明に係る画像復元装置は、原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、前記劣化画像情報を時系列に複数フレーム取得する画像取得手段と、前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定する位置変化量推定手段と、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、時刻ｎのフレームの劣化画像情報、時刻ｎのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、時刻ｎのフレームの原画像情報として推定する推定手段と、を含んで構成されている。

【0014】

第１の発明に係る画像復元装置によれば、原画像情報に不必要な劣化情報が混在した劣化画像情報から原画像情報を推定する画像復元装置において、まず、画像取得手段が、劣化画像情報を時系列に複数フレーム取得する。そして、位置変化量推定手段が、画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、連続するフレーム間における画像内の物体の位置変化量を推定する。次に、システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、位置変化量推定手段により推定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出する。また、観測量算出手段が、時刻ｎのフレームの劣化画像情報、時刻ｎのシステム状態量、及び劣化情報を用いて、原画像情報に劣化情報が加わって劣化画像情報となる過程を観測量として算出する。そして、推定手段が、システム状態量算出手段により算出されたシステム状態量、及び観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、時刻ｎのフレームの原画像情報として推定する。

【0015】

このように、推定した画像内の物体の位置変化量に基づく状態遷移及び時刻ｎのシステム状態量を含む有色性駆動源を用いてシステム状態量を算出することにより、原画像に劣化情報が加わった劣化画像を精度良く復元することができる。

【0016】

また、第１の発明において、時刻（ｎ−１）までに取得されたフレームを複数フレームとすることができる。これにより、より多くの情報を用いて時刻（ｎ−１）のシステム状態量を構成することができるため、画像の復元精度が向上する。

【0017】

また、第１の発明において、前記状態遷移を、時刻（ｎ−１）におけるシステム状態量と時刻ｎにおけるシステム状態量との相関を表す忘却係数を用いて表すことができる。例えば、前記忘却係数は、時刻（ｎ−１）のシステム状態量を構成する各フレームの取得時刻が時刻ｎから遠いほど小さくするなど、時刻変化における相関値の変化に基づく値とすることができる。また、何らかの原因によって暗転したフレームや、時刻（ｎ−１）のシステム状態量を構成する各フレームにおいて、時刻ｎのフレームと著しく相関の低いフレームを、各フレームの画素値などに基づいて判定し、これらのフレームに対して、相関が低くなるような忘却係数を与えてもよい。このような忘却係数を用いることにより、時刻（ｎ−１）から時刻ｎへの状態遷移をより適切に表現することができ、画像の復元精度が向上する。

【0018】

また、上記目的を達成するために、第２の発明に係る画像復元装置は、両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、前記原稿の両面を各々読み取ることにより得られた表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得する画像取得手段と、前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻（ｎ−１）までに取得されたフレームの各々とし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を設定する位置変化量設定手段と、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、前記表面画像のフレームの劣化画像情報、時刻ｎのシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、前記表面画像の原画像情報として推定する推定手段と、を含んで構成されている。

【0019】

第２の発明に係る画像復元装置によれば、位置変化量設定手段が、両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から原画像情報を推定する画像復元装置において、まず、画像取得手段が、原稿の両面を各々読み取ることにより得られた表面画像のフレーム及び裏面画像のフレームを、劣化画像情報として取得する。そして、位置変化量設定手段が、画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻（ｎ−１）までに取得されたフレームの各々とし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を設定する。次に、システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、位置変化量設定手段により設定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出する。また、観測量算出手段が、表面画像のフレームの劣化画像情報、時刻ｎのシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に劣化情報が加わって劣化画像情報となる過程を観測量として算出する。そして、推定手段が、システム状態量算出手段により算出されたシステム状態量、及び観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、表面画像の原画像情報として推定する。

【0020】

このように、設定した画像内の物体の位置変化量に基づく状態遷移及び時刻ｎのシステム状態量を含む有色性駆動源を用いてシステム状態量を算出することにより、表面画像の原画像情報に裏面画像の画像情報が裏写りした劣化画像から、精度良く裏写りを除去することができる。すなわち、劣化画像を精度良く復元することができる。

【0021】

また、第２の発明において、前記状態遷移を、時刻（ｎ−１）におけるシステム状態量と時刻ｎにおけるシステム状態量との相関を表す忘却係数を用いて表し、前記忘却係数は、時刻（ｎ−１）におけるシステム状態量を構成する表面画像のフレームの要素より裏面画像のフレームの要素に対する値を小さくすることができる。このような忘却係数を用いることにより、時刻（ｎ−１）から時刻ｎへの状態遷移をより適切に表現することができ、画像の復元精度が向上する。

【0022】

また、第２の発明において、前記劣化情報は、前記一方の面に対する前記他方の面の透過率を含むことができる。原稿の厚さ、画像の濃度、読取時の照明強度等による透過率が裏写りの度合いに影響するため、観測方程式を構成する劣化情報として、透過率を用いることが有効である。

【0023】

また、第１及び第２の発明において、各手段の処理を、各フレームに対して設定した局所領域毎に行うようにすることができる。これにより、１度の演算量を軽減することができ、並行処理を適用することで画像全体の復元処理も高速化される。

【0024】

また、第３の発明に係る画像復元方法は、原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、画像取得手段が、前記劣化画像情報を時系列に複数フレーム取得し、位置変化量推定手段が、前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定し、システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出し、観測量算出手段が、時刻ｎのフレームの劣化画像情報、時刻ｎのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、時刻ｎのフレームの原画像情報として推定する方法である。

【0025】

また、第４の発明に係る画像復元方法は、両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、画像取得手段が、前記原稿の両面を各々読み取ることにより、表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得し、位置変化量設定手段が、前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻（ｎ−１）までに取得されたフレームの各々とし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を設定し、システム状態量算出手段が、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出し、観測量算出手段が、前記表面画像のフレームの劣化画像情報、時刻ｎにおける表面画像及び裏面画像の各々のシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻ｎのシステム状態量の最適値を、前記表面画像の原画像情報として推定する方法である。

【0026】

また、第５の発明に係る画像復元プログラムは、コンピュータを、上記の画像復元装置を構成する各手段として機能させるためのプログラムである。

【発明の効果】

【0027】

以上説明したように、本発明の画像復元装置、方法、及びプログラムによれば、推定または設定した画像内の物体の位置変化量に基づく状態遷移及び時刻ｎのシステム状態量を含む有色性駆動源を用いてシステム状態量を算出することにより、原画像に劣化情報が加わった劣化画像を精度良く復元することができる、という効果が得られる。

【図面の簡単な説明】

【0028】

【図1】第１及び第２の実施の形態に係る画像復元装置の概略構成を示すブロック図である。

【図2】第１の実施の形態における画像復元処理部の概略構成を示すブロック図である。

【図3】第１の実施の形態における画像の劣化を説明するための図である。

【図4】第１の実施の形態における画像復元処理の内容を示すフローチャートである。

【図5】フレーム間のブロックマッチングを説明するための図である。

【図6】各フレームの時系列を説明するための図である。

【図7】システム状態量算出処理の内容を示すフローチャートである。

【図8】第１の実施の形態における時刻（ｎ−１）の状態ベクトルの構成を説明するための図である。

【図9】第１の実施の形態における時刻ｎの状態ベクトルの構成を説明するための図である。

【図10】同一のシステム状態量を持つ領域を説明するための図である。

【図11】同一のシステム状態量を持つ領域を説明するための図である。

【図12】第１の実施の形態における忘却係数を説明するための図である。

【図13】第１の実施の形態における状態方程式の構成を示すイメージ図である。

【図14】第１の実施の形態における観測方程式の構成を示すイメージ図である。

【図15】有色性駆動源付カルマンアルゴリズムの内容を示すフローチャートである。

【図16】状態方程式の構成の他の例を示すイメージ図である。

【図17】発明手法１のシミュレーションにおける原画像を示す図である。

【図18】発明手法１のシミュレーション結果（視覚評価）の一例を示す図である。

【図19】図１８の一部拡大図である。

【図20】発明手法１のシミュレーション結果（視覚評価）の他の例を示す図である。

【図21】図２０の一部拡大図である。

【図22】発明手法１のシミュレーション結果（主観評価）を示す図である。

【図23】第２の実施の形態における画像復元処理部の概略構成を示すブロック図である。

【図24】第２の実施の形態における画像の劣化を説明するための図である。

【図25】第２の実施の形態における画像復元処理の内容を示すフローチャートである。

【図26】位置変化量設定部の処理を説明するための図である。

【図27】第２の実施の形態における時刻（ｎ−１）の状態ベクトルの構成を説明するための図である。

【図28】第２の実施の形態における時刻ｎの状態ベクトルの構成を説明するための図である。

【図29】第２の実施の形態における忘却係数を説明するための図である。

【図30】第２の実施の形態における観測方程式の構成を示すイメージ図である。

【図31】発明手法２のシミュレーションにおける原画像を示す図である。

【図32】発明手法２のシミュレーション結果（視覚評価）の一例を示す図である。

【図33】図３２の一部拡大図である。

【図34】発明手法２のシミュレーション結果（視覚評価）の他の例を示す図である。

【図35】図３４の一部拡大図である。

【図36】発明手法２のシミュレーション結果（主観評価）を示す図である。

【発明を実施するための形態】

【0029】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0030】

＜第１の実施の形態＞
まず、第１の実施の形態について説明する。第１の実施の形態では、動画像を対象として、各フレームの画像を復元する画像復元装置に本発明を適用した場合について説明する。

【0031】

図１に示すように、第１の実施の形態に係る画像復元装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部５０、及び出力インタフェース部６０を備えている。

【0032】

入力インタフェース部２０は、画像入力装置から提供される画像データをコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。

【0033】

画像入力装置は、復元処理の対象となる画像データ（劣化画像）をデジタルデータとしてコンピュータに入力するための入力装置であり、動画像を構成する時系列に連続した各フレームの各画像データを画像復元装置１０に入力する。画像入力装置としては、例えば、カメラ、記録メディア、モデムなどを用いることができる。カメラは、撮像機能を有する全ての装置を意味し、例えば、デジタルビデオカメラの他に、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。記録メディアは、画像データを記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデムは、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。なお、画像入力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。

【0034】

図示は省略するが、入力インタフェース部２０は、画像入力装置の種類に応じて別個独立に設けられる。例えば、記録メディアの入力インタフェース部２０は、ドライブとも呼ばれ、記録メディアの種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部２０と出力インタフェース部６０とは一体化されている。また、通常、モデムは、画像入力装置としても画像出力装置としても機能しうるため、モデムに関しても、通常、入力インタフェース部２０と出力インタフェース部６０とは一体化されている。入力インタフェース部２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部（図示省略）を介して接続された外部設置型機器であってもよい。

【0035】

なお、画像入力装置が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部２０は、サンプリング部及びＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理対象（情報源）の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。

【0036】

操作部３０は、例えば、キーボートやマウス、タッチパネル等であるが、音声認識装置などを用いてもよい。使用者は、操作部３０を用い、本装置を操作することができる。また、操作部３０は、パラメータ設定部３１、領域指定部３２、及び処理フレーム指定部３３を有する。パラメータ設定部３１は、使用者の入力操作により、本実施の形態における画像復元処理に必要な各種パラメータの値を設定する。領域指定部３２は、使用者の入力操作により、入力された画像に対して画像復元処理の対象となる局所領域（画像の特定の範囲）を指定する。処理フレーム指定部３３は、使用者の入力操作により、後述する処理フレーム数を指定する。

【0037】

記憶部４０は、コンピュータの本体を構成する一要素であって、主記憶部４１及び表示メモリ４６を有する。主記憶部４１は、入力インタフェース部２０を介して取り込んだ画像データが記憶される取込画像メモリ４２と、後述する画像復元処理を実行するための画像復元プログラムや各種パラメータが記憶された処理パラメータメモリ４３とを有する。取込画像メモリ４２は、少なくとも後述する画像復元処理において必要となる複数フレーム分の画像データを記憶可能な容量とする。

【0038】

表示メモリ４６は、ディスプレイ等で構成された画像出力装置（図示省略）に表示するための画像データが記憶される領域であり、取り込んだ画像（劣化画像）を表示するために復元処理前の画像データ（取り込んだ画像データ）が記憶される取込画像メモリ４７と、画像復元処理において一時的に必要な記憶領域である処理メモリ４８と、復元された画像を表示するために復元処理後の画像データが記憶される復元画像メモリ４９とを有する。

【0039】

また、図示は省略するが、記憶部４０は、主記憶部４１の容量不足を補う補助記憶部を設けてもよい。補助記憶部は、例えば、ハードディスク（ＨＤ）であってもよいし、ＣＤ−ＲＯＭ、ＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。

【0040】

また、本実施の形態では、処理パラメータメモリ４３に予め画像復元プログラムが記憶されている場合について説明するが、画像復元プログラムは、記録メディアから入力インタフェース部２０を介して記憶部４０にインストールしたり、モデム及び入力インタフェース部２０を介して外部から記憶部４０にダウンロードしたりしてもよい。

【0041】

画像復元処理部５０は、後述する画像復元処理を実行するための処理部であり、機能的には、図２に示すように、位置変化量推定部５１と、システム状態量算出部５２と、観測量算出部５３と、推定部５４と、復元画像出力部５５とを含んだ構成で表すことができる。

【0042】

位置変化量推定部５１は、連続するフレームの画像間で対応する小領域の位置合わせを行い、小領域の位置変化量を推定する。

【0043】

システム状態量算出部５２は、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて算出する。

【0044】

観測量算出部５３は、時刻ｎに取得されたフレームの画像情報、時刻ｎのシステム状態量、並びにぼけ及び雑音を示す情報を用いて、原画像情報にぼけ及び雑音が加わって劣化画像情報となる過程を観測量として算出する。

【0045】

推定部５４は、算出されたシステム状態量及び観測量を有色性駆動源付カルマンアルゴリズムにより解いて、時刻ｎのシステム状態量の最適推定値を求める。

【0046】

復元画像出力部５５は、推定部５４により得られた時刻ｎのシステム状態量の最適推定値を、復元画像を示す画像情報として出力する。

【0047】

なお、画像復元処理部５０の各部の処理については、後述する画像復元処理において詳述する。

【0048】

出力インタフェース部６０は、画像復元処理部５０で復元処理され、復元画像メモリ４９に記憶された画像データ（復元画像）を、ディスプレイなどで構成された画像出力装置に出力可能なデータ形式に変換するなどの出力処理を行う。

【0049】

なお、復元画像の出力形態は画像出力装置に表示する場合に限定されず、他の画像出力装置に出力するようにしてもよい。例えば、画像出力装置として、プリンタ、記録メディア、モデムなどを用いることができる。記録メディア及びモデムは、画像入力装置としての記録メディア及びモデムとそれぞれ共用してもよい。なお、画像出力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。

【0050】

また、図示は省略するが、出力インタフェース部６０は、画像出力装置の種類に応じて別個独立に設けられる。上記のように、記録メディア及びモデムに関しては、通常、入力インタフェース部２０と出力インタフェース部６０とは一体化されている。出力インタフェース部６０も、入力インタフェース部２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部を介して接続された外部設置型機器であってもよい。

【0051】

次に、第１の実施の形態における画像復元の理論となる劣化画像モデル及び状態空間モデルについて説明する。

【0052】

劣化した画像は、一般的に、原画像とぼけの点拡がり関数（ＰＳＦ：Point Spread Function、以下単に「ぼけ関数」ともいう）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。

【0053】

図３に、画像の劣化の過程を説明するための図を示す。例えば、図３の左端に示す原画像にぼけが生じると、図３の中央に示す画像となり、この画像にさらに雑音が加わると、図３の右端に示す劣化画像となる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。従って、第１の実施の形態における劣化画像の復元は、劣化画像からぼけ及び雑音を取り除くことである。

【0054】

第１の実施の形態では、ＡＲ係数を用いることなく、クリアな画像情報（原画像情報）のみを用いてシステム状態量を算出し、かつ、劣化画像情報、クリアな画像情報、ぼけ情報、及び雑音を用いて観測量を算出した状態空間モデルにおいて、有色性駆動源付カルマンアルゴリズムにより、システム状態量の最適推定値を求めることにより、劣化画像を復元する。

【0055】

上記の状態空間モデルは、下記（１）式の状態方程式と、下記（２）式の観測方程式とで表される。ただし、状態方程式において、ベクトルｘ_ｐ１（ｎ）は時刻ｎの状態ベクトル（原画像のシステム状態量）、行列Φ_ｐ１は状態遷移行列、ベクトルδ_ｐ１（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙ_ｐ１（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍ_ｐ１は観測行列、ベクトルε_ｐ１（ｎ）は観測雑音ベクトルである。また、添え字ｐ１は第１の実施の形態に係るものであることを表す。

【0056】

【数1】

【0057】

（１）式の状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘ_ｐ１（ｎ−１）、ｘ_ｐ１（ｎ））の時間に対する生成過程を表している。また、（２）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙ_ｐ１（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘ_ｐ１（ｎ））に依存して生成される様子を示している。

【0058】

次に、図４を参照して、第１の実施の形態に係る画像復元装置１０の作用について説明する。なお、図４に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。

【0059】

ステップ１００で、画像入力装置から入力インタフェース部２０を介して、所定フレームの画像情報を取り込み、主記憶部４１の取込画像メモリ４２に記憶する。また、表示メモリ４６の取込画像メモリ４７にも記憶し、出力インタフェース部６０を介して、画像出力装置に取込画像を表示する。なお、以下では、時刻ｎのフレームの画像情報をＬフレームと表記する。また、ここでは、時刻ｎの開始値を「０」とし、ｎ≧（ｋ−１）となる時刻のフレームから、以下の処理を行う。ｋは後述する処理フレーム数であり、本実施の形態では「３」である。ここでは、ｎ＝２から以下の処理を行う。

【0060】

次に、ステップ１０２で、位置変化量推定部５１が、取込画像メモリ４２に記憶されている連続するフレームの画像情報を２つずつ読み出し、各フレームの画像間の位置合わせを行い、連続するフレーム間における画像内の物体の位置変化量を推定する。画像の位置合わせには、ブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法といった既存の手法を用いることができる。本実施の形態では、図５に示すようなブロックマッチングを用いる場合について説明する。

【0061】

ブロックマッチングとは、時刻（ｎ−１）の（Ｌ−１）フレームで設定した探索範囲内において、時刻ｎのＬフレームで類似する領域を探す手法であり、時刻（ｎ−１）の（Ｌ−１）フレームの小領域の画素値と時刻ｎのＬフレームで取り出した小領域の画素値との誤差の総和が最小となる領域を求め、対応する位置を探す手法である。画素値の誤差の総和を取る手段として、下記（３）式に示す各画素値の２乗距離の総和を取るＳＳＤ（Sum of Squared Distance）や、下記（４）式に示す各画素値の絶対値距離の総和を取るＳＡＤ（Sum of Absolute Distance）が挙げられる（非特許文献２「藤原慎矢、田口亮、“ブロックマッチング動き推定に基づくフレームレート向上に関する一手法”、IEICE Technical Report SIS2006-15, Jun. 2006」参照）。なお、（３）式及び（４）式におけるｘ_ｉ，ｊは画素（ｉ，ｊ）の画素値である。

【0062】

【数2】

【0063】

例えば、画像内の物体が左から右へ水平方向に移動していた場合には、時刻ｎのＬフレームにおいて、時刻（ｎ−１）の（Ｌ−１）フレームに設定した小領域の位置より右方向にずれた位置から取り出した小領域が、時刻（ｎ−１）の（Ｌ−１）フレームの小領域とマッチングすることになる。このときのずれ量を時刻（ｎ−１）の（Ｌ−１）フレームと時刻ｎのＬフレーム間の位置変化量として推定する。以下、画像内の物体が左から右へ水平方向に移動していた場合を例に説明する。

【0064】

次に、ステップ１０４で、位置変化量推定部５１が、画像復元処理の処理単位となる局所領域のサイズを設定する。局所領域のサイズは、上記ステップ１０２で推定された位置変化量に応じて決定される。局所領域のサイズの設定は、ユーザにより操作部３０の領域指定部３２から指定された値を設定するようにしてもよいし、位置変化量と局所領域のサイズとの関係を予めテーブル等に定めておいて、推定された位置変化量に基づいて自動的に設定するようにしてもよい。

【0065】

また、位置変化量推定部５１が、後述する状態方程式における時刻（ｎ−１）のシステム状態量として用いるフレーム数を設定する。フレーム数の設定は、ユーザにより操作部３０の処理フレーム指定部３３から指定された値を設定するようにしてもよいし、予め定めた値を設定するようにしてもよい。

【0066】

ここでは、ステップ１０４において、局所領域のサイズｐ×ｑ＝３×３画素、フレーム数３と設定されたものとする。この場合、図６に示すように、左から右へ流れている、時刻（ｎ−２）の（Ｌ−２）フレーム、時刻（ｎ−１）の（Ｌ−１）フレーム、時刻ｎのＬフレームという時系列の３フレーム分の画像情報が処理対象となる。

【0067】

次に、ステップ１０６で、位置変化量推定部５１が、上記ステップ１０４で設定されたサイズの局所領域を各フレームに対して同一の領域に設定する。

【0068】

次に、ステップ１０８で、システム状態量算出部５２が、システム状態量算出処理を実行する。ここで、図７を参照して、システム状態量算出処理ルーチンについて説明する。

【0069】

ステップ１０８０で、システム状態量算出部５２が、時刻（ｎ−２）の（Ｌ−２）フレーム及び時刻（ｎ−１）の（Ｌ−１）フレームに設定された局所領域内の各画素のシステム状態量を要素とする時刻（ｎ−１）の状態ベクトルと、時刻ｎのＬフレームに設定された局所領域内の各画素のシステム状態量を要素とする時刻ｎの状態ベクトルとを導出する。以下、各時刻の状態ベクトルの導出方法を具体的に説明する。

【0070】

まず、時刻（ｎ−１）の状態ベクトルは、図８に示すように、時刻（ｎ−１）の（Ｌ―１）フレーム及び時刻（ｎ−２）の（Ｌ―２）フレームにおけるｐ×ｑサイズの局所領域内の各画素のシステム状態量を組み合わせて構成される。すなわち、時刻（ｎ−１）のシステム状態ベクトルは１８次元のベクトルｘ_ｐ１（ｎ−１）＝［ｘ_１，１^Ｌ−１（ｎ−１）ｘ_２，１^Ｌ−１（ｎ−１）・・・ｘ_３，３^Ｌ−１（ｎ−１）ｘ_１，１^Ｌ−２（ｎ−１）ｘ_２，１^Ｌ−２（ｎ−１）・・・ｘ_３，３^Ｌ−２（ｎ−１）］^Ｔとなる。次に、時刻ｎの状態ベクトルは、図９に示すように、時刻ｎのＬフレームにおけるｐ×ｑサイズの局所領域内の各画素のシステム状態量を組み合わせて構成される。すなわち、時刻ｎの状態ベクトルは９次元のベクトルｘ_ｐ１（ｎ）＝［ｘ_１，１^Ｌ（ｎ）ｘ_２，１^Ｌ（ｎ）・・・ｘ_３，３^Ｌ（ｎ）］^Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘ_ｐ１（ｎ−１）及びｘ_ｐ１（ｎ）のサイズ（次元数）は設定されたフレーム数及び局所領域ｐ×ｑのサイズによって変化する。

【0071】

次に、ステップ１０８２で、システム状態量算出部５２が、上記ステップ１０２で推定した位置変化量、及び時刻ｎのシステム状態量と時刻（ｎ−１）のシステム状態量との相関に基づく忘却係数を用いて状態遷移行列Φ_ｐ１を構成する。

【0072】

具体的には、まず、画像内の物体が、時刻（ｎ−２）から時刻（ｎ−１）間、及び時刻（ｎ−１）から時刻ｎ間に、水平に左から右へ１画素ずつ移動していたとする。この場合、各フレームの局所領域において、図１０に示すように、同一のシステム状態量を持つ領域が存在する。ここで、同一のシステム状態量を持つ領域は、上記ステップ１０２で推定された位置変化量から判断できる。同一のシステム状態量を持つ領域は、図１０において網掛けされた画素領域である。図１１に、図１０の各フレームの局所領域部分を抜き出した図を示す。図１１に示すように、時刻（ｎ−２）の（Ｌ−２）フレームのシステム状態量ｘ_１，１^Ｌ−２，ｘ_２，１^Ｌ−２，ｘ_３，１^Ｌ−２と、時刻（ｎ−１）の（Ｌ−１）フレームのシステム状態量ｘ_１，２^Ｌ−１，ｘ_２，２^Ｌ−１，ｘ_３，２^Ｌ−１と、時刻ｎのＬフレームのシステム状態量ｘ_１，３^Ｌ，ｘ_２，３^Ｌ，ｘ_３，３^Ｌとが同一のシステム状態量を持つ領域となる。また、時刻（ｎ−１）の（Ｌ−１）フレームのシステム状態量ｘ_１，１^Ｌ−１，ｘ_２，１^Ｌ−１，ｘ_３，１^Ｌ−１と、時刻ｎのＬフレームのシステム状態量ｘ_１，２^Ｌ，ｘ_２，２^Ｌ，ｘ_３，２^Ｌとも同一のシステム状態量を持つ領域となる。

【0073】

また、時刻（ｎ−１）のシステム状態量と時刻ｎのシステム状態量とは相関を持ち、図１２に示すように、時刻（ｎ−１）の状態ベクトルを構成する時刻（ｎ−２）の（Ｌ−２）フレーム及び時刻（ｎ−１）の（Ｌ−１）フレームにおいて、時刻ｎのＬフレームとの時刻が近いほど強い相関を示し、遠いほど弱い相関を示す。そこで、時刻ｎのＬフレームからフレームが遠ざかるにつれて相関が低くなるようなパラメータ（忘却係数ρ_ｉ，ｊ）を設定する。一般的に忘却係数は時刻ｎのＬフレームに近いほど相関が強まるように１に近い値となり、時刻ｎのＬフレームから遠ざかるほど相関が弱まるように０に近い値となるように構成する。ここで、忘却係数は推定して導出してもよいし、既知として扱ってもよい。

【0074】

そして、上述した同一のシステム状態量を持つ領域が時刻（ｎ−１）から時刻ｎへの変化によって一致し、かつ忘却係数を導入した状態遷移行列Φ_ｐ１を構成する。

【0075】

次に、ステップ１０８４で、システム状態量算出部５２が、駆動源ベクトルを構成する。図１１の時刻ｎのＬフレームのシステム状態量ｘ_１，１^Ｌ，ｘ_２，１^Ｌ，ｘ_３，１^Ｌは、時刻（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源と呼ばれる領域にシステム状態量ｘ_１，１^Ｌ，ｘ_２，１^Ｌ，ｘ_３，１^Ｌを用いることで、駆動源ベクトルδ_ｐ１（ｎ）を構成する。これは、物体がフレーム内を位置変化した際に、時刻（ｎ−１）のシステム状態量（（時刻（ｎ−２）のＬ−２）フレーム及び時刻（ｎ−１）の（Ｌ−１）フレーム）では表せられない領域のシステム状態量を、時刻ｎのシステム状態量で構成することを表しており、原画像の情報が含まれることから、駆動源ベクトルδ_ｐ１（ｎ）は有色性駆動源となる。

【0076】

次に、ステップ１０８６で、システム状態量算出部５２が、上記ステップ１０８０で導出した時刻（ｎ−１）及び時刻ｎの状態ベクトルｘ_ｐ１（ｎ−１）及びｘ_ｐ１（ｎ）、上記ステップ１０８２で構成した状態遷移行列Φ_ｐ１、及び上記ステップ１０８４で構成した駆動源ベクトルδ_ｐ１（ｎ）に基づいて、システム状態量を算出する。算出されたシステム状態量（状態方程式）の一例と、各ステップで構成された各情報との関係を図１３に示す。このように、本実施の形態における状態方程式は、クリアな画像からなる状態ベクトルｘ_ｐ１（ｎ）と、０及び忘却係数ρ_ｉ，ｊからなる状態遷移行列Φ_ｐ１と、有色信号であるクリアな画像からなる駆動源ベクトルδ_ｐ１（ｎ）とから構成されるため、所望のシステム状態量（原画像の画素情報）、つまり、クリアな画像情報（原画像情報）のみで構成されることになる。

【0077】

システム状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ１１０へ移行し、観測量算出部５３が、図３に示した劣化画像モデルに基づいて、図１４に示すように、原画像情報にぼけ及び雑音が加わって劣化画像情報となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙ_ｐ１（ｎ）は、劣化画像情報を含む観測量として時刻ｎのＬフレームの局所領域内の各画素の画素情報を要素とする９次元のベクトルである。また、観測行列Ｍ_ｐ１は、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応したｈ_ｉ，ｊを要素とする行列である。各要素ｈ_ｉ，ｊ（ｉ，ｊはｈの座標であり、ｉ，ｊ＝−１，０，１）は、既知であって、予めデータ化して適切に設定されている。また、観測雑音ベクトルε_ｐ１（ｎ）は、局所領域に含まれる画素に対応する観測雑音を要素とする９次元のベクトルである。

【0078】

次に、ステップ１１２で、推定部５４が、上記ステップ１０８で算出されたシステム状態量（状態方程式）及び上記ステップ１１０で算出された観測量（観測方程式）により、下記に示す有色性駆動源付カルマンアルゴリズムを導出する。

【0079】

【数3】

【0080】

上記のアルゴリズムは、初期設定の過程［Initialization］と反復の過程［Iteration］とに大別され、反復の過程では、１〜５の手順を逐次繰り返す。以下、図１５を参照して、有色性駆動源付カルマンアルゴリズムの詳細について説明する。

【0081】

ステップ１１２０で、カルマンアルゴリズムの処理が初回か否かを判定する。初回の場合には、ステップ１１２２へ移行し、２回目以降の場合には、ステップ１１２４へ移行する。

【0082】

ステップ１１２２では、初期設定を行う。具体的には、状態ベクトル、つまり、システム状態量である所望信号（原画像信号）ベクトルの最適推定値（以下「所望信号の最適推定値ベクトル」という）の初期値ｘ＾_ｐ１（０｜０）、所望信号ベクトルの推定誤差（以下「所望信号の推定誤差ベクトル」という）の相関行列の初期値Ｐ_ｐ１（０｜０）、駆動源ベクトルの共分散の値Ｒ_δｐ１（ｎ）［ｉ，ｊ］、及び観測雑音ベクトルの共分散の値Ｒ_εｐ１（ｎ）［ｉ，ｊ］を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。

【0083】

ただし、ベクトル０_２Ｋ＾２は、２Ｋ^２次元の零ベクトルであり、行列Ｉ_２Ｋ＾２は、２Ｋ^２次の単位行列である。また、Ｋは、Ｋ×Ｋの大きさの局所領域のその次元である。また、Ｅ［δ_ｐ１（ｎ），δ_ｐ１^Ｔ（ｎ）］は、駆動源ベクトルδ_ｐ１（ｎ）の自己相関行列である。Ｅ［ε_ｐ１（ｎ）ε_ｐ１^Ｔ（ｎ）］［ｉ，ｊ］は、観測雑音ベクトルε_ｐ１の自己相関行列であり、ここではσ^２_ε［ｉ，ｊ］と等しく、既知と仮定している。ここでいう「既知」とは、別の任意の方法（アルゴリズム）で求められて与えられることを意味する。もし観測雑音ベクトルε_ｐ１（ｎ）が白色雑音であり零平均であれば、σ^２_εは所定のサンプル数の分散で与えられる。なお、ベクトル及び行列の要素を示す場合、ベクトルａ（ｎ）のｉ番目の要素をａ（ｎ）［ｉ］と表記し、行列Ａ（ｎ）のｉ行ｊ列の要素をＡ（ｎ）［ｉ，ｊ］と表記することとする。

【0084】

次に、ステップ１１２４で、上記ステップ１０８２で定義した状態空間モデルにおける状態遷移行列Φ_ｐ１、上記ステップ１１２２で設定した所望信号の推定誤差ベクトルの相関行列の初期値Ｐ_ｐ１（０｜０）（ｎ＝２の場合）、または１時刻前に後述するステップ１１３０で更新された相関行列Ｐ_ｐ１（ｎ｜ｎ）（ｎ＞２の場合）、及び駆動源ベクトルの共分散の値Ｒ_δｐ１（ｎ）［ｉ，ｊ］を用いて、時刻（ｎ−１）までの情報により時刻ｎの状態ベクトルを推定した場合の誤差である相関行列Ｐ_ｐ１（ｎ｜ｎ−１）を計算する（上述の反復の過程［Ｉｔｅｒａｔｉｏｎ］の手順１）。

【0085】

次に、ステップ１１２６で、上記ステップ１１２４で計算した相関行列Ｐ_ｐ１（ｎ｜ｎ−１）、上記ステップ１１０で定義した状態空間モデルにおける観測行列Ｍ_ｐ１、及び観測雑音ベクトルの共分散の値Ｒ_εｐ１（ｎ）［ｉ，ｊ］を用いて、カルマンゲイン行列Ｋ_ｐ１（ｎ）を計算する（同手順２）。

【0086】

次に、ステップ１１２８で、状態遷移行列Φ_ｐ１、及び上記ステップ１１２２で設定した所望信号の最適推定値ベクトルの初期値ｘ＾_ｐ１（０｜０）（ｎ＝２の場合）、または１時刻前に本ステップで得られた所望信号の最適推定値ベクトルｘ＾_ｐ１（ｎ｜ｎ）（ｎ＞２の場合）を用いて、時刻（ｎ−１）までの情報による時刻ｎでの所望信号の最適推定値ベクトルｘ＾_ｐ１（ｎ｜ｎ−１）を計算する（同手順３）。そして、計算した所望信号の最適推定値ベクトルｘ＾_ｐ１（ｎ｜ｎ−１）、上記ステップ１１２６で計算したカルマンゲイン行列Ｋ_ｐ１（ｎ）、観測ベクトルｙ_ｐ１（ｎ）、及び観測行列Ｍ_ｐ１を用いて、時刻ｎまでの情報によるその時刻での所望信号の最適推定値ベクトルｘ＾_ｐ１（ｎ｜ｎ）を計算する（同手順４）。

【0087】

次に、ステップ１１３０で、単位行列Ｉ、カルマンゲイン行列Ｋ_ｐ１（ｎ）、観測行列Ｍ_ｐ１、及び上記ステップ１１２４で計算された相関行列Ｐ_ｐ１（ｎ｜ｎ−１）を用いて、時刻ｎまでの情報によるその時刻での相関行列Ｐ_ｐ２（ｎ｜ｎ）を更新する。次に、ステップ１１３２で、上記ステップ１１２８で計算された所望信号の最適推定値ベクトルｘ＾_ｐ１（ｎ｜ｎ）を、現在設定されている局所領域の処理結果として一旦復元画像メモリ４９に記憶する。

【0088】

有色性駆動源付カルマンアルゴリズムが終了すると、画像復元処理へリターンして、ステップ１１４へ移行し、現時刻のフレームの全領域について画像復元処理が終了したか否かを判定する。全領域について処理が終了していない場合には、ステップ１０６へ戻って、次の局所領域を設定して処理を繰り返す。全領域について処理が終了した場合には、ステップ１１６へ移行して、上記ステップ１００で取り込んだ全フレームについて処理が終了したか否かを判定する。全フレームについて処理が終了していない場合には、ステップ１１８へ移行してｎを１インクリメントして、ステップ１０２へ戻って、次のフレームについて処理を繰り返す。全フレームについて処理が終了した場合には、ステップ１２０へ移行する。

【0089】

ステップ１２０では、復元画像出力部５５が、復元画像メモリ４９に記憶された画像データを、出力インタフェース部６０を介して出力して、画像出力装置に復元画像を表示し、画像復元処理を終了する。

【0090】

以上説明したように、第１の実施の形態の画像復元装置１０によれば、時系列の複数フレームの画像を用いて、画像内の物体の位置変化量を推定し、この位置変化量に基づく状態遷移行列及び駆動源ベクトルを導入したシステム状態量を算出することにより、ＡＲ係数を推定することなく、物体の急激な変化にも対応して、劣化画像を精度良く復元することができる。

【0091】

また、状態遷移行列を構成する際に、時刻ｎからの時間間隔に応じた忘却係数を導入することで、状態遷移行列をより適切に表現することができ、より精度良く画像を復元することができる。

【0092】

また、局所領域毎に処理していくことで、処理する行列のサイズを小さくして演算量を抑えることができ、並列処理を適用することで、画像全体の復元処理を高速に実行することができる。

【0093】

なお、第１の実施の形態では、画像内の物体が水平方向に移動する場合を例に説明したがこれに限定されない。位置変化量推定部５１で推定された位置の変化に応じたシステム状態量を算出すればよい。例えば、図１６に示すように、画像内の物体が上方へ移動する場合でも、システム状態量が重なる領域を考慮した状態遷移行列Φ_ｐ１及び駆動源ベクトルδ_ｐ１を構成するとよい。

【0094】

また、第１の実施の形態では、忘却係数として時刻変化における相関値の変化に基づく値を用いる場合について説明したが、時刻変化によらないフレーム間の相関値に基づく値を用いるようにしてもよい。

【0095】

次に、第１の実施の形態に係る画像復元装置１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、第１の実施の形態に係る画像復元装置１０の画像復元能力を評価するために、（１）視覚評価、（２）客観評価、及び（３）主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。

【0096】

まず、シミュレーションの条件について説明する。本シミュレーションでは、原画像として、図１７に示す２つの画像（「Ｇｉｒｌ」及び「Ｂｕｉｌｄｉｎｇ」）を用いた。いずれも階調８ビットのグレースケール画像で、解像度は２５６×２５６画素である。また、原画像に加えるぼけに対応する点拡がり関数（ＰＳＦ）のモデルとして、２次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比ＳＮＲを２０ｄＢとした。また、画像復元に用いる複数フレームの画像として、水平方向に３画素移動させた画像を用いた。また、同一の上記シミュレーション条件の下で、第１の実施の形態における手法（発明手法１）と非特許文献１による手法（従来手法１）とを比較した。

【0097】

（１）視覚評価
画像「Ｇｉｒｌ」についてのシミュレーション結果を図１８及び図１９に、画像「Ｂｕｉｌｄｉｎｇ」についてのシミュレーション結果を図２０及び図２１に示す。なお、図１９は図１８の一部を拡大したもの、図２１は図２０の一部を拡大したものである。

【0098】

図１９に示すように、従来手法１は、輪郭情報は復元できているものの、雑音による劣化が強調されている。一方、発明手法１は、輪郭情報を維持しつつ鮮明な画像を復元することができている。また、図２１に示すように、従来手法１は、樹木や建物の線が劣化している。一方、発明手法１は、ぼけが除去され、鮮明な画像を復元できている。このように、発明手法１の有効性を確認することができる。

【0099】

（２）客観評価（数値による評価）
下表１に、原画像に対するシミュレーション結果（客観評価）を示す。

【0100】

【表1】

【0101】

ここでは、従来手法１及び発明手法１の画像復元能力を数値により評価するため、下記（５）式に示すＰＳＮＲ［ｄＢ］を用いて画像復元能力を評価した。なお、ＰＳＮＲ（Peak Signal-to-Noise Ratio）は、画像の信号に対する雑音の比であり、数値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。

【0102】

【数4】

【0103】

表１に示すように、「Ｇｉｒｌ」及び「Ｂｕｉｌｄｉｎｇ」のどちらの画像についても、発明手法１は、従来手法１よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法１は、客観評価の点でも、従来手法１に比べて画像復元能力が高いことがわかる。

【0104】

（３）主観評価（聞き取り調査）
図２２に、原画像に対するシミュレーション結果（主観評価）を示す。

【0105】

ここでは、従来手法１及び発明手法１の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、下表２に示すように、ＭＯＳ（Mean Opinion Score）評価基準に基づく５段階の評価値を用いた聞き取り調査により行った。５０人（男性２５人、女性２５人）の聴取者が画像復元により得られた画像（図１８〜図２１参照）を評価した。各々の聴取者は、評価値「１」から「５」を決定する。評価値「５」が最良である。

【0106】

【表2】

【0107】

図２２に示すように、「Ｇｉｒｌ」及び「Ｂｕｉｌｄｉｎｇ」のどちらの画像についても、発明手法１は、従来手法１よりも高いＭＯＳ評価値を得ていることが確認できる。これにより、発明手法１は、主観評価の点でも、従来手法１に比べて画像復元能力が高いことがわかる。

【0108】

以上の実験結果により、第１の実施の形態に係る画像復元装置１０における手法（発明手法１）は、従来手法１に比べて高い画像復元能力を発揮していることがわかる。

【0109】

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、両面に画像がプリントされた原稿をスキャンした際の裏写りを除去する画像復元装置に本発明を適用した場合について説明する。

【0110】

第２の実施の形態に係る画像復元装置２１０の構成について、第１の実施の形態に係る画像復元装置１０と異なる部分について説明し、他の部分については第１の実施の形態と同一符号を付して詳細な説明を省略する。

【0111】

図２３に示すように、第２の実施の形態における画像復元処理部２５０は、位置変化量設定部２５１と、システム状態量算出部２５２と、観測量算出部２５３と、推定部５４と、復元画像出力部５５とを含んだ構成で表すことができる。

【0112】

位置変化量設定部２５１は、裏面画像のフレーム及び表面画像のフレームを時刻（ｎ−１）までに取得されたフレームとし、表面画像の原画像を時刻ｎに取得されたフレームとし、時刻（ｎ−１）から時刻ｎ間の表面画像内の物体の位置変化量を想定した局所領域を設定する。

【0113】

システム状態量算出部２５２は、時刻ｎにおけるシステム状態量を、時刻（ｎ−１）までに取得されたフレームから得られる時刻（ｎ−１）のシステム状態量、位置変化量に基づく時刻（ｎ−１）から時刻ｎへの状態遷移、及び時刻（ｎ−１）のシステム状態量に含まれない時刻ｎのシステム状態量の要素を含む有色性駆動源を用いて構成する。

【0114】

観測量算出部２５３は、表面画像のフレームの画像情報、時刻ｎのシステム状態量、及び裏写りに対応する劣化情報を用いて、表面画像の原画像情報に裏面画像の裏写りが生じて劣化画像情報となる過程を観測量として算出する。

【0115】

次に、第２の実施の形態における画像復元の理論となる劣化画像モデル及び状態空間モデルについて説明する。

【0116】

図２４に、画像の劣化の過程を説明するための図を示す。例えば、両面に画像がプリントされた原稿をスキャンした場合、表面画像の原画像情報に裏面画像の画像情報が裏写りして、図２４の右端に示す劣化画像となる。裏写りは、原画像（表面画像）をスキャンした画像に、裏面画像が透過し、かつぼけが生じた状態の画像が重畳された画像である。なお、裏面画像が透過する透過率は、原稿の厚さ、画像の濃度、スキャン時の照明強度等に依存する。従って、第２の実施の形態にける劣化画像の復元は、劣化画像から裏写りした裏面画像情報を取り除くことである。

【0117】

第２の実施の形態においても、ＡＲ係数を用いることなくシステム状態量を算出し、かつ裏写りによる画像の劣化過程に基づいて観測量を算出した状態空間モデルにおいて、有色性駆動源付カルマンアルゴリズムにより、システム状態量の最適推定値を求めることにより、劣化画像を復元する。

【0118】

上記の状態空間モデルは、下記（６）式の状態方程式と、下記（７）式の観測方程式とで表される。ただし、状態方程式において、ベクトルｘ_ｐ２^ｆ（ｎ）は時刻ｎの状態ベクトル（表面画像の原画像のシステム状態量）、行列Φ_ｐ２は状態遷移行列、ｘ_ｐ２（ｎ−１）は時刻（ｎ−１）の状態ベクトル（表面画像及び裏面画像のシステム状態量）、ベクトルδ_ｐ２（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙ_ｐ２^ｆ（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍ_ｐ２は観測行列、ＨはぼけのＰＳＦ、ベクトルｘ_ｐ２^ｂ（ｎ）は時刻ｎの状態ベクトル（裏面画像のシステム状態量）である。また、添え字ｐ２は第２の実施の形態に係るものであることを表す。

【0119】

【数5】

【0120】

次に、図２５を参照して、第２の実施の形態に係る画像復元装置２１０の作用について説明する。なお、図２５に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。また、第１の実施の形態における画像復元処理ルーチンと同様の処理については、同一符号を付して詳細な説明を省略する。

【0121】

ステップ２００で、画像入力装置であるスキャナにより、両面に画像がプリントされた原稿から読み取られた表面画像及び裏面画像の画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。以下では、第１の実施の形態に対応させて、表面画像の原画像をＬフレーム、読み取った表面画像を（Ｌ−１）フレーム、及び裏面画像を（Ｌ−２）フレームとする。なお、（Ｌ−２）フレームは、読み取られた裏面画像を左右（または上下）反転させた画像とする。

【0122】

次に、ステップ２０２で、位置変化量設定部２５１が、図２６に示すように、予め定められたサイズ（例えば、ｐ×ｑ＝３×３画素）の局所領域を、裏面画像の（Ｌ−２）フレーム及び表面画像の（Ｌ−１）フレームの同一の領域に設定する。また、表面画像の原画像のＬフレームにおいて、裏面画像の（Ｌ−２）フレーム及び表面画像の（Ｌ−１）フレームに局所領域を設定した位置から予め定めた位置変化量分ずらした領域に局所領域を設定する。この位置変化量は、第１の実施の形態と同様に、時間変化における表面画像内の物体の位置変化を示すものであり、ここでは、位置変化量を右方向へ１画素分とする。

【0123】

次に、ステップ２０４で、システム状態量算出部２５２が、システム状態量算出処理を実行する。システム状態量算出処理は、第１の実施の形態におけるシステム状態量算出処理と処理の流れ自体は同様であり、各処理の詳細が異なるため、第１の実施の形態で用いた図７を参照して、システム状態量算出処理ルーチンについて説明する。

【0124】

ステップ１０８０で、システム状態量算出部２５２が、裏面画像の（Ｌ−２）フレーム及び表面画像の（Ｌ−１）フレームに設定された局所領域内の各画素のシステム状態量を要素とする時刻（ｎ−１）の状態ベクトルと、表面画像の原画像のＬフレームに設定された局所領域内の各画素のシステム状態量を要素とする時刻ｎの状態ベクトルとを導出する。以下、各時刻の状態ベクトルの導出方法を具体的に説明する。

【0125】

まず、時刻（ｎ−１）の状態ベクトルは、図２７に示すように、表面画像の（Ｌ―１）フレーム及び裏面画像の（Ｌ―２）フレームにおけるｐ×ｑサイズの局所領域内の各画素のシステム状態量を組み合わせて構成される。すなわち、時刻（ｎ−１）の状態ベクトルは１８次元のベクトルｘ_ｐ２（ｎ−１）＝［ｘ_１，１^Ｌ−１（ｎ−１）ｘ_２，１^Ｌ−１（ｎ−１）・・・ｘ_３，３^Ｌ−１（ｎ−１）ｘ_１，１^Ｌ−２（ｎ−１）ｘ_２，１^Ｌ−２（ｎ−１）・・・ｘ_３，３^Ｌ−２（ｎ−１）］^Ｔとなる。次に、時刻ｎの状態ベクトルは、図２８に示すように、表面画像の原画像のＬフレームにおけるｐ×ｑサイズの局所領域内の各画素のシステム状態量を組み合わせて構成される。すなわち、時刻ｎの状態ベクトルは９次元のベクトルｘ_ｐ２（ｎ）＝［ｘ_１，１^Ｌ（ｎ）ｘ_２，１^Ｌ（ｎ）・・・ｘ_３，３^Ｌ（ｎ）］^Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘ_ｐ２（ｎ−１）及びｘ_ｐ２（ｎ）のサイズ（次元数）は設定された局所領域ｐ×ｑのサイズによって変化する。

【0126】

次に、ステップ１０８２で、システム状態量算出部２５２が、位置変化量（局所領域の設定位置のずれ量）、及び時刻ｎのシステム状態量と時刻（ｎ−１）のシステム状態量との相関に基づく忘却係数を用いて状態遷移行列Φ_ｐ２を構成する。

【0127】

図２９に示すように、時刻（ｎ−１）の状態ベクトルを構成する裏面画像の（Ｌ−２）フレーム及び表面画像の（Ｌ−１）フレームにおいて、表面画像の（Ｌ−１）フレームの方が表面画像の原画像であるＬフレームと強い相関を示し、裏面画像の（Ｌ−２）フレームの方が弱い相関を示す。そこで、表面画像の（Ｌ−１）フレームの要素に対しては相関が高く、裏面画像の（Ｌ−２）フレームの要素に対しては相関が低くなるようなパラメータ（忘却係数ρ_ｉ，ｊ）を設定する。ここで、忘却係数は推定して導出してもよいし、既知として扱ってもよい。

【0128】

そして、位置変化量に基づいて得られる同一のシステム状態量を持つ領域が時刻（ｎ−１）から時刻ｎへの変化によって一致し、かつ忘却係数を導入した状態遷移行列Φ_ｐ２を構成する。

【0129】

次に、ステップ１０８４で、システム状態量算出部２５２が、駆動源ベクトルを構成する。ここでは、表面画像の（Ｌ−１）フレーム及び裏面画像の（Ｌ−２）フレームに対して、表面画像の原画像のＬフレームの局所領域を右方向にずらしているため、表面画像の原画像のＬフレームのシステム状態量ｘ_１，４^Ｌ，ｘ_２，４^Ｌ，ｘ_３，４^Ｌは、時刻（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源と呼ばれる領域にシステム状態量ｘ_１，４^Ｌ，ｘ_２，４^Ｌ，ｘ_３，４^Ｌを用いることで、駆動源ベクトルδ_ｐ２（ｎ）を構成する。

【0130】

次に、ステップ１０８６で、システム状態量算出部２５２が、上記ステップ１０８０で構成した時刻（ｎ−１）及び時刻ｎの状態ベクトルｘ_ｐ２（ｎ−１）及びｘ_ｐ２（ｎ）、上記ステップ１０８２で構成した状態遷移行列Φ_ｐ２、及び上記ステップ１０８４で構成した駆動源ベクトルδ_ｐ２（ｎ）に基づいて、システム状態量（状態方程式）を算出する。

【0131】

システム状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ２０６へ移行し、観測量算出部２５３が、図２４に示した劣化画像モデルに基づいて、図３０に示すように、表面画像の原画像に裏面画像の裏写りが加わって劣化画像となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙ_ｐ２^ｆ（ｎ）は、劣化画像情報を含む観測量として表面画像のフレームの局所領域内の各画素の画素情報を要素とする９次元のベクトルである。また、観測行列Ｍ_ｐ２は、観測方程式を満たすための単位行列である。ベクトルｘ_ｐ２^ｆ（ｎ）は、表面画像の原画像における局所領域内の各画素のシステム状態量を要素とするベクトルである。ｓは裏写りに関する透過率であり、ユーザにより操作部３０のパラメータ設定部３１から設定された値を用いる。透過率は、上述のように、原稿の厚さ、画像の濃度、スキャン時の照明の強度等に応じた値を設定しておく。行列Ｈは、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応したｈ_ｉ，ｊを要素とする行列である。ベクトルｘ_ｐ２^ｂ（ｎ）は、裏面画像の局所領域内の各画素のシステム状態量を要素とする９次元のベクトルである。

【0132】

次に、ステップ１１２で、推定部５４が、上記ステップ２０４で算出されたシステム状態量（状態方程式）及び上記ステップ２０６で算出された観測量（観測方程式）により、第１の実施の形態と同様に、有色性駆動源付カルマンアルゴリズムを実行する。以下、ステップ１１４〜１２０を実行して、画像復元処理を終了する。

【0133】

以上説明したように、第２の実施の形態の画像復元装置２１０によれば、表面画像及び裏面画像という複数フレームの画像を用いて、時刻変化における物体の位置変化を考慮した状態遷移行列及び駆動源ベクトルを導入したシステム状態量を算出することにより、ＡＲ係数を推定することなく、裏写りを精度良く除去することができる。

【0134】

また、状態遷移行列を構成する際に、表面画像の原画像と表面画像及び裏面画像との相関を示す忘却係数を導入することで、状態遷移行列をより適切に表現することができ、より精度良く画像を復元することができる。

【0135】

【0136】

次に、第２の実施の形態に係る画像復元装置２１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでも、発明手法１に対するシミュレーションと同様に、（１）視覚評価、（２）客観評価、及び（３）主観評価を行った。

【0137】

まず、シミュレーションの条件について説明する。本シミュレーションでは、図３１に示すように、表面の原画像として２つの画像（「Ｉｍａｇｅ１」及び「Ｌｅｎｎｅ」）を用い、裏面画像として１つの画像（「Ｉｍａｇｅ２」）を用いた。「Ｉｍａｇｅ１」及び「Ｉｍａｇｅ２」は階調８ビットのグレースケール画像、「Ｌｅｎｎａ」は階調８ビットのカラースケール画像である。また、いずれの画像も解像度は２５６×２５６画素である。その他の条件は発明手法１に対するシミュレーションと同じである。また、同一の上記シミュレーション条件の下で、第２の実施の形態における手法（発明手法２）と非特許文献３（杉山賢二、「実践映像信号処理」、コロナ社、2008.）による手法（従来手法２）、及び特許文献４（特開２００９−２２４８７３号公報）による手法（従来手法３）とを比較した。

【0138】

なお、従来手法２は、ガンマ補正を用いた補正手法であるが、表面画像の薄い色に対しても補正処理を行ってしまうため、カラー画像などに対しては精度良く裏写りを除去できない場合がある、という問題がある。

【0139】

また、従来手法３は、ＹＵＶ（Ｙ：輝度、Ｕ，Ｖ：色素）情報を用いてカラー画像を輝度変化してグレースケール化してエッジ検出して、所定の閾値により２値化処理し、２値化情報に基づいて色情報を埋め込む手法である。文字等のエッジが高い部分は精度良く裏写りを除去することができるが、広範囲に渡る裏写りに対しては処理が困難である、という問題がある。また、２値化処理の際の閾値を最適な一意に決定することは困難である、という問題もある。

【0140】

（１）視覚評価
画像「Ｉｍａｇｅ１」についてのシミュレーション結果を図３２及び図３３に、画像「Ｌｕｎｎａ」についてのシミュレーション結果を図３４及び図３５に示す。なお、図３３は図３２の一部を拡大したもの、図３５は図３４の一部を拡大したものである。

【0141】

図３３に示すように、従来手法２は、裏写りが完全に除去できておらず不完全であり、従来手法３は、裏写りは除去できているものの、原画像の情報がわずかに劣化している。一方、発明手法２は、原画像の情報を維持しつつ、裏写りを精度良く除去できている。また、図３５に示すように、従来手法２は、画像全体が白くなり、また裏写りの除去も不完全であり、従来手法３も、裏写りが完全には除去できておらず不鮮明である。一方、発明手法２は、裏写りが除去できており鮮明な画像となっている。このように、発明手法２の有効性を確認することができる。

【0142】

（２）客観評価（数値による評価）
下表３に、（５）式に示したＰＳＮＲを用いたシミュレーション結果（客観評価）を示す。

【0143】

【表3】