特許 6409872 ぶれ画像をぶれ修正する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6409872

(24)【登録日】2018年10月5日

(45)【発行日】2018年10月24日

(54)【発明の名称】ぶれ画像をぶれ修正する方法およびシステム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181015BHJP

   G06T 5/00 20060101ALI20181015BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/00 710

【請求項の数】32

【全頁数】35

(21)【出願番号】特願2016-531755(P2016-531755)

(86)(22)【出願日】2014年7月22日

(65)【公表番号】特表2016-532367(P2016-532367A)

(43)【公表日】2016年10月13日

(86)【国際出願番号】US2014047620

(87)【国際公開番号】WO2015017194

(87)【国際公開日】20150205

【審査請求日】2017年6月28日

(31)【優先権主張番号】61/859,740

(32)【優先日】2013年7月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100146709

【弁理士】

【氏名又は名称】白石 直正

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】テザール， ラドカ

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 国際公開第２０１１／１４５２９６（ＷＯ，Ａ１）

【文献】 特開２０１０−１５７２１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

主エッジとテクスチャを含むぶれ画像をぶれ修正する方法であって、
第１位相のデコンボリューションを第１位相正規化空間マスクを用いて実行し、前記主エッジを再構築し、再構築された主エッジを有する第１位相鮮明潜像を生成する工程と、
第２位相のデコンボリューションを第２位相正規化空間マスクを用いて実行し、前記テクスチャを再構築し、第２位相鮮明潜像を生成する工程とを備え、前記第２位相正規化空間マスクは、前記第１位相正規化空間マスクとは異なる、
ぶれ画像をぶれ修正する方法。

【請求項2】

請求項１に記載の方法において、さらに、
前記第２位相正規化空間マスクを前記第１位相鮮明潜像を用いて生成する工程を備えるぶれ画像をぶれ修正する方法。

【請求項3】

請求項１に記載の方法において、
（ｉ）前記第１位相を実行する工程は、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含む第１位相アルゴリズムを用いてリンギング・アーチファクトおよびノイズを抑制し、
（ｉｉ）前記第２位相を実行する工程は、ガウス事前を仮定し、空間事前を含む第２位相アルゴリズムを用いて、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正する方法。

【請求項4】

請求項１に記載の方法において、さらに、
（ｉ）前記ぶれ画像中の異常領域を特定する工程と、
（ｉｉ）前記特定された異常領域に基づいて忠実度項マスクを生成する工程と、
を備え、
前記第１位相のデコンボリューションを実行する工程は、前記忠実度項マスクを用いる第１位相アルゴリズムを使用し、
前記第２位相のデコンボリューションを実行する工程は、前記忠実度項マスクを用いる第２位相アルゴリズムを使用する
ぶれ画像をぶれ修正する方法。

【請求項5】

請求項４に記載の方法において、
（ｉ）前記第１位相を実行する工程は、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含む前記第１位相アルゴリズムを用いてリンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第２位相を実行する工程は、ガウス事前、空間事前を仮定し、前記第２位相正規化空間マスクを含む前記第２位相アルゴリズムを用いて、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正する方法。

【請求項6】

請求項４に記載の方法において、さらに、
（ｉ）前記ぶれ画像に第３位相正規化空間マスクを用いて第３位相のデコンボリューションを実行し、前記主エッジを再構築して第３位相鮮明潜像を生成する工程と、
（ｉｉ）第４位相正規化空間マスクを用いて第４位相のデコンボリューションを実行し、前記テクスチャを再構築して第４位相鮮明潜像を生成する工程とを備え、前記第４位相正規化空間マスクは前記第３位相正規化空間マスクとは異なる
ぶれ画像をぶれ修正する方法。

【請求項7】

請求項６に記載の方法において、さらに、
前記第２位相鮮明潜像を前記第４位相鮮明潜像と合成して出力鮮明潜像を生成する工程を備える
ぶれ画像をぶれ修正する方法。

【請求項8】

請求項６に記載の方法において、
（ｉ）前記第１位相を実行する工程は、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含む前記第１位相アルゴリズムを使用してリンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第２位相を実行する工程は、ガウス事前を仮定し、空間事前と前記第２位相正規化空間マスクを含む前記第２位相アルゴリズムを使用して、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援し、
（ｉｉｉ）前記第３位相を実行する工程は、ラプラスまたは超ラプラス事前を仮定し、前記第３位相正規化空間マスクを含む第３位相アルゴリズムを使用して、リンギング・アーチファクトとノイズを抑制し、
（ｉｖ）前記第４位相を実行する工程は、ガウス事前を仮定し、空間事前と前記第４位相正規化空間マスクを含む第４位相アルゴリズムを使用して、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正する方法。

【請求項9】

請求項１に記載の方法において、さらに、
（ｉ）前記ぶれ画像を輝度チャンネルと色度チャンネルとを含む色空間に変換する工程と、
（ｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて、前記ぶれ画像の前記輝度チャンネルのデコンボリューションを実行する工程と、
（ｉｉｉ）前記ぶれ修正された輝度チャンネルを用いて前記第２位相正規化空間マスクを生成する工程と、
（ｉｖ）前記第１位相および前記第２位相のデコンボリューションを用いて前記ぶれ画像の前記色度チャンネルのデコンボリューションを実行する工程と、を備える
ぶれ画像をぶれ修正する方法。

【請求項10】

既知のまたは推定された点像分布関数を用いてぶれ画像をぶれ修正する方法であって、
ラプラスまたは超ラプラス事前正規化を仮定する第１鮮明潜像コスト関数を用いて第１位相のデコンボリューションを実行して、再構築された主エッジを有する第１位相鮮明潜像を生成する工程と、
ガウス事前正規化を仮定し、空間事前正規化を含む第２鮮明潜像コスト関数を用いて第２位相のデコンボリューションを実行して、再構築されたテクスチャを持つ第２位相鮮明潜像を生成する工程とを備える
ぶれ画像をぶれ修正する方法。

【請求項11】

請求項１０に記載の方法において、
前記第１位相のデコンボリューションを実行する工程は、前記第１鮮明潜像コスト関数中に第１位相正規化空間マスクを使用し、
前記第２位相のデコンボリューションを実行する工程は、前記第２鮮明潜像コスト関数中に第２位相正規化空間マスクを使用し、
前記方法は、前記第１位相鮮明潜像を用いて前記第２位相正規化空間マスクを生成するぶれ画像をぶれ修正する方法。

【請求項12】

請求項１０に記載の方法において、さらに、
（ｉ）前記ぶれ画像中の異常領域を特定する工程と、
（ｉｉ）前記特定された異常領域に基づいて忠実度項マスクを生成する工程と、を備え、
前記第１位相のデコンボリューションを実行する工程は、前記第１鮮明潜像コスト関数中に前記忠実度項マスクを使用し、
前記第２位相のデコンボリューションを実行する工程は、前記第２鮮明潜像コスト関数中に前記忠実度項マスクを使用する
ぶれ画像をぶれ修正する方法。

【請求項13】

請求項１２に記載の方法において、さらに、
（ｉ）前記ぶれ画像に第３位相正規化空間マスクを用いて第３位相のデコンボリューションを実行し、前記主エッジを再構築して第３位相鮮明潜像を生成する工程と、
（ｉｉ）第４位相正規化空間マスクを用いて第４位相のデコンボリューションを実行し、前記テクスチャを再構築して第４位相鮮明潜像を生成する工程とを備え、前記第４位相正規化空間マスクは前記第３位相正規化空間マスクとは異なる
ぶれ画像をぶれ修正する方法。

【請求項14】

請求項１３に記載の方法において、さらに、
前記第２位相鮮明潜像を前記第４位相鮮明潜像と合成して出力鮮明潜像を生成する工程を備える
ぶれ画像をぶれ修正する方法。

【請求項15】

請求項１３に記載の方法において、
（ｉ）前記第３位相を実行する工程は、ラプラスまたは超ラプラス事前を仮定し、前記第３位相正規化空間マスクを含む第３位相アルゴリズムを用いて、リンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第４位相を実行する工程は、ガウス事前を仮定し、空間事前と前記第４位相正規化空間マスクとを含む第４位相アルゴリズムを用いて、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正する方法。

【請求項16】

請求項１０に記載の方法において、さらに、
（ｉ）前記ぶれ画像を輝度チャンネルと色度チャンネルを含む色空間に変換する工程と、
（ｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて、前記ぶれ画像の前記輝度チャンネルのデコンボリューションを実行する工程と、
（ｉｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて、前記ぶれ画像の前記色度チャンネルのデコンボリューションを実行する工程と、を備える
ぶれ画像をぶれ修正する方法。

【請求項17】

主エッジとテクスチャを含むぶれ画像をぶれ修正するシステムであって、
制御システムを備え、
前記制御システムは、
（ｉ）第１位相正規化空間マスクを用いて第１位相のデコンボリューションを実行し、前記主エッジを再構築して、再構築された主エッジを有する第１位相鮮明潜像を生成し、
（ｉｉ）第２位相正規化空間マスクを用いて第２位相のデコンボリューションを実行し、前記テクスチャを再構築して、第２位相鮮明潜像を生成し、前記第２位相正規化空間マスクは前記第１位相正規化空間マスクとは異なる
ぶれ画像をぶれ修正するシステム。

【請求項18】

請求項１７に記載のシステムにおいて、
前記制御システムは、前記第１位相鮮明潜像を用いて前記第２位相正規化空間マスクを生成する
ぶれ画像をぶれ修正するシステム。

【請求項19】

請求項１７に記載のシステムにおいて、
（ｉ）前記第１位相のデコンボリューションは、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含む第１位相アルゴリズムを用いてリンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第２位相のデコンボリューションは、ガウス事前を仮定し、空間事前と前記第２位相正規化空間マスクとを含む第２位相アルゴリズムを用いて、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正するシステム。

【請求項20】

請求項１７に記載のシステムにおいて、
前記制御システムは、
（ｉ）ぶれ画像中の異常領域を特定し、
（ｉｉ）前記特定された異常領域に基づいて忠実度項マスクを生成し、
前記第１位相のデコンボリューションは、前記忠実度項マスクを用いる第１位相アルゴリズムを用い、前記第２位相のデコンボリューションは、前記忠実度項マスクを用いる第２位相アルゴリズムを用いる
ぶれ画像をぶれ修正するシステム。

【請求項21】

請求項２０に記載のシステムにおいて、
（ｉ）前記第１位相アルゴリズムは、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含み、リンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第２位相アルゴリズムは、ガウス事前を仮定し、空間事前と前記第２位相正規化空間マスクとを含み、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正するシステム。

【請求項22】

請求項２０記載のシステムにおいて、
前記制御システムは、
（ｉ）前記ぶれ画像に第３位相正規化空間マスクを用いて第３位相のデコンボリューションを実行し、前記主エッジを再構築して第３位相鮮明潜像を生成し、
（ｉｉ）第４位相正規化空間マスクを用いて第４位相のデコンボリューションを実行し、前記テクスチャを再構築して第４位相鮮明潜像を生成し、前記第４位相正規化空間マスクは前記第３位相正規化空間マスクとは異なる
ぶれ画像をぶれ修正するシステム。

【請求項23】

請求項２２に記載のシステムにおいて、
前記制御システムは、前記第２位相鮮明潜像を前記第４位相鮮明潜像と合成して出力鮮明潜像を生成する
ぶれ画像をぶれ修正するシステム。

【請求項24】

請求項２２に記載のシステムにおいて、
（ｉ）前記第１位相アルゴリズムは、ラプラスまたは超ラプラス事前を仮定し、前記第１位相正規化空間マスクを含み、リンギング・アーチファクトとノイズを抑制し、
（ｉｉ）前記第２位相アルゴリズムは、ガウス事前を仮定し、空間事前と前記第２位相正規化空間マスクとを含み、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援し、
（ｉｉｉ）前記第３位相の正規化は、ラプラスまたは超ラプラス事前を仮定し、前記第３位相正規化空間マスクを含む第３位相アルゴリズムを使用して、リンギング・アーチファクトとノイズを抑制し、
（ｉｖ）前記第４位相の正規化は、ガウス事前を仮定し、空間事前と前記第４位相正規化空間マスクを含む第４位相アルゴリズムを使用して、強いリンギング・アーチファクトを導入することなく画像テクスチャを復元することを支援する
ぶれ画像をぶれ修正するシステム。

【請求項25】

請求項１７に記載のシステムにおいて、
前記制御システムは、
（ｉ）前記ぶれ画像を、輝度チャンネルと色度チャンネルを含む色空間に変換し、
（ｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて前記ぶれ画像の前記輝度チャンネルのデコンボリューションを実行し、
（ｉｉｉ）前記ぶれ修正された輝度チャンネルを用いて前記第２位相正規化空間マスクを生成し、
（ｉｖ）前記第１位相および前記第２位相のデコンボリューションを用いて前記ぶれ画像の前記色度チャンネルのデコンボリューションを実行する
ぶれ画像をぶれ修正するシステム。

【請求項26】

請求項１７に記載のシステムにおいて、さらに、
シーンの画像を撮像する撮像システムを備えるぶれ画像をぶれ修正するシステム。

【請求項27】

主エッジとテクスチャを含むぶれ画像をぶれ修正するシステムであって、
制御システムを備え、
前記制御システムは、
（ｉ）ラプラスまたは超ラプラス事前正規化を仮定する第１鮮明潜像コスト関数を用いて第１位相のデコンボリューションを実行し、再構築された主エッジを有する第１位相鮮明潜像を生成し、
（ｉｉ）ガウス事前正規化を仮定し、空間事前正規化を含む第２鮮明潜像コスト関数を用いて第２位相のデコンボリューションを実行し、再構築されたテクスチャを有する第２位相鮮明潜像を生成する
ぶれ画像をぶれ修正するシステム。

【請求項28】

請求項２７に記載のシステムにおいて、
前記第１位相のデコンボリューションは、前記第１鮮明潜像コスト関数中に第１位相正規化空間マスクを用い、
前記第２位相のデコンボリューションは、前記第２鮮明潜像コスト関数中に第２位相正規化空間マスクを用い、
前記制御システムは、前記第１位相鮮明潜像を用いて前記第２位相正規化空間マスクを生成する
ぶれ画像をぶれ修正するシステム。

【請求項29】

請求項２７に記載のシステムにおいて、
前記制御システムは、
（ｉ）前記ぶれ画像中の異常領域を特定し、
（ｉｉ）前記特定された異常領域に基づいて忠実度項マスクを生成し、
（ｉｉｉ）前記第１鮮明潜像コスト関数中に前記忠実度項マスクを使用し、
（ｉｖ）前記第２鮮明潜像コスト関数中に前記忠実度項マスクを使用する
ぶれ画像をぶれ修正するシステム。

【請求項30】

請求項２７に記載のシステムにおいて、
前記制御システムは、
（ｉ）前記ぶれ画像に第３位相正規化空間マスクを用いて第３位相のデコンボリューションを実行し、前記主エッジを再構築して第３位相鮮明潜像を生成し、
（ｉｉ）第４位相正規化空間マスクを用いて第４位相のデコンボリューションを実行し、前記テクスチャを再構築して第４位相鮮明潜像を生成し、前記第４位相鮮明潜像は前記第３位相鮮明潜像とは異なる
ぶれ画像をぶれ修正するシステム。

【請求項31】

請求項３０に記載のシステムにおいて、
前記制御システムは、前記第２位相鮮明潜像を前記第４位相鮮明潜像と合成して出力鮮明潜像を生成する
ぶれ画像をぶれ修正するシステム。

【請求項32】

請求項２７に記載のシステムにおいて、
前記制御システムは、
（ｉ）前記ぶれ画像を、輝度チャンネルと色度チャンネルとを含む色空間に変換し、
（ｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて前記ぶれ画像の前記輝度チャンネルのデコンボリューションを実行し、
（ｉｉｉ）前記第１位相および前記第２位相のデコンボリューションを用いて前記ぶれ画像の前記色度チャンネルのデコンボリューションを実行する
ぶれ画像をぶれ修正するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１３年７月２９日出願の米国仮特許出願第６１／８５９，７４０号、発明の名称「画像デコンボリューション用多重位相方法」の優先権を主張する。認められる限りにおいて、該米国仮特許出願第６１／８５９，７４０号の内容が引用により本出願において参照される。

【背景技術】

【0002】

カメラは一般に１つ以上の被写体を含むシーンを撮像するのに用いられる。残念なことに、画像によってはぶれてしまうことがある。例えば、そのシーンの中で、カメラの露出時間中にカメラが移動したり、および／または被写体が移動したりすると、画像がぶれることがある。さらに、撮像時にカメラが適切に合焦されていないと、画像がぶれることがある。

【0003】

ぶれを修正するために用いられるデコンボリューション方法は、非常に複雑かつ遅い傾向があり（ただし、非常に低品質の画像を生成するもっとも簡単な方法を除く）、ぶれ修正が施された画像は強いアーチファクトを多数含む傾向があり、これは多くの場合、画像中のエッジのまわりのリンギング状のアーチファクトである。また、ノイズを強く増幅する傾向がある。デコンボリューションを施された画像中のリンギング・アーチファクトとノイズ増幅を低減するのに役立つ技術は、細密なテクスチャ部分を減少させてしまう傾向がある。従って、得られる画像は不自然な、ポスタライズされた外観を呈する。その理由は、画像中の多くの領域が不自然に滑らかであり、かつテクスチャがぼけているとともに乱雑であるように見えるからである。

【0004】

ぶれが空間的に十分に均一である場合、ぶれて撮像された画像は、鮮明潜像をある点像分布関数（「ＰＳＦ」）＋ノイズを用いた畳み込み（コンボリューション）としてモデル化することができる。

【数1】

式１および本明細書中全体において、（ｉ）「Ｂ」はぶれ画像を表し、（ｉｉ）「Ｌ」は鮮明潜像を表し、（ｉｉｉ）「Ｋ」はＰＳＦカーネルを表し、（ｉｖ）「Ｎ」はノイズ（量子化誤差、圧縮アーチファクト等を含む）を表す。

【0005】

ノンブラインド・デコンボリューション問題は、ＰＳＦカーネルＫが既知の場合に限って鮮明潜像Ｌを復元するものである。あるいは、ブラインド・デコンボリューション問題は、ＰＳＦカーネルＫと鮮明潜像Ｌとの両方を復元するものである。ブラインド・デコンボリューション問題とノンブラインド・デコンボリューション問題は、ともに正確に解決することが困難である。その理由は、それらの問題は、たちが悪く、対応する光学的伝達関数（「ＯＴＦ」）、ＰＳＦのフーリエ変換におけるゼロ値および近ゼロ値のために、若干の情報が復元不能に失われてしまうからである。

【0006】

また、多くのぶれ画像は、鮮明潜像Ｌを復元する問題をさらに複雑にする領域を含む。例えば、ぶれ画像Ｂ中のセンサー・ピクセルが飽和点に達する極端に明るい領域Ｂは、決定されたＰＳＦカーネルＫと得られる鮮明潜像Ｌとに悪影響を及ぼすことがある。

【0007】

デコンボリューション問題を解決する常識的なアプローチには、この問題を最適化問題として再構成し、適切なコスト関数を最小化してデコンボリューション問題に対する解決法を見出すことが含まれる。

【0008】

デコンボリューションに用いられる比較的一般的なタイプのコスト関数は、正規化された最小二乗コスト関数である。典型的には、正規化最小二乗コスト関数は、（ｉ）１つ以上の忠実度項であって、最小値をぶれ過程の式（１）のモデル化と一致させる項、および（ｉｉ）１つ以上の正規化項であって、解決法をより安定にし、解決法についての事前情報、例えば散在性を強化するのに役立つ項のみからなる。

【0009】

鮮明潜像費用関数の一般化の一例は、次式（２）である。

【数2】

式（２）および本明細書中の他のすべての式において、（ｉ）下付文字ｐは忠実度項のノルムを示し、（ｉｉ）上付文字ｐは忠実度項の次数を示し、（ｉｉｉ）下付文字ｑは正規化項のノルムを示し、（ｉｖ）上付文字ｑは正規化項の次数を示し、Ｄ_ｘおよびＤ_ｙは、それぞれ、ｘおよびｙ方向における導関数を計算するのに用いるコンボリューション・カーネルを示す。式２は、ｐが２に等しい場合の正規化された最小二乗コスト関数である。式（２）中の第１番目の項、|| Ｋ ^＊ Ｌ − Ｂ ||_ｐ^ｐ、は、小さいノイズ項を用いて解が式（１）のぶれモデルを満足するようにさせる忠実度項である。さらに、式（２）において、||（ Ｄ_ｘ ^＊ Ｌ ）|| _ｑ^ｑ および ||（ Ｄ_ｙ ^＊ Ｌ ） ||_ｑ^ｑは、鮮明潜像であると考えることができる配列についての事前情報を注入するのに役立つ正規化項である。自然画像の導関数は散在する傾向があり、ほとんどの点において、導関数はゼロに近く、比較的に小数の点（エッジ点）においてのみこの値が大きい。正規化項はこの性質を強化するのに役立つ。式（２）において、ωは、正規化重み、すなわち忠実度項と正規化項との間の適切なバランスを達成するのに役立つ選定された定数である。この例は非常に単純なコスト関数を表すものである。多くの場合、より複雑なコスト関数が用いられる。例えば、１次または高次の導関数を含むより多くの忠実度項および正規化項を有するコスト関数が用いられる。

【0010】

画像導関数がガウス事前分布に従うものと仮定した場合、コスト関数における正規化項に対する次数（上付文字）およびノルム（下付き文字）は２に等しく（ｑ＝２）（「ガウス事前」または「２−ノルム」ともいう）、このコスト関数はしばしばガウス事前コスト関数と呼ばれる。残念なことに、ガウス事前コスト関数から得られる鮮明潜像は、多くの場合、高コントラストエッジの近傍において強いリンギング・アーチファクトを含む。

【0011】

得られる鮮明潜像を改善するために一または複数の正規化項において他の次数およびノルムの試行がなされている。例えば、画像導関数がラプラス事前分布に従うものと仮定した場合、コスト関数において得られる正規化項の次数とノルムは１に等しく（ｑ＝１）（「ラプラス事前分布」または「１−ノルム」ともいう）、また画像導関数が超ラプラス事前分布に従うものと仮定した場合、コスト関数において得られる正規化項の次数とノルムは１未満である（ｑ＜１）（「超ラプラス事前」または「ｑ−疑似ノルム」ともいう）。ラプラスまたは超ラプラス事前コスト関数を用いると、リンギング・アーチファクトは低減されるものの、画像の細密なテクスチャは多くの場合に復元されず、画像が不自然に見える。

【発明の概要】

【0012】

本発明は、既知のまたは推定（ｅｓｔｉｍａｔｅ）された点像分布関数を用いて、主エッジとテクスチャとを含むぶれ画像をぶれ修正するための方法を対象とする。一実施の形態では、この方法は、第１位相正規化空間マスクを用いて第１位相デコンボリューションを実行して、主エッジを再構築し、かつ、前記再構築された主エッジを有する第１位相鮮明潜像を生成する工程と、第２位相の正規化空間マスクを用いて第２位相のデコンボリューションを実行して、テクスチャを再構築して第２位相の鮮明潜像を生成し、前記第２位相正規化空間マスクは前記第１位相正規化空間マスクとは異なる工程と、を備える。本明細書に述べられているように、ここに提案された多重位相アプローチは高品質のぶれ修正された画像を生成する。

【0013】

一実施の形態において、前記第２位相正規化空間マスクは前記第１位相鮮明潜像を用いて生成される。さらに、本明細書において述べられているように、（ｉ）前記第１位相の正規化は、ラプラスまたは超ラプラス事前を仮定するとともに前記第１位相正規化空間マスクを含む第１位相アルゴリズムを備えてリンギング・アーチファクトおよびノイズを抑制することが可能であり、（ｉｉ）前記第２位相の正規化は、ガウス事前を仮定するとともに空間事前と第２位相正規化空間マスクとを含み、画像テクスチャを強いリンギング・アーチファクトを含むことなく復元することができる。

【0014】

本明細書において用いられているように、ラプラス事前の仮定は正規化項における１である次数（ｑ＝１）を意味し、超ラプラス事前の仮定は正規化項における１未満の次数（ｑ＜１）を意味し、ガウス事前の仮定は２に等しい次数（ｑ＝２）を意味する。

【0015】

さらに、本方法は、（ｉ）ぶれ画像中の異常値領域を特定する工程と、（ｉｉ）前記特定された異常値領域に基づいて忠実度項マスクを生成する工程とを備えていてもよい。さらに、第１位相アルゴリズムは忠実度項マスクを用いることができるとともに、第２位相アルゴリズムは忠実度項マスクを用いることができる。

【0016】

さらにまた、本方法は、（ｉ）ぶれ画像に、第３位相の正規化空間マスクを用いて第３位相デコンボリューションを実行して主エッジを再構築し、第３位相鮮明潜像を生成する工程と、（ｉｉ）第４位相正規化空間マスクを用いて第４位相デコンボリューションを実行してテクスチャを再構築し、第４位相鮮明潜像を生成し、前記第４位相正規化空間マスクは前記第３位相正規化空間マスクとは異なる工程と、を備えていてもよい。本実施の形態では、本方法は、前記第２位相鮮明潜像を前記第４位相鮮明潜像と合成して出力鮮明潜像を生成する工程を備えていてもよい。

【0017】

さらに、本方法は、（ｉ）前記ぶれ画像を、輝度チャンネルと色度チャンネルとを含む色空間に変換する工程と、（ｉｉ）前記第１位相および前記第２位相デコンボリューションを用いて前記ぶれ画像の輝度チャンネルのデコンボリューションを実行する工程と、（ｉｉｉ）前記ぶれ修正した輝度チャンネルを用いて前記第２位相正規化空間マスクを生成する工程、および（ｉｖ）前記第１位相および前記第２位相デコンボリューションを用いて前記ぶれ画像の色度チャンネルのデコンボリューションを実行する工程とを備えていてもよい。

【0018】

別の一実施の形態では、本方法は、（ｉ）ラプラスまたは超ラプラス事前正規化を仮定する第１の鮮明潜像コスト関数を用いて第１位相デコンボリューションを実行して、再構築された主エッジを有する第１位相鮮明潜像を生成する工程と、（ｉｉ）ガウス事前正規化を仮定する第２の鮮明潜像コスト関数および空間事前正規化を用いて第２位相デコンボリューションを実行して、再構築されたテクスチャを持つ第２位相鮮明潜像を生成する工程とを備える。

【0019】

また別の一実施の形態では、本発明は、制御システムを備えるぶれ画像をぶれ修正するシステムを対象とし、前記制御システムは、（ｉ）第１位相正規化空間マスクを用いて第１位相デコンボリューションを実行して主エッジを再構築し、かつ、前記再構築された主エッジを有する第１位相鮮明潜像を生成し、（ｉｉ）第２位相正規化空間マスクを用いて第２位相デコンボリューションを実行してテクスチャを再構築して第２位相鮮明潜像を生成し、前記第２位相正規化空間マスクは前記第１位相正規化空間マスクとは異なる。

【0020】

さらに別の一実施の形態による本発明のぶれ修正システムにおいて、前記制御システムは、（ｉ）ラプラスまたは超ラプラス事前正規化を仮定する第１の鮮明潜像コスト関数を用いて第１位相デコンボリューションを実行して再構築された主エッジを有する第１位相鮮明潜像を生成し、（ｉｉ）ガウス事前正規化を仮定する第２の鮮明潜像コスト関数および空間事前正規化を用いて第２位相デコンボリューションを実行して再構築されたテクスチャを持つ第２位相鮮明潜像を生成する。

【図面の簡単な説明】

【0021】

本発明の新規の特徴並びに本発明自体は、その構造および作用のいずれも添付の図面と以下の記載からもっともよく理解されるであろう。以下の記載では同様の参照符号は同様の部材を示す。

【0022】

【図1】図１は、本発明の特徴を有するカメラおよびコンピュータの簡略図である。

【0023】

【図2】図２は、本発明の特徴を有する多重位相画像デコンボリューション方法の第１の実施の形態を説明する図である。

【0024】

【図3A】図３Ａは、本発明の特徴を有する副位相１Ａ正規化空間マスクＮ_１の一部分の簡略説明図である。

【0025】

【図3B】図３Ｂは、本発明の特徴を有する副位相１Ｂ正規化空間マスクＮ_１の一部分の簡略説明図である。

【0026】

【図3C】図３Ｃは、本発明の特徴を有する位相２正規化空間マスクＮ_２の一部分の簡略説明図である。

【0027】

【図4A】図４Ａは、ぶれ画像の説明図である。

【0028】

【図4B】図４Ｂは、図４Ａのぶれ画像に副位相１Ａ処理を実行した後の鮮明潜像の説明図である。

【0029】

【図4C】図４Ｃは、図４Ａのぶれ画像に副位相１Ｂ処理を実行した後の鮮明潜像の説明図である。

【0030】

【図4D】図４Ｄは、図４Ａのぶれ画像に位相２処理を実行した後の最終鮮明潜像の説明図である。

【0031】

【図4E】図４Ｅは、図４Ａのぶれ画像の真正ＰＳＦの説明図である。

【0032】

【図4F】図４Ｆは、図４Ａのぶれ画像の推定されたＰＳＦの説明図である。

【0033】

【図5A】図５Ａは、本発明の特徴を有する別の多重位相デコンボリューション方法を説明する図である。

【0034】

【図5B】図５Ｂは、本発明の特徴を有する忠実度空間マスクＭの一部分の簡略説明図である。

【0035】

【図6A】図６Ａは、ぶれ画像を説明する図である。

【0036】

【図6B】図６Ｂは、位相２鮮明潜像を説明する図である。

【0037】

【図6C】図６Ｃは、本発明により生成された最終鮮明潜像の説明図である。

【0038】

【図7】図７は、多重位相ノンブラインド・デコンボリューション方法用のアルゴリズムを示すフローチャートである。

【0039】

【図8A】図８Ａは、位相２輝度鮮明潜像（Ｌ_{Ｐｈ２＿Ｌｕｍ}）、位相４輝度鮮明潜像（Ｌ_{Ｐｈ４＿Ｌｕｍ}）、および輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ）の簡略説明図である。

【0040】

【図8B】図８Ｂは、位相２Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｂｃｈｒ}）、位相４Ｃｂ色度鮮明潜像（Ｌ_{ｐｈ４＿ｃｂｃｈｒ}）、およびＣｂ色度チャンネル鮮明潜像（Ｌ_{Ｃｂｃｈｒ}）の簡略説明図である。

【0041】

【図8C】図８Ｃは、位相２Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｒｃｈｒ}）、位相４Ｃｒ色度鮮明潜像（Ｌ_{ｐｈ４＿ｃｒｃｈｒ}）、およびＣｒ色度チャンネル鮮明潜像（Ｌ_{Ｃｒｃｈｒ}）の簡略説明図である。

【0042】

【図8D】図８Ｄは、輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ）、Ｃｂ色度チャンネル鮮明潜像（Ｌ_{Ｃｂｃｈｒ}）、Ｃｒ色度チャンネル鮮明潜像（Ｌ_{Ｃｒｃｈｒ}）、および最終鮮明潜像（Ｌ_{Ｆｉｎａｌ}）の簡略説明図である。

【発明を実施するための形態】

【0043】

図１は、画像装置１０（例えば、デジタルカメラ）およびコンピュータ１２（ボックスとして図示）の簡略図である。画像装置１０および／またはコンピュータ１２はシステムと呼ぶことができる。既知のように、画像（図１には示さない）の撮像の際の画像装置１０の移動、および／または被写体（図１には図示しない）の移動により画像がぶれることがある。加えて、あるいは択一的に、画像中のぶれは他の物、例えば撮像時の適切に合焦されていない画像装置１０によって引き起こされることがある。

【0044】

概説として、ある実施の形態においては、本発明はぶれ画像の鮮明潜像を推定し、ぶれ画像をぶれ修正するための多数の多重位相アルゴリズムを対象とする。言い換えると、本発明は１つ以上の多重位相ノンブラインド画像デコンボリューション方法であって、効率的にリンギング・アーチファクトとノイズを抑制し、画像テクスチャを復元する方法を対象とする。ある実施の形態においては、提案された方法は、下記の特徴の１つ以上を用いることによってぶれ修正された画像の品質を顕著に向上している。すなわち、（ｉ）異なる適合性正規化（Ｌ１ラプラスまたは超ラプラス）事前正規化およびＬ２ガウスおよび空間事前正規化の結合された正規化を用いる多重位相デコンボリューション、（ｉｉ）忠実度項中に空間マスクを用いるハイライトおよび非ハイライト領域の個別デコンボリューション、および／または（ｉｉｉ）ぶれ修正された輝度チャンネルを用いて色度チャンネル用の適合性正規化マスクを生成する輝度および色度チャンネルの個別デコンボリューションの特徴を用いる。その結果、ここに提供される提案された多重位相アプローチは高品質のぶれ修正された画像を生成する。

【0045】

一実施の形態では、ここに提供されるように、撮像装置１０は、撮像する撮像システム１３と、ぶれ画像のカメラ内処理のためにデコンボリューションを行うための１つ以上のアルゴリズムを用いる制御システム１４とを備えていてもよい。選択的に、コンピュータ１２はぶれ画像のデコンボリューションのための１つ以上のアルゴリズムを用いる制御システム１６を備えていてもよい。いずれにしても、制御システム１４、１６は、ぶれ画像からぶれ修正された鮮明潜像を提供する。各制御システム１４、１６は１つ以上のプロセッサと回路を備えていてもよい。さらに、制御システム１４、１６のいずれか一方が、本明細書においてぶれ画像をぶれ修正すると述べられている１つ以上の方法を用いるソフトウエアを備えていてもよい。

【0046】

ここに述べられた方法は、ぶれ修正された画像の品質を顕著に向上するのに役立つ。得られたぶれ修正された画像は比較的少数のリンギング・アーチファクトとノイズ、およびより精細なテクスチャを含む。さらに、ある実施の形態では、より難しい画像をうまく扱うことが可能である。その理由は、クリップされたハイライト領域の周りの色付きリンギング・アーチファクトおよび強度のリンギング・アーチファクトが顕著に減少するからである。

【0047】

図２は、多重位相画像コンボリューション方法の第１の実施の形態を示す。一実施の形態において、多重位相画像コンボリューション方法は既知のまたは推定された点像分布関数を用いたノンブラインド・コンボリューション方法に用いることができる。図２の工程中の若干の工程の順序を入れ替えたり、同時に実行したりしてもよく、および／またはこれらの工程中の若干の工程を選択自由にしてもよい。本実施の形態において、多重位相画像デコンボリューション方法は２位相方法として提示される。ブロック２００において、ぶれ画像がアルゴリズムにより読み取られる。次いで、ぶれ画像の位相１処理がブロック２０２において実行されて主エッジを復元し、リンギング抑制を強調した主エッジが再構築される。次ぎに、位相２処理がブロック２０４において実行され、テクスチャが復元される。位相２処理が完了すると、出力された鮮明潜像がブロック２０５において得られる。本明細書において述べられているように、この２位相方法のおかげで、得られたぶれ修正された画像はリンギング・アーチファクトが比較的に少なく、テクスチャがより精細である。

【0048】

図２を参照すると、ブロック２０４において、適合性位相１正規化マスクＮ_１が生成され、ブロック２０６において、位相１正規化重みω_１が選択される。適合性正規化マスクＮ_１は粗くてもよく、ぶれ画像から計算することができる。正規化重みω_１は所望の量の正規化が達成されるように選択される。適切な正規化重みω_１の非限定的な例は、１ｅ−１、１ｅ−２、１ｅ−３または１ｅ−４であり、その値はＰＳＦその他の要因の正確さによって決まる。次いで、ブロック２０８において、位相１鮮明潜像コスト関数が最小化される。本明細書において述べられているように、ある実施の形態では、位相１鮮明潜像コスト関数はラプラス事前または超ラプラス事前および位相１適合性正規化マスクＮ_１を用いる。

【0049】

本明細書において述べられているように、位相１鮮明潜像コスト関数は複数回最小化可能であり、それぞれの最小化の次の最小化は前回よりも向上された正規化マスクＮ_１と、低減された正規化（より小さい正規化重みω_１）を用いて実行される。議論を分かり易くするために、位相１鮮明潜像コスト関数の第１の最小化を副位相１Ａ処理、位相１鮮明潜像コスト関数の第２の最小化を副位相１Ｂ処理と呼んでもよい。

【0050】

ある場合は、副位相１Ａおよび副位相１Ｂ処理は主エッジを正確に再構築するのに必要とされるものの全てである。選択的に、追加の処理をしてエッジの復元をよくすることが望まれる場合は、位相１鮮明潜像コスト関数の第３の最小化を副位相１Ｃ処理およびそれに続く最小化を副位相１Ｄ、１Ｅ、等と呼んでもよい。

【0051】

一般に、副位相１Ａの間、位相１コスト関数は、変数分割と交互最小化を約６−１０回反復することにより最小化することができる。副位相１Ａ処理の間は、画像の復元は粗く、リンギングの抑制が強調され、副位相１Ａ鮮明潜像はわずかにぶれた画像であり、リンギングはごくわずかである。

【0052】

副位相１Ａ処理が完了すると、ブロック２１０において、最小化の回数が評価されて所望回数の最小化が実行されたか否かが決定される。最小化の所望回数が２である場合、答えは否であり、副位相１Ｂ処理が開始される。副位相１Ｂ処理では、ブロック２１２において、位相１正規化マスクＮ_１が更新・向上され、ブロック２１４において、位相１正規化重みω_１を減少させることにより正規化が低減される。例えば、副位相１Ｂにおいて、位相１正規化マスクＮ_１をぶれ画像と位相１Ａ鮮明潜像との両方から計算することができる。さらに、非限定的な例として、位相１正規化重みω_１は、各次の副位相に対して約１、２、５、７または１０回少なくしてもよい。

【0053】

次ぎに、ブロック２０８において、位相１鮮明潜像コスト関数は、向上されたマスクＮ_１および低減された正規化を用いて再び最小化される。一般に、副位相１Ｂの間は、位相１コスト関数は、変数分割と交互最小化を約６−１０回反復することにより最小化することができる。副位相１Ｂ処理後、リンギングの抑制を強調したより正確な復元画像が得られる。

【0054】

副位相１Ｂ処理後、ブロック２１０において、最小化の回数を評価して所望回数の最小化が実行されたか否かが決定される。選択的に、所望回数が３以上の場合、更新された位相１正規化マスクＮ_１と、さらに低減された位相１正規化重みω_１とを用いて副位相１Ｃ処理が実行される。このループは、所望のレベルのエッジが復元されるまで繰り返すことができる。

【0055】

位相２処理が開始されると、ブロック２１６において適合性位相２正規化マスクＮ_２が生成され、ブロック２１８において位相２正規化重みω_２が選択されて、所望レベルの正規化が達成される。例えば、位相２において、ぶれ画像と、位相１処理の最終結果（位相１鮮明潜像）とから位相２正規化マスクＮ_２を計算することができる。次いで、ブロック２２０において、位相２鮮明潜像コスト関数が最小化される。本明細書において述べられているように、ある実施の形態では、位相２鮮明潜像コスト関数は、位相２正規化マスクＮ_２、ガウス事前を用いて画像テクスチャを修復かつ復元し、空間事前を用いて強いリンギング・アーチファクトの導入を阻止することが可能である。位相２コスト関数は、変数分割および交互最小化（一般に、例えば、約３回反復）により最小化することが可能である。

【0056】

位相２コスト関数の最小化を終了した後、得られた鮮明潜像がブロック２０５において出力される。選択的に、位相２コスト関数の最小化は、各次の工程では前回よりも向上された位相２正規化マスクＮ_２を用いて、１回以上（多少、位相１と同様に）反復することができる。

【0057】

本発明では、（ｉ）位相１において、アルゴリズムはぶれ画像をぶれ修正するが、リンギング・アーチファクトとノイズを効率よく抑制し、（ｉｉ）位相２において、アルゴリズムは画像テクスチャを復元する。この設計を用いると、この多段アルゴリズムはリンギングをほとんど含まず、ノイズがごく少なく、自然なテクスチャを有するぶれ修正された画像を生成することができる。さらに、ある実施の形態では、この方法は非常に迅速である。これは変数分割および交互最小化を用いてコスト関数を最小化することができるからである。

【0058】

上述の２位相アルゴリズムは、副位相１Ａおよび副位相１Ｂ（ともにラプラスまたは超ラプラス事前を用いる）が２つの別個の位相であると考えられる３位相アルゴリズムであってもよい。

【0059】

非限定的な一実施の形態として、位相１鮮明潜像コスト関数（副位相１Ａ、１Ｂ、等の処理に用いられている）はノンブラインド・デコンボリューションに対して次の形をとることができる。

【数3】

【0060】

式３において、および本明細書を通して、（ｉ）ｃ（Ｌ）は鮮明潜像推定コスト関数であり、（ｉｉ）Ｌは鮮明潜像であり、（ｉｉｉ）ＫはＰＳＦカーネルであり、（ｉｖ）Ｂはぶれ画像であり、（ｖ）Ｄ_ｘおよびＤ_ｙは１次偏微分作用素であり、（ｖｉ）「α_１」は第１忠実度重みパラメータ、「α_２」は第２忠実度重みパラメータであり、忠実度項同士の間の適切なバランスを設定して忠実度項同士の間の最良の折衷を図るのに役立つものであり、（ｖｉｉ）ω_１は平坦領域に対する第１正規化重みであり、（ｖｉｉｉ）下付文字ｐは忠実度項に対するノルムを示し、上付文字ｐは忠実度項の次数を示し、（ｉｘ）下付文字ｑは正規化項に対するノルムを示し、上付文字ｑは正規化項に対する次数を示し、（ｘ）Ｎ_１は位相１処理用の第１位相正規化空間マスクである。本明細書において述べられているように、位相１処理において、ラプラス事前が仮定されている場合、ｑは１に等しく（ｑ＝１）、超ラプラス事前が仮定されている場合、ｑは１未満（ｑ＜１）である。

【0061】

式３に対して他の忠実度項も使用可能である。例えば、１つだけ忠実度項を使用することが可能である（α_２＝０）。しかしながら、ある実施の形態では、１次の導関数を含む複数の忠実度項を含み、それらにより重みをかける（第２忠実度重みパラメータは第１忠実度重みパラメータよりも大きい（α_２＞＞α_１））と良い結果が得られる。ある実施の形態では、導関数を含まない忠実度項が存在することが必要である（α_１＞０）。その理由は、さもないと、正規化項はすべて導関数を含み、Ｌを更新するために用いられる閉じた式（ｃｌｏｓｅｄ ｆｏｒｍ ｆｏｒｍｕｌａ）の分母に０が存在することになるからである。非限定的な一実施の懈怠では、第１忠実度重みパラメータα_１を０．００１（α_１＝０．００１）に等しく設定し、（ｉｉ）第２忠実度重みパラメータα_２を１に等しく（α_２＝１）設定することができる。しかしながら、他の値も用いることができる。この設計を用いると、式（３）のコスト関数は、導関数を有する忠実度項に主として依存することになる。画像導関数を持つ１つ以上の忠実度項を用いるとリンギングを低減するのに役立つ。

【0062】

式（３）は、２に等しい（ｑ＝２）忠実度の次数とノルムを用い、ラプラス事前（ｑ＝１）を仮定して、次のように書き直すことができる。

【数4】

【0063】

非限定的な一実施の形態では、式（４）は変数分割および交互最小化により最小化することができる。場合によっては、リンギングを抑制するために、ほぼ６〜１０回反復することが必要である。ある実施の形態では、式（４）のコスト関数を最小化するために、補助変数Ｗ_ｘおよびＷ_ｙを有する下記の関数を生成してもよい。

【数5】

【0064】

式（５）において、補助配列Ｗ_ｘは正規化項中の偏導関数Ｄ_ｙ＊Ｌを、補助配列Ｗ_ｙは正規化項中の偏導関数Ｄ_ｙ＊Ｌをそれぞれ置き換え、（ｉｉ）２つのペナルティ項||Ｗ_ｘ−Ｄ_ｘ＊Ｌ||_２^２および||Ｗ_ｙ−Ｄ_ｙ＊Ｌ）||_２^２が存在し、それぞれ強制的にＷ_Ｘ≒Ｄ_Ｘ＊ＬおよびＷ_ｙ≒Ｄｙ＊Ｌとし、（ｉｉｉ）βは、ペナルティ項の影響をバランスするのに役立てるために追加されたペナルティ重みである。式（５）は、Ｗ_ｘ、Ｗ_ｙおよびＬをそれぞれ交互に最小化することにより反復的に最小化することが可能である。これらすべての場合において、容易に評価可能な閉じた式が少なくとも存在する。ある実施の形態において、交互にＷ_ｘ、Ｗ_ｙ、およびＬを繰り返し最小化する際にペナルティ重みβを増加させることが共通して行われる。非限定的な一実施の形態では、ペナルティ重みβ＝１を第１回目の反復において用いることができ、後続の各回の反復においてペナルティ重みβをある倍率（非限定的な一実施例では、例えば、倍率２）で増加させることができる。

【0065】

下記の最小化式をＷ_ｘおよびＷ_ｙに対して用いることができる。

【数6】

【数7】

【数8】

式（８）において、ｓｔｈｒは軟判定しきい値関数（配列の各要素に適用される）である。

【0066】

本明細書に述べられているように、式（５）の鮮明潜像コスト関数の最小値に対する閉じた式は下記の通りである。

【数9】

式（９）において、Ｆはフーリエ変換作用素であり、Ｄは下記の値を有する。

【数10】

【0067】

位相１正規化空間マスクＮ_１（および位相２に対するＮ_２）は、ノイズとリンギングを抑制するのに使用できる正規化項中の個々のピクセルに対する個々の重みの配列である。非限定的な一例として、正規化空間マスク中のピクセルは０と１の間の任意の値を持つことができる。選択的に、正規化空間マスクはピクセルが０または１のいずれかの値を有する二値マスクであってもよい。マスクによる乗算は点別に行われる。

【0068】

正規化空間マスクを生成する方法としては多数の方法が可能である。非限定的な一例を挙げると、位相１における正規化空間マスクＮ_１の評価は少なくとも２回実行され、（ｉ）第１回目（副位相１Ａ処理用）はぶれた原画増から計算された粗いマスクを用いて、（ｉｉ）第２回目（副位相１Ｂ処理用）は副位相１Ａ処理後に得られた鮮明潜像Ｌとぶれ画像Ｂとを用いて計算されるより細密なマスクを用いて行われる。

【0069】

例えば、副位相１Ａ処理のためには、正規化空間マスクＮ１はぶれた原画像中の平坦領域におけるピクセルに対してより高い重みを持つことができ、ぶれた原画像のエッジ領域におけるピクセルに対してより低い重みを持つことができる。例えば、ハイパスフィルターをぶれた原画像に用いて平坦領域のピクセルとエッジ領域におけるピクセルを特定することができる。図３Ａは、ピクセルごとに異なる値を有する副位相１Ａ正規化空間マスクＮ_１ ３００の一部分の簡略説明図である。

【0070】

さらに、副位相１Ｂに対して、正規化空間マスクＮ_１をぶれた画像と、副位相１Ａ処理から得られた鮮明潜像Ｌとの両方を用いて計算することができる。一実施の形態では、副位相１Ｂ処理用の正規化空間マスクＮ_１は平坦領域におけるピクセルに対してより高い重みを持ち、エッジ領域におけるピクセルに対してより低い重みを持つ。例えば、ハイパスフィルタをぶれた原画像と副位相１Ａ処理から得られた鮮明潜像Ｌの両方に用いて平坦領域におけるピクセルと、エッジ領域におけるピクセルとを特定することができる。このように、副位相１Ｂ処理において用いた正規化空間マスクＮ_１は副位相１Ａ処理において用いた正規化空間マスクＮ_１よりもより正確である。図３Ｂは、ピクセル毎に異なる値を持つ副位相１Ｂ正規化空間マスクＮ_１ ３０２の一部分の簡略説明図である。

【0071】

ある実施の形態では、副位相１Ｂコスト関数は副位相１Ａコスト関数（例えば式３）と同じである。ただし、より弱い正規化が用いられている（正規化重みω_１がより小さい値）とともに、第１位相空間マスクＮ_１が改善されている点が異なる。非限定的な一例として、副位相１Ｂのより弱い正規化を用いると、正規化重みω_１の値は、位相１Ａの対応する値よりも約５、１０、１５または２０倍弱い値にすることができる。

【0072】

加えて、本明細書において述べられているように、位相１は、同じコスト関数（例えば、式３）を持つ副位相１Ｃ処理（またはそれ以上の処理、例えば副位相１Ｄ、副位相１Ｅ等の処理）を備え、後続の各副位相処理はより弱い正規化（より小さい正規化重みω_１）を含み、および／または前回の処理工程からの鮮明潜像に基づいた改善された正規化マスクＮ_１を含む。

【0073】

位相１は比較的にきれいな、リンギングとノイズのない画像を生成するが、それらの画像はテクスチャを欠いている。対照的に、位相２はテクスチャの復元に重点を置いている。それを行うために、ある実施の形態では、位相２アルゴリズムは、（ｉ）ラプラスまたは超ラプラス事前ほどテクスチャを抑制しないガウス事前（ｑ＝２）を仮定し、（ｉｉ）ガウス事前正規化項中の位相２正規化空間マスクＮ_２を仮定し、（ｉｉｉ）位相１の結果に基づく第２事前を仮定して、リンギングを抑制する。適切な位相２鮮明潜像コスト関数の非限定的な一例は下記の形をしている。

【数11】

【0074】

式（１１）において、（ｉ）ω_２は平坦領域に対する位相２正規化重みであり、（ｉｉ）Ｎ_２は位相２処理に対する位相２正規化空間マスクであり、（ｉｉｉ）Ｌ_{ｐｈａｓｅ１}は位相１処理（例えば副位相１Ｂの出力）の終点において評価された鮮明潜像を示し、（ｉｖ）||Ｌ−Ｌ_{ｐｈａｓｅ１}||_２^２は空間事前であり、（ｖ）σは空間事前用の正規化重みであり、空間事前のための適切な重みを提供する。式（１１）において、（ｉ）この式の正規化項の次数とノルム（ｑ＝２）に平方が用いられているのは、ガウス事前の仮定はテクスチャの復元によりよいからであり、（ｉｉ）空間事前がリンギングとノイズを抑制するのに用いられる。

【0075】

位相２処理について、変数分割手法を用いて効率よく式（１１）のコスト関数の分割と交互最小化することができる。この例では、ガウス事前が仮定されているけれども、正規化項中の空間マスクＮ_２は少なくとも閉じた式を誘導することが不可能である。式（１１）から誘導された位相２用の新しいコスト関数は下記の形をとることができる。

【数12】

【0076】

式（１２）において、非限定的な一実施の形態において、第１回目の反復においてペナルティ重みβ＝１を用いることができ、ペナルティ重みβをある倍率（例えば、非限定的な一例においては、倍率２）で増加させることができる。非限定的な一例として、適切な正規化重みσはほぼ１ｅ−２と１ｅ−３の間であってもよい。しかしながら、βとσは他の値を用いてもよい。

【0077】

式（１２）のコスト関数は、Ｌ、Ｗ_ｘおよびＷ_ｙについて変数分割および交互最小化することにより最小化することができる。ほとんどの場合、反復回数を多くすることは不必要であるようだ。Ｌ、Ｗ_ｘおよびＷ_ｙ並びにコスト関数を更新する式は、分割後、下記のように表現することができる。

【数13】

【数14】

【0078】

本明細書において述べられているように、少なくとも式（１２）の鮮明潜像コスト関数の閉じた式が下記のように存在する。

【数15】

ここで、Ｄは式（１０）に記載のものと同じである。

【0079】

位相２において、正規化空間マスクＮ_２は、これを再び用いてノイズとリンギングを抑制することができ、ぶれ画像と位相１処理の終わり（例えば、副位相１Ｂの終わり）に推定された鮮明潜像の両方から計算することができる。一実施の形態において、正規化空間マスクＮ_２は平坦領域のピクセルに対してより高い重みを持ち、エッジ領域のピクセルに対してはより低い重みを持つ。例えば、高域フィルタをぶれた原画像と位相１処理の結果の両方に用いて平坦領域のピクセルとエッジ領域のピクセルを同定することができる。位相２処理において用いられる空間マスクＮ２は、位相１処理において用いられる最終空間マスクＮ_１よりも精確であることが必要である。図３Ｃはピクセル毎に異なる値を示す位相２正規化空間マスクＮ_２ ３０４の一部分の簡略説明図である。

【0080】

図４Ａは、ぶれ画像４００の説明図である。図４Ｂは、図４Ａのぶれ画像４００の副位相１Ａ処理後の鮮明潜像４０２の説明図である。副位相１Ａ処理後、リンギングの抑制を強く強調した画像復元がなされ、副位相１Ａ鮮明潜像４０２はリンギングの非常に少ないわずかにぶれた画像である。図４Ｃは、図４Ａのぶれ画像４００の副位相１Ｂ処理後の鮮明潜像４０４の説明図である。副位相１Ｂ処理は、リンギングまたはノイズの非常に少ない鮮明潜像４０４を生成するが、この画像は細密なテクスチャを欠く（ポスタライズされているように見える）。図４Ｄは図４Ａのぶれ画像４００の位相２処理後の最終鮮明潜像４０６の説明図である。位相２処理後に生成された鮮明潜像４０６はテクスチャを復元してより自然に見える復元画像を実現する。このように、本明細書に述べられているように、多重位相アルゴリズムはリンギング・アーチファクトとノイズはほとんど無いが、良好なテクスチャを含む高品質のぶれ修正された画像を得るのに役立つ。

【0081】

図４Ｅは、図４Ａのぶれた画像４００の真性ＰＳＦ４０８の説明図である。真性ＰＳＦ４０８が知られるのは、実験が設定され、ぶれ画像４００が真性ＰＳＦ４０８を用いて人為的にぶれさせられた場合のみである。

【0082】

図４Ｆは図４Ａのぶれ画像４００の推定ＰＳＦ４１０の説明図である。推定ＰＳＦ４１０は、ブラインドデコンボリューション・アルゴリズムを用いて推定することができる。次いで、本明細書中に記載されたノンブラインド・デコンボリューション方法の一つにおいてＰＳＦ４１０を用いて最終鮮明潜像の全体を得ることができる。

【0083】

なお、上述の位相１Ａおよび位相２コスト関数はそれぞれ非限定的な例であり、位相１Ａおよび位相２コスト関数に大幅な修正を施すことが可能である。例えば、位相１Ａおよび位相２コスト関数を修正して（ｉ）忠実度項中にラプラスノルムを仮定する（ｐ＝１）ことができ、（ｉｉ）忠実度項中に超ラプラス（疑似ノルム）を仮定する（ｐ＜１）ことができ、および／または（ｉｉｉ）忠実度項中に空間マスクを使用することができる。そのようなコスト関数は、上述のものと同様の変数分割アルゴリズムを用いて最小化することができる。使用可能な変数分割手法の別の非限定的な一例が、Ｓｒｏｕｂｅｋ ａｎｄ Ｍｉｌａｎｆａｒの論文（Ｆ．Ｓｒｏｕｂｅｋ，Ｐ．Ｍｉｌａｎｆａｒ：Ｒｏｂｕｓｔ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｖｉａ Ｆａｓｔ Ａｌｔｅｒｎａｔｉｎｇ Ｍｉｎｉｍｉｚａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ Ｉｍ．Ｐｒｏｃ，２０１２）に記載されている。この論文の内容は、認められる限りにおいて、引用により本明細書において参照される。

【0084】

上述のように、位相１鮮明潜像コスト関数および位相２鮮明潜像コスト関数は上述のものよりもより一般的に表現することができる。例えば、式（３）の位相１コスト関数は下記のように、より一般的に表現することができる。

【数16】

選択的に、式（１６）のコスト関数用の正規化項は１ノルム階調度に対して||Ｎ_１｜ｇｒａｄＬ｜||_１^１と表現することができる。

【0085】

さらに、式（１１）の位相２コスト関数は下記のようにより一般的に表現することができる。

【数17】

【0086】

式（１６）および（１７）中に用いられている正確な（ｅｘａｃｔ）忠実度項は変動可能である。一実施の形態において、忠実度項は下記のように表現することができる。

【数18】

式（１８）において、α_０、α_ｌ、α_２、α_１１、α_１２およびα_２２は忠実度項重みである。忠実度項重みはゼロ（０）または他の重みを選択することができる。その結果、式（１８）において、このコスト関数は導関数有りの場合と、導関数なしの場合の両方に適用できる。式（１６）および（１７）中のコスト関数は、上述のものと同様の変数分割アルゴリズムを用いて最小化することができる。例えば、これらの式は上述の式（６，７，９および１３，１４，１５）とほとんど同じであるが、α_１＋α_２Ｄは、いずれもα_０＋α_１ｃｏｎｊ（Ｆ（Ｄ_ｘ））Ｆ（Ｄ_ｘ）＋α_２ｃｏｎｊ（Ｆ（Ｄ_ｙ））Ｆ（Ｄ_ｙ）＋α_１１Ｃｏｎｊ（Ｆ（Ｄ_ｘｘ））Ｆ（Ｄ_ｘｘ）＋α_１２ｃｏｎｊ（Ｆ（Ｄ_ｘｙ））Ｆ（Ｄ_ｘｙ）＋α_２２ｃｏｎｊ（Ｆ（Ｄ_ｙｙ））Ｆ（Ｄ_ｙｙ）により置き換えられる。

【0087】

デコンボリューションは線形ぶれモデルからのどんな逸脱にも非常に影響を受けやすい。実際の画像は、センサーの飽和によりクリップされたハイライトをしばしば含んでいる。クリッピングは非線形度が強く、従来の線形ぶれモデルに反する。これらのハイライトはぶれ修正された画像中に多くのリンギング・アーチファクトを生じさせる傾向がある高コントラストのエッジを有する。上述の多重位相アルゴリズムはバーンアウトしたハイライトその他の異常を取り扱う能力を持たない。しかしながら、本明細書において述べられているように、本発明のある実施の形態において、忠実度重みパラメータ第１忠実度項空間マスクＭを位相１および位相２コスト関数の１つ以上の忠実度項に加えてこれらの異常の特別の処置を可能にすることができる。

【0088】

本明細書において述べられているように、式１６の位相１コスト関数を下記のように書き直して忠実度項空間マスクＭを含めることができる。

【数19】

【0089】

さらに、式１７の位相２コスト関数を下記のように書き直して忠実度項空間マスクＭを含めることができる。

【数20】

【0090】

式１９および２０において、Ｍはあるピクセル、例えば、異常ピクセルの特別の処理を可能にする適合性忠実度空間マスクである。例えば、忠実度空間マスクＭを用いて処理されている画像の領域を、クリップされたハイライトを含まない領域に限定する（例えば異常から十分に遠い領域に処理を制限する）ことができる。この設計を用いると、ハイライト領域を別個に、そしてクリップされたハイライトを含まない領域からのものとは異なるパラメータを用いてぶれ修正することができる。

【0091】

図５Ａは、ぶれ画像５００中のバーンアウトしたハイライトその他の異常を処理する能力を持つ多重位相画像デコンボリューション方法を説明する。図５Ａのステップのいくつかの順序は入れ替えること、同時に行うこと、および／または選択的にすることが可能である。この実施の形態において、多重位相デコンボリューション方法は、異常（例えば、ハイライト）用の特別の処理を含む４位相ノンブラインド画像デコンボリューション方法であると考えることができる。

【0092】

さらに詳しくは、この実施の形態において、４位相ノンブラインド画像デコンボリューション方法は、（１）位相１処理５０２、（ｉｉ）位相２処理５０４、（ｉｉｉ）位相３処理５０６、および（ｉｖ）位相４処理５０８に分割することができる。この実施の形態において、（ｉ）位相１処理５０２は上述の位相１処理２０２と同様であり、図２に図示されているが、位相１コスト関数は忠実度空間マスクＭを含み、（ｉｉ）位相２処理５０４は上述し図２に示した位相２処理２０４と同様であるが、位相２コスト関数は忠実度空間マスクＭを含み、（ｉｉｉ）位相３処理５０６は上述し図２に示した位相１処理２０２と同様であり、（ｉｖ）位相４処理５０８は上述し図２に示した位相２処理２０４と同様である。

【0093】

この設計を用いると、（ｉ）４位相方法の位相１処理５０２を用いて非異常領域におけるエッジを復元することができ、（ｉｉ）４位相方法のの位相２処理５０４を用いて非異常領域におけるテクスチャを復元することができ、（ｉｉｉ）４位相方法の位相３処理５０８を用いて異常領域におけるエッジを復元することができ、（ｉｖ）４位相方法の位相４処理５０８を用いて異常領域におけるテクスチャを復元することができる。このように、この実施の形態では、（ｉ）位相１処理５０２および位相２処理５０４を用いて非異常領域を復元し、（ｉｉ）位相３処理５０６および位相４処理５０８を用いて異常領域を復元する。

【0094】

図５Ａを参照すると、ブロック５００において、ぶれ画像がアルゴリズムにより読み込まれる。次いで、ブロック５１０において、ぶれ画像が検査され、異常ピクセル（領域）と非異常ピクセル（領域）が特定される。一実施の形態では、異常領域はハイライトされた領域（センサが飽和した領域）であり、非異常領域はハイライトされない領域である。例えば、特定の輝度閾値を超える輝度値を有するぶれ画像中のピクセルを異常ピクセルとラベルすることができ、該特定の輝度閾値を下回る輝度値を有するピクセルを非異常ピクセルとラベルすることができる。ある実施の形態では、異常ピクセルの近傍のピクセルも異常ピクセルとラベルすることができる。

【0095】

異常領域と非異常領域が特定された後、これらの領域の個別処理を開始することができる。ブロック５１２において、適合性忠実度空間マスクＭが生成される。非限定的な一例として、忠実度空間マスクＭは０または１のいずれかの値を有する二値マスクであってもよい。この例では、忠実度空間マスクＭ_１は異常ピクセルとラベルされたピクセルに対して０の値を持ち、非異常ピクセルとラベルされたピクセルに対して１の値を持つことができる。この例では、（ｉ）、異常ピクセルとその近傍のピクセルは０の値を付与され、（ｉｉ）残余のピクセルは１の値を付与されるようにすることができる。

【0096】

選択的に、忠実度空間マスクＭのピクセルは０と１の間の値を持つことができる。この例では、（１）異常ピクセルとその近傍のピクセルに０の値を付与することができ、（ｉｉ）異常ピクセルから十分に隔たったピクセルに１の値が付与され、（ｉｉｉ）残余のピクセルは異常ピクセルからどの程度隔たっているかに依存する０と１の間の値を持つ。このようにすると遷移が滑らかになる。図５Ｂは、忠実度空間マスクＭ５５０の一部分の簡略説明図である。

【0097】

再び図５Ａを参照すると、次ぎにブロック５０２において、位相１処理が行われ、非異常領域において主エッジがリンギング抑制を強く強調して復元される。ここでの位相１処理５０２は、図２を参照して上述した位相１処理２０２と同様であるが、位相１コスト関数は忠実度項中に忠実度空間マスクＭを含み、これに加えて適合性正規化空間マスクＮ_１およびラプラスまたは超ラプラス事前正規化を含む。この実施の形態では、忠実度空間マスクＭを用いて異常から十分に隔たった領域にデコンボリューションを制限し、それにより異常の周りのリンギングを抑制する。図２に記載の実施の形態と同様に、位相１処理５０２は副位相１Ａ、１Ｂ、１Ｃ等を含むことができ、各後続の副位相は正規化が低減され、適合性正規化空間マスクが改善されている。

【0098】

非異常領域の位相１処理が完了した後、ブロック５０４において非異常領域の位相２処理５０４が実行されてテクスチャが復元される。ここでの位相２処理５０４は図２を参照して上述した位相２処理と同様であるが、位相２コスト関数は、忠実度項中に忠実度空間マスクＭを含み、これに加えて、適合性空間マスクＮ_２、ガウス事前正規化および空間事前正規化を含む。位相２処理５０４において、忠実度空間マスクＭがコスト関数の忠実度項中に用いられてデコンボリューションを異常から十分隔たった領域に制限する。これを用いて異常の周りのリンギングを抑制することができ、異常領域はより強い正規化を得ることができる。

【0099】

その結果、位相２鮮明潜像は比較的に少数のリンギング・アーチファクトとノイズを含み、より多数の精細なテクスチャを含む。異常領域の位相２処理５０４から生成された位相２鮮明潜像を用いて最終鮮明潜像５１６を生成する。

【0100】

次に、ブロック５０６において、位相３処理が実行されて異常領域において主エッジがリンギング抑制に強く強調して復元される。ここでの位相３処理５０６は図２を参照して上述した位相１処理２０２と同様であるが、（ｉ）より強い正規化を用いてリンギングを抑制し、（ｉｉ）位相３処理に用いられる忠実度空間マスクＭ（「位相３忠実度空間マスクＭ_３」）は異常領域が復元されるように変化させる必要がある。例えば、位相３処理コスト関数は（ｉ）忠実度空間マスクＭ_３を完全にスキップし、画像を完全に復元するか、または（ｉｉ）１−位相１忠実度空間マスクＭを位相３忠実度空間マスクＭ_３として用い（Ｍ_３＝１−Ｍ）、異常領域に復元を限定する。図２に記載された実施の形態と同様に、位相３処理５０６は副位相３Ａ、３Ｂ、３Ｃ等を含んでいてもよく、各後続の副位相は低減された正規化と改善された適合性正規化空間マスクとを有する。

【0101】

異常領域の位相３処理が完了後、位相４処理を実行してブロック５０８における異常領域にテクスチャを復元し、位相４鮮明潜像を生成する。ここでの位相４処理５０８は、図２を参照して上述した位相２処理と同様であるが、（ｉ）より強い正規化を用いてリンギングを抑制し、（ｉｉ）位相４処理に用いられる忠実度空間マスクＭ（「位相４忠実度空間マスクＭ_４」）は異常が復元されるように変化させる必要がある。例えば、位相４処理コスト関数は、（ｉ）忠実度空間マスクＭ_４を完全にスキップし、画像を完全に復元するか、または（ｉｉ）１−位相２忠実度空間マスクＭを位相４忠実度空間マスクＭ_４として用い（Ｍ_４＝１−Ｍ）、異常領域に復元を限定する。

【0102】

次に、ブロック５１４において、位相２鮮明潜像を位相４鮮明潜像と合成して出力鮮明潜像５１８を作成する。例えば、位相４鮮明潜像の異常領域を位相２鮮明潜像の非異常領域と合成して出力鮮明潜像５１６を生成する。この設計により、本明細書において述べられている多重位相方法を用いてハイライト領域を非ハイライト領域からの異なるパラメータを用いて個別にぶれ修正することができる。

【0103】

一実施の形態では、最終出力（鮮明潜像Ｌ）は下記のように表現することができる。

【数21】

式（２１）において、（ｉ）Ｍ_{Ｂｌｅｎｄ}はブレンド・マスクであり、（ｉｉ）Ｌ_{Ｐｈａｓｅ２}は、位相２処理後の鮮明潜像であり、（ｉｉｉ）Ｌ_{Ｐｈａｓｅ４}は位相４処理後の鮮明潜像である。一実施の形態では、ブレンド・マスクＭ_{Ｂｌｅｎｄ}は位相１処理５０２および位相２処理５０４において用いられている忠実度空間マスクＭと同じである。この設計を用いると、マスクＭが二値でない場合、異常領域から十分隔たった領域のピクセルは位相２処理５０４の結果を付与され、異常領域のピクセルは位相４処理５０８の結果を付与され、両者の間に滑らかな混合がなされている。

【0104】

この実施の形態では、ぶれ画像中に異常領域が存在しない場合（ブロック５１０において異常が同定されない場合）、位相３および４処理５０６、５０８をスキップすることが可能であり、最終出力鮮明潜像５１６は位相２鮮明潜像である。

【0105】

さらに、ユーザーは、異常が検出されたか否かにかかわらず、（ｉ）位相３および４処理５０６、５０８をスキップすること、および（ｉｉ）位相２鮮明潜像を最終出力鮮明潜像５１６として用いることを選択することも可能である。さらに、位相３および４処理５０６、５０８をスキップすることはアルゴリズムの速度を改善する。

【0106】

非異常領域の位相１処理５０２用の適切な位相１コスト関数の非限定的な一例は下記の通りである。

【数22】

【0107】

非限定的な一実施例では、忠実度重みパラメータα_１は０．００１に等しく設定することができ（α_１＝０．００１）、忠実度重みパラメータα_２は１に等しく設定することができる（α_２＝１）。その結果、コスト関数はリンギングを低減する一助となる導関数を有する忠実度項に主に依存する。式（２２）において、Ｍは適合性忠実度空間マスクであり、Ｎ_１は適合性正規化空間マスクであり、ω_１は平坦化領域における正規化重みである。

【0108】

式（２２）のコスト関数は変数分割および交互最小化により最小化することができる。ある場合は、リンギングを抑制するためにほぼ６−８回の反復が必要である。分割後の式（２２）のコスト関数は下記のように表現することができる。

【0109】

【数23】

【0110】

非限定的な一実施例では、第１回の反復においてペナルティ重みγ＝β＝１を用い、倍率√２（γについて）で増加し、各反復においてそれぞれ（βについて）２倍にする。

【0111】

最小化式は下記の通りである。

【数24】

【数25】

【数26】

【0112】

さらに、少なくとも式（２３）の鮮明潜像コスト関数用の閉じた式が下記のように存在する。

【数27】

式（２６）において、Ｄは式（１０）と同じ値を有する。

【0113】

非異常領域の位相２処理５０４用の適切な位相２コスト関数の非限定的な一例は下記の通りである。

【0114】

【数28】

【0115】

式（２８）の位相２コスト関数は変数分割および交互最小化により最小化することができる。ある場合は、３以下の回数の反復が必要のようだ。式（２８）のコスト関数は、分割後、下記のように表現することができる。

【数29】

【0116】

非限定的な一実施の形態では、ペナルティ重みγ＝β＝１が第１の反復において用いられ、倍率√２で増加され（αについて）、各反復においてそれぞれ２で増加される（βについて）。

【0117】

以下の最小化式を用いることができる。

【数30】

【数31】

【数32】

【0118】

さらに、少なくとも下記の式（２９）の鮮明潜像コスト関数用の閉じた式が存在する。

【数33】

式（３３）において、Ｄは式（１０）のものと同じ値を有する。

【0119】

異常領域の位相３処理５０６用の位相３コスト関数の非限定的な一例は下記の通りである。

【数34】

式（３４）は本明細書中に述べられている式（４）と同じである。この位相３コスト関数では、忠実度空間マスクＭ_３は用いられていない。式（３４）の位相３コスト関数は繰り返して最小化することができ、式（３４）の位相３コスト関数は反復的に最小化可能であり、一つの可能性は、式６、７および９に記載されているような変数分割と交互最小化を含む。適合性正規化空間マスクＮ_１は位相２鮮明潜像を用いて計算することができる。ハイライト領域における復元はより多くの正規化を用いるので、より粗雑である。

【0120】

位相４処理５０８では、若干のテクスチャが異常中およびその周りに復元される。異常領域の位相４処理５０８用の適切な位相４コスト関数の非限定的な一例は、下記の通りである。

【0121】

ぶれ画像ＢとＰＳＦカーネルＫが与えられると、位相４コスト関数を下記のように表現することができる。

【数35】

式（３５）は上述の式（１１）と幾分似ている。この位相４コスト関数では、忠実度空間マスクＭ_４は用いない。式（３５）の位相４コスト関数は反復的に最小化可能であり、１つの可能性は、式１３−１５と幾分似ている変数分割と交互最小化を含む。一実施の形態では、少なくとも下記のような閉じた式が存在する。

【数36】

【0122】

式（３５）の位相４コスト関数は各反復においてＬとＬ_{Ｐｈａｓｅ３}との間の差を制限することにより鮮明潜像を後処理する選択肢を含む。このアイデアはリンギングを低減するが、ある場合には、悪いポスタリゼーションを引き起こす。従って、この選択肢はデフォールトではオフに切り替えられている。

【0123】

図６Ａはハイライト（異常）領域６１０（白で示す）と非ハイライト（非異常）領域６１２の簡略説明図である。図６Ｂは位相２鮮明潜像６０２の簡略図である。位相２処理の終了時、異常領域の復元は生じなかった。

【0124】

図６Ｃは位相２鮮明潜像６０２（図６Ｂに示す）を位相４鮮明潜像と結合することにより生成された最終鮮明潜像６０４の簡略説明図である。最終鮮明潜像６０４は異常領域の復元を含む。

【0125】

図６Ｂおよび６Ｃを参照すると、位相２処理の結果は、リンギングは非常に少ないが、異常空間は適切に復元されておらず、異常の周りの領域はぶれたままである。位相４処理は異常の周りの異常形状と若干のテクスチャを復元するのに役立つ。

【0126】

さらに別の実施形態では、本発明は、輝度−色度色空間における異常処理を伴う多重位相ノンブラインド・デコンボリューション方法を対象とする。本明細書において述べられているように、ぶれ修正した画像は、一般に、線形画像形成とぶれモデルからの逸脱、ＰＳＦの不正確その他の要因により引き起こされたリンギング・アーチファクトが強い。したがって、リンギング・アーチファクトは排除するのが非常に難しい。さらに、本明細書において述べられているように、ＲＧＢ（赤、青、緑色空間）の各色チャンネルに個別にぶれ修正が適用されると、リンギング・アーチファクトは強い色を持つことがある。したがって、着色アーチファクトがより目立ち、かつ不快である。

【0127】

一実施の形態では、本発明は輝度（輝度成分）を色度（色成分）から分離する若干の色空間においてぶれ修正を実行することにより着色アーチファクトを低減する。この実施の形態では、ヒトの視覚系が色度の鮮明さに対して感受性が劣るので、正規化は色度チャンネルについて向上して着色リンギングを低減することが可能である。さらに、ぶれ修正された輝度チャンネルを用いて残余の色度チャンネルの適合性正規化マスクを生成することが可能である。

【0128】

さらに、ある実施の形態では、位相の数を色度チャンネルに対して減少させてもよい。これにより、アルゴリズムがスピードアップされる。

【0129】

図７は、主としてＹＣｂＣｒ色空間において実行される多重位相ノンブラインド・画像デコンボリューション方法用のアルゴリズムのフローチャートである。ステップ７００において、ぶれ画像はシステムに入力され、原画像データが読み込まれ、原画像データのモザイク除去がなされ、画像が輝度チャンネルと色度チャンネルとを含む色空間（例えば、ＹＣｂＣｒ色空間）に変換される。一実施の形態では、上述し、図５に図示された４位相アプローチである多重位相アプローチは輝度チャンネル７０１Ｌに、次いで２つの色度チャンネル７０１Ｃに対して実行される。Ｃｂ色度チャンネルまたはＣｒ色度チャンネルのいずれかを第１または第２の色度チャンネルと呼ぶことができる。

【0130】

さらに詳しくは、ぶれ画像はブロック７０１Ｌに入力され、輝度チャンネルの処理が開始する。ブロック７１０において、ぶれ画像は検査されて異常ピクセル（領域）と非異常ピクセル（領域）とが同定される（ブロック５１０と同様に）。ブロック７１２Ｌにおいて、適合性忠実度空間マスクＭが生成される（ブロック５１２と同様に）。

【0131】

ブロック７０２Ｌにおいて、位相１処理が輝度チャンネルに対して実行されて非異常領域の主エッジがリンギングを強く抑制して復元される（ブロック５０２と同様に）。位相１処理７０２Ｌは、忠実度項中の忠実度空間マスクＭとこれに加えて適合性正規化空間マスクＮ_１およびラプラスまたは超ラプラス事前正規化を含む位相１コスト関数を含む。位相１処理７０２Ｌは副位相１Ａ、１Ｂ、１Ｃ等を含むことができ、各後続の副位相は低減された正規化と、改善された適合性正規化空間マスクを有する。

【0132】

次に、ブロック７０４Ｌにおいて、輝度チャンネルに対する非異常領域の位相２処理が実行されてテクスチャを復元し（ブロック５０４と同様に）、位相２輝度鮮明潜像（Ｌ_{Ｐｈ２＿Ｌｕｍ}）を生成する。位相２処理は忠実度項中の忠実度空間マスクＭを有する位相２コスト関数と、これに加えて適合性正規化空間マスクＮ_２、ガウス事前正規化および空間事前正規化とを含む。

【0133】

引き続き、ブロック７０６Ｌにおいて、位相３処理が輝度チャンネルに対して実行されて異常領域においてリンギング抑制を強調した主エッジを復元する（ブロック５０６と同様に）。位相３処理７０６Ｌは副位相３Ａ、３Ｂ、３Ｃ等を含むことができ、各後続の副位相は低減された正規化と改善された適合性正規化空間マスクを有する。

【0134】

次に、ブロック７０８Ｌにおいて、位相４処理が輝度チャンネルに対して実行されて異常領域にテクスチャを復元し、位相４輝度鮮明潜像（Ｌ_{Ｐｈ４＿Ｌｕｍ}）を生成する（ブロック５０８と同様に）。

【0135】

次に、ブロック７１４Ｌにおいて、図８Ａを参照すると、位相２輝度鮮明潜像（Ｌ_{Ｐｈ２＿Ｌｕｍ}）８１０を位相４輝度鮮明潜像（Ｌ_{Ｐｈ４＿Ｌｕｍ}）８１２と合成して輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ） ８１４を生成する。例えば、位相４鮮明潜像の異常領域を位相２鮮明潜像の非異常領域と結合して輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ）８１４を生成する。

【0136】

戻って図７を参照すると、ブロック７０１Ｃにおいて、２つの色度チャンネルの処理７０１Ｃが開始する。ブロック７１５において、輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ）８１４を用いて適合性正規化空間マスクＮ_１が更新／生成される。

【0137】

ブロック７０２Ｃにおいて、位相１処理が各色度チャンネルに対して実行されて非異常領域における主エッジがリンギング抑制を強調して復元される。各色度チャンネルに対して、位相１処理７０２Ｌは忠実度項中に忠実度空間マスクＭを含む位相１コスト関数と、これに加えて適合性正規化空間マスクＮ_１とラプラスまたは超ラプラス事前正規化とを含む位相１コスト関数を用いることを含んでいてもよい。各色度チャンネルについて、位相１処理７０２Ｃは副位相１Ａ、１Ｂ、１Ｃ等を含んでいてもよく、各後続副位相は低減された正規化と改善された適合性正規化空間マスクとを有する。

【0138】

次に、ブロック７０４Ｃにおいて、非異常領域の位相２処理が２つの色度チャンネルに対して実行されてテクスチャが復元され（ブロック５０４と同様に）、（ｉ）位相２Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｂｃｈｒ}）と、（ｉｉ）位相２Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｒｃｈｒ}）とを生成する。各色度チャンネルについて、位相２処理は忠実度項中に忠実度空間マスクＭと、これに加えて適合性正規化空間マスクＮ_１、ガウス事前正規化および空間事前正規化を有する位相２コスト関数を使用することを含んでいてもよい。

【0139】

引き続き、ブロック７０６Ｃにおいて、２つの色度チャンネルに対して位相３処理を実行して異常領域においてリンギング抑制を強調した主エッジを復元する（ブロック５０６と同様に）。各色度チャンネルについて、位相３処理７０６Ｃは副位相３Ａ、３Ｂ、３Ｃ等を含んでいてもよく、各後続副位相は低減された正規化と改善された適合性正規化空間マスクとを有する。

【0140】

次に、ブロック７０８Ｃにおいて、各色度チャンネルに対して位相４処理を実行して異常領域においてリンギング抑制を強調した主エッジを復元し、（ｉ）位相４Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ４＿ｃｂｃｈｒ}）と、（ｉｉ）位相４Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ４＿ｃｒｃｈｒ}）とを生成する。

【0141】

次に、ブロック７１４Ｃにおいて、（ｉ）図８Ｂを参照すると、位相２Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｂｃｈｒ}）８１６が位相４Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ４＿Ｃｂｃｈｒ}）８１８と合成されてＣｂ色度チャンネル鮮明潜像（Ｌ_{Ｃｂｃｈｒ}）８２０を生成し、（ｉｉ）図８Ｃを参照すると、位相２Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ２＿ｃｒｃｈｒ}）８２２が位相４ Ｃｒ鮮明潜像（Ｌ_{Ｐｈ４＿ｃｒｃｈｒ}）８２４と合成されてＣｒ色度チャンネル鮮明潜像（Ｌ_{Ｃｒｃｈｒ}）８２６を生成する。例えば、位相２Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ２＿Ｃｂｃｈｒ}）８１６の非異常領域は位相４Ｃｂ色度鮮明潜像（Ｌ_{Ｐｈ４＿Ｃｂｃｈｒ}）８１８の異常領域と結合してＣｂ色度チャンネル鮮明潜像（Ｌ_{Ｃｂｃｈｒ}）８２０を生成することができる。同様に、位相２Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ２＿Ｃｒｃｈｒ}）８２２の非異常領域が位相４Ｃｒ色度鮮明潜像（Ｌ_{Ｐｈ４＿Ｃｒｃｈｒ}）８２４の異常領域と結合してＣｒ色度チャンネル鮮明潜像（Ｌ_{Ｃｒｃｈｒ}）８２６を生成することができる。

【0142】

引き続き、ブロック７２０において、最終処理が行われる。このブロックでは、図８Ｄを参照すると、輝度チャンネル鮮明潜像（Ｌ_Ｌｕｍ）８１４、Ｃｂ色度チャンネル鮮明潜像（Ｌ_{Ｃｂｃｈｒ}）８２０、およびＣｒ色度チャンネル鮮明潜像（Ｌ_{Ｃｒｃｈｒ}）８２６をＲＧＢ色空間に変換し、γおよびコントラスト曲線を適用し、かつ他の操作（例えば、鮮明化）を実行して、最終鮮明画像（Ｌ_{Ｆｉｎａｌ}）８２８を生成することができる。最後に、ブロック７１６において、最終鮮明潜像（Ｌ_{Ｆｉｎａｌ}）８２８が出力される。

【0143】

本発明はここに詳細に開示されているが、本発明の現在好適であると考えられる実施の形態の単なる例示であること、添付の請求項に記載された以外に個々に示された構成または設計の詳細については何ら限定されないことが了解される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】