知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社デンソーの特許一覧 ▶ トヨタ自動車株式会社の特許一覧 ▶ 株式会社ミライズテクノロジーズの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125791
(43)【公開日】2024-09-19
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20240911BHJP
G06T 5/73 20240101ALI20240911BHJP
G03B 15/00 20210101ALI20240911BHJP
【ＦＩ】
H04N23/60 500
G06T5/00 710
G03B15/00 G
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023033857
(22)【出願日】2023-03-06
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】520124752
【氏名又は名称】株式会社ミライズテクノロジーズ
(74)【代理人】
【識別番号】110000110
【氏名又は名称】弁理士法人 快友国際特許事務所
(72)【発明者】
【氏名】深代 優輝
(72)【発明者】
【氏名】宮脇 正太郎
(72)【発明者】
【氏名】佐藤 功二
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057BA15
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5B057CE09
5B057DA17
5B057DB02
5B057DB09
5B057DC30
5C122DA01
5C122EA37
5C122EA68
5C122FB03
5C122FH10
5C122FH15
5C122FH23
5C122HA88
5C122HB01
5C122HB06
(57)【要約】
【課題】ボケ補正処理の精度を高めつつ、演算負荷を軽減することが可能な技術を提供する。
【解決手段】撮像装置（１０）は、レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、ボケ補正処理部（２６）を備えている。ボケ補正処理部は、（ａ）切出画像データを取得する処理と、（ｂ）補正後の切出画像データを算出する処理と、（ｃ）再構成画像データを取得する処理と、（ｄ）演算範囲と、フィルタと、再構成範囲を変更して、（ａ）－（ｃ）の処理を繰り返し実行する処理と、（ｅ）補正後の画像データを取得する処理と、を実行するように構成されている。演算範囲の位置および形状が、対応する再構成範囲の位置および形状と、対応する再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される。
【選択図】図６
【解決手段】撮像装置（１０）は、レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、ボケ補正処理部（２６）を備えている。ボケ補正処理部は、（ａ）切出画像データを取得する処理と、（ｂ）補正後の切出画像データを算出する処理と、（ｃ）再構成画像データを取得する処理と、（ｄ）演算範囲と、フィルタと、再構成範囲を変更して、（ａ）－（ｃ）の処理を繰り返し実行する処理と、（ｅ）補正後の画像データを取得する処理と、を実行するように構成されている。演算範囲の位置および形状が、対応する再構成範囲の位置および形状と、対応する再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される。
【選択図】図６
【特許請求の範囲】
【請求項1】
レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、
ボケ補正処理部（２６）を備えており、
前記ボケ補正処理部は、
（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、
（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、
（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、
（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、
（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、
を実行するように構成されており、
前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される、撮像装置（１０）。
ボケ補正処理部（２６）を備えており、
前記ボケ補正処理部は、
（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、
（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、
（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、
（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、
（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、
を実行するように構成されており、
前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される、撮像装置（１０）。
【請求項2】
前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしている、請求項１に記載の撮像装置。
【請求項3】
前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回る、請求項２に記載の撮像装置。
【請求項4】
前記光学系が、光軸に対して対称な特性を有する、請求項１に記載の撮像装置。
【請求項5】
前記撮像素子の受光面（２０ａ）が、前記光軸から離れるほど、前記レンズ側に近づく湾曲形状を有する、請求項４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示の技術は、撮像装置に関する。
【0002】
特許文献１には、撮像装置が開示されている。この撮像装置では、画像を一律のサイズに分割して、分割画像のそれぞれに対してフィルタを用いたボケ補正処理を行う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第７０２７７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像を一律のサイズに分割して、分割画像のそれぞれに対してボケ補正処理を行う場合、ボケの度合いが小さい箇所に合わせたサイズで画像を分割すると、ボケの度合いが大きい箇所についてはボケ補正処理の精度が低下してしまう。逆に、ボケの度合いが大きい箇所に合わせたサイズで画像を分割すると、ボケの度合いが小さい箇所については演算負荷が過剰なものとなってしまう。本明細書では、ボケ補正処理の精度を高めつつ、演算負荷を軽減することが可能な技術を提供する。
【課題を解決するための手段】
【0005】
本明細書が開示する撮像装置は、レンズを含む光学系を介して撮影した画像を示す画像データを出力する撮像素子と、ボケ補正処理部を備えている。前記ボケ補正処理部は、（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、を実行するように構成されている。前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される。
【0006】
画像データにおける画素ごとのボケの度合いは、それぞれの画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じたものとなる。なお、本明細書でいうＰＳＦの大きさとは、ＰＳＦの広がりの度合いを示す指標のことをいう。例えばＰＳＦが輝度の分布として示される場合には、ＰＳＦの大きさは輝度が所定のしきい値以上となる範囲の広さを意味する。上記の構成によれば、演算範囲の位置および形状が、再構成範囲の位置および形状と、再構成範囲に含まれる画素の位置に対応したＰＳＦの大きさに応じて設定されるので、それぞれの切出画像データのサイズを、その箇所でのボケの度合いに合わせたものとすることができる。このような構成とすることによって、ボケ補正処理の精度を高めつつ、演算負荷を軽減することができる。
【図面の簡単な説明】
【0007】
【図1】実施例の撮像装置１０の全体構成を模式的に示す図である。
【図2】実施例の撮像装置１０においてボケ補正処理部２６が行う処理のフローチャートである。
【図3】実施例の撮像装置１０において、補正前の画像データから、補正後の画像データが生成される様子を模式的に示す図である。
【図4】実施例の撮像装置１０における光学系１８を模式的に示す図である。
【図5】実施例の撮像装置１０における中心からの画素数とＰＳＦの大きさの関係を示すグラフである。
【図6】実施例の撮像装置１０における再構成範囲と演算範囲を模式的に示す図である。
【発明を実施するための形態】
【0008】
本明細書が開示する一例の撮像装置では、前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしていてもよい。
【0009】
再構成範囲に含まれる画素の位置に対応したＰＳＦの大きさは、一定ではなく、ある程度のばらつきが存在する。このため、再構成範囲に含まれる画素のうち、その位置に対応したＰＳＦが大きい画素の近傍では演算範囲を大きく設定し、その位置に対応したＰＳＦが小さい画素の近傍では演算範囲を小さく設定した場合、演算範囲の中心位置は再構成範囲の中心位置からオフセットすることになる。上記の構成によれば、再構成範囲に含まれる画素の位置に対応したＰＳＦのばらつきに応じた演算範囲を設定することができる。
【0010】
本明細書が開示する一例の撮像装置では、前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回ってもよい。なお、ＰＳＦの誤差としては、例えば平均二乗誤差（Mean Squared Error）を用いてもよいし、平均絶対誤差（Mean Absolute Error）を用いてもよいし、ＰＳＦの大きさの差を用いてもよい。
【0011】
上記の構成によれば、再構成範囲に含まれる画素の位置に対応したＰＳＦの大きさをほぼ同程度とすることができる。このような構成とすることによって、ボケ補正処理の精度を高めつつ、演算負荷を軽減することができる。
【0012】
本明細書が開示する一例の撮像装置では、前記光学系が、光軸に対して対称な特性を有してもよい。
【0013】
上記の構成によれば、光軸に対して対称に設定された演算範囲および再構成範囲に対して、共通のフィルタを用いることができる。
【0014】
本明細書が開示する一例の撮像装置では、前記撮像素子の受光面が、前記光軸から離れるほど、前記レンズ側に近づく湾曲形状を有してもよい。
【0015】
仮に撮像素子の受光面が、光軸に対して垂直な平面形状を有する場合、光軸から離れるほど、ＰＳＦの大きさが急激に増大していく。上記の構成によれば、光軸からの距離に応じてＰＳＦの大きさが増大していくことを抑制することができる。
【実施例0016】
（全体構成）
図１に示す実施例の撮像装置１０は、例えば、車両に搭載されて使用される。撮像装置１０は、撮像部１２と、画像処理部１４を備えている。
図１に示す実施例の撮像装置１０は、例えば、車両に搭載されて使用される。撮像装置１０は、撮像部１２と、画像処理部１４を備えている。
【0017】
撮像部１２は、車両の周囲を撮像し、撮像した画像を示す画像データを画像処理部１４に出力する。撮像部１２は、レンズ１６を含む光学系１８と、撮像素子２０と、撮像制御部２２を備えている。
【0018】
光学系１８は、撮像装置１０の外部から入射する光を、レンズ１６を介して、撮像素子２０の受光面２０ａに投影する。撮像素子２０は、受光面２０ａに縦横に並んで配置された、複数の撮像センサ２０ｂを備えている。それぞれの撮像センサ２０ｂは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであってもよいし、ＣＣＤ（Charge Coupled Device）センサであってもよい。それぞれの撮像センサ２０ｂは、受けた光の赤色成分、緑色成分および青色成分の強さ（輝度）を示す電気信号を生成する。撮像素子２０は、それぞれの撮像センサ２０ｂごとの、すなわちそれぞれの画素ごとの、受けた光の赤色成分、緑色成分および青色成分の強さ（輝度）を示すデジタルデータを、画像データとして出力する。撮像制御部２２は、例えばＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）等を備えるマイクロコントローラにより実装されており、ＲＯＭに記憶されたプログラムに従ってＣＰＵが処理を実行することによって動作する。撮像制御部２２は、撮像素子２０による撮像動作を制御する。
【0019】
画像処理部１４は、現像処理部２４と、ボケ補正処理部２６と、記憶部２８を備えている。現像処理部２４と、ボケ補正処理部２６は、例えば、いずれも、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えるマイクロコントローラにより実装されており、ＲＯＭに記憶されたプログラムに従ってＣＰＵが処理を実行することによって動作する。記憶部２８は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等のメモリデバイスにより実装されている。撮像装置１０から入力された画像データは、記憶部２８に記憶される。現像処理部２４は、記憶部２８に記憶された画像データに対して、デモザイク、色補正、ホワイトバランス、ガンマ補正等の各種の現像処理を実行する。ボケ補正処理部２６は、記憶部２８に記憶された画像データに対して、後述するボケ補正処理を実行する。記憶部２８は、画像データだけでなく、現像処理部２４における現像処理や、ボケ補正処理部２６におけるボケ補正処理で必要となる、各種のフィルタやパラメータ等を記憶している。画像処理部１４においては、撮像部１２から入力された画像データに対して、まず現像処理部２４が現像処理を行い、その後にボケ補正処理部２６がボケ補正処理を実行してもよい。逆に、撮像部１２から入力された画像データに対して、まずボケ補正処理部２６がボケ補正処理を行い、その後に現像処理部２４が現像処理を実行してもよい。画像処理部１４は、現像処理部２４による現像処理および／またはボケ補正処理部２６によるボケ補正処理がされた画像データを、各種の外部デバイス（図示せず）に出力可能である。
【0020】
（ボケ補正処理部２６が行う処理）
以下では、図２のフローチャートを参照しながら、ボケ補正処理部２６が行う処理について説明する。
以下では、図２のフローチャートを参照しながら、ボケ補正処理部２６が行う処理について説明する。
【0021】
Ｓ２では、ボケ補正処理部２６は、演算回数ｉを０に設定する。
【0022】
Ｓ４では、ボケ補正処理部２６は、演算回数ｉを１増加させる。
【0023】
Ｓ６では、ボケ補正処理部２６は、ｉ回目の演算において使用する、演算範囲の位置および形状と、再構成範囲の位置および形状を、それぞれ特定する。本実施例では、演算回数ｉ（ｉ＝１，・・・，Ｎ）における演算範囲の位置および形状と、演算回数ｉ（ｉ＝１，・・・，Ｎ）における再構成範囲の位置および形状は、記憶部２８に予め記憶されている。
【0024】
Ｓ８では、ボケ補正処理部２６は、ｉ回目の演算において使用するフィルタを特定する。本実施例では、演算回数ｉ（ｉ＝１，・・・，Ｎ）において使用するフィルタは、フィルタバンクの形式で、記憶部２８に予め記憶されている。
【0025】
Ｓ１０では、ボケ補正処理部２６は、補正前の画像データから、Ｓ６で特定された演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する。
【0026】
Ｓ１２では、ボケ補正処理部２６は、Ｓ１０で取得された切出画像データに対して、Ｓ８で特定されたフィルタを用いたボケ補正処理を実行し、補正後の切出画像データを算出する。なお、本実施例の撮像装置１０では、Ｓ１２では種々のボケ補正処理を実行可能である。例えば、ＯＴＦ（Optical Transfer Function）を元に生成した逆フィルタや、ウィナーフィルタなどを用いたフーリエ変換を伴うボケ補正処理が実行されてもよい。あるいは、ボケを含んだ補正前画像データとフィルタを入力とし、ボケが除去された補正後画像データを出力とするように、事前に学習されたニューラルネットワーク等の機械学習モデルを用いて、ボケ補正処理が実行されてもよい。
【0027】
Ｓ１４では、ボケ補正処理部２６は、Ｓ１２で算出された補正後の切出画像データから、Ｓ６で特定された再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する。
【0028】
Ｓ１６では、ボケ補正処理部２６は、演算回数ｉが予め設定されたしきい値Ｎに達したか否かを判断する。演算回数ｉがしきい値Ｎに達していない場合（ＮＯの場合）、処理はＳ４に戻る。演算回数ｉがしきい値Ｎに達すると（ＹＥＳとなると）、処理はＳ１８へ進む。
【0029】
Ｓ１８では、ボケ補正処理部２６は、１回目からＮ回目までの各演算においてＳ１４で取得された再構成画像データを結合して、補正後の画像データを取得する。Ｓ１８の後、図２の処理は終了する。
【0030】
図３は、図２の処理によって、補正前の画像データから、補正後の画像データが生成される様子を模式的に示している。図３の上部に示すように、ｎ回目（ｎ＝１，・・・，Ｎ）の演算においては、補正前の画像データから、演算範囲ｎに含まれる画素のデータが切り出されて、切出画像データが取得される。また、フィルタバンクから、ｎ回目の演算で使用するフィルタｎが特定される。そして、演算範囲ｎの切出画像データに対してフィルタｎを用いたボケ補正処理が実行される。その後、補正後の切出画像データから、再構成範囲ｎに含まれる画素のデータが切り出されて、再構成画像データが取得される。図３の中間部および下部に示すように、このような再構成画像データの取得が、ｎ＋１回目の演算、ｎ＋２回目の演算、・・・についても同様に実行される。このようにして、１回目の演算からＮ回目の演算までで得られた再構成画像データを結合することによって、補正後の画像データを取得することができる。
【0031】
（ボケ補正処理部２６の事前設定）
上記のように、ボケ補正処理部２６が行う処理でｉ回目（ｉ＝１，・・・，Ｎ）の演算において使用する、演算範囲の位置および形状、再構成範囲の位置および形状、およびフィルタについては、撮像部１２が出力する画像データの画素のそれぞれの位置に対応するＰＳＦ（Point Spread Function）の大きさに基づいて、予め設定されている。以下では、画像データの画素のそれぞれの位置に対応するＰＳＦの大きさと、ＰＳＦの大きさに基づく、ｉ回目の演算で使用する再構成範囲、演算範囲およびフィルタの設定について説明する。
上記のように、ボケ補正処理部２６が行う処理でｉ回目（ｉ＝１，・・・，Ｎ）の演算において使用する、演算範囲の位置および形状、再構成範囲の位置および形状、およびフィルタについては、撮像部１２が出力する画像データの画素のそれぞれの位置に対応するＰＳＦ（Point Spread Function）の大きさに基づいて、予め設定されている。以下では、画像データの画素のそれぞれの位置に対応するＰＳＦの大きさと、ＰＳＦの大きさに基づく、ｉ回目の演算で使用する再構成範囲、演算範囲およびフィルタの設定について説明する。
【0032】
（ＰＳＦの大きさ）
図４に示すように、撮像素子２０の受光面２０ａは、光軸ＯＸが受光面２０ａの中心に位置するように配置されている。また、撮像素子２０の受光面２０ａは、光軸ＯＸから離れるほどレンズ１６に近づくように湾曲している。しかしながら、撮像素子２０の受光面２０ａは、像面ＩＰとの比較では、光軸ＯＸから離れるほどレンズ１６から遠ざかる形状を有している。このため、図５に示すように、撮像素子２０から出力される画像データにおいては、光軸ＯＸからの画角が大きいほど、すなわち受光面２０ａの中心からの画素数が大きいほど、ＰＳＦは大きくなる。このような画素のそれぞれの位置に対応したＰＳＦの大きさは、光学系１８の特性に基づいて、予め算出しておくことができる。
図４に示すように、撮像素子２０の受光面２０ａは、光軸ＯＸが受光面２０ａの中心に位置するように配置されている。また、撮像素子２０の受光面２０ａは、光軸ＯＸから離れるほどレンズ１６に近づくように湾曲している。しかしながら、撮像素子２０の受光面２０ａは、像面ＩＰとの比較では、光軸ＯＸから離れるほどレンズ１６から遠ざかる形状を有している。このため、図５に示すように、撮像素子２０から出力される画像データにおいては、光軸ＯＸからの画角が大きいほど、すなわち受光面２０ａの中心からの画素数が大きいほど、ＰＳＦは大きくなる。このような画素のそれぞれの位置に対応したＰＳＦの大きさは、光学系１８の特性に基づいて、予め算出しておくことができる。
【0033】
（再構成範囲の設定）
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲を全て並べたときに、重なりや隙間が生じることなく、画像データ全体が埋め尽くされるように、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状が設定される（図３の右側参照）。また、本実施例の撮像装置１０では、多くの画素についてなるべく一括してボケ補正処理が行えるように、その位置に対応したＰＳＦの大きさがほぼ同程度である画素が同じ再構成範囲に含まれるように、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状が設定される。具体的には、基準となる画素ＰＲと、判定対象の画素ＰＴについて、それぞれの位置に対応したＰＳＦの間の誤差が所定のしきい値以下となる場合には、判定対象の画素ＰＴを基準となる画素ＰＲと同じ再構成範囲に含ませる。ＰＳＦの間の誤差としては、例えば平均二乗誤差（Mean Squared Error）を用いてもよいし、平均絶対誤差（Mean Absolute Error）を用いてもよいし、ＰＳＦの大きさの差を用いてもよい。このようにして設定された、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状は、予め記憶部２８に記憶される。
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲を全て並べたときに、重なりや隙間が生じることなく、画像データ全体が埋め尽くされるように、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状が設定される（図３の右側参照）。また、本実施例の撮像装置１０では、多くの画素についてなるべく一括してボケ補正処理が行えるように、その位置に対応したＰＳＦの大きさがほぼ同程度である画素が同じ再構成範囲に含まれるように、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状が設定される。具体的には、基準となる画素ＰＲと、判定対象の画素ＰＴについて、それぞれの位置に対応したＰＳＦの間の誤差が所定のしきい値以下となる場合には、判定対象の画素ＰＴを基準となる画素ＰＲと同じ再構成範囲に含ませる。ＰＳＦの間の誤差としては、例えば平均二乗誤差（Mean Squared Error）を用いてもよいし、平均絶対誤差（Mean Absolute Error）を用いてもよいし、ＰＳＦの大きさの差を用いてもよい。このようにして設定された、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲の位置および形状は、予め記憶部２８に記憶される。
【0034】
（演算範囲の設定）
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する演算範囲は、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲を、少なくとも内包するような位置および形状となるように設定される。この際に、同じ再構成範囲に含まれる画素であっても、その位置に対応したＰＳＦの大きさは完全に同一ではないので、本実施例の撮像装置１０では、再構成範囲の境界上の画素のそれぞれの位置に対応したＰＳＦが演算範囲に含まれるように、演算範囲の位置および形状が設定される。例えば、図６に示すように、再構成範囲が四角形の形状である場合、最小の演算範囲は、４つの角部の画素のそれぞれの位置に対応したＰＳＦを内包する位置および形状に設定される。このように演算範囲を設定した場合、再構成範囲の４つの角部の画素のそれぞれの位置に対応したＰＳＦの大きさが同一でない場合は、演算範囲の中心位置は、再構成範囲の中心位置からオフセットすることになる。
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する演算範囲は、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲を、少なくとも内包するような位置および形状となるように設定される。この際に、同じ再構成範囲に含まれる画素であっても、その位置に対応したＰＳＦの大きさは完全に同一ではないので、本実施例の撮像装置１０では、再構成範囲の境界上の画素のそれぞれの位置に対応したＰＳＦが演算範囲に含まれるように、演算範囲の位置および形状が設定される。例えば、図６に示すように、再構成範囲が四角形の形状である場合、最小の演算範囲は、４つの角部の画素のそれぞれの位置に対応したＰＳＦを内包する位置および形状に設定される。このように演算範囲を設定した場合、再構成範囲の４つの角部の画素のそれぞれの位置に対応したＰＳＦの大きさが同一でない場合は、演算範囲の中心位置は、再構成範囲の中心位置からオフセットすることになる。
【0035】
なお、ボケ補正処理においてフーリエ変換が用いられる場合には、演算範囲のサイズが２ｍ×２ｎ（ｍ，ｎは自然数）となっていると、ＦＦＴ（Fast Fourier Transform）を使用することが可能となり、演算負荷を軽減することができる。このため、本実施例の撮像装置１０では、上記のように再構成範囲の４つの角部の画素のそれぞれの位置に対応したＰＳＦが内包されるように最小演算範囲を設定した後、その最小演算範囲を内包しており、その最小演算範囲と中心位置が一致する２ｍ×２ｎ（ｍ，ｎは自然数）のサイズの範囲を、改めて演算範囲として設定する。このようにして設定された、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する演算範囲の位置および形状は、予め記憶部２８に記憶される。
【0036】
（フィルタの設定）
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用するフィルタは、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する演算範囲に含まれる画素のそれぞれの位置に対応したＰＳＦの大きさに応じて、ボケ補正処理に適したフィルタが設定される。このようにして設定された、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用するフィルタは、フィルタバンクの形式で、予め記憶部２８に記憶される。
本実施例の撮像装置１０では、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用するフィルタは、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する演算範囲に含まれる画素のそれぞれの位置に対応したＰＳＦの大きさに応じて、ボケ補正処理に適したフィルタが設定される。このようにして設定された、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用するフィルタは、フィルタバンクの形式で、予め記憶部２８に記憶される。
【0037】
本実施例の撮像装置１０では、撮像部１２の光学系１８が、光軸ＯＸに対して対称な特性を有している。このため、演算回数ｉ（ｉ＝１，・・・，Ｎ）で使用する再構成範囲および演算範囲が、演算回数ｊ（ｊ＝１，・・・，Ｎ、ｊ≠ｉ）で使用する再構成範囲および演算範囲と、光軸ＯＸに対して対称に配置されている場合には、共通のフィルタを使用することができる。これによって、記憶部２８に記憶するフィルタの個数を低減することができる。
【0038】
以下に、本明細書に開示の撮像装置の構成を列記する。
（構成１）
レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、
ボケ補正処理部（２６）を備えており、
前記ボケ補正処理部は、
（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、
（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、
（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、
（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、
（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、
を実行するように構成されており、
前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される、撮像装置（１０）。
（構成２）
前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしている、構成１に記載の撮像装置。
（構成３）
前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回る、構成２に記載の撮像装置。
（構成４）
前記光学系が、光軸に対して対称な特性を有する、構成１から３の何れか一項に記載の撮像装置。
（構成５）
前記撮像素子の受光面（２０ａ）が、前記光軸から離れるほど、前記レンズ側に近づく湾曲形状を有する、構成４に記載の撮像装置。
（構成１）
レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、
ボケ補正処理部（２６）を備えており、
前記ボケ補正処理部は、
（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、
（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、
（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、
（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、
（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、
を実行するように構成されており、
前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される、撮像装置（１０）。
（構成２）
前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしている、構成１に記載の撮像装置。
（構成３）
前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回る、構成２に記載の撮像装置。
（構成４）
前記光学系が、光軸に対して対称な特性を有する、構成１から３の何れか一項に記載の撮像装置。
（構成５）
前記撮像素子の受光面（２０ａ）が、前記光軸から離れるほど、前記レンズ側に近づく湾曲形状を有する、構成４に記載の撮像装置。
【0039】
以上、実施形態について詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例をさまざまに変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独あるいは各種の組み合わせによって技術有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの１つの目的を達成すること自体で技術有用性を持つものである。
【符号の説明】
【0040】
１０：撮像装置、１２：撮像部、１４：画像処理部、１６：レンズ、１８：光学系、２０：撮像素子、２０ａ：受光面、２０ｂ：撮像センサ、２２：撮像制御部、２４：現像処理部、２６：ボケ補正処理部、２８：記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】