知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158611
(43)【公開日】2024-11-08
(54)【発明の名称】画像補正装置、画像補正方法および画像補正プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241031BHJP
G06T 5/73 20240101ALI20241031BHJP
【ＦＩ】
H04N23/60 500
G06T5/00 710
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023073959
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】栗原 康平
(72)【発明者】
【氏名】佐藤 真梨子
(72)【発明者】
【氏名】豊田 善隆
(72)【発明者】
【氏名】神尾 裕美
(72)【発明者】
【氏名】福岡 遥佳
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057CC01
5B057CE03
5C122DA01
5C122EA37
5C122FH23
5C122HA13
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】撮像画像に対して高精度にデフォーカス補正を実施できるようにする。
【解決手段】光学特性算出部１１１は、被写体に対するデフォーカス量を示すデフォーカス量データ１２１と、撮像機器の光学系の特性に基づく収差定義関数１２２と、に基づいて、前記光学系の点広がり関数の計算結果を示す光学特性データ１２３を算出する。デフォーカス補正部１１２は、光学特性データ１２３を用いて撮像画像１３１に対してデフォーカス補正を実施する。
【選択図】図２
【解決手段】光学特性算出部１１１は、被写体に対するデフォーカス量を示すデフォーカス量データ１２１と、撮像機器の光学系の特性に基づく収差定義関数１２２と、に基づいて、前記光学系の点広がり関数の計算結果を示す光学特性データ１２３を算出する。デフォーカス補正部１１２は、光学特性データ１２３を用いて撮像画像１３１に対してデフォーカス補正を実施する。
【選択図】図２
【特許請求の範囲】
【請求項1】
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正装置であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、
を備える画像補正装置。
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、
を備える画像補正装置。
【請求項2】
前記撮像機器を使った撮像により得られる参照画像に基づいて、前記光学系の点広がり関数と前記光学系の波面収差を示すセンサデータを算出するセンサデータ算出部と、
前記センサデータに基づいて前記収差定義関数を算出する収差定義関数算出部と、
を備える
請求項１に記載の画像補正装置。
前記センサデータに基づいて前記収差定義関数を算出する収差定義関数算出部と、
を備える
請求項１に記載の画像補正装置。
【請求項3】
前記画像補正装置は、コスト算出部と、デフォーカス量更新部と、を備え、
前記デフォーカス補正部は、前記光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施して暫定画像を生成し、
前記コスト算出部は、前記暫定画像と前記撮像画像と前記光学特性データを用いて、前記撮像画像に対する前記光学特性データの不一致度を表すコストを示すコストデータを算出し、
前記デフォーカス量更新部は、前記コストデータに基づいて前記デフォーカス量データを更新し、
前記光学特性算出部は、更新後の前記デフォーカス量データと前記収差定義関数に基づいて新たな光学特性データを算出し、
前記デフォーカス補正部は、前記新たな光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施する
請求項１に記載の画像補正装置。
前記デフォーカス補正部は、前記光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施して暫定画像を生成し、
前記コスト算出部は、前記暫定画像と前記撮像画像と前記光学特性データを用いて、前記撮像画像に対する前記光学特性データの不一致度を表すコストを示すコストデータを算出し、
前記デフォーカス量更新部は、前記コストデータに基づいて前記デフォーカス量データを更新し、
前記光学特性算出部は、更新後の前記デフォーカス量データと前記収差定義関数に基づいて新たな光学特性データを算出し、
前記デフォーカス補正部は、前記新たな光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施する
請求項１に記載の画像補正装置。
【請求項4】
前記収差定義関数は波面収差のデフォーカス特性を定義する関数である
請求項１に記載の画像補正装置。
請求項１に記載の画像補正装置。
【請求項5】
前記撮像画像を解析して前記デフォーカス量を算出するデフォーカス量算出部
を備える
請求項１に記載の画像補正装置。
を備える
請求項１に記載の画像補正装置。
【請求項6】
前記被写体の撮像条件を示す撮像条件データに基づいて前記デフォーカス量を算出するデフォーカス量算出部
を備える
請求項１に記載の画像補正装置。
を備える
請求項１に記載の画像補正装置。
【請求項7】
前記撮像機器は飛翔体に搭載され、
前記撮像画像は前記飛翔体からの撮影により得られる画像である
請求項１から請求項６のいずれか１項に記載の画像補正装置。
前記撮像画像は前記飛翔体からの撮影により得られる画像である
請求項１から請求項６のいずれか１項に記載の画像補正装置。
【請求項8】
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正方法であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出し、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施する
画像補正方法。
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出し、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施する
画像補正方法。
【請求項9】
撮像機器を使って被写体を撮影して得られる撮像画像を補正するための画像補正プログラムであり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出処理と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正処理と、
をコンピュータに実行させるための画像補正プログラム。
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出処理と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正処理と、
をコンピュータに実行させるための画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、デフォーカスについて画像を補正する技術に関するものである。
【背景技術】
【0002】
撮像光学系により撮影された被写体は、撮像光学系の内部で発生する収差および回析、撮像時のデフォーカスなどの影響により、１点から発生した光が１点に収束せずに微小な広がりを有する。このような微小な広がりを持った分布をＰＳＦと呼ぶ
ＰＳＦは点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の略称である。
ＰＳＦは点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の略称である。
【0003】
このような撮像光学系の影響により、ＰＳＦ形状に基づいた画像劣化が撮像画像に生じる。その結果として解像度が低下する。
【0004】
このような画像劣化を画像処理により補正する技術が提案されている。
デフォーカスによる撮像画像の劣化条件は、被写体との撮影距離また像高に応じて異なる。そのため、それら撮像条件毎にＰＳＦを推定し、ＰＳＦと撮像画像を用いた逆演算により画像補正を行う手法がある。
デフォーカスによる撮像画像の劣化条件は、被写体との撮影距離また像高に応じて異なる。そのため、それら撮像条件毎にＰＳＦを推定し、ＰＳＦと撮像画像を用いた逆演算により画像補正を行う手法がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６５３７２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１は、予め保持された第１の光学特性データに対してデフォーカス特性データを付加することでデフォーカス時の光学特性データである第２の光学特性データを生成し、これを用いて画像補正処理を行う技術を開示している。
【0007】
第１の光学特性データ、デフォーカス特性データおよび第２の光学特性データが波面収差の二次元プロファイルとなる場合、データ算出に必要な２次元データ演算の演算量が大きくなる。これは、第１の光学特性データがデフォーカス時の光学特性データに対して充分に大きい必要があるためである。
また、デフォーカス時の光学特性データは撮影距離および像高に応じて離散的に算出する必要がある。そのため、特に撮影距離にばらつきがある撮像シーンでデフォーカス補正精度に課題がある。
また、デフォーカス時の光学特性データは撮影距離および像高に応じて離散的に算出する必要がある。そのため、特に撮影距離にばらつきがある撮像シーンでデフォーカス補正精度に課題がある。
【0008】
撮影距離にばらつきがある撮像シーンは様々である。例えば、奥行きのあるシーンを撮像した場合に、また、上空から撮像機器の直下でなく撮像機器をポインティングして撮像した場合に、撮影距離にばらつきがある。
【0009】
本開示は、撮像画像に対して高精度にデフォーカス補正を実施できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本開示の画像補正装置は、撮像機器を使って被写体を撮影して得られる撮像画像を補正する。
前記画像補正装置は、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、を備える。
前記画像補正装置は、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、を備える。
【発明の効果】
【0011】
本開示によれば、撮像画像に対して高精度にデフォーカス補正を実施することが可能となる。
【図面の簡単な説明】
【0012】
【図1】実施の形態１における画像補正装置１００の構成図。
【図2】実施の形態１における画像補正装置１００の機能構成図。
【図3】実施の形態１における画像補正方法のフローチャート。
【図4】実施の形態１におけるステップＳ１２０のフローチャート。
【図5】実施の形態１における画像補正装置１００の機能構成の例を示す図。
【図6】実施の形態１における被写体と光学系の位置関係を表す図。
【図7】実施の形態２における画像補正装置１００の機能構成図。
【図8】実施の形態２における画像補正方法のフローチャート。
【図9】実施の形態３における画像補正装置１００の機能構成図。
【図10】実施の形態３における画像補正方法のフローチャート。
【発明を実施するための形態】
【0013】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0014】
【0015】
＊＊＊構成の説明＊＊＊
図１に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と入出力インタフェース１０４といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
図１に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と入出力インタフェース１０４といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0016】
プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１はＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
【0017】
メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
【0018】
補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
【0019】
入出力インタフェース１０４は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０４はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。画像補正装置１００の入出力は入出力インタフェース１０４を用いて行われる。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
【0020】
画像補正装置１００は、光学特性算出部１１１とデフォーカス補正部１１２といった要素を備える。これらの要素はソフトウェアで実現される。
【0021】
補助記憶装置１０３には、光学特性算出部１１１とデフォーカス補正部１１２としてコンピュータを機能させるための画像補正プログラムが記憶されている。画像補正プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、画像補正プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、画像補正プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
【0022】
画像補正プログラムの入出力データは記憶部１２０に記憶される。
補助記憶装置１０３は記憶部１２０として機能する。但し、メモリ１０２、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、補助記憶装置１０３の代わりに、又は、補助記憶装置１０３と共に、記憶部１２０として機能してもよい。
補助記憶装置１０３は記憶部１２０として機能する。但し、メモリ１０２、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、補助記憶装置１０３の代わりに、又は、補助記憶装置１０３と共に、記憶部１２０として機能してもよい。
【0023】
画像補正プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【0024】
図２に、画像補正装置１００の機能構成を示す。
撮像画像１３１と補正画像１３２とデフォーカス量データ１２１と収差定義関数１２２と光学特性データ１２３といったデータについて後述する。
撮像画像１３１と補正画像１３２とデフォーカス量データ１２１と収差定義関数１２２と光学特性データ１２３といったデータについて後述する。
【0025】
＊＊＊動作の説明＊＊＊
画像補正装置１００の動作の手順は画像補正方法に相当する。また、画像補正装置１００の動作の手順は画像補正プログラムによる処理の手順に相当する。
画像補正装置１００の動作の手順は画像補正方法に相当する。また、画像補正装置１００の動作の手順は画像補正プログラムによる処理の手順に相当する。
【0026】
図３に基づいて、画像補正方法を説明する。
ステップＳ１１０において、利用者は、撮像画像１３１とデフォーカス量データ１２１を画像補正装置１００に入力する。
デフォーカス補正部１１２は、入力された撮像画像１３１を受け取る。
光学特性算出部１１１は、入力されたデフォーカス量データ１２１を受け取る。
ステップＳ１１０において、利用者は、撮像画像１３１とデフォーカス量データ１２１を画像補正装置１００に入力する。
デフォーカス補正部１１２は、入力された撮像画像１３１を受け取る。
光学特性算出部１１１は、入力されたデフォーカス量データ１２１を受け取る。
【0027】
撮像画像１３１は、撮像機器を使って被写体を撮影することによって得られた画像である。特に説明が無い場合、「撮像機器」は、撮像画像１３１を得るために使用された撮像機器を意味する。
例えば、撮像機器は飛翔体に搭載され、撮像画像１３１は飛翔体からの撮影によって得られる。飛翔体の例は航空機、ドローンまたは人工衛星である。ドローンは無人航空機（ＵＡＶ）である。
例えば、撮像機器は飛翔体に搭載され、撮像画像１３１は飛翔体からの撮影によって得られる。飛翔体の例は航空機、ドローンまたは人工衛星である。ドローンは無人航空機（ＵＡＶ）である。
【0028】
デフォーカス量データ１２１は、被写体に対するデフォーカス量を示すデータである。
【0029】
ステップＳ１２０において、光学特性算出部１１１は、デフォーカス量データ１２１と収差定義関数１２２を用いて、光学特性データ１２３を算出する。
【0030】
光学特性データ１２３は、光学系の点広がり関数の計算結果を示すデータである。特に説明が無い場合、「光学系」は撮像機器の光学系を意味する。
【0031】
図４に基づいて、ステップＳ１２０の手順を説明する。
ステップＳ１２１において、光学特性算出部１１１は、デフォーカス量データ１２１を用いて収差定義関数ｆｕｎｃにより波面収差Ｗ（ξ，η）を算出する。
収差定義関数ｆｕｎｃは波面収差のデフォーカス特性を定義する関数で、例えば、デフォーカスを波面の曲率半径としてモデル化した関数である。また別の一例では、デフォーカスを方向によって曲率半径が異なる波面としてモデル化した関数、つまり非点収差もモデルに含めた関数である。
ステップＳ１２１において、光学特性算出部１１１は、デフォーカス量データ１２１を用いて収差定義関数ｆｕｎｃにより波面収差Ｗ（ξ，η）を算出する。
収差定義関数ｆｕｎｃは波面収差のデフォーカス特性を定義する関数で、例えば、デフォーカスを波面の曲率半径としてモデル化した関数である。また別の一例では、デフォーカスを方向によって曲率半径が異なる波面としてモデル化した関数、つまり非点収差もモデルに含めた関数である。
【0032】
波面収差Ｗ（ξ，η）は、式（１）を計算することによって算出される。
「εＺ」は、デフォーカス量である。
「λ」は、撮像画像に含まれる各チャネル画像（例えばＲｅｄ画像）の波長である。
（ξ，η）は、瞳面座標系での位置を示す。
「εＺ」は、デフォーカス量である。
「λ」は、撮像画像に含まれる各チャネル画像（例えばＲｅｄ画像）の波長である。
（ξ，η）は、瞳面座標系での位置を示す。
【0033】
【数1】
【0034】
ステップＳ１２２において、光学特性算出部１１１は、波面収差Ｗ（ξ，η）を用いて瞳関数Ｐ（ξ，η）を計算する。
【0035】
瞳関数Ｐ（ξ，η）は、式（２）で表される。
「ｔ」は、開口部マスクである。開口部マスクは、光学系の開口部が存在する領域を空間的に示し、０および１で定義される。
「ｅｘｐ」は、指数関数を意味する。
「ｔ」は、開口部マスクである。開口部マスクは、光学系の開口部が存在する領域を空間的に示し、０および１で定義される。
「ｅｘｐ」は、指数関数を意味する。
【0036】
【数2】
【0037】
ステップＳ１２３において、光学特性算出部１１１は、瞳関数Ｐ（ξ，η）を用いて光学系の点広がり関数ＰＳＦ（ｘ，ｙ）を計算する。
光学系の点広がり関数ＰＳＦ（ｘ，ｙ）は、式（３）で表される。
（ｘ，ｙ）は、像面座標系での位置を示す。
「ｆ」は、光学系の焦点距離である。
「Ｆ」は、フーリエ変換を意味する。
光学系の点広がり関数ＰＳＦ（ｘ，ｙ）は、式（３）で表される。
（ｘ，ｙ）は、像面座標系での位置を示す。
「ｆ」は、光学系の焦点距離である。
「Ｆ」は、フーリエ変換を意味する。
【0038】
【数3】
【0039】
光学系の点広がり関数ＰＳＦ（ｘ，ｙ）の計算結果を示すデータが光学特性データ１２３である。
【0040】
図３に戻り、ステップＳ１３０から説明を続ける。
ステップＳ１３０において、デフォーカス補正部１１２は、光学特性データ１２３を用いて撮像画像１３１に対するデフォーカス補正を実施して補正画像１３２を生成する。
補正画像１３２は、デフォーカス補正後の撮像画像１３１である。
ステップＳ１３０において、デフォーカス補正部１１２は、光学特性データ１２３を用いて撮像画像１３１に対するデフォーカス補正を実施して補正画像１３２を生成する。
補正画像１３２は、デフォーカス補正後の撮像画像１３１である。
【0041】
デフォーカス補正では、光学特性データ１２３をフィルターカーネルにして逆畳み込み演算が実行される。
デフォーカス補正の方法として様々な手法が存在する。例えば、ウィーナーデコンボリューション（Ｗｉｅｎｅｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）は、ＰＳＦとノイズ成分と真の信号成分のＳ／Ｎ比とを用いて真の画像を推定する手法である。Ｓ／Ｎ比は信号雑音比を意味する。
デフォーカス補正の方法として様々な手法が存在する。例えば、ウィーナーデコンボリューション（Ｗｉｅｎｅｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）は、ＰＳＦとノイズ成分と真の信号成分のＳ／Ｎ比とを用いて真の画像を推定する手法である。Ｓ／Ｎ比は信号雑音比を意味する。
【0042】
ステップＳ１４０において、デフォーカス補正部１１２は補正画像１３２を出力する。
例えば、デフォーカス補正部１１２は、補正画像１３２をディスプレイに表示する。
例えば、デフォーカス補正部１１２は、補正画像１３２をディスプレイに表示する。
【0043】
＊＊＊実施の形態１の補足＊＊＊
デフォーカス量データ１２１について補足する。
被写体に対するデフォーカス量は、撮影時の距離に応じて変動する。そのため、撮影時の距離に応じて離散的にデフォーカス量データ１２１を算出することが望ましい。デフォーカス量データ１２１が離散的に算出された場合、光学特性データ１２３はデフォーカス量データ１２１と同じく撮影時の距離に応じて離散的に算出される。
デフォーカス量データ１２１について補足する。
被写体に対するデフォーカス量は、撮影時の距離に応じて変動する。そのため、撮影時の距離に応じて離散的にデフォーカス量データ１２１を算出することが望ましい。デフォーカス量データ１２１が離散的に算出された場合、光学特性データ１２３はデフォーカス量データ１２１と同じく撮影時の距離に応じて離散的に算出される。
【0044】
図５に、画像補正装置１００の機能構成の例を示す。
画像補正装置１００は、さらに、デフォーカス量算出部１１９という要素を備えてもよい。
画像補正プログラムは、さらに、デフォーカス量算出部１１９としてコンピュータを機能させる。
画像補正装置１００は、さらに、デフォーカス量算出部１１９という要素を備えてもよい。
画像補正プログラムは、さらに、デフォーカス量算出部１１９としてコンピュータを機能させる。
【0045】
デフォーカス量算出部１１９は、デフォーカス量データ１２１を算出する。
デフォーカス量データ１２１は、撮像条件データまたは撮像画像１３１に基づいて算出することが可能である。
デフォーカス量データ１２１は、撮像条件データまたは撮像画像１３１に基づいて算出することが可能である。
【0046】
例えば、デフォーカス量データ１２１は以下のように算出される。
利用者は、撮像条件データを画像補正装置１００に入力する。
撮像条件データは、被写体の撮像時の条件（撮像条件）を示すデータである。撮像条件は、光学系の焦点距離と、被写体（地表面）と光学系のセンサの距離と、焦点面の情報とのいずれか又はこれらの組み合わせで構成される。例えば、撮像条件データは、光学系の向き、被写体と光学系の位置関係などを示す。
デフォーカス量算出部１１９は、入力された撮像条件データを受け取り、受け取った撮像条件データに基づいてデフォーカス量データ１２１を算出する。
利用者は、撮像条件データを画像補正装置１００に入力する。
撮像条件データは、被写体の撮像時の条件（撮像条件）を示すデータである。撮像条件は、光学系の焦点距離と、被写体（地表面）と光学系のセンサの距離と、焦点面の情報とのいずれか又はこれらの組み合わせで構成される。例えば、撮像条件データは、光学系の向き、被写体と光学系の位置関係などを示す。
デフォーカス量算出部１１９は、入力された撮像条件データを受け取り、受け取った撮像条件データに基づいてデフォーカス量データ１２１を算出する。
【0047】
図６に基づいて、デフォーカス量データ１２１の算出方法を説明する。
実線は、被写体からの光源がセンサ面に合焦していない場合（デフォーカス時）の要素を示す。破線は、被写体からの光源がセンサ面に合焦している場合（フォーカス時）の要素を示す。なお、センサ面で合焦している光源が投影された領域と、そうでない領域と、が同時に存在する場合がある。そのため、フォーカス時とデフォーカス時が同時に存在する場合がある。
被写体面は被写体が存在する面であり、被写体面の形状は既知である。例えば、被写体面は地表面である。被写体距離は被写体と光学系のセンサの距離である。
デフォーカス条件は、被写体からの光源結像位置がセンサ面と異なる場合を意味する。
まず、デフォーカス量算出部１１９は、光学系の向きと、被写体と光学系の位置関係と、に基づいて、被写体と光学系のセンサの距離と、被写体の焦点面と、を算出する。
そして、デフォーカス量算出部１１９は、光学系の焦点距離、被写体と光学系のセンサの距離および被写体の焦点面に基づいて、被写体に対するデフォーカス量を算出する。算出されたデフォーカス量を示すデータがデフォーカス量データ１２１である。
実線は、被写体からの光源がセンサ面に合焦していない場合（デフォーカス時）の要素を示す。破線は、被写体からの光源がセンサ面に合焦している場合（フォーカス時）の要素を示す。なお、センサ面で合焦している光源が投影された領域と、そうでない領域と、が同時に存在する場合がある。そのため、フォーカス時とデフォーカス時が同時に存在する場合がある。
被写体面は被写体が存在する面であり、被写体面の形状は既知である。例えば、被写体面は地表面である。被写体距離は被写体と光学系のセンサの距離である。
デフォーカス条件は、被写体からの光源結像位置がセンサ面と異なる場合を意味する。
まず、デフォーカス量算出部１１９は、光学系の向きと、被写体と光学系の位置関係と、に基づいて、被写体と光学系のセンサの距離と、被写体の焦点面と、を算出する。
そして、デフォーカス量算出部１１９は、光学系の焦点距離、被写体と光学系のセンサの距離および被写体の焦点面に基づいて、被写体に対するデフォーカス量を算出する。算出されたデフォーカス量を示すデータがデフォーカス量データ１２１である。
【0048】
例えば、デフォーカス量算出部１１９は、撮像画像１３１を解析してデフォーカス量データ１２１を算出する。デフォーカス量データ１２１は以下のように算出される。
まず、デフォーカス量算出部１１９は、撮像画像１３１に映っている構造物のエッジを検出する。構造物は被写体であってもよいし被写体以外の物体であってもよい。既知の形状を有する被写体が構造物として検出されることが望ましい。
次に、デフォーカス量算出部１１９は、検出したエッジの周囲の画素値プロファイル（画像特徴量）からＬＳＦを取得する。画素値プロファイルは、エッジの法線方向に画素値の分布を示す。ＬＳＦは、線広がり関数（Ｌｉｎｅ Ｓｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ）の略称である。
そして、デフォーカス量算出部１１９は、ＬＳＦを用いて被写体に対するデフォーカス量を算出する。デフォーカス量は画素値の急峻度に基づいて算出される。急峻度は例えばフーリエ変換を用いて算出される。算出されたデフォーカス量を示すデータがデフォーカス量データ１２１である。
まず、デフォーカス量算出部１１９は、撮像画像１３１に映っている構造物のエッジを検出する。構造物は被写体であってもよいし被写体以外の物体であってもよい。既知の形状を有する被写体が構造物として検出されることが望ましい。
次に、デフォーカス量算出部１１９は、検出したエッジの周囲の画素値プロファイル（画像特徴量）からＬＳＦを取得する。画素値プロファイルは、エッジの法線方向に画素値の分布を示す。ＬＳＦは、線広がり関数（Ｌｉｎｅ Ｓｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ）の略称である。
そして、デフォーカス量算出部１１９は、ＬＳＦを用いて被写体に対するデフォーカス量を算出する。デフォーカス量は画素値の急峻度に基づいて算出される。急峻度は例えばフーリエ変換を用いて算出される。算出されたデフォーカス量を示すデータがデフォーカス量データ１２１である。
【0049】
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、高精度にデフォーカス補正を実施することを目的とする。特に、実施の形態１は、撮影距離にばらつきがある撮像シーンで高精度にデフォーカス補正を実施することを目的とする。
実施の形態１により、高精度にデフォーカス補正を実施することが可能になる。実施の形態１によるデフォーカス補正は、撮影距離にばらつきがある撮像シーンで（予め保持された）光学特性データを用いてＰＳＦを算出する方法と比較して高精度である。
実施の形態１により、高精度にデフォーカス補正を実施することを目的とする。特に、実施の形態１は、撮影距離にばらつきがある撮像シーンで高精度にデフォーカス補正を実施することを目的とする。
実施の形態１により、高精度にデフォーカス補正を実施することが可能になる。実施の形態１によるデフォーカス補正は、撮影距離にばらつきがある撮像シーンで（予め保持された）光学特性データを用いてＰＳＦを算出する方法と比較して高精度である。
【0050】
＊＊＊実施の形態１のまとめ＊＊＊
以下に、実施の形態１の特徴を記す。括弧が付された要素に対応する要素の符号を括弧の中に示す。
実施の形態１は、撮像時のデフォーカス（ピントずれ）の変動に対して高精度な補正を行うことができる情報処理に関する。
情報処理装置（１００）は、収差定義関数保持部（１２０）とＰＳＦ計算部（１１１）とＰＳＦ補正部（１１２）を備える。
収差定義関数保持部（１２０）は、収差定義関数（１２２）を保持する。
ＰＳＦ計算部（１１１）は、収差定義関数（１２２）およびデフォーカス量（１２１）に基づいて第２の光学特性データ（１２３）を生成する。
ＰＳＦ補正部（１１２）は、第２の光学特性データ（１２３）に基づいて撮像画像（１３１）の回復処理を行う。
以下に、実施の形態１の特徴を記す。括弧が付された要素に対応する要素の符号を括弧の中に示す。
実施の形態１は、撮像時のデフォーカス（ピントずれ）の変動に対して高精度な補正を行うことができる情報処理に関する。
情報処理装置（１００）は、収差定義関数保持部（１２０）とＰＳＦ計算部（１１１）とＰＳＦ補正部（１１２）を備える。
収差定義関数保持部（１２０）は、収差定義関数（１２２）を保持する。
ＰＳＦ計算部（１１１）は、収差定義関数（１２２）およびデフォーカス量（１２１）に基づいて第２の光学特性データ（１２３）を生成する。
ＰＳＦ補正部（１１２）は、第２の光学特性データ（１２３）に基づいて撮像画像（１３１）の回復処理を行う。
【0051】
【0052】
＊＊＊構成の説明＊＊＊
図７に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、さらに、センサデータ算出部１１３と収差定義関数算出部１１４といった要素を備える。
画像補正プログラムは、さらに、センサデータ算出部１１３と収差定義関数算出部１１４としてコンピュータを機能させる。
図７に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、さらに、センサデータ算出部１１３と収差定義関数算出部１１４といった要素を備える。
画像補正プログラムは、さらに、センサデータ算出部１１３と収差定義関数算出部１１４としてコンピュータを機能させる。
【0053】
＊＊＊動作の説明＊＊＊
図８に基づいて、画像補正方法を説明する。
ステップＳ２１０において、利用者は、撮像画像１３１とデフォーカス量データ１２１と参照画像１３３を画像補正装置１００に入力する。
センサデータ算出部１１３は、入力された参照画像１３３を受け取る。
図８に基づいて、画像補正方法を説明する。
ステップＳ２１０において、利用者は、撮像画像１３１とデフォーカス量データ１２１と参照画像１３３を画像補正装置１００に入力する。
センサデータ算出部１１３は、入力された参照画像１３３を受け取る。
【0054】
参照画像１３３は、撮像機器を使った撮影により得られる画像である。例えば、参照画像１３３は、光源像が映った画像であり、撮像機器を使って点光源を撮影することによって得られる。
使用される撮像機器は、撮像画像１３１を得るために使用される撮像機器と同じ機種である。例えば、撮像画像１３１を得るために使用される撮像機器が参照画像１３３を得るために使用される。
使用される撮像機器は、撮像画像１３１を得るために使用される撮像機器と同じ機種である。例えば、撮像画像１３１を得るために使用される撮像機器が参照画像１３３を得るために使用される。
【0055】
ステップＳ２２０において、センサデータ算出部１１３は、参照画像１３３に基づいてセンサデータ１２４を算出する。
センサデータ１２４は、光学系の点広がり関数と光学系の波面収差を示す。
センサデータ１２４は、光学系の点広がり関数と光学系の波面収差を示す。
【0056】
まず、センサデータ算出部１１３は、校正用に与えられた点光源画像（参照画像１３３）に基づいて光学系の点広がり関数ＰＳＦを算出する。
そして、センサデータ算出部１１３は、光学系の点広がり関数ＰＳＦを用いて実施の形態１の式（２）、式（３）および式（４）の関係性に基づいて光学系の波面収差Ｗ（ξ，η）を算出する。
そして、センサデータ算出部１１３は、光学系の点広がり関数ＰＳＦを用いて実施の形態１の式（２）、式（３）および式（４）の関係性に基づいて光学系の波面収差Ｗ（ξ，η）を算出する。
【0057】
ステップＳ２３０において、収差定義関数算出部１１４は、センサデータ１２４に基づいて収差定義関数１２２を算出する。
【0058】
ステップＳ２４０からステップＳ２６０は、実施の形態１のステップＳ１２０からステップＳ１４０と同じである。
【0059】
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、光学系の経年劣化およびアライメントのずれに対応した実測値のセンサデータを用いてデフォーカス補正の精度を保つことが可能となる。アライメントのずれは、例えば光学系への大きな衝撃が発生した際に発生する。
実施の形態２により、光学系の経年劣化およびアライメントのずれに対応した実測値のセンサデータを用いてデフォーカス補正の精度を保つことが可能となる。アライメントのずれは、例えば光学系への大きな衝撃が発生した際に発生する。
【0060】
＊＊＊実施の形態２の補足＊＊＊
画像補正装置１００は、デフォーカス量算出部１１９を備えてデフォーカス量データ１２１を算出してよい。
画像補正装置１００は、デフォーカス量算出部１１９を備えてデフォーカス量データ１２１を算出してよい。
【0061】
【0062】
＊＊＊構成の説明＊＊＊
図９に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、さらに、コスト算出部１１５とデフォーカス量更新部１１６といった要素を備える。
画像補正プログラムは、さらに、コスト算出部１１５とデフォーカス量更新部１１６としてコンピュータを機能させる。
図９に基づいて、画像補正装置１００の構成を説明する。
画像補正装置１００は、さらに、コスト算出部１１５とデフォーカス量更新部１１６といった要素を備える。
画像補正プログラムは、さらに、コスト算出部１１５とデフォーカス量更新部１１６としてコンピュータを機能させる。
【0063】
＊＊＊動作の説明＊＊＊
図１０に基づいて、画像補正方法を説明する。
ステップＳ３１０において、撮像画像１３１とデフォーカス量データ１２１が画像補正装置１００に入力される。
ステップＳ３１０は、実施の形態１のステップＳ１１０と同じである。
図１０に基づいて、画像補正方法を説明する。
ステップＳ３１０において、撮像画像１３１とデフォーカス量データ１２１が画像補正装置１００に入力される。
ステップＳ３１０は、実施の形態１のステップＳ１１０と同じである。
【0064】
ステップＳ３２０において、光学特性算出部１１１は、デフォーカス量データ１２１と収差定義関数１２２を用いて、光学特性データ１２３を算出する。
ステップＳ３２０は、実施の形態１のステップＳ１２０と同じである。
ステップＳ３２０は、実施の形態１のステップＳ１２０と同じである。
【0065】
ステップＳ３３０において、デフォーカス補正部１１２は、光学特性データ１２３を用いて撮像画像１３１に対するデフォーカス補正を実施して暫定画像１３４を生成する。
暫定画像１３４は、デフォーカス補正後の撮像画像１３１である。
デフォーカス補正の実施方法は、実施の形態１のステップＳ１３０における方法と同じである。
暫定画像１３４は、デフォーカス補正後の撮像画像１３１である。
デフォーカス補正の実施方法は、実施の形態１のステップＳ１３０における方法と同じである。
【0066】
ステップＳ３４０において、コスト算出部１１５は、暫定画像１３４と撮像画像１３１と光学特性データ１２３を用いて、コストデータ１２５を算出する。
コストデータ１２５は、撮像画像１３１に対する光学特性データ１２３の不一致度を表すコストを示す。
コストデータ１２５は、撮像画像１３１に対する光学特性データ１２３の不一致度を表すコストを示す。
【0067】
例えば、コストデータ１２５は以下のように算出される。
まず、コスト算出部１１５は、光学特性データ１２３を用いて暫定画像１３４に対してぼやけ演算を行う。ほやけ演算は、暫定画像１３４に対して光学特性データ１２３を畳み込む演算である。つまり、コスト算出部１１５は、光学特性データ１２３を用いて暫定画像１３４をデフォーカスする。
そして、コスト算出部１１５は、ぼやけ演算後の暫定画像１３４を撮像画像１３１と比較し、撮像画像１３１とぼやけ演算後の暫定画像１３４の差分量を算出する。例えば、画素値の単純差分が差分量となる。算出された差分量をコストとして示すデータがコストデータ１２５となる。
まず、コスト算出部１１５は、光学特性データ１２３を用いて暫定画像１３４に対してぼやけ演算を行う。ほやけ演算は、暫定画像１３４に対して光学特性データ１２３を畳み込む演算である。つまり、コスト算出部１１５は、光学特性データ１２３を用いて暫定画像１３４をデフォーカスする。
そして、コスト算出部１１５は、ぼやけ演算後の暫定画像１３４を撮像画像１３１と比較し、撮像画像１３１とぼやけ演算後の暫定画像１３４の差分量を算出する。例えば、画素値の単純差分が差分量となる。算出された差分量をコストとして示すデータがコストデータ１２５となる。
【0068】
コストデータ１２５は以下のように算出されてもよい。
コスト算出部１１５は、撮像画像１３１とぼやけ演算後の暫定画像１３４のそれぞれを複数の画像領域に分け、画像領域ごとにデフォーカス量別のコストを算出する。算出されたコスト（コストボリューム）を示すデータがコストデータ１２５となる。
コストボリュームが得られることにより、コストが最小となるデフォーカス量（最適なデフォーカス量）を見積もることができる。
コスト算出部１１５は、撮像画像１３１とぼやけ演算後の暫定画像１３４のそれぞれを複数の画像領域に分け、画像領域ごとにデフォーカス量別のコストを算出する。算出されたコスト（コストボリューム）を示すデータがコストデータ１２５となる。
コストボリュームが得られることにより、コストが最小となるデフォーカス量（最適なデフォーカス量）を見積もることができる。
【0069】
ステップＳ３５０において、デフォーカス量更新部１１６は、デフォーカス量データ１２１を更新するか判定する。
最適なデフォーカス量が得られていなければ、デフォーカス量データ１２１が更新される。
最適なデフォーカス量が得られていなければ、デフォーカス量データ１２１が更新される。
【0070】
例えば、デフォーカス量更新部１１６は、コストデータ１２５に示されるコストがコスト条件を満たすか判定する。コスト条件が満たされない場合、デフォーカス量データ１２１は更新される。
【0071】
例えば、デフォーカス量更新部１１６は、コストデータ１２５に示されるコストを閾値と比較する。コストが閾値より大きい場合、デフォーカス量データ１２１は更新される。
【0072】
デフォーカス量データ１２１を更新する場合、処理はステップＳ３６０に進む。
【0073】
ステップＳ３６０において、デフォーカス量更新部１１６は、コストデータ１２５に基づいてデフォーカス量データ１２１を更新する。
デフォーカス量データ１２１は、コストが小さくなるように最適化手法によって更新される。
更新後のデフォーカス量データ１２１を、デフォーカス量データ１２６と称する。
デフォーカス量データ１２１は、コストが小さくなるように最適化手法によって更新される。
更新後のデフォーカス量データ１２１を、デフォーカス量データ１２６と称する。
【0074】
ステップＳ３６０の後、処理はステップＳ３２０に進む。
ステップＳ３２０において、光学特性算出部１１１は、デフォーカス量データ１２６と収差定義関数１２２を用いて新たな光学特性データ１２３を算出する。
ステップＳ３３０において、デフォーカス補正部１１２は、新たな光学特性データ１２３を用いて撮像画像１３１に対するデフォーカス補正を実施して新たな暫定画像１３４を生成する。
ステップＳ３４０において、コスト算出部１１５は、新たな暫定画像１３４と撮像画像１３１と光学特性データ１２３を用いて、新たなコストデータ１２５を算出する。
ステップＳ３５０において、デフォーカス量更新部１１６は、デフォーカス量データ１２１を更新するか判定する。
デフォーカス量データ１２１を更新しない場合、処理はステップＳ３７０に進む。
ステップＳ３２０において、光学特性算出部１１１は、デフォーカス量データ１２６と収差定義関数１２２を用いて新たな光学特性データ１２３を算出する。
ステップＳ３３０において、デフォーカス補正部１１２は、新たな光学特性データ１２３を用いて撮像画像１３１に対するデフォーカス補正を実施して新たな暫定画像１３４を生成する。
ステップＳ３４０において、コスト算出部１１５は、新たな暫定画像１３４と撮像画像１３１と光学特性データ１２３を用いて、新たなコストデータ１２５を算出する。
ステップＳ３５０において、デフォーカス量更新部１１６は、デフォーカス量データ１２１を更新するか判定する。
デフォーカス量データ１２１を更新しない場合、処理はステップＳ３７０に進む。
【0075】
ステップＳ３７０において、デフォーカス補正部１１２は、最新の暫定画像１３４を補正画像１３２として出力する。
【0076】
＊＊＊実施の形態３の効果＊＊＊
実施の形態３は、コスト算出部１１５の処理とデフォーカス量更新部１１６の処理を反復しながら、デフォーカス補正に最適なデフォーカス量を算出する。
実施の形態３により、デフォーカス量の軸で細かい粒度で最適なデフォーカス量を推定することが可能になるので、より高精度なデフォーカス補正が可能となる。
実施の形態３は、コスト算出部１１５の処理とデフォーカス量更新部１１６の処理を反復しながら、デフォーカス補正に最適なデフォーカス量を算出する。
実施の形態３により、デフォーカス量の軸で細かい粒度で最適なデフォーカス量を推定することが可能になるので、より高精度なデフォーカス補正が可能となる。
【0077】
＊＊＊実施の形態３の補足＊＊＊
画像補正装置１００は、デフォーカス量算出部１１９を備えてデフォーカス量データ１２１を算出してよい。
画像補正装置１００は、デフォーカス量算出部１１９を備えてデフォーカス量データ１２１を算出してよい。
【0078】
実施の形態３は実施の形態２と組み合わせて実施されてもよい。つまり、画像補正装置１００は、センサデータ算出部１１３と収差定義関数算出部１１４を備えて収差定義関数１２２を算出してもよい。
【0079】
＊＊＊実施の形態の補足＊＊＊
各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【0080】
画像補正装置１００の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
画像補正装置１００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
画像補正装置１００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
【0081】
以下に、本開示の諸態様を付記として記載する。
（付記１）
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正装置であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、
を備える画像補正装置。
（付記１）
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正装置であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出部と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正部と、
を備える画像補正装置。
【0082】
（付記２）
前記撮像機器を使った撮像により得られる参照画像に基づいて、前記光学系の点広がり関数と前記光学系の波面収差を示すセンサデータを算出するセンサデータ算出部と、
前記センサデータに基づいて前記収差定義関数を算出する収差定義関数算出部と、
を備える
付記１に記載の画像補正装置。
前記撮像機器を使った撮像により得られる参照画像に基づいて、前記光学系の点広がり関数と前記光学系の波面収差を示すセンサデータを算出するセンサデータ算出部と、
前記センサデータに基づいて前記収差定義関数を算出する収差定義関数算出部と、
を備える
付記１に記載の画像補正装置。
【0083】
（付記３）
前記画像補正装置は、コスト算出部と、デフォーカス量更新部と、を備え、
前記デフォーカス補正部は、前記光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施して暫定画像を生成し、
前記コスト算出部は、前記暫定画像と前記撮像画像と前記光学特性データを用いて、前記撮像画像に対する前記光学特性データの不一致度を表すコストを示すコストデータを算出し、
前記デフォーカス量更新部は、前記コストデータに基づいて前記デフォーカス量データを更新し、
前記光学特性算出部は、更新後の前記デフォーカス量データと前記収差定義関数に基づいて新たな光学特性データを算出し、
前記デフォーカス補正部は、前記新たな光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施する
付記１または付記２に記載の画像補正装置。
前記画像補正装置は、コスト算出部と、デフォーカス量更新部と、を備え、
前記デフォーカス補正部は、前記光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施して暫定画像を生成し、
前記コスト算出部は、前記暫定画像と前記撮像画像と前記光学特性データを用いて、前記撮像画像に対する前記光学特性データの不一致度を表すコストを示すコストデータを算出し、
前記デフォーカス量更新部は、前記コストデータに基づいて前記デフォーカス量データを更新し、
前記光学特性算出部は、更新後の前記デフォーカス量データと前記収差定義関数に基づいて新たな光学特性データを算出し、
前記デフォーカス補正部は、前記新たな光学特性データを用いて前記撮像画像に対する前記デフォーカス補正を実施する
付記１または付記２に記載の画像補正装置。
【0084】
（付記４）
前記収差定義関数は波面収差のデフォーカス特性を定義する関数である
付記１から付記３のいずれか１つに記載の画像補正装置。
前記収差定義関数は波面収差のデフォーカス特性を定義する関数である
付記１から付記３のいずれか１つに記載の画像補正装置。
【0085】
（付記５）
前記撮像画像を解析して前記デフォーカス量を算出するデフォーカス量算出部
を備える
付記１から付記４のいずれか１つに記載の画像補正装置。
前記撮像画像を解析して前記デフォーカス量を算出するデフォーカス量算出部
を備える
付記１から付記４のいずれか１つに記載の画像補正装置。
【0086】
（付記６）
前記被写体の撮像条件を示す撮像条件データに基づいて前記デフォーカス量を算出するデフォーカス量算出部
を備える
付記１から付記４のいずれか１つに記載の画像補正装置。
前記被写体の撮像条件を示す撮像条件データに基づいて前記デフォーカス量を算出するデフォーカス量算出部
を備える
付記１から付記４のいずれか１つに記載の画像補正装置。
【0087】
（付記７）
前記撮像機器は飛翔体に搭載され、
前記撮像画像は前記飛翔体からの撮影により得られる画像である
付記１から付記６のいずれか１つに記載の画像補正装置。
前記撮像機器は飛翔体に搭載され、
前記撮像画像は前記飛翔体からの撮影により得られる画像である
付記１から付記６のいずれか１つに記載の画像補正装置。
【0088】
（付記８）
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正方法であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出し、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施する
画像補正方法。
撮像機器を使って被写体を撮影して得られる撮像画像を補正する画像補正方法であり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出し、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施する
画像補正方法。
【0089】
（付記９）
撮像機器を使って被写体を撮影して得られる撮像画像を補正するための画像補正プログラムであり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出処理と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正処理と、
をコンピュータに実行させるための画像補正プログラム。
撮像機器を使って被写体を撮影して得られる撮像画像を補正するための画像補正プログラムであり、
前記被写体に対するデフォーカス量を示すデフォーカス量データと、収差定義関数と、に基づいて、前記撮像機器の光学系の点広がり関数の計算結果を示す光学特性データを算出する光学特性算出処理と、
前記光学特性データを用いて前記撮像画像に対してデフォーカス補正を実施するデフォーカス補正処理と、
をコンピュータに実行させるための画像補正プログラム。
【符号の説明】
【0090】
１００ 画像補正装置、１０１ プロセッサ、１０２ メモリ、１０３ 補助記憶装置、１０４ 入出力インタフェース、１１１ 光学特性算出部、１１２ デフォーカス補正部、１１３ センサデータ算出部、１１４ 収差定義関数算出部、１１５ コスト算出部、１１６ デフォーカス量更新部、１１９ デフォーカス量算出部、１２０ 記憶部、１２１ デフォーカス量データ、１２２ 収差定義関数、１２３ 光学特性データ、１２４ センサデータ、１２５ コストデータ、１２６ デフォーカス量データ、１３１ 撮像画像、１３２ 補正画像、１３３ 参照画像、１３４ 暫定画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】