特許 7408691 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20231225BHJP

   G06T 3/4053 20240101ALI20231225BHJP

【ＦＩ】

H04N7/01 170

G06T3/40 730

【請求項の数】 6

(21)【出願番号】P 2021572151

(86)(22)【出願日】2020-01-21

(86)【国際出願番号】 JP2020001860

(87)【国際公開番号】W WO2021149136

(87)【国際公開日】2021-07-29

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】梶村 康祐

(72)【発明者】

【氏名】望月 良祐

(72)【発明者】

【氏名】小野村 研一

(72)【発明者】

【氏名】古川 英治

【審査官】益戸 宏

(56)【参考文献】

【文献】国際公開第２０１８／０６６０２７（ＷＯ，Ａ１）

【文献】特開２０１１－２２８０５（ＪＰ，Ａ）

【文献】小野利幸 他２名，画像の奥行き感を復元する奥行き利用超解像技術，東芝レビュー，2013年02月01日，Vol.68, No.2，pp.28-31

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理装置であって、
前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する奥行情報検出部と、
該奥行情報検出部によって検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する合成枚数決定部と、を備え、
前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、
前記合成枚数決定部が、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理装置。

【請求項2】

前記奥行情報検出部が、前記少なくとも１枚の画像の最近距離と最遠距離との差である被写体距離差を前記奥行情報として検出し、
前記最近距離が、前記少なくとも１枚の画像内の被写体の内、最も近い被写体までの被写体距離であり、
前記最遠距離が、前記少なくとも１枚の画像内の被写体の内、最も遠い被写体までの被写体距離である、請求項１に記載の画像処理装置。

【請求項3】

前記合成枚数決定部が、前記撮影シーンの奥行きおよび最近距離に基づいて前記画像の枚数を決定し、前記最近距離が小さい程、前記画像の枚数の低減への前記撮影シーンの奥行きの寄与を大きくし、前記最近距離が、前記少なくとも１枚の画像内の被写体の内、最も近い被写体までの被写体距離である、請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記合成枚数決定部が、前記撮影シーンの奥行きおよび前記時系列の複数枚の画像を取得した撮像装置の焦点距離に基づいて前記画像の枚数を決定し、前記焦点距離が長い程、前記画像の枚数の低減への前記撮影シーンの奥行きの寄与を大きくする、請求項１または請求項２に記載の画像処理装置。

【請求項5】

時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理方法であって、
前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する工程と、
検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する工程と、を含み、
前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、
前記画像の枚数を決定する工程において、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理方法。

【請求項6】

時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理をプロセッサに実行させる画像処理プログラムであって、
前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する工程と、
検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する工程と、を前記プロセッサに実行させ、
前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、
前記画像の枚数を決定する工程において、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。

【背景技術】

【0002】

従来、時系列の複数枚の画像を用いて、複数枚の画像の各々の解像度よりも高解像度の合成画像を生成する技術が知られている（例えば、特許文献１参照。）。特許文献１では、動画像のフレームの中から所定枚数のフレームを選択し、所定枚数のフレームを使用して高解像度の合成画像を生成している。高解像度を達成するためには、合成画像の生成に使用される画像間に被写体の位置ずれが存在する必要がある。特許文献１では、画像間の位置ずれ量が所定の位置ずれ量になるように、選択されるフレームの間隔を決定している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１８１０２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

高解像度の合成画像の生成において、画像間の被写体の位置ずれ量に基づいて、複数枚の画像が相互に位置合わせされる。奥行きがある撮影シーンの画像の場合、画像間の被写体の位置ずれ量が奥行き毎に異なる。例えば、奥の被写体の位置ずれ量に比べて手前の被写体の位置ずれ量が大きくなる。特許文献１は、撮影シーンの奥行きを考慮せずに、所定枚数のフレームを選択している。したがって、選択されたフレームの位置合わせにおいて、奥行き毎の被写体の位置ずれ量の差異に起因する位置合わせ誤差が生じ、その結果、位置合わせ誤差に起因するアーティファクトが合成画像に発生する。そのため、アーティファクトの少ない合成画像を安定的に得ることが難しい。

【0005】

本発明は、上述した事情に鑑みてなされたものであって、撮影シーンに奥行きがある場合においてもアーティファクトの少ない合成画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理装置であって、前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する奥行情報検出部と、該奥行情報検出部によって検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する合成枚数決定部と、を備え、前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、前記合成枚数決定部が、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理装置である。

【0007】

本態様によれば、複数枚の画像の内、少なくとも１枚の画像の奥行情報が奥行情報検出部によって検出され、奥行情報に基づいて合成画像の生成に使用される画像の枚数が合成枚数決定部によって決定される。
画像の撮影シーンが奥行きを有する場合、複数の画像間の被写体の位置ずれ量が奥行き毎に異なることに起因するアーティファクトが合成画像に発生し得る。合成される画像の枚数が多い程、アーティファクトは顕著になる。
本態様において、撮影シーンの奥行きが大きい程、合成画像の生成に使用される画像の枚数が低減される。これにより、撮影シーンに奥行きがある場合においてもアーティファクトの少ない合成画像を生成することができる。

【0008】

上記態様において、前記奥行情報検出部が、前記少なくとも１枚の画像の最近距離と最遠距離との差である被写体距離差を前記奥行情報として検出し、前記最近距離が、前記少なくとも１枚の画像内の被写体の内、最も近い被写体までの被写体距離であり、前記最遠距離が、前記少なくとも１枚の画像内の被写体の内、最も遠い被写体までの被写体距離であってもよい。
この構成によれば、画像の撮影シーンの奥行きをより正確に検出することができる。

【0009】

上記態様において、前記合成枚数決定部が、前記撮影シーンの奥行きおよび前記最近距離に基づいて前記画像の枚数を決定し、前記最近距離が小さい程、前記画像の枚数の低減への前記撮影シーンの奥行きの寄与を大きくしてもよい。
最近距離が小さい場合、最も近い被写体の光学像は、撮像装置のわずかな動きによって、撮像装置の撮像面上で大きく動く。したがって、撮影シーンの奥行きが同一であっても、最近距離が小さい程、奥行き毎の被写体の位置ずれ量の差異が大きくなる。上記構成によれば、最近距離が小さい程、画像の枚数の低減への撮影シーンの奥行きの寄与が大きくなる。すなわち、撮影シーンの同一の奥行きに対して、最近距離が小さい程、合成画像の生成に使用される画像の枚数がより少なくなる。これにより、アーティファクトの少ない合成画像をより確実に生成することができる。

【0010】

上記態様において、前記合成枚数決定部が、前記撮影シーンの奥行きおよび前記時系列の複数枚の画像を取得した撮像装置の焦点距離に基づいて前記画像の枚数を決定し、前記焦点距離が長い程、前記画像の枚数の低減への前記撮影シーンの奥行きの寄与を大きくしてもよい。
撮像装置の焦点距離が長い程、奥行き毎の被写体の位置ずれ量の差異が大きくなる。上記構成によれば、焦点距離が長い程、画像の枚数の低減への撮影シーンの奥行きの寄与が大きくなる。すなわち、撮影シーンの同一の奥行きに対して、焦点距離が長い程、合成画像の生成に使用される画像の枚数がより少なくなる。これにより、アーティファクトの少ない合成画像をより確実に生成することができる。

【0011】

本発明の他の態様は、時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理方法であって、前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する工程と、検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する工程と、を含み、前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、前記画像の枚数を決定する工程において、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理方法である。

【0012】

本発明の他の態様は、時系列の複数枚の画像を合成することによって、該複数枚の画像の解像度よりも高い解像度の合成画像を生成する画像処理をプロセッサに実行させる画像処理プログラムであって、前記複数枚の画像の内、少なくとも１枚の画像の奥行情報を検出する工程と、検出された前記奥行情報に基づいて、前記合成画像を生成するために合成される前記画像の枚数を決定する工程と、を前記プロセッサに実行させ、前記奥行情報が、前記少なくとも１枚の画像の撮影シーンの奥行きを表す情報であり、前記画像の枚数を決定する工程において、前記撮影シーンの奥行きが大きい程、前記画像の枚数を低減する、画像処理プログラムである。

【発明の効果】

【0013】

本発明によれば、撮影シーンに奥行きがある場合においてもアーティファクトの少ない合成画像を生成することができるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】本発明の第１の実施形態に係る画像処理装置および撮像装置の全体構成図である。

【図2】低解像度画像の奥行情報を説明する図である。

【図3】合成枚数決定部による合成枚数の決定方法の一例を説明する図である。

【図4】図１の画像処理装置による画像処理方法を示すフローチャートである。

【図5】本発明の第２の実施形態に係る画像処理装置の合成枚数決定部による合成枚数の決定方法の一例を説明する図である。

【図6】本発明の第３の実施形態に係る画像処理装置の合成枚数決定部による合成枚数の決定方法の一例を説明する図である。

【発明を実施するための形態】

【0015】

（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置１、撮像装置１０、画像処理方法および画像処理プログラムについて図面を参照して説明する。
撮像装置１０は、例えば、静止画または動画像を撮影して記録するデジタルカメラである。撮像装置１０は、図１に示されるように、画像取得部２と、画像処理装置１とを備える。

【0016】

画像取得部２は、被写体を撮像して画像として取り込む。具体的には、画像取得部２は、被写体からの光を集光させる光学系３と、光学系３によって集光された光を撮影する撮像素子４と、プリプロセス部５とを備える。光学系３は、少なくとも１つのレンズを含む撮像レンズを有し、被写体の光学像を撮像素子４の撮像面４ａ上に形成する。画像取得部２は、撮像素子４による連写撮影によって、時系列の複数枚の画像を取得する。連写撮影中、撮像素子４は、撮像装置１０の手振れ、または、画像取得部２に設けられたシフト機構の作動によって、撮像面４ａに平行な方向に変位する。したがって、時系列の複数枚の画像間には、被写体の位置ずれが生じる。複数枚の画像の各々は、プリプロセス部５によって補正処理等の前処理が施され、その後、画像処理装置１のフレームメモリ１１に保存される。

【0017】

画像処理装置１は、画像取得部２によって取り込まれた複数枚の画像を処理し、複数枚の画像の各々の解像度よりも高解像度の合成画像を生成する。以下、時系列の複数枚の画像を低解像度画像という。画像処理装置１は、フレームメモリ１１と、奥行情報検出部１２と、合成枚数決定部１３と、画像合成部１４とを備える。

【0018】

画像処理装置１は、ＣＰＵのようなプロセッサ（図示略）と、ＲＡＭ、ＲＯＭおよびその他の任意の記憶装置を有する記憶部（図示略）とを備える。記憶部には、画像処理プログラムが格納されている。プロセッサが画像処理プログラムに従って処理を実行することによって、各部１２，１３，１４の後述の処理が実現される。
あるいは、各部１２，１３，１４の後述の機能は、各機能専用の回路によって実現されてもよい。

【0019】

奥行情報検出部１２は、時系列の複数枚の低解像度画像のうち少なくとも１枚をフレームメモリ１１から読み出し、少なくとも１枚の低解像度画像の奥行情報を検出する。例えば、奥行情報検出部１２は、時系列の複数枚の低解像度画像の１枚目をフレームメモリ１１から読み出し、１枚目の低解像度画像の奥行情報を検出する。

【0020】

図２は、奥行情報の検出方法の一例を説明している。奥行情報は、低解像度画像の撮影シーンの奥行きを表す情報である。本実施形態において、奥行情報検出部１２は、奥行情報として、最近距離ｄ１と最遠距離ｄ２との差である被写体距離差ｄｉｆを検出する。最近距離ｄ１は、１枚目の低解像度画像内の被写体の内、撮像装置１０から、撮像装置１０に最も近い被写体Ａまでの被写体距離である。最遠距離ｄ２は、１枚目の低解像度画像内の被写体の内、撮像装置１０から、撮像装置１０から最も遠い被写体Ｂまでの被写体距離である。

【0021】

被写体距離差ｄｉｆの検出のため、撮像装置１０は、各被写体Ａ，Ｂまでの被写体距離ｄ１，ｄ２を検出する距離検出手段を備える。距離検出手段の一例は、画像取得部２に設けられた像面位相差センサである。距離検出手段の他の例は、連写撮影前に撮像装置１０によって取得されたライブビュー画像の複数のフレームを解析し、フレーム内の領域毎の動き量を算出する画像解析部である。

【0022】

なお、奥行情報検出部１２が奥行情報の検出に使用する低解像度画像は、１番目の低解像度画像に限定されるものではない。例えば、奥行情報検出部１２は、１番目以外の任意の１枚の低解像度画像の奥行情報を検出してもよい。あるいは、奥行情報検出部１２は、２枚以上の低解像度画像から奥行情報を検出してもよい。例えば、奥行情報検出部１２は、２枚以上の低解像度画像の各々の被写体距離差を算出し、差出された被写体距離差の平均値を最終的な被写体距離差ｄｉｆとして検出してもよい。

【0023】

合成枚数決定部１３は、奥行情報検出部１２によって検出された被写体距離差ｄｉｆに基づいて合成枚数を決定する。合成枚数は、合成画像の生成に使用される低解像度画像の枚数である。合成枚数決定部１３は、被写体距離差ｄｉｆが大きい程、合成枚数を低減する。
図３は、合成枚数決定部１３による合成枚数Ｎｕｍの決定方法の一例を説明している。図３の例において、合成枚数は、被写体距離差ｄｉｆに応じて、最小枚数Ｎｕｍ＿ｍｉｎから最大枚数Ｎｕｍ＿ｍａｘまでの間で変更される。

【0024】

被写体距離差ｄｉｆが閾値ｄｉｆＴＨ１以下である場合、合成枚数は、最大枚数Ｎｕｍ＿ｍａｘである。最大枚数Ｎｕｍ＿ｍａｘは、例えば、画像取得部２によって取得された時系列の低解像度画像の枚数である。
被写体距離差ｄｉｆが閾値ｄｉｆＴＨ２以上である場合、合成枚数は、最小枚数Ｎｕｍ＿ｍｉｎである。閾値ｄｉｆＴＨ２は、閾値ｄｉｆＴＨ１よりも大きい値である。最小枚数Ｎｕｍ＿ｍｉｎは、２よりも多く、最大枚数Ｎｕｍ＿ｍａｘよりも少ない数である。
被写体距離差ｄｉｆが閾値ｄｉｆＴＨ１よりも大きく閾値ｄｉｆＴＨ２よりも小さい場合、合成枚数は、被写体距離差ｄｉｆが大きい程、少なくなる。

【0025】

図３に示される、被写体距離差ｄｉｆと合成枚数Ｎｕｍとの間の関係は一例であり、被写体距離差ｄｉｆが大きい程、合成枚数Ｎｕｍが小さくなるという関係を満たす限りにおいて、被写体距離差ｄｉｆと合成枚数Ｎｕｍとの間の関係は任意に設定することができる。
例えば、単一の閾値ｄｉｆＴＨ２が設定されており、被写体距離差ｄｉｆが０から閾値ｄｉｆＴＨ２まで大きくなるにつれて、合成枚数Ｎｕｍが、最大枚数Ｎｕｍ＿ｍａｘから最小枚数Ｎｕｍ＿ｍｉｎまで連続的に減少してもよい。あるいは、３以上の閾値が設定され、被写体距離差ｄｉｆが大きくなるにつれて、合成枚数Ｎｕｍが段階的に変化してもよい。

【0026】

画像合成部１４は、時系列の複数枚の低解像度画像の内、合成枚数決定部１３によって決定された合成枚数と等しい枚数の低解像度画像をフレームメモリ１１から読み出す。次に、画像合成部１４は、低解像度画像間の被写体の位置ずれ量に基づいて、低解像度画像の各画素を高解像度画像空間上で相互に位置合わせし、低解像度画像を合成することによって合成画像を生成する。高解像度画像空間は、各低解像度画像よりも高い解像度を有する２次元空間である。生成された合成画像は、フレームメモリ１１に保存される。

【0027】

低解像度画像間の被写体の位置ずれ量は、例えば、低解像度画像間のグローバルな、またはローカルな動き量から検出される。あるいは、画像取得部２に設けられたシフト機構によって撮像素子４をシフトさせながら撮像素子４によって時系列の複数枚の低解像度画像を取得する場合、位置ずれ量は、シフト機構による撮像素子４のシフト方向およびシフト量から検出される。

【0028】

ここで、低解像度画像の被写体距離差ｄｉｆと合成画像のアーティファクトとの関係について説明する。
複数枚の低解像度画像からアーティファクトの無い合成画像を生成するためには、複数枚の低解像度画像の位置合わせにおいて、被写体毎に適切に位置合わせする必要がある。
低解像度画像の撮影シーンが奥行きを有する場合、低解像度画像間の被写体の位置ずれ量が奥行き毎に異なる。図２の例の場合、奥の被写体Ｂの位置ずれ量に比べて、手前の被写体Ａの位置ずれ量が大きくなる。したがって、複数枚の低解像度画像の位置合わせにおいて、奥行き毎の位置ずれ量の差異に起因する被写体Ａ，Ｂの位置合わせ誤差が生じ、位置合わせ誤差に起因するアーティファクトが合成画像に生じる。

【0029】

被写体距離差ｄｉｆが閾値ｄｉｆＴＨ１よりも小さい場合、奥行き毎の被写体Ａ，Ｂの位置ずれ量の差異が、合成画像のアーティファクトの発生に影響を与えない程度に小さい。したがって、最大枚数Ｎｕｍ＿ｍａｘの低解像度画像から、アーティファクトの無い、または少ない合成画像を生成することができる。

【0030】

一方、被写体距離差ｄｉｆがｄｉｆＴＨ１よりも大きい場合、奥行き毎の被写体Ａ，Ｂの位置ずれ量の差異が、合成画像のアーティファクトの発生に影響を及ぼす。この場合、低解像度画像の合成枚数が多い程、位置合わせ誤差がより多く蓄積されることによって、解像度の劣化や、多重像のようなアーティファクトがより顕著となる。そこで、被写体距離差ｄｉｆが大きい程、合成枚数を少なくすることによって、位置合わせ誤差の蓄積によるアーティファクトの発生を抑制し、アーティファクトの少ない合成画像を生成することができる。

【0031】

次に、画像処理装置１による画像処理方法について図４を参照して説明する。
本実施形態に係る画像処理方法は、画像取得部２によって取得された時系列の複数枚の低解像度画像の内、少なくとも１枚の奥行情報を検出する工程Ｓ１と、検出された奥行情報に基づいて、合成画像を生成するために合成される低解像度画像の合成枚数を決定する工程Ｓ２と、決定された合成枚数の低解像度画像を合成して合成画像を生成する工程Ｓ３とを含む。

【0032】

工程Ｓ１において、フレームメモリ１１に時系列の複数枚の低解像度画像が保存されると、奥行情報検出部１２は、フレームメモリ１１から少なくとも１枚の低解像度画像、例えば１番目の低解像度画像を読み出す。次に、奥行情報検出部１２は、奥行情報として、読み出した低解像度画像の被写体距離差ｄｉｆを検出する。

【0033】

次に、工程Ｓ２において、合成枚数決定部１３は、被写体距離差ｄｉｆに基づいて低解像度画像の合成枚数を決定する。合成枚数は、被写体距離差ｄｉｆが大きい程、低減される。
次に、工程Ｓ３において、画像合成部１４は、時系列の複数枚の低解像度画像の内、工程Ｓ２において決定された合成枚数の低解像度画像をフレームメモリ１１から読み出し、読み出した低解像度画像を合成することによって合成画像を生成する。

【0034】

このように、本実施形態によれば、低解像度画像の撮影シーンの奥行きを表す被写体Ａ，Ｂ間の被写体距離差ｄｉｆに応じて合成枚数が決定され、撮影シーンの奥行きが大きい程、合成枚数が低減される。これにより、撮影シーンの奥行きが大きい場合であっても、アーティファクトの少ない合成画像を生成することができる。

【0035】

奥行き毎の被写体の位置ずれ量の差異に起因する合成画像のアーティファクトは、従来の技術を使用することによっても低減することができる。本実施形態の画像処理装置１および画像処理方法は、計算コストを削減することができる点、およびアーティファクトを効果的に低減することができる点において、従来の技術と比較して有利である。

【0036】

具体的には、複数枚の低解像度画像間の位置ずれ量を画素毎に検出し、検出された位置ずれ量に基づいて低解像度画像の各画素を位置合わせすることによって、同一の奥行きに位置する被写体を適切に位置合わせすることができる。しかし、この場合には、位置ずれ量を画素毎に高精度に算出しなければならず、膨大な計算コストを要する。これに対し、本実施形態によれば、少なくとも１枚の低解像度画像の奥行情報の検出および合成枚数の算出という少ない計算のみで、合成画像のアーティファクトの低減を実現することができる。

【0037】

計算コストの少ない方法として、ブロックマッチング法のように、離散的な複数の測定領域を低解像度画像内に設定し、測定領域毎に位置ずれ量を検出する方法がある。しかし、この場合、１つの測定領域内に、異なる奥行きに位置する複数の被写体が混在する可能性があるため、算出される位置ずれ量は誤差を含み得る。したがって、アーティファクトの少ない合成画像を生成することは難しい。
複数の測定領域の位置ずれ量を用いて低解像度画像の幾何的な変形を推定する（射影変換行列を推定する）場合も同様に、誤差を含む位置ずれ量を用いて射影変換行列を算出する。そのため、アーティファクトの少ない合成画像を生成することは難しい。

【0038】

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置１、撮像装置１０、画像処理方法および画像処理プログラムについて、図面を参照して説明する。
本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る画像処理装置１および撮像装置１０は、合成枚数決定部１３が被写体距離差ｄｉｆに加えて最近距離ｄ１に基づいて合成枚数Ｎｕｍを決定する点において、第１の実施形態と異なる。

【0039】

図５に示されるように、合成枚数決定部１３は、被写体距離差ｄｉｆに対する閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２を最近距離ｄ１に応じて制御し、最近距離ｄ１が小さい程、閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２を低下させる。すなわち、図５において、被写体距離差ｄｉｆと合成枚数Ｎｕｍとの関係を表すグラフが、最近距離ｄ１に応じて被写体距離差ｄｉｆの方向に移動する。これにより、最近距離ｄ１が小さい程、合成枚数Ｎｕｍの低減への被写体距離差ｄｉｆの寄与が大きくなる、つまり、同一の被写体距離差ｄｉｆに対して、最近距離ｄ１が小さい程、合成枚数Ｎｕｍがより少なくなる。図５の例において、閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２の変化量は相互に同一であり、グラフは平行移動している。閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２の変化量は、相互に異なっていてもよい。

【0040】

遠景撮影のように最近距離ｄ１が大きい場合、被写体距離差ｄｉｆが多少あったとしても、手前の被写体Ａの位置ずれ量と奥の被写体Ｂの位置ずれ量との差異は小さく、合成画像にアーティファクトは発生しない。本実施形態によれば、最近距離ｄ１が大きい場合、合成枚数が低減しないように制御されるので、合成画像の生成に使用される低解像度画像の枚数が不要に低減されることを防止することができる。

【0041】

一方、接写撮影のように最近距離ｄ１が小さい場合、手前の被写体Ａの光学像は、撮像装置１０のわずかな動きによって、撮像面４ａ上で大きく移動する。その結果、手前の被写体Ａの位置ずれ量と奥の被写体Ｂの位置ずれ量との差異が大きくなり、低解像度画像の位置合わせ誤差が大きくなる。
本実施形態によれば、最近距離ｄ１が小さい場合、被写体距離差ｄｉｆが小さくても合成枚数が低減される。これにより、撮影シーンの奥行きの影響による低解像度画像の位置合わせ誤差およびこれによる合成画像のアーティファクトを抑制し、アーティファクトの少ない合成画像をより確実に生成することができる。

【0042】

（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置１、撮像装置１０、画像処理方法および画像処理プログラムについて、図面を参照して説明する。
本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る画像処理装置１および撮像装置１０は、合成枚数決定部１３が被写体距離差ｄｉｆに加えて光学系３の焦点距離に基づいて合成枚数Ｎｕｍを決定する点において、第１の実施形態と異なる。

【0043】

光学系３の焦点距離は、固定であってもよい。この場合、合成枚数決定部１３は、予め設定された光学系３の焦点距離を使用して合成枚数Ｎｕｍを決定する。
光学系３の焦点距離は、変更可能であってもよい。例えば、焦点距離が異なる複数の光学系３が準備され、撮像装置１０に取り付けられる光学系３の交換によって焦点距離が変更されてもよい。この場合、各光学系３に、焦点距離の情報を記憶するＩＣタグのような記憶素子が設けられる。合成枚数決定部１３は、撮像装置１０に取り付けられた光学系３の記憶素子から焦点距離の情報を取得する。または、撮像装置１０の全体の動作を制御する主制御部（図示略）が、撮像装置１０に取り付けられている光学系３を認識し、合成枚数決定部１３が、主制御部から焦点距離の情報を取得してもよい。
あるいは、光学系３が、焦点距離を変更可能であるズーム光学系であってもよい。この場合、合成枚数決定部１３は、例えば、光学系３または主制御部から焦点距離の情報を取得する。

【0044】

図６に示されるように、合成枚数決定部１３は、被写体距離差ｄｉｆに対する閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２を光学系３の焦点距離に応じて制御し、焦点距離が長い程、閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２を低下させる。すなわち、図６において、被写体距離差ｄｉｆと合成枚数Ｎｕｍとの関係を表すグラフが、焦点距離に応じて被写体距離差ｄｉｆの方向に移動する。これにより、焦点距離が長い程、合成枚数Ｎｕｍの低減への被写体距離差ｄｉｆの寄与が大きくなる、つまり、同一の被写体距離差ｄｉｆに対して、焦点距離が長い程、合成枚数Ｎｕｍがより少なくなる。図６の例において、閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２の変化量は相互に同一であり、グラフは平行移動している。閾値ｄｉｆＴＨ１，ｄｉｆＴＨ２の変化量は、相互に異なっていてもよい。

【0045】

一般に、光学系３の焦点距離が長い程、光学系３の画角は狭くなり、連写撮影中の撮像面４ａ上での被写体Ａ，Ｂの光学像の移動量が大きくなる。したがって、望遠レンズのように光学系３の焦点距離が長い場合、手前の被写体Ａの位置ずれ量と奥の被写体Ｂの位置ずれ量との差異が大きくなり、低解像度画像の位置合わせ誤差が大きくなる。
本実施形態によれば、焦点距離が長い場合、被写体距離差ｄｉｆが小さくても合成枚数が低減される。これにより、撮影シーンの奥行きの影響による低解像度画像の位置合わせ誤差およびこれによる合成画像のアーティファクトを抑制し、アーティファクトの少ない合成画像をより確実に生成することができる。

【0046】

一方、広角レンズのように光学系３の焦点距離が短い場合、焦点距離が長い場合に比べ、手前の被写体Ａの位置ずれ量と奥の被写体Ｂの位置ずれ量との差異は小さくなる。本実施形態によれば、焦点距離が短い場合、合成枚数が低減しないように制御されるので、合成画像の生成に使用される低解像度画像の枚数が不要に低減されることを防止することができる。

【符号の説明】

【0047】

１ 画像処理装置
２ 画像取得部
３ 光学系
４ 撮像素子
４ａ 撮像面
５ プリプロセス部
１０ 撮像装置
１１ フレームメモリ
１２ 奥行情報検出部
１３ 合成枚数決定部
１４ 画像合成部
Ａ，Ｂ 被写体
ｄ１ 最近距離
ｄ２ 最遠距離
ｄｉｆ 被写体距離差（奥行情報）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】