特許 6562492 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6562492

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20190808BHJP

   H04N 5/76 20060101ALI20190808BHJP

【ＦＩ】

   H04N1/387

   H04N5/76

【請求項の数】12

【全頁数】21

(21)【出願番号】特願2019-93086(P2019-93086)

(22)【出願日】2019年5月16日

【審査請求日】2019年5月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】505277358

【氏名又は名称】株式会社モルフォ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】小関 大河

【審査官】 橘 高志

(56)【参考文献】

【文献】 特開２０１６−１２７３４３（ＪＰ，Ａ）

【文献】 特開２００９−１６４８５７（ＪＰ，Ａ）

【文献】 特開２００５−１２９９９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ５／７６

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

複数の画像の入力を受け付ける入力部と、
前記複数の画像のそれぞれを１枚ずつ基準画像として選択し、前記基準画像ごとに、前記基準画像と前記複数の画像のうちの前記基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせする位置合わせ部と、
前記基準画像と位置合わせされた前記比較画像の中から前記基準画像と組み合わせる前記比較画像を前記基準画像ごとに選択し、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出し、前記共通領域の前記基準画像に対する割合が所定閾値以上となる前記組合せを選択する選択部と、
前記選択された組合せの中から前記比較画像の枚数が最大となる前記組合せを決定する決定部と、
前記決定された組合せに対応する画像群と前記画像群に対応する前記基準画像を示す情報とを出力する出力部と、
を備える画像処理装置。

【請求項2】

前記決定部は、前記比較画像の枚数が最大枚数となる前記組合せが複数存在する場合には、前記比較画像の枚数が最大枚数となる前記組合せの中から対応する前記共通領域がより大きい前記組合せを決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記複数の画像それぞれの指定領域から特徴量を取得する取得部と、
をさらに備え、
前記決定部は、前記比較画像の枚数が最大枚数となる前記組合せが複数存在する場合には、前記比較画像の枚数が最大枚数となる前記組合せの中から前記組合せに係る前記特徴量がより大きい前記組合せを決定する、
請求項１に記載の画像処理装置。

【請求項4】

前記複数の画像それぞれの指定領域から特徴量を取得する取得部と、
をさらに備え、
前記決定部は、
前記比較画像の枚数が最大枚数となる前記組合せが複数存在する場合には、前記比較画像の枚数が最大枚数となる前記組合せの中から対応する前記共通領域がより大きい前記組合せを決定し、
前記比較画像の枚数が最大枚数かつ対応する前記共通領域が最大となる前記組合せが複数存在する場合には、前記比較画像の枚数が最大枚数であって対応する前記共通領域が最大となる前記基準画像の中から前記組合せに係る前記特徴量がより大きい前記組合せを決定する、
請求項１に記載の画像処理装置。

【請求項5】

前記特徴量は鮮鋭度である、請求項３又は４に記載の画像処理装置。

【請求項6】

前記特徴量はノイズ量である、請求項３又は４に記載の画像処理装置。

【請求項7】

前記出力部は前記画像群を特徴量順に並び替えて出力する、請求項３〜６の何れか一項に記載の画像処理装置。

【請求項8】

前記出力部は前記画像群を時系列順に並び替えて出力する、請求項１〜６の何れか一項に記載の画像処理装置。

【請求項9】

前記出力部は、前記画像群の枚数に制限がある場合、特徴量順又は時系列順に並び替えられた前記画像群のうち、前記制限された枚数の画像群を出力する、請求項７又は８に記載の画像処理装置。

【請求項10】

前記画像群及び前記基準画像を示す情報を用いて少なくとも１枚の画像を生成する生成部をさらに備える請求項１〜９の何れか一項に記載の画像処理装置。

【請求項11】

複数の画像の入力を受け付けるステップと、
前記複数の画像のそれぞれを１枚ずつ基準画像として選択し、前記基準画像ごとに、前記基準画像と前記複数の画像のうちの前記基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせするステップと、
前記基準画像と位置合わせされた前記比較画像の中から前記基準画像と組み合わせる前記比較画像を前記基準画像ごとに選択し、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出し、前記共通領域の前記基準画像に対する割合が所定閾値以上となる前記組合せを選択するステップと、
前記選択された組合せの中から前記比較画像の枚数が最大となる前記組合せを決定するステップと、
前記決定された組合せに対応する画像群と前記画像群に対応する前記基準画像を示す情報とを出力するステップと、
を含む画像処理方法。

【請求項12】

コンピュータを動作させるプログラムであって、
前記プログラムは、コンピュータを、
複数の画像の入力を受け付ける入力部、
前記複数の画像のそれぞれを１枚ずつ基準画像として選択し、前記基準画像ごとに、前記基準画像と前記複数の画像のうちの前記基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせする位置合わせ部、
前記基準画像と位置合わせされた前記比較画像の中から前記基準画像と組み合わせる前記比較画像を前記基準画像ごとに選択し、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出し、前記共通領域の前記基準画像に対する割合が所定閾値以上となる前記組合せを選択する選択部、
前記選択された組合せの中から前記比較画像の枚数が最大となる前記組合せを決定する決定部、及び、
前記決定された組合せに対応する画像群と前記画像群に対応する前記基準画像を示す情報とを出力する出力部
として動作させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、複数の画像を合成して一枚の高解像度の画像を作成する装置を開示する。この装置は、複数の画像の中からエッジ強度が最大となる画像を１枚の基準画像として選択し、基準画像に対して他の画像を位置合わせおよび合成する。エッジ強度が最大となる基準画像は、格納した複数枚の画像の中で最も焦点がはっきりと撮影された画像であると仮定される。そのため、基準画像以外の画像は、基準画像の画質に付加価値を付与する役割になる。これにより、最低でも、基準画像を単独で使用するときの画質よりも画質向上が保証される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−２４４８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１記載の方法では、基準画像を単独で使用するときの画質よりも画質が向上しない場合がある。例えば、基準画像と他の画像とが互いに異なるシーンを撮影している場合であったり、同一の被写体を捉えていなかったりする場合がある。このような場合、基準画像と他の画像との合成処理自体が適切に行えない。このように、複数の画像の中から単に画質の良い画像を基準画像として選択する手法では、画像合成による画質向上が見込めないことがある。

【0005】

本開示は、複数の画像の中から、複数の画像を処理するための基準画像と当該基準画像とともに処理される画像とを適切に選択する装置、方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一側面によれば、画像処理装置が提供される。画像処理装置は、入力部、位置合わせ部、選択部、決定部及び出力部を備える。入力部は、複数の画像の入力を受け付ける。位置合わせ部は、複数の画像のそれぞれを１枚ずつ基準画像として選択し、基準画像ごとに、基準画像と複数の画像のうちの基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせする。選択部は、基準画像と位置合わせされた比較画像の中から基準画像と組み合わせる比較画像を基準画像ごとに選択し、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出し、共通領域の基準画像に対する割合が所定閾値以上となる組合せを選択する。決定部は、選択された組合せの中から比較画像の枚数が最大となる組合せを決定する。出力部は、決定された組合せに対応する画像群と画像群に対応する基準画像を示す情報とを出力する。

【0007】

この画像処理装置によれば、位置合わせ部により、入力された複数の画像それぞれが基準画像として１枚ずつ選択され、基準画像ごとに比較画像との位置合わせが行われる。選択部により、共通領域の基準画像に対する割合が所定閾値以上となる、基準画像と比較画像との組合せが選択される。決定部により、選択された組合せの中から、対応する比較画像の枚数が最大となる組合せが決定される。出力部により、組合せに対応する画像群と画像群に対応する基準画像を示す情報とが出力される。このように、入力された複数の画像すべてが基準画像に設定され、共通領域と基準画像との割合が所定閾値以上を満たす組合せが選択される。複数の画像を用いて画質又は認識精度を向上させる場合、共通領域が狭いほど効果は減少する。この画像処理装置は、共通領域と基準画像との割合が所定閾値以上となる組合せを選択することにより、複数の画像を処理することにより得られる効果が減少することを回避することができる。また、複数の画像を用いて画質又は認識精度を向上させる場合、比較画像の枚数が多いほど効果は増大する。この画像処理装置は、決定された組合せのうち比較画像の枚数が最大となる組合せを決定することにより、後続の画像処理による効果を最大化させることができる。よって、この画像処理装置は、複数の画像の中から、複数の画像を処理するための基準画像と当該基準画像とともに処理される画像とを適切に選択することができる。

【発明の効果】

【0008】

本開示によれば、複数の画像の中から、複数の画像を処理するための基準画像及び当該基準画像とともに処理される画像を適切に選択することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る画像処理装置の機能を説明する概要図である。

【図2】第１実施形態に係る画像処理装置のハードウェアを説明する概要図である。

【図3】位置合わせの対象となる画像群を説明する図である。

【図4】画像の位置合わせを説明する図である。

【図5】探索に関するアルゴリズムを説明するツリー構造である。

【図6】第１実施形態に係る画像処理方法を説明するフローチャートである。

【図7】位置合わせの対象となる画像群を説明する図である。

【図8】画像の位置合わせを説明する図である。

【図9】画像の位置合わせを説明する図である。

【図10】第２実施形態に係る画像処理装置の機能を説明する概要図である。

【図11】第３実施形態に係る画像処理装置の機能を説明する概要図である。

【図12】第３実施形態に係る画像処理方法を説明するフローチャートである。

【図13】第４実施形態に係る画像処理装置の機能を説明する概要図である。

【発明を実施するための形態】

【0010】

以下、種々の例示的実施形態について説明する。以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

【0011】

［第１実施形態］
［画像処理装置の構成］
図１は、第１実施形態に係る画像処理装置の機能を説明する概要図である。図１に示されるように、画像処理装置１は、カメラ２、画像データベース３（画像ＤＢ３）及び画像合成装置４に接続される。画像処理装置１は、複数の画像の中から、複数の画像を処理するための基準画像及び当該基準画像とともに処理される画像を選択する。

【0012】

画像処理装置１は、処理対象となる複数の画像をカメラ２から取得する。カメラ２は、動画撮影機能又は静止画の連続撮影機能を有する。つまり、複数の画像は、時系列に並ぶ静止画像である。複数の画像は、３つ以上の画像を含むことができる。画像処理装置１は、複数の画像を画像データベース３から取得してもよい。画像データベース３は、複数の画像を予め格納する記憶媒体である。複数の画像の取得態様は、上記の取得態様に限定されない。例えば、画像処理装置１は、カメラ２及び画像データベース３の何れかに接続されていればよい。あるいは、画像処理装置１は、カメラ２及び画像データベース３とは異なる他の機器から通信を介して複数の画像を取得してもよい。

【0013】

画像処理装置１は、取得された複数の画像の中から処理に用いる複数の画像を選択して出力する。図１の例では、画像処理装置１は、画像合成装置４へ複数の画像を出力する。画像処理装置１は、複数の画像の中で処理の基準となる画像を示す情報も出力し得る。画像合成装置４は、複数の画像を用いて高解像度の画像や、ノイズが低減された画像等を生成する装置である。画像合成装置４は、生成部４１を備える。生成部４１は、複数の画像の中から指定された１枚の基準画像を基準にして、少なくとも１枚の高解像度の画像や、ノイズが低減された画像等を生成する。一例として、生成部４１は、基準画像の画像特徴に基づいて複数の画像のうちの基準画像を除く他の画像の位置合わせを行う。生成部４１は、必要に応じて動的領域を考慮した上で、基準画像と他の画像とを合成し、高解像度の画像を生成する。なお、画像処理装置１の出力先は、画像合成装置４に限定されない。例えば、画像処理装置１の出力先は、結果として画像を出力しないが内部的に複数の画像の重複領域を処理する装置であればよく、例えば、物体認識装置又は物体追跡装置でもよい。あるいは、画像処理装置１の出力先は、これらの装置のためにデータを格納するデータベースとしてもよい。

【0014】

画像処理装置１は、機能的な構成要素として、入力部１１、位置合わせ部１３、選択部１４、決定部１５及び出力部１６を備える。これらの構成要素が発揮する機能は、図２に示されるハードウェアによって実現される。図２は、第１実施形態に係る画像処理装置のハードウェアを説明する概要図である。図２に示されるように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１００、ＲＡＭ（Random AccessMemory）１０１、ＲＯＭ１０２（Read Only Memory）、グラフィックコントローラ１０３、バス１０４、補助記憶装置１０５、外部接続インタフェース１０６及びネットワークインタフェース１０７を含む、通常のコンピュータシステムとして構成される。バス１０４を除く各構成要素は、バス１０４を介して通信可能に接続される。

【0015】

ＣＰＵ１００は、演算回路を含み、画像処理装置１を統括制御する。ＣＰＵ１００は、ＲＯＭ１０２又は補助記憶装置１０５に記憶されたプログラムをＲＡＭ１０１に読み出す。ＣＰＵ１００は、ＲＡＭ１０１に読み出したプログラムに基づいて種々の処理を実行する。ＲＯＭ１０２は、画像処理装置１の制御に用いられるシステムプログラムなどを記憶する。グラフィックコントローラ１０３は、表示装置に表示させるための画面を生成する。補助記憶装置１０５は、種々の処理を実行するアプリケーションプログラムなどを記憶する。補助記憶装置１０５は、一例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにより構成される。外部接続インタフェース１０６は、画像処理装置１に種々の周辺機器を接続するためのインタフェースである。外部接続インタフェース１０６は、一例として、画像処理装置１に、ディスプレイ、キーボード又はマウスなどを接続させる。ネットワークインタフェース１０７は、ネットワークを介して情報のやりとりをする外部機器に接続するためのインタフェースである。

【0016】

画像処理装置１は、グラフィックコントローラ１０３を有さなくてもよい。画像処理装置１は、ハードウェアとして１つの筐体に収まっている必要はなく、いくつかの装置に分離していてもよい。

【0017】

再び図１を参照して画像処理装置１の機能的な構成要素を説明する。入力部１１は、複数の画像の入力を受け付ける。入力部１１は、カメラ２又は画像データベース３から複数の画像の入力を受け付ける。一例として、入力部１１は、時系列に並ぶ３つ以上の静止画像の入力を受け付ける。

【0018】

位置合わせ部１３は、複数の画像のそれぞれを１枚ずつ基準画像として選択し、基準画像以外の画像を当該基準画像に対応する比較画像とする。基準画像とは、位置合わせ処理ごとに複数の画像の中から１枚だけ選択される画像であり、複数の画像間の関係性を決定する際に基準となる画像である。基準画像の画像特徴は、比較画像と位置合わせする際に用いられる。画像特徴とは、画素値に基づく特徴量であり、例えば、輝度値の配列やエッジ強度などである。位置合わせとは、画像特徴に基づいて画像間の位置を合わせる処理である。また、基準画像は、後行程において画像合成が行われる場合には、複数の画像のうちの他の画像が合成される対象となる。一例として、位置合わせ部１３は、複数の画像の中から１つの基準画像を選択し、選択された１つの基準画像を基準として対応する比較画像と位置合わせ処理をする。位置合わせ処理が終了した場合、複数の画像の中から次の基準画像を選択し、選択された次の基準画像を基準として位置合わせ処理を繰り返す。このように、位置合わせ部１３は、少なくとも複数の画像の枚数分、位置合わせ処理を実施する。位置合わせ部１３は、一例として、複数の画像の時系列順に基準画像を選択してもよい。位置合わせ部１３は、複数の画像のそれぞれが少なくとも１回は基準画像となるように、複数の画像の中から基準画像を選択する。このように、位置合わせ部１３は、基準画像ごとに、基準画像と比較画像それぞれとを画像特徴に基づいて位置合わせする。

【0019】

選択部１４は、基準画像と位置合わせされた比較画像の中から基準画像と組み合わせる比較画像を基準画像ごとに選択する。選択部１４は、一例として、基準画像と組み合わせる比較画像を網羅的に選択する。例えば、第１画像Ｇ１〜第４画像Ｇ４を対象とする場合であって第１画像Ｇ１を基準画像とするときには、選択部１４は、基準画像である第１画像Ｇ１との組合せとして、（Ｇ１，Ｇ２，Ｇ３，Ｇ４）、（Ｇ１，Ｇ２，Ｇ３）、（Ｇ１，Ｇ２，Ｇ４）、（Ｇ１，Ｇ３，Ｇ４）、（Ｇ１，Ｇ２）、（Ｇ１，Ｇ３）、（Ｇ１，Ｇ４）の７通りを選択する。選択部１４は、基準画像ごとに上記の組合せを選択する。例えば、第２画像Ｇ２を基準画像とする場合の組合せ、第３画像Ｇ３を基準画像とする場合の組合せ、及び、第４画像Ｇ４を基準画像とする場合の組合せを網羅的に選択する。

【0020】

選択部１４は、基準画像ごとに選択した組合せごとに、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出する。例えば、基準画像が第１画像Ｇ１である画像の組合せ（Ｇ１，Ｇ２，Ｇ３）については、第１画像Ｇ１〜第３画像Ｇ３全てが重なる領域が共通領域となる。共通領域は、画像全てが重なる領域に含まれる矩形領域としてもよい。共通領域を矩形領域とすることにより後述する割合の演算が容易となるため、処理速度が向上する。共通領域は、画像全てが重なる領域に含まれる最大の矩形領域としてもよい。

【0021】

選択部１４は、共通領域の基準画像に対する割合が所定閾値以上となる組合せを選択する。選択部１４は、組合せごとに共通領域の基準画像に対する割合を算出し、所定閾値と比較する。所定閾値は、共通領域の基準画像に対する割合を判定するために予め定められた値である。共通領域の基準画像に対する割合がパーセント表示で表現される場合、所定閾値は例えば５０％〜９５％の範囲に設定される。所定閾値は、７０〜９０％の範囲に設定されてもよい。共通領域の基準画像に対する割合が比で表現される場合、所定閾値は例えば０．５〜０．９５の範囲、あるいは、０．７〜０．９の範囲に設定される。この比は、重なり率ｒｃともいう。重なり率ｒｃは、共通領域を基準画像の画像の大きさで除した値であり、０以上１以下の値となる。

【0022】

決定部１５は、選択された組合せの中から比較画像の枚数が最大となる組合せを決定する。例えば、基準画像が第１画像Ｇ１である画像の２つの組合せ（Ｇ１，Ｇ２，Ｇ３）、（Ｇ１，Ｇ２，Ｇ３，Ｇ４）が選択部１４によって選択された場合、組合せ（Ｇ１，Ｇ２，Ｇ３）の比較画像の枚数は２枚であり、組合せ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）の比較画像の枚数は３枚である。この場合、決定部１５は、組合せ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）が比較画像の枚数が最大となる組合せであると決定する。

【0023】

なお、選択部１４及び決定部１５は、並列的に協調動作することにより、比較画像の枚数が最大となる組合せの探索を効率的に実施してもよい。探索に関するアルゴリズムの詳細は後述する。

【0024】

出力部１６は、決定された組合せに対応する画像群と画像群に対応する基準画像を示す情報とを出力する。決定された組合せに対応する画像群とは、決定部１５によって決定された組合せに含まれる基準画像及び比較画像のことである。画像群に対応する基準画像とは、組合せに含まれる基準画像であり、組合せに含まれる比較画像が位置合わせの基準とした画像である。基準画像を示す情報は、画像群の中で基準画像を識別可能な情報である。例えば、基準画像を示す情報は、基準画像に付与された識別番号、Ｅｘｉｆ情報、画像群中の並び順などであり、これらに限定されない。

【0025】

出力部１６は、画像群を時系列順に並び替えて出力してもよい。基準画像と時系列距離が近い画像の方が合成処理時においてゴーストが出にくい傾向にある。時系列順に並び替えることにより、画像合成装置４において合成処理が最適化され得る。あるいは、出力部１６は、各画像の鮮鋭度を取得し、鮮鋭度順に並び替えて出力してもよい。合成対象となる画像の枚数に制限がある場合、鮮鋭度順に並び替えることにより、画像合成装置４において合成処理が最適化され得る。

【0026】

以上説明したとおり、画像処理装置１は、複数の画像の中から、最適な基準画像と基準画像とともに処理される比較画像との組合せを決定し、画像合成装置４へ出力する。

【0027】

［共通領域の詳細］
図３は、位置合わせの対象となる画像群を説明する図である。図３の（Ａ）に示される第１画像Ｇ１、図３の（Ｂ）に示される第２画像Ｇ２、図３の（Ｃ）に示される第３画像Ｇ３、及び、図３の（Ｄ）に示される第４画像Ｇ４は、例示の順で時系列に撮像された画像群である。

【0028】

一例として、基準画像を第１画像Ｇ１とした例を、図４を用いて説明する。図４は、画像の位置合わせを説明する図である。基準画像を第１画像Ｇ１とした場合、比較画像は、複数の画像のうちの第１画像Ｇ１以外の画像となるため、第２画像Ｇ２、第３画像Ｇ３及び第４画像Ｇ４の３枚である。図４の（Ａ）は、比較画像の全てを用いた位置合わせの例である。図４の（Ａ）に示されるように、基準画像である第１画像Ｇ１を基準として、３枚の比較画像（第２画像Ｇ２、第３画像Ｇ３及び第４画像Ｇ４）が位置合わせされる。４枚の画像すべてが重なる領域が共通領域ＲＡ１である。

【0029】

図４の（Ｂ）は、比較画像のうちの２枚を用いた位置合わせの例である。図４の（Ｂ）に示されるように、基準画像である第１画像Ｇ１を基準として、２枚の比較画像（第２画像Ｇ２及び第３画像Ｇ３）が位置合わせされる。３枚の画像すべてが重なる領域が共通領域ＲＡ２である。図示は省略するが、位置合わせ部１３は、２枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第２画像Ｇ２及び第４画像Ｇ４、第３画像Ｇ３及び第４画像Ｇ４の組合せも、第２画像Ｇ２及び第３画像Ｇ３の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0030】

図４の（Ｃ）は、比較画像のうちの１枚を用いた位置合わせの例である。図４の（Ｃ）に示されるように、基準画像である第１画像Ｇ１を基準として、１枚の比較画像（第２画像Ｇ２）が位置合わせされる。２枚の画像が重なる領域が共通領域ＲＡ３である。図示は省略するが、位置合わせ部１３は、１枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第３画像Ｇ３との組合せ及び第４画像Ｇ４との組合せも、第２画像Ｇ２の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0031】

このように、位置合わせ部１３は、基準画像に対する比較画像の位置合わせを行い、選択部１４は、基準画像と比較画像との組合せごとに共通領域を算出する。選択部１４は、算出された共通領域を用いて重なり率を算出し、重なり率が所定閾値以上となる組合せを選択する。

【0032】

［探索に関するアルゴリズムの詳細］
選択部１４及び決定部１５によって、重なり率ｒｃが所定閾値以上であって比較画像が最大枚数となる組合せが決定される。この決定フローはいくつか存在する。第１の決定フローでは、位置合わせ部１３によって位置合わせされた画像群について、選択部１４は、重なり率ｒｃが所定閾値以上となる組合せを全て選定し、決定部１５は、選定された組合せの中から比較画像が最大枚数となる組合せを決定する。

【0033】

第２の決定フローは、第１の決定フローによる探索を効率的に行うように改善される。第２の決定フローでは、最初に、基準画像に対して最大枚数の比較画像を組み合わせて、重なり率ｒｃが所定閾値以上となるか否かを判定する。最大枚数の比較画像を含む組合せのうち、重なり率ｒｃが所定閾値以上となる組合せが存在した場合には、選択部１４は以降の探索処理を実施せず、決定部１５は、当該組合せを比較画像が最大枚数となる組合せと決定する。つまり、選択部１４及び決定部１５は、最大枚数の比較画像を有する組合せから探索することで処理を効率化する。

【0034】

図５は、探索に関するアルゴリズムを説明するツリー構造である。図５は、４枚の画像の組合せについて第２の決定フローで探索する例を示す。４枚の画像のうちの１枚は基準画像であり、残りの３枚は比較画像である。例えば、基準画像は第１画像Ｇ１であり、比較画像は第２画像Ｇ２〜第４画像Ｇ４である。図５に示されるように、ツリー構造の一番左のノードがルートであり、ノードには比較画像の使用状態がビット形式で示される。例えば、状態「０００」は第２画像Ｇ２〜第４画像Ｇ４全てを使用する状態に対応する。状態「００１」は第２画像Ｇ２及び第３画像Ｇ３を使用する状態に対応する。状態「０１０」は第２画像Ｇ２及び第４画像Ｇ４を使用する状態に対応する。状態「１００」は第３画像Ｇ３及び第４画像Ｇ４を使用する状態に対応する。状態「０１１」は第２画像Ｇ２を使用する状態に対応する。状態「１０１」は第３画像Ｇ３を使用する状態に対応する。状態「１１０」は第４画像Ｇ４を使用する状態に対応する。状態「１１１」は何れの画像も使わない状態に対応する。各ノードは、比較画像の使用枚数に応じて階層Ｔ０〜階層Ｔ３まで階層化される。ルートである状態「０００」は、階層Ｔ０であり、比較画像が３枚である。状態「００１」，「０１０」，「１００」は、階層Ｔ１であり、比較画像が２枚である。状態「０１１」，「１０１」，「１１０」は、階層Ｔ２であり、比較画像が１枚である。状態「１１１」は、階層Ｔ３であり、比較画像が０枚である。このように、ルートから出発して階層が深くなる度に比較画像の枚数が減少する。

【0035】

選択部１４及び決定部１５は、ルートである状態「０００」から探索を開始する。状態「０００」の組合せは１つであり、この１つの組合せにおいて重なり率ｒｃが所定閾値以上となる場合には、決定部１５は当該組合せを最適な組合せであると決定し、以降の処理を実行しない。ルートにおける組合せの重なり率ｒｃが所定閾値未満である場合、選択部１４及び決定部１５は、階層Ｔ０から階層Ｔ１へと処理を移行する。階層Ｔ１において処理対象となる比較画像は、状態「０００」から１枚減じた合計２枚となる。階層Ｔ２において処理対象となる比較画像は、さらに１枚減じた合計１枚となる。階層Ｔ１，Ｔ２においては、階層Ｔ０の処理と同様に、重なり率ｒｃが所定閾値以上である場合には、決定部１５は当該組合せを最適な組合せであると決定し、以降の処理を実行しない。つまり、階層に条件を満たす組合せが存在した場合には、次の階層に移行することなく探索を終了する。このアルゴリズムを実行することで、処理が高速化される。なお、図５は、１枚の基準画像に対応するツリー構造である。つまり、基準画像となる画像が５枚ある場合には、基準画像ごとに図５に示すツリー構造に沿って処理が実施される（処理が合計５回実施されることになる）。

【0036】

［画像処理方法］
図６は、第１実施形態に係る画像処理方法を説明するフローチャートである。図６に示される画像処理方法は、画像処理装置１によって実行される。画像処理装置１は、例えばユーザによる処理操作を受け付けたときに図６に示される画像処理方法を開始する。

【0037】

画像処理装置１の入力部１１は、入力処理（ステップＳ１０）として、複数の画像の入力を受け付ける。入力部１１は、例えば４枚の画像の入力を受け付ける。例えば、図３の（Ａ）〜（Ｄ）に示される４枚の画像が入力される。

【0038】

画像処理装置１の位置合わせ部１３は、位置合わせ処理（ステップＳ１２）として、複数の画像のそれぞれを１枚ずつ基準画像として選択する。そして、位置合わせ部１３は、基準画像ごとに、基準画像と複数の画像のうちの基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせする。例えば、位置合わせ部１３は、第１画像Ｇ１を基準画像として比較画像を位置合わせする。同様に、位置合わせ部１３は、第２画像Ｇ２を基準画像として比較画像を位置合わせする。同様に、位置合わせ部１３は、第３画像Ｇ３を基準画像として比較画像を位置合わせする。同様に、位置合わせ部１３は、第４画像Ｇ４を基準画像として比較画像を位置合わせする。

【0039】

画像処理装置１の選択部１４は、選択処理（ステップＳ１４）として、基準画像と位置合わせされた比較画像の中から基準画像と組み合わせる比較画像を基準画像ごとに選択する。そして、選択部１４は、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出する。例えば、図４の（Ａ）〜（Ｃ）に示されるように、それぞれの組合せにおいて共通領域を算出する。続いて、選択部１４は、共通領域の基準画像に対する割合が所定閾値以上となる組合せを選択する。例えば、図４の例において、共通領域ＲＡ１の重なり率ｒｃ１が０．３、共通領域ＲＡ２の重なり率ｒｃ２が０．５、共通領域ＲＡ３の重なり率ｒｃ３が０．８であると仮定する。重なり率に係る所定閾値が０．５である場合、共通領域ＲＡ１の重なり率ｒｃ１は所定閾値より小さいため、選択部１４は、図４の（Ａ）に示される組合せを選択せず、図４の（Ｂ）又は（Ｃ）に示される組合せが選択される。

【0040】

画像処理装置１の決定部１５は、決定処理（ステップＳ１６）として、選択された組合せの中から比較画像の枚数が最大となる組合せを決定する。決定部１５は、共通領域の基準画像に対する割合が所定閾値以上となる組合せの中から比較画像の枚数が最大となる組合せを決定する。例えば、図４の（Ｂ）又は（Ｃ）に示される組合せが選択された場合、図４の（Ｂ）の組合せは比較画像が２枚、図４の（Ｃ）の組合せは比較画像が１枚である。このため、決定部１５は、第１画像Ｇ１を基準画像とした図４の（Ｂ）の組合せを、比較画像の枚数が最大となる組合せであると決定する。

【0041】

画像処理装置１の出力部１６は、出力処理（ステップＳ１８）として、決定された組合せに対応する画像群と画像群に対応する基準画像を示す情報とを出力する。出力処理が終了すると、図６に示されるフローチャートは終了する。

【0042】

図６に示されるフローチャートを実行することにより、複数の画像から最適な基準画像及び比較画像が選択される。なお、選択処理（Ｓ１４）及び決定処理（Ｓ１６）は、同時並行的に処理してもよく、この場合、図５に示されるアルゴリズムで動作すればよい。

【0043】

［異なる画像が基準画像に選択されるユースケース］
位置合わせ部１３は、一例として、複数の画像の時系列順に基準画像を選択してもよい。異なる画像が基準画像に選択されるユースケースを、図７〜図９を参照して説明する。

【0044】

図７は、位置合わせの対象となる画像群を説明する図である。図７の（Ａ）に示される第１画像Ｈ１、図７の（Ｂ）に示される第２画像Ｈ２、図７の（Ｃ）に示される第３画像Ｈ３、及び、図７の（Ｄ）に示される第４画像Ｈ４は、例示の順で時系列に撮像された画像群である。図３の画像群との相違点は、第１画像Ｈ１にボケが発生している（すなわち、鮮明ではない）ことである。

【0045】

一例として、第１画像Ｈ１が基準画像に選択された例を、図８を用いて説明する。図８は、画像の位置合わせを説明する図である。基準画像を第１画像Ｈ１とした場合、比較画像は、複数の画像のうちの第１画像Ｈ１以外の画像となるため、第２画像Ｈ２、第３画像Ｈ３及び第４画像Ｈ４の３枚である。図８の（Ａ）は、比較画像の全てを用いた位置合わせの例である。図８の（Ａ）に示されるように、基準画像である第１画像Ｈ１を基準として、３枚の比較画像（第２画像Ｈ２、第３画像Ｈ３及び第４画像Ｈ４）が位置合わせされる。４枚の画像すべてが重なる領域が共通領域ＲＢ１である。

【0046】

図８の（Ｂ）は、比較画像のうちの２枚を用いた位置合わせの例である。図８の（Ｂ）に示されるように、基準画像である第１画像Ｈ１を基準として、２枚の比較画像（第２画像Ｈ２及び第３画像Ｈ３）が位置合わせされる。３枚の画像すべてが重なる領域が共通領域ＲＢ２である。図示は省略するが、位置合わせ部１３は、２枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第２画像Ｈ２及び第４画像Ｈ４、第３画像Ｈ３及び第４画像Ｈ４の組合せも、第２画像Ｈ２及び第３画像Ｈ３の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0047】

図８の（Ｃ）は、比較画像のうちの１枚を用いた位置合わせの例である。図８の（Ｃ）に示されるように、基準画像である第１画像Ｈ１を基準として、１枚の比較画像（第２画像Ｈ２）が位置合わせされる。２枚の画像が重なる領域が共通領域ＲＢ３である。図示は省略するが、位置合わせ部１３は、１枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第３画像Ｈ３との組合せ及び第４画像Ｈ４との組合せも、第２画像Ｈ２の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0048】

一般的に、２枚の画像の位置合わせにおいて、いずれか又は双方の画像にボケが発生していると、画像間の動きベクトル量を正確に算出することができなくなる。この結果、誤差が含まれる動きベクトル量に基づいて位置合わせが行われてしまうため、複数の画像の位置合わせの精度が低下してしまう。図８は、基準画像（第１画像Ｈ１）と、比較画像（第２画像Ｈ２〜第４画像Ｈ４）とが適切に位置合わせされなかった様子を示している。

【0049】

次に、一例として、第２画像Ｈ２が基準画像に選択された例を、図９を用いて説明する。図９は、画像の位置合わせを説明する図である。基準画像を第２画像Ｈ２とした場合、比較画像は、複数の画像のうちの第２画像Ｈ２以外の画像となるため、第１画像Ｈ１、第３画像Ｈ３及び第４画像Ｈ４の３枚である。図９の（Ａ）は、比較画像の全てを用いた位置合わせの例である。図９の（Ａ）に示されるように、基準画像である第２画像Ｈ２を基準として、３枚の比較画像（第１画像Ｈ１、第３画像Ｈ３及び第４画像Ｈ４）が位置合わせされる。４枚の画像すべてが重なる領域が共通領域ＲＢ４である。図９の（Ａ）に示されるように、第２画像Ｈ２と第１画像Ｈ１とはズレて位置合わせされているのに対して、第２画像Ｈ２と第３画像Ｈ３及び第４画像Ｈ４とは適切に位置合わせされている。第２画像Ｈ２〜第４画像Ｈ４にはボケが発生しておらず、正確に算出された動きベクトル量に基づいて位置合わせされたためである。

【0050】

図９の（Ｂ）は、比較画像のうちの２枚を用いた位置合わせの例である。図９の（Ｂ）に示されるように、基準画像である第２画像Ｈ２を基準として、２枚の比較画像（第３画像Ｈ３及び第４画像Ｈ４）が位置合わせされる。３枚の画像すべてが重なる領域が共通領域ＲＢ５である。図示は省略するが、位置合わせ部１３は、２枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第１画像Ｈ１及び第４画像Ｈ４、第１画像Ｈ１及び第３画像Ｈ３の組合せも、第３画像Ｈ３及び第４画像Ｈ４の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0051】

図９の（Ｃ）は、比較画像のうちの１枚を用いた位置合わせの例である。図９の（Ｃ）に示されるように、基準画像である第２画像Ｈ２を基準として、１枚の比較画像（第３画像Ｈ３）が位置合わせされる。２枚の画像が重なる領域が共通領域ＲＢ６である。図示は省略するが、位置合わせ部１３は、１枚の比較画像の他の組合せについても、位置合わせを実施する。例えば、第１画像Ｈ１との組合せ及び第４画像Ｈ４との組合せも、第３画像Ｈ３の組合せと同様に位置合わせされ、選択部１４によってそれぞれの組合せごとに共通領域が算出される。

【0052】

図８の（Ａ）〜（Ｃ）、及び、図９の（Ａ）に示される通り、基準画像及び比較画像のいずれか又は双方にボケが発生していると、ボケが発生していない場合と比較して、位置合わせの信頼度が劣後してしまう。位置合わせの信頼度が低い場合は算出される共通領域が相対的に小さくなり、信頼度が高い場合は算出される共通領域が相対的に大きくなる。図８の（Ｂ）及び図９の（Ｂ）に、位置合わせの信頼度が高い場合に算出される共通領域ＲＢ５が、信頼度が低い場合に算出される共通領域ＲＢ２よりも大きくなる様子が示されている。同様に、図８の（Ｃ）及び図９の（Ｃ）に、位置合わせの信頼度が高い場合に算出される共通領域ＲＢ６が、信頼度が低い場合に算出される共通領域ＲＢ３よりも大きくなる様子が示されている。

【0053】

以上説明した通り、位置合わせ部１３は、複数の画像のそれぞれが少なくとも１回は基準画像となるように、複数の画像の中から基準画像を選択する。そのため、複数の画像の中にボケた画像が含まれている場合であっても、このボケた画像を基準画像とする、ズレて位置合わせされる画像の組み合わせがそのまま選択されることが抑制される。この結果、画像処理装置１は、複数の画像の中から、より適切な基準画像と基準画像とともに処理される比較画像との組み合わせを決定することができる。

【0054】

［プログラム］
プログラムは、コンピュータを画像処理装置１として機能させる。コンピュータとは、演算装置及び記憶媒体を含むハードウェアであり、パーソナルコンピュータ、サーバ、携帯端末などである。プログラムは、メインモジュール、入力モジュール、位置合わせモジュール、選択モジュール、決定モジュール、及び、出力モジュールを備える。メインモジュールは、装置を統括的に制御する部分である。入力モジュール、位置合わせモジュール、選択モジュール、決定モジュール、及び、出力モジュールを実行させることにより実現される機能は、上述した画像処理装置１の入力部１１、位置合わせ部１３、選択部１４、決定部１５及び出力部１６の機能とそれぞれ同一である。

【0055】

プログラムは、例えば、ＲＯＭ又は半導体メモリなどの非一時的な記録媒体によって提供される。また、プログラムは、ネットワークなどの通信を介して提供されてもよい。

【0056】

［第１実施形態のまとめ］
基準画像を設定する典型的な手法においては、複数の画像から任意に選択された１枚の画像を基準画像として選択し、複数の画像の位置合わせを行う。しかし、選択された１枚の画像がボケている場合（鮮明でない場合）、この基準画像と、位置合わせの対象となる他の画像とから計算される動きベクトル量に誤差が発生してしまう。この結果、複数の画像の位置合わせの精度が低下してしまい、画像合成による画質向上が見込めなくなってしまう。

【0057】

これに対して、複数の画像の位置合わせの精度を向上させるために、複数の画像から最も鮮鋭度の高い画像を選択する手法が考えられる。一般的に、画像におけるテクスチャ領域が小さいほどその画像の鮮鋭度は低くなり、画像におけるテクスチャ領域が大きい程その画像の鮮鋭度は大きくなる傾向がある。例えば、図３の（Ａ）〜（Ｄ）に示される第１画像Ｇ１〜第４画像Ｇ４から最も鮮鋭度の高い画像を選択する場合を考える。この場合、葉っぱのテクスチャ領域が最も大きい第４画像Ｇ４が、最も鮮鋭度の高い画像として選択される可能性が高くなる。しかしながら、このような第４画像Ｇ４が、必ずしも主被写体（車）との位置が近い画像とは限らない。このように、鮮鋭度が最も高い画像を単純に選択しただけでは画像合成による画質向上が見込めないおそれがある。

【0058】

第１実施形態に係る画像処理装置１によれば、入力された複数の画像すべてが基準画像に設定され、重なり率ｒｃが所定閾値以上を満たす組合せが選択される。複数の画像を用いて画質又は認識精度を向上させる場合、共通領域が狭いほど効果は減少する。画像処理装置１は、重なり率ｒｃが所定閾値以上となる組合せを選択することにより、複数の画像を処理することにより得られる効果が減少することを回避することができる。また、複数の画像を用いて画質又は認識精度を向上させる場合、比較画像の枚数が多いほど効果は増大する。画像処理装置１は、決定された組合せのうち比較画像の枚数が最大となる組合せを決定することにより、後続の画像処理による効果を最大化させることができる。よって、画像処理装置１は、複数の画像の中から、複数の画像を処理するための基準画像と当該基準画像とともに処理される画像とを適切に選択することができる。

【0059】

［第２実施形態］
第２実施形態に係る画像処理装置１Ａは、第１実施形態に係る画像処理装置１と比較して決定部１５Ａの一部機能が相違し、その他は同一である。以下では、画像処理装置１との相違点を中心に説明し、重複する説明は繰り返さない。

【0060】

図１０は、第２実施形態に係る画像処理装置の機能を説明する概要図である。図１０に示されるように、画像処理装置１Ａは、画像処理装置１と比較して決定部１５Ａを備える点が相違し、その他は同一である。決定部１５Ａは、決定部１５と同一の機能を有するとともに、追加的な機能を有する。具体的には、決定部１５Ａは、比較画像の枚数が最大枚数となる組合せが複数存在する場合には、比較画像の枚数が最大枚数となる組合せの中から対応する共通領域がより大きい組合せを決定する。この場合、比較画像の枚数が最大枚数となる組合せのうち共通領域が最も大きい組合せが選択される。

【0061】

第１画像Ｇ１、第２画像Ｇ２、第３画像Ｇ３及び第４画像Ｇ４の４枚の画像を処理する場合を例示する。第１画像Ｇ１を基準画像とし、組合せ（Ｇ１，Ｇ２，Ｇ３）の重なり率ｒｃが０．８、組合せ（Ｇ１，Ｇ２，Ｇ４）の重なり率ｒｃが０．７であり、重なり率に係る所定閾値が０．６であるとする。さらに、両者とも比較画像の枚数は２枚であり、最大枚数であるとする。この場合、２つの組合せは、両者とも、重なり率ｒｃが所定閾値以上であって比較画像が最大枚数になるという条件に合致する。

【0062】

決定部１５Ａは、上記条件に合致する２つの組合せのうち、共通領域がより大きい方の組合せ、つまり、重なり率ｒｃがより大きい方の組合せを決定する。上記の例においては、組合せ（Ｇ１，Ｇ２，Ｇ３）の重なり率ｒｃの方が、組合せ（Ｇ１，Ｇ２，Ｇ４）の重なり率ｒｃよりも大きい。このため、決定部１５Ａは、組合せ（Ｇ１，Ｇ２，Ｇ３）を採用する。

【0063】

決定部１５Ａの機能は、図５に示されるツリー構造のアルゴリズムに組み込むこともできる。決定部１５Ａは、ツリー構造において複数のノードが存在する階層を処理するときには、同一階層のノードの処理が全て終了するまで重なり率ｒｃのノードごとの演算結果を保持する。そして、決定部１５Ａは、ノードごとの演算結果のうち、重なり率ｒｃが所定閾値以上であって最大の重なり率ｒｃとなる組合せを決定する。このように、決定部１５Ａは、比較画像が最大枚数になる組合せが複数存在する場合、つまり、同一階層において重なり率ｒｃが所定閾値以上となる条件を満たすノードが複数存在する場合であっても、最適な１つの組合せを決定することができる。

【0064】

決定部１５Ａは、同一階層のノードごとの演算結果を全て保持する必要はなく、同一階層において所定閾値以上となる重なり率ｒｃの最大値に対応するノードの演算結果のみを記録しておけばよい。例えば、図５の階層Ｔ１において状態「００１」「０１０」「１００」の順に処理する場合において、全ての状態において重なり率ｒｃが所定閾値以上であるとする。この場合、最初に、状態「００１」の処理時において算出された重なり率ｒｃが初期値として記録される。重なり率ｒｃは、対応する状態と関連付けられて記録される。続いて、状態「０１０」の処理時において算出された重なり率ｒｃが、記録されている重なり率ｒｃよりも大きい場合には、記録されている重なり率ｒｃが書き換えられ、重なり率ｒｃに関連付けられる状態も変更される。状態「０１０」の処理時において算出された重なり率ｒｃが、記録されている重なり率ｒｃ以下の場合には、記録されている重なり率ｒｃは変更されない。続いて、状態「１００」の処理時において算出された重なり率ｒｃが、記録されている重なり率ｒｃよりも大きい場合には、記録されている重なり率ｒｃが書き換えられ、重なり率ｒｃに関連付けられる状態も変更される。状態「１００」の処理時において算出された重なり率ｒｃが、記録されている重なり率ｒｃ以下の場合には、記録されている重なり率ｒｃは変更されない。このように、決定部１５Ａは、暫定的な最大値となる組合せの演算結果のみを保持することにより、リソースを減少させることができる。

【0065】

［第２実施形態のまとめ］
第２実施形態に係る画像処理装置１Ａによれば、重なり率ｒｃが所定閾値以上であって比較画像が最大枚数になるという条件を満たす組合せが複数存在する場合であっても、条件を満たす複数の組合せの中から、後続の画像処理による効果を最大化できる組合せを重なり率ｒｃを用いて適切に選択することができる。

【0066】

［第３実施形態］
第３実施形態に係る画像処理装置１Ｂは、第１実施形態に係る画像処理装置１と比較して、取得部１２を備える点、及び、決定部１５Ｂの一部機能が相違し、その他は同一である。以下では、画像処理装置１との相違点を中心に説明し、重複する説明は繰り返さない。

【0067】

図１１は、第３実施形態に係る画像処理装置の機能を説明する概要図である。図１１に示されるように、画像処理装置１Ｂは、画像処理装置１と比較して取得部１２及び決定部１５Ｂを備える点が相違し、その他は同一である。

【0068】

取得部１２は、複数の画像それぞれの指定領域から特徴量を取得する。指定領域は、画像ごとに予め設定された領域である。つまり、指定領域はそれぞれの画像に対応して設定される。指定領域は、画像の一部であってもよいし、画像の全範囲であってもよい。指定領域は、例えば認識処理により顔や被写体を判定された領域などであるが、これらに限定されない。特徴量は、画素値から算出され、画質を評価可能な値である。特徴量の一例は、鮮鋭度（sharpness）、ノイズ量、コントラストなどであるが、これらに限定されない。特徴量は、その値が大きいほど画質が優れているともいえる。鮮鋭度は、二種類の強度の異なる標準偏差σを用いてガウスぼかしした画像同士の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）を用いて算出することができる。

【0069】

決定部１５Ｂは、決定部１５と同一の機能を有するとともに、追加的な機能を有する。具体的には、決定部１５Ｂは、比較画像の枚数が最大枚数となる組合せが複数存在する場合には、比較画像の枚数が最大枚数となる組合せの中から組合せに係る特徴量がより大きい組合せを決定する。この場合、比較画像の枚数が最大枚数となる組合せのうち組合せに係る特徴量が最も大きい組合せが選択される。組合せに係る特徴量は、組合せに係る画像それぞれの特徴量の合計値又は平均値である。

【0070】

第１画像Ｇ１、第２画像Ｇ２、第３画像Ｇ３及び第４画像Ｇ４の４枚の画像を処理する場合を例示する。第１画像Ｇ１を基準画像とし、組合せ（Ｇ１，Ｇ２，Ｇ３）の重なり率ｒｃが０．８、組合せに係る特徴量がＰ１であり、組合せ（Ｇ１，Ｇ２，Ｇ４）の重なり率ｒｃが０．７、組合せに係る特徴量がＰ２（Ｐ１＞Ｐ２）であり、重なり率に係る所定閾値が０．６であるとする。さらに、両者とも比較画像の枚数は２枚であり、最大枚数であるとする。この場合、２つの組合せは、両者とも、重なり率ｒｃが所定閾値以上であって比較画像が最大枚数になるという条件に合致する。

【0071】

決定部１５Ｂは、上記条件に合致する２つの組合せのうち、組合せに係る特徴量がより大きい方の組合せを決定する。上記の例においては、組合せ（Ｇ１，Ｇ２，Ｇ３）の組合せに係る特徴量Ｐ１の方が、組合せ（Ｇ１，Ｇ２，Ｇ４）の組合せに係る特徴量Ｐ２よりも大きい。このため、決定部１５Ｂは、組合せ（Ｇ１，Ｇ２，Ｇ３）を採用する。

【0072】

決定部１５Ｂの機能は、図５に示されるツリー構造のアルゴリズムに組み込むこともできる。決定部１５Ｂは、ツリー構造において複数のノードが存在する階層を処理するときには、同一階層のノードの処理が全て終了するまで重なり率ｒｃのノードごとの演算結果を保持する。そして、決定部１５Ｂは、ノードごとの演算結果のうち、重なり率ｒｃが所定閾値以上であって組合せに係る特徴量が最大となる組合せを決定する。このように、決定部１５Ｂは、比較画像が最大枚数になる組合せが複数存在する場合、つまり、同一階層において重なり率ｒｃが所定閾値以上となる条件を満たすノードが複数存在する場合であっても、最適な１つの組合せを決定することができる。

【0073】

決定部１５Ｂは、同一階層のノードごとの演算結果を全て保持する必要はなく、同一階層において所定閾値以上であって組合せに係る特徴量が最大となるノードの演算結果のみを記録しておけばよい。例えば、図５の階層Ｔ１において状態「００１」「０１０」「１００」の順に処理する場合において、全ての状態において重なり率ｒｃが所定閾値以上であるとする。この場合、最初に、状態「００１」の処理時において算出された組合せに係る特徴量が初期値として記録される。組合せに係る特徴量は、対応する状態と関連付けられて記録される。続いて、状態「０１０」の処理時において算出された組合せに係る特徴量が、記録されている組合せに係る特徴量よりも大きい場合には、記録されている組合せに係る特徴量が書き換えられ、組合せに係る特徴量に関連付けられる状態も変更される。状態「０１０」の処理時において算出された組合せに係る特徴量が、記録されている組合せに係る特徴量以下の場合には、記録されている組合せに係る特徴量は変更されない。続いて、状態「１００」の処理時において算出された組合せに係る特徴量が、記録されている組合せに係る特徴量よりも大きい場合には、記録されている組合せに係る特徴量が書き換えられ、組合せに係る特徴量に関連付けられる状態も変更される。状態「１００」の処理時において算出された組合せに係る特徴量が、記録されている組合せに係る特徴量以下の場合には、記録されている組合せに係る特徴量は変更されない。このように、決定部１５Ｂは、暫定的な最大値となる組合せの演算結果のみを保持することにより、リソースを減少させることができる。

【0074】

［画像処理方法］
図１２は、第３実施形態に係る画像処理方法を説明するフローチャートである。図１２に示される画像処理方法は、画像処理装置１Ｂによって実行される。画像処理装置１Ｂは、例えばユーザによる処理操作を受け付けたときに図１２に示される画像処理方法を開始する。

【0075】

画像処理装置１Ｂの入力部１１は、入力処理（ステップＳ２０）として、複数の画像の入力を受け付ける。この処理は図６の入力処理（ステップＳ１０）と同一である。

【0076】

画像処理装置１Ｂの取得部１２は、取得処理（ステップＳ２１）として、複数の画像それぞれの指定領域から特徴量を取得する。取得部１２は、入力処理で受け付けられた画像それぞれから特徴量を取得する。取得部１２は、画像ごとに指定領域を検出し、指定領域内の鮮鋭度などを取得する。

【0077】

画像処理装置１Ｂの位置合わせ部１３は、位置合わせ処理（ステップＳ２２）として、基準画像の選択と比較画像の位置合わせとを行う。この処理は図６の位置合わせ処理（ステップＳ１２）と同一である。

【0078】

画像処理装置１Ｂの選択部１４は、選択処理（ステップＳ２４）として、基準画像と位置合わせされた比較画像の中から基準画像と組み合わせる比較画像を基準画像ごとに選択する。そして、選択部１４は、組合せに含まれる画像が共通して描画可能な領域である共通領域及び重なり率ｒｃを算出する。この処理は図６の選択処理（ステップＳ１４）と同一である。

【0079】

画像処理装置１Ｂの決定部１５Ｂは、決定処理（ステップＳ２６）として、選択された組合せの中から比較画像の枚数が最大となる組合せを決定する。決定部１５Ｂは、重なり率ｒｃが所定閾値以上となる組合せの中から比較画像の枚数が最大となる組合せを決定する。そして、重なり率ｒｃが所定閾値以上であって比較画像の枚数が最大となる組合せが複数存在する場合には、当該複数の組合せの中から組合せに係る特徴量が最も大きい組合せを決定する。

【0080】

画像処理装置１の出力部１６は、出力処理（ステップＳ２８）として、決定された組合せに対応する画像群と画像群に対応する基準画像を示す情報とを出力する。この処理は図６の出力処理（ステップＳ１８）と同一である。出力処理が終了すると、図１２に示されるフローチャートは終了する。

【0081】

図１２に示されるフローチャートを実行することにより、複数の画像から最適な基準画像及び比較画像が選択される。なお、取得処理（Ｓ２１）及び位置合わせ処理（Ｓ２２）は同時並行的に処理してもよい。選択処理（Ｓ２４）及び決定処理（Ｓ２６）は、同時並行的に処理してもよく、この場合、図５に示されるアルゴリズムで動作すればよい。

【0082】

［第３実施形態のまとめ］
第３実施形態に係る画像処理装置１Ｂによれば、重なり率ｒｃが所定閾値以上であって比較画像が最大枚数になるという条件を満たす組合せが複数存在する場合であっても、条件を満たす複数の組合せの中から、後続の画像処理による効果を最大化できる組合せを組合せに係る特徴量を用いて適切に選択することができる。

【0083】

［第４実施形態］
第４実施形態に係る画像処理装置１Ｃは、第１実施形態に係る画像処理装置１と比較して、生成部４１を備える点が相違し、その他は同一である。以下では、画像処理装置１との相違点を中心に説明し、重複する説明は繰り返さない。

【0084】

図１３は、第４実施形態に係る画像処理装置の機能を説明する概要図である。図１３に示されるように、画像処理装置１Ｃ、画像処理装置１と比較して生成部４１を備える点が相違し、その他は同一である。生成部４１は、画像処理装置１に接続された画像合成装置４の生成部４１と同一である。

【0085】

［第４実施形態のまとめ］
第４実施形態に係る画像処理装置１Ｃによれば、複数の画像を適切に選択して高解像度の画像を生成することができる。

【0086】

［変形例］
本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0087】

例えば、第２実施形態の決定部１５Ａの機能と第３実施形態の決定部１５Ｂの機能とを組合せてもよい。この場合、決定部は、最初に、決定部１５Ａのように、比較画像の枚数が最大枚数となる組合せが複数存在する場合には、比較画像の枚数が最大枚数となる組合せの中から対応する共通領域がより大きい組合せを決定する。そして、比較画像の枚数が最大枚数かつ対応する共通領域が最大となる組合せが複数存在する場合には、決定部は、決定部１５Ｂのように、比較画像の枚数が最大枚数であって対応する共通領域が最大となる基準画像の中から組合せに係る特徴量がより大きい組合せを決定する。このように、画像処理装置は、比較画像の枚数、共通領域の大きさ、組合せに係る特徴量の順に重みを付け、重みの高い項目から最大化するように組合せを選択してもよい。

【0088】

また、第４実施形態に係る生成部４１を、第２実施形態に係る画像処理装置１Ａ及び第３実施形態に係る画像処理装置１Ｂに備えてもよい。

【符号の説明】

【0089】

１，１Ａ，１Ｂ，１Ｃ…画像処理装置、１１…入力部、１２…取得部、１３…位置合わせ部、１４…選択部、１５，１５Ａ，１５Ｂ…決定部、１６…出力部、４１…生成部。

【要約】

【課題】複数の画像の中から基準画像と当該基準画像とともに処理される画像とを適切に選択する装置を提供する。
【解決手段】複数の画像の入力を受け付ける入力部と、複数の画像のそれぞれを１枚ずつ基準画像として選択し、基準画像ごとに、基準画像と複数の画像のうちの基準画像を除く画像である比較画像それぞれとを、画像特徴に基づいて位置合わせする位置合わせ部と、基準画像と位置合わせされた比較画像の中から基準画像と組み合わせる比較画像を基準画像ごとに選択し、組合せに含まれる画像が共通して描画可能な領域である共通領域を算出し、共通領域の基準画像に対する割合が所定閾値以上となる組合せを選択する選択部と、選択された組合せの中から比較画像の枚数が最大となる組合せを決定する決定部と、決定された組合せに対応する画像群と画像群に対応する基準画像を示す情報とを出力する出力部とを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】