特開 2024-171091 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171091

(43)【公開日】2024-12-11

(54)【発明の名称】画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム、記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241204BHJP

   H04N 23/698 20230101ALI20241204BHJP

   H04N 23/741 20230101ALI20241204BHJP

   G03B 37/00 20210101ALI20241204BHJP

   G03B 15/00 20210101ALI20241204BHJP

   G03B 7/091 20210101ALI20241204BHJP

【ＦＩ】

H04N23/60 500

H04N23/698

H04N23/741

G03B37/00

G03B15/00 H

G03B7/091

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023087973

(22)【出願日】2023-05-29

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】鈴木 美咲

【テーマコード（参考）】

2H002

2H059

5C122

【Ｆターム（参考）】

2H002DB25

2H002GA02

2H002GA04

2H002HA05

2H059BA11

5C122EA21

5C122EA68

5C122FA03

5C122FH18

5C122FH24

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB06

(57)【要約】

【課題】 パノラマ撮影をしながらＨＤＲ撮影を行うとき、不要な撮影・合成を行わないことで処理時間を短縮可能な画像処理装置を提供する。
【解決手段】 １以上の撮影画像を合成し、１枚の画像を生成する第１の合成処理と、前記第１の合成処理とは異なる処理であって、前記１以上の撮影画像に対応する露出の異なる画像を用いた第２の合成処理とを行うことが可能な画像処理手段と、前記撮影画像から評価値を算出する算出手段と、前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記画像処理手段が前記第１の合成処理を実行する場合、前記算出手段が算出した前記評価値に基づいて前記第２の合成を制御することを特徴とする画像処理装置。
【選択図】 図５

【特許請求の範囲】

【請求項1】

１以上の撮影画像を合成し、１枚の画像を生成する第１の合成処理と、前記第１の合成処理とは異なる処理であって、前記１以上の撮影画像に対応する露出の異なる画像を用いた第２の合成処理とを行うことが可能な画像処理手段と、
前記撮影画像から評価値を算出する算出手段と、
前記画像処理手段を制御する制御手段と、を有し、
前記制御手段は、前記画像処理手段が前記第１の合成処理を実行する場合、前記算出手段が算出した前記評価値に基づいて前記第２の合成を制御することを特徴とする画像処理装置。

【請求項2】

前記第１の合成処理はパノラマ画像を生成する処理であることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の合成処理は、前記撮影画像および異なる複数の露出で撮影された画像を合成する処理であって、ハイダイナミックレンジ（ＨＤＲ）画像を生成する処理であることを特徴とする請求項２に記載の画像処理装置

【請求項4】

前記制御手段は、前記算出手段が算出した前記評価値に基づいて前記第２の合成に用いる画像の枚数を制御することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記算出手段は、前記撮影画像に評価領域を設定し、前記評価領域の一部あるいはすべての領域に基づいて輝度ヒストグラムを評価値として算出することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記制御手段は、前記評価領域のダイナミックレンジが所定の条件を満たす場合に、前記画像処理手段が前記第２の合成処理を行わないように制御することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

撮像手段と、
請求項１乃至６のいずれか１項の画像処理装置と、を有することを特徴とする撮像装置。

【請求項8】

１以上の撮影画像を合成し、１枚の画像を生成する第１の合成処理と、前記第１の合成処理とは異なる処理であって、前記１以上の撮影画像に対応する露出の異なる画像を用いた第２の合成処理とを行うことが可能な画像処理ステップと、
前記撮影画像から評価値を算出する算出ステップと、
前記画像処理ステップにて前記第１の合成処理が実行される場合、前記算出ステップにて算出された前記評価値に基づいて前記第２の合成を制御する制御ステップと、を有することを特徴とする画像処理装置の制御方法。

【請求項9】

コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させる、コンピュータによる実行が可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に複数枚の画像を合成して一枚の画像を生成する処理方法に関するものである。

【背景技術】

【0002】

近年、複数枚の画像を合成することで、通常の撮影画像よりも特別な効果が得られる画像処理方法が増えてきている。

【0003】

例えば特許文献１には、パノラマモードとしてパンニングしながら静止画を連続撮影し、連続撮影した静止画を合成することでパノラマ画像を生成する手法が提案されている。一般的にこのような手法をパンニングパノラマ合成と呼ぶ。

【0004】

また特許文献２には、ＨＤＲモードとして同一画角において露出が異なる画像を複数枚撮影し、ダイナミックレンジが広い画像を生成する手法が提案されている。このような合成手法をＨＤＲ合成と呼ぶ。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－２８７６４号公報

【特許文献2】特開２０１１－１５３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述したようなパンニングパノラマ合成とＨＤＲ合成を同時に行う場合、すなわちパノラマモードとＨＤＲモードを組み合わせる場合においては、撮影時間および合成時間が非常に長くなることがある。

【0007】

たとえば、パノラマモードでは、シャッターボタンを押してパンニングする間に数秒間隔で撮影を行う。このときパノラマモードとしてはパンニング中に合成用として１０枚の撮影をするとする。一方でＨＤＲモードでは露出が異なる画像を複数枚撮影する。このときＨＤＲモードとしては３枚を撮影するものとする。パノラマモードおよびＨＤＲモードの両者を組み合わせて撮影および合成する場合、パノラマモード撮影１０枚分×ＨＤＲモード３枚分＝３０枚分の処理が発生するため、単体でパノラマモードやＨＤＲモードを実施するよりも処理時間が長くなってしまう。

【0008】

そこで本発明では、パノラマモードおよびＨＤＲモードを組み合わせた場合において、両者の画質的なメリットを生かししつつ、処理時間を短縮することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る画像処理装置は、１以上の撮影画像を合成し、１枚の画像を生成する第１の合成処理と、前記第１の合成処理とは異なる処理であって、前記１以上の撮影画像に対応する露出の異なる画像を用いた第２の合成処理とを行うことが可能な画像処理手段と、前記撮影画像から評価値を算出する算出手段と、前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記画像処理手段が前記第１の合成処理を実行する場合、前記算出手段が算出した前記評価値に基づいて前記第２の合成を制御することを特徴とする。

【発明の効果】

【0010】

本発明によれば、パノラマモードによる広い画角と、ＨＤＲモードによるダイナミックレンジの拡大を両立しつつ、処理時間を削減することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態における撮像装置の背面外観を示す外観図

【図2】本発明の実施形態における機能構成を模式的に示すブロック図

【図3】本発明の実施の形態に関するパノラマモードの合成方法を示す図

【図4】本発明の実施の形態に関するＨＤＲモードの合成方法を示す図

【図5】本発明の実施の形態におけるＨＤＲパノラマモードの流れを示すフローチャート

【図6】本発明の実施の形態におけるＨＤＲパノラマモードの画像合成の流れを示すフローチャート

【図7】本発明の実施の形態における評価領域および評価領域のヒストグラムの例を示す図

【図8】本発明の実施の形態における評価領域のヒストグラム例を示す図

【図9】本発明の実施の形態におけるＨＤＲ合成のため各露出のガンマ例を示す図

【図10】本発明の実施の形態における合成処理時間を短縮且つダイナミックレンジを十分に表現する場合におけるＨＤＲパノラマモードの流れを示すフローチャート

【図11】本発明の実施の形態における撮影時間および合成時間を短縮するＨＤＲパノラマモードの流れを示すフローチャート

【図12】右方向にパンニングしながら撮影する場合における、切り出し領域および評価領域の例を示す図

【発明を実施するための形態】

【0012】

図１に本発明の撮像装置の一例としてのデジタルカメラ１００の外観図を示す。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。

【0013】

＜実施例１＞
図２は、本発明の第１の実施形態によるデジタルカメラ１００の構成例を示すブロック図である。

【0014】

図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１はフォーカルプレーンシャッタである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

【0015】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理、ガンマ処理なども行う。また、画像処理部２４では、複数枚の画像を合成して、広角な合成画像を生成するパノラマ画像合成、およびハイダイナミックレンジな合成画像を生成するＨＤＲ合成を行う。本実施例におけるパノラマ画像合成、ＨＤＲ画像合成の詳細は後述する。

【0016】

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0017】

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。

【0018】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、各種フローチャートを実行するためのプログラムのことである。

【0019】

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

【0020】

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0021】

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６３、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

【0022】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、ＨＤＲモード、パノラマモード、ＨＤＲパノラマ合成モード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0023】

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。

【0024】

第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。第２シャッタースイッチ信号ＳＷ２を検知して撮影開始するが、設定に応じてシャッター１０１を動作させるか切り替えても良い。

【0025】

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。

【0026】

機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

【0027】

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

【0028】

電源制御部３１は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部３１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

【0029】

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0030】

検出部８０は、ジャイロセンサや加速度センサ等から構成される。システム制御部５０は、検出部８０の検出結果からデジタルカメラ１００の角度と移動量を算出する。

【0031】

例えば、検出部８０の検出結果が角速度の場合、システム制御部５０は、それぞれ積分することで角度と位置を算出する。ジャイロセンサから得られる角速度はセンサの出力が安定せずオフセットが加算された状態で出力されることがあるため、高域通過フィルタを適応し、オフセットを除去した値を使用する。

【0032】

次に本実施形態に係るパノラマモードの概要を説明する。図３に示す画像１はパノラマモードで使用される画像の一例であり、３０１に示す切り出し領域が合成に使用する領域である。図３に点線で示す領域３０２はパノラモードで合成されたパノラマ画像の画角である。パノラマモードは、デジタルカメラ１００の撮影範囲を動かしながら連続撮影し、画像処理部２４が得られた複数の合成領域を重ね合わせて合成することで、１枚で撮影した場合と比較して広い画角の画像を合成するモードである。

【0033】

さらに、本実施形態に係るＨＤＲモードの概要を説明する。図４にＨＤＲモードで使用・生成される画像の例を示している。４０１は、明暗差の大きいシーンを、複数の異なる露出で撮影した画像群である。適正露出の画像データが４０１の（２）、露出がアンダーの画像データが４０１の（１）、露出がオーバーの画像データが４０１の（３）に対応しているものとする。画像処理部２４がこれらの画像を加重合成することで、４０２のような合成画像を生成する。例えば所定数の画素単位など所定の領域毎に、予め定めた合成割合に従って輝度別合成処理を行うことで４０２のようなＨＤＲ合成画像を生成することができる。このように、ＨＤＲモードの合成では１枚で撮影した場合と比較して、高いダイナミックレンジを持つ画像を合成できる。

【0034】

本実施形態では、パノラマモードおよびＨＤＲモードを組み合わせたモードである、ＨＤＲパノラマモードについて説明する。ＨＤＲパノラマモードは両機能の特徴を備え、パノラマモードで撮影する１画角あたり、ＨＤＲモードの合成のため異なる露出で複数枚画像を撮影する。これらの画像を画像処理部２４がＨＤＲ合成し、パノラマモードで撮影された画角の分だけ重ね合わせて合成する。これにより、パノラマモードのメリットである広い画角と、ＨＤＲモードのメリットである高いダイナミックレンジとを持つ画像を提供することができる。

【0035】

上記構成を有する撮像装置１００において実行される、本実施の形態における撮影および合成の流れについて説明する。

【0036】

図５は、ＨＤＲパノラマモードで合成処理時間を短縮する場合における、処理の流れを示すフローチャートである。モード切り替えスイッチ６０で、ＨＤＲパノラマモードが選択された場合に図５の処理を実行する。本実施形態において主眼となるのは、ステップＳ５０８であり、詳細については”画像合成の流れ”で説明する。本フローチャートはシステム制御部５０が所定のプログラムを実行し、撮像装置１００の各部を制御することによって実行される。

【0037】

まずステップＳ５０１では、システム制御部５０は、操作部７０の撮影条件設定ボタン（以下、「設定ボタン」）が押されたか否かの判定を行う。設定ボタンが押されたと判定された場合、ステップＳ５０２の処理に移り、ＨＤＲパノラマモードの撮影条件についての設定を行う。一方、設定ボタンが押されなかったと判定された場合、Ｓ５０３の処理に移る。

【0038】

Ｓ５０２における撮影条件の設定については、まずＨＤＲ合成のためのダイナミックレンジ等の設定を変更する。ダイナミックレンジは±１段、±２段、±３段などと設定することができる。ダイナミックレンジ±３段と設定した場合には、適正露出－３段、適正露出、適正露出＋３段の３パターンの画像を撮影する。図４の４０１であれば、（１）が適正露出－３段、（２）が適正露出、（３）が適正露出＋３段を示している。さらにパノラマ合成のための撮影方向等の設定を変更する。撮影方向は、どの方向にパンニング撮影するかをあらかじめ定めるものであり、たとえば上下左右を設定することができる。また、ＨＤＲパノラマモードを初めて動作させる場合は初期設定値を使用する。

【0039】

ステップＳ５０３では、システム制御部５０は、第１シャッタースイッチが押されたか否かの判定を行う。第１シャッタースイッチが押されたと判定された場合、Ｓ５０４の処理に移る。第１シャッタースイッチが押されなかったと判定された場合、Ｓ５０１の処理に戻る。

【0040】

ステップＳ５０４では、システム制御部５０は、ＡＥ処理とＡＦ処理を行う。

【0041】

ステップＳ５０５では、システム制御部５０は、Ｓ５０４のＡＥ処理結果に基づき撮影感度、絞り量、シャッタースピードなどの露出条件を決定する。

【0042】

ステップＳ５０６では、システム制御部５０は、第２シャッタースイッチが押されたか否かの判定を行う。第２シャッタースイッチが押されたと判定された場合、Ｓ５０７に遷移する。第２シャッタースイッチが押されなかったと判定された場合、システム制御部５０は、第１シャッタースイッチが押されたままか否か（いわゆる半押しのままか否か）をステップＳ５０３で判定する。

【0043】

ステップＳ５０７では、Ｓ５０６で決定した撮影条件で撮像装置１００がＨＤＲ撮影を実行する。撮影は、Ｓ５０２で求めた撮影条件、およびＳ５０５で求めた露出条件に基づいて行う。たとえばＳ５０２で、ダイナミックレンジ±３段と設定した場合、適正露出－３段、適正露出、適正露出＋３段と３パターンの露出を振ってカメラ内で撮影が行われる。さらに、設定した撮影方向が右の場合、ユーザ自身がカメラを右に振るように撮影をする。すなわちこのＨＤＲ撮影中には併せてパンニング撮影が行われている。

【0044】

ステップＳ５０８では、画像処理部２４がＳ５０７で撮影された画像を用いてＨＤＲ合成およびパノラマ合成を行う。詳細については後述する。Ｓ５０８の画像合成が終了している場合、Ｓ５０９の処理へ遷移する。

【0045】

ステップＳ５０９では、パノラマ撮影が継続中であることをシステム制御部５０で判定する。パノラマ撮影が継続中かどうかはＳ５０２で設定した撮影条件に基づき、規定の画角まで画像が合成された、もしくは規定された撮影枚数に達したかを計測することで判定を行う。終了したと判定した場合は処理を終了する。

【0046】

続いて図５のステップＳ５０８の画像合成の詳細を図６のフローチャートにて説明する。

【0047】

ステップＳ６０１では、画像処理部２４が評価領域を決定する。評価領域とは、Ｓ５０７で撮影した画像のうち、ＨＤＲ合成にはどの露出で撮影した画像の合成が必要かを判断するための領域である。前述の通り、パノラマ合成処理には図３で示したような切り出し領域を使用する。したがって評価領域はパノラマ合成処理を見越し、切り出し領域と一致させることが好ましい。しかしながら、評価にかかる処理時間を短縮させるため、評価領域を切り出し領域の内側８０％とやや内側等に設定しても良い。

【0048】

なお、切り出し領域はできるだけ撮像画像の中央に設定するとよい。これは、撮像画像の中央は、一般的に歪が少なく、切り出し領域を画像の中央に設定すれば、より自然な合成画像が生成できるからである。また、切り出し領域は後述のＨＤＲパノラマ合成のためにメモリ２０９に保存するが、切り出して保存することにより、メモリ２０９の記憶容量を節約することができる。

【0049】

ステップＳ６０２では、画像処理部２４が撮影された画像に対する評価値を取得する。画像処理部２４が評価する評価画像としてはＨＤＲ撮影中の露出値が中間付近で撮影された画像を用いると良い。理由としては、後述のＳ６０３におけるＨＤＲ合成の枚数決定にてダイナミックレンジが足りていないと判断された場合、ダイナミックレンジを補うことができる露出の画像を用いてＨＤＲ合成することができるからである。

【0050】

例えばＳ５０７で撮影した画像が、適正露出－３段、適正露出、適正露出＋３段のとき、適正露出の画像を用いる。画像処理部２４は評価画像に対し、ステップＳ６０１で決定した評価領域における輝度ヒストグラムを求める。このヒストグラムが評価値となる。

【0051】

ヒストグラムの求め方の例を図７に示す。図７（ａ）－１は撮影シーンの一例を示している。黒枠が撮影領域、斜線が評価領域兼切り出し領域である。評価領域には木１を含んでおり、このとき評価領域のみを表した例が図７（ａ）－２となる。そして図７（ａ）－２の評価領域におけるヒストグラムを８ビットで示した例が図７（ａ）－３となる。この例ではヒストグラムの最低輝度～最高輝度が０～２５５（８ビット）の輝度域内に収まっていることがわかる。すなわちダイナミックレンジが適正の範囲内であると考えられる。

【0052】

図７（ｂ）－１は図７（ａ）－１と撮影シーンは同じだが、黒枠の撮影領域および斜線の評価領域が、パンニングによって右側にシフトしている例である。評価領域には雲を含んでおり、評価領域のみを表した例が図７（ｂ）－２となる。この評価領域におけるヒストグラムを８ビットで示した例が図７（ｂ）－３となるが、高輝度な被写体である雲を含んでおり、ヒストグラムがやや高輝度側に寄っている。すなわち高輝度側に画像全体が偏っており、ダイナミックレンジが狭い。

【0053】

ステップＳ６０３では、Ｓ６０２で得られたヒストグラムをもとに画像処理部２４がＨＤＲ合成枚数を決定する。

【0054】

ヒストグラムの最低輝度～最高輝度が０～２５５（８ビット）の輝度域内に収まっていれば、評価画像の輝度域で足りていると判断ができる。よって評価画像の露出の画像のみで良い、つまりＨＤＲ合成は不要と判断ができる。輝度域内に収まっているかどうかの判定には、０～２５５ではなく、１０～２４５などやや狭めた輝度域を指定しても良い。なお、判断方法は上述したものに限らず、既存の手法を用いて良い。

【0055】

一方で、ヒストグラムの最低輝度～最高輝度が０～２５５（８ビット）の輝度域内に収まっていない場合は、輝度域が足りていないため、他露出の画像もＨＤＲ合成に用いる必要がある。

【0056】

輝度域が足りていて階調が出ているかどうかを判断する具体的な方法を示すため、図８のヒストグラムを用いて説明する。この図は図７（ｂ）－３に対応するヒストグラムである。このヒストグラムでは高輝度側に輝度値が寄った明るい画像となっており、高輝度側の階調が出せていない可能性がある。よって、ヒストグラムの高輝度側から一定割合の累積画素数が、閾値範囲内に収まっているかを画像処理部２４は判断する。図８では、ヒストグラムの高輝度側から累積画素数が画像の１５％となる部分を斜線部で示している。斜線部の最低輝度は２４０となることを示しており、閾値２４５を下回っているため、高輝度側の階調が十分でないと判定できる。よって図８の場合は、画像処理部２４は高輝度側の階調を得るべく、評価画像よりも露出がアンダーで撮影された画像をＨＤＲ合成する必要があると判断できる。例えば、評価画像が適正露出の画像であれば、適正露出よりもアンダーで撮影された画像を合成することが好ましいと判断できる。

【0057】

前述の方法は、ヒストグラムが低輝度側に寄っていて暗い画像となっており、低輝度側の階調が出せていない場合にも用いることができる。低輝度側の階調が十分でないと判定された場合は、評価画像よりも露出がオーバーで撮影された画像をＨＤＲ合成する必要があると判断する。

【0058】

ステップＳ６０４では、Ｓ５０７で撮影した画像のＨＤＲ合成を行う。ＨＤＲ合成は、Ｓ６０３で求めた１以上のＨＤＲ合成枚数に応じて合成を行う。しかしながら、Ｓ５０７で撮影した画像はそれぞれ撮影された露出が異なるため、違和感なくＨＤＲ合成するためにそれぞれの露出に応じたガンマ補正を行う必要がある。また、隣接する切り出し領域とダイナミックレンジを合わせる目的もある。

【0059】

図９は各露出におけるガンマの例を示している。Ｓ５０７で撮影した画像を、露出が高い順からオーバー、適正露出、アンダーとする。図９（ａ）はオーバー画像、図９（ｂ）は適正露出画像、図９（ｃ）はアンダー画像にあてるガンマである。図９（ａ）～（ｃ）のガンマは画像同士をＨＤＲ合成したことを判別しにくくするため、つなぎ目が分かりにくくしつつ滑らかにつながるように設計する。図９（ｄ）は図９（ａ）～（ｃ）の合成用のガンマと、通常ガンマとを表したものである。通常ガンマと比べて合成用のガンマほうが、低輝度部をより明るく且つ高輝度部をより暗くできているため、階調が表現できていることが分かる。また、撮影中はカメラをパンニングさせているため、この３枚の画像は厳密には画角が変わってしまっている。よって画像内の特徴点などを用いて位置合わせを行う必要もある。

【0060】

ステップＳ６０５では、Ｓ６０４で合成された１以上のＨＤＲ画像をもとに、パノラマ合成を行う。

【0061】

システム制御部２１０は、撮像時に保存された切り出し領域をメモリ２０９から読み出し、読み出した画像データに対応する画像間の位置ずれを検出する。一例としては、システム制御部２１０は、切り出し領域を任意のサイズの小ブロックに分割し、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出する。システム制御部２１０は、算出したＳＡＤが最小となる対応点より、動きベクトルを算出することができる。なお、システム制御部２１０は、動きベクトルの算出において、検出部２１５が検出した角速度情報や姿勢情報等を用いて行ってもよい。続いて、システム制御部２１０は、隣り合う切り出し領域の画像間で求めた動きベクトルに基づいて、切り出し領域の画像間の位置ずれを補正し、切り出し領域の画像間の重複部を加重加算などにより合成する。

【0062】

なお、パノラマ撮影で複数画角の撮影が行われなかった場合、つまり１画角しか撮影されなかった場合は、パノラマ合成は行わず処理を終了する。

【0063】

以上が画像合成の流れである。次に本実施の形態と異なる合成方法について説明する。

【0064】

＜合成方法１＞
前述のステップＳ６０４のＨＤＲ合成では、Ｓ５０７で撮影した画像はそれぞれ撮影された露出が異なるため、それぞれの露出に応じたガンマを用いている。しかしながら、これらのガンマは違和感なくＨＤＲ合成することを優先させているがために、単体だと通常のガンマよりダイナミックレンジは狭まっている。図９（ｂ）は適正露出画像に適用する合成用ガンマだが、図９（ｄ）の通常ガンマと比べると、表現できる縦軸の信号値が狭まっており、ダイナミックレンジが狭まっていることが分かる。そのため、結果としてＨＤＲ合成が不要な、中間露出の画像のみを用いるパノラマ合成となった場合、ＨＤＲ合成しない単体のパノラマモードと比べてダイナミックレンジが狭い、つまり画質として不利になるという課題がある。

【0065】

ゆえに本実施形態では、全撮影完了後にＨＤＲ合成判定および適用するガンマを決定する。これにより、ＨＤＲ合成有無を考慮した、十分なダイナミックレンジを表現することができる。

【0066】

図１０はＨＤＲパノラマモードにおいて合成処理時間を短縮、且つダイナミックレンジを十分に表現する場合における、処理の流れを示すフローチャートである。図１０（ａ）のＳ５０１～Ｓ５０７およびＳ５０９は、図５のＳ５０１～Ｓ５０７およびＳ５０９と同様の処理であるので、説明は割愛する。図１０において図５と異なるのはＳ１０００の画像合成で、Ｓ５０８とは処理の順番と処理内容が異なる。

【0067】

Ｓ１０００の画像合成について、詳細を図１０（ｂ）のフローチャートに示す。

【0068】

図１０（ｂ）のＳ１００１およびＳ１００７は、図４のＳ６０１及びＳ６０５と同様の処理となるため、説明は割愛する。

【0069】

Ｓ１００２は画像処理部２４が評価値の取得を行う。Ｓ６０２では直前に撮影した画像のうち１枚に対して評価値の取得を行っていた。一方、Ｓ１００２はパノラマ撮影した全画角の画像のうち特定の露出、たとえば中間の露出の画像を抜き出し、それらの画像に対してそれぞれ評価値取得を行う。

【0070】

Ｓ１００３では画像処理部２４がＨＤＲ合成枚数の決定を行う。Ｓ１００２で全画角の画像のうち特定の露出のものに対して評価値が取得できているため、それらの評価値をもとにＨＤＲ合成枚数を決定する。合成枚数の決定方法はＳ６０３同じである。たとえば１画角目は３枚、２画角目は２枚というように、各画角に対して何枚ＨＤＲ合成が必要か、あるいは不要かを画像処理部２４は決定する。

【0071】

Ｓ１００４では、Ｓ１００３で決定した合成枚数に基づいて画像処理部２４はＨＤＲ合成が必要かを判断する。ＨＤＲ合成が必要な画角が１つでも含まれている場合は、Ｓ１００５へ遷移し、一方でいずれの画角においても合成枚数は１枚のみと判断された場合、つまりいずれの画角でも合成が不要と判断された場合には、Ｓ１００６へ遷移する。

【0072】

Ｓ１００５では画像処理部２４が合成用のガンマを用いて補正およびＨＤＲ合成する。

【0073】

Ｓ１００６では、画像処理部２４が各画角の画像に対して、通常のガンマを用いて補正する。

【0074】

以上述べた通り、全撮影完了後にＨＤＲ合成判定を行いＨＤＲ合成有無に応じてガンマを適用することで、ダイナミックレンジを十分に活かした画像を提供することができる。

【0075】

＜合成方法２＞
前述のした「画像合成の流れ」では、ＨＤＲ合成に必要となる画像はすべて撮影し、その上で不要な画像は除いて合成する方法を示していた。しかしながら、撮影の時点で合成に不要な撮影を行わないようにすることで、合成処理時間だけではなく撮影処理時間の短縮も期待できる。

【0076】

本実施形態では、撮影の時点でＨＤＲ合成が必要かどうかを判断し、撮影した画像に基づいて合成を行う例を示す。

【0077】

図１１はＨＤＲパノラマモードにおいて、撮影時間および合成時間を短縮する場合における、処理の流れを示すフローチャートである。図１１（ａ）のＳ５０１～Ｓ５０６およびＳ５０９は、図３のＳ５０１～Ｓ５０６およびＳ５０９と同様の処理である。図３と異なるのは、Ｓ１１０１のＨＤＲ撮影枚数決定、Ｓ１１０２の撮影、Ｓ１１０３の画像合成の方法である。

【0078】

まず、Ｓ１１０１のＨＤＲ撮影枚数決定について、詳細を図１１（ｂ）のフローチャートに示す。

【0079】

ステップＳ１１０４では、画像処理部２４が評価領域を決定する。パノラマ撮影では一定方向にカメラをパンニングさせるが、前述の通り合成時に使用するのは一部の切り出し領域のみである。また、ある画角で撮影された画像について、切り出し領域のパンニングする方向側の領域については、次の画角における切り出し領域の一部あるいはすべてを含んでいる。よって、この部分を評価領域として定めることができる。

【0080】

図１２は、右方向にパンニングしながら撮影する場合における、切り出し領域および評価領域の例を示している。切り出し領域は斜線部で示している。評価領域は切り出し領域のパンニングする方向側、つまり右側に設けており、格子部で示している。

【0081】

評価領域は次画角の切り出し領域と一致できれば最も良いが、パンニング速度によっては実現できない可能性がある、よって、切り出し領域および評価領域は、パンニング速度によって可変としても良い。

【0082】

また、パンニングの速度が速い場合、画像を滑らかにつなげるためには切り出し領域を広くする必要がある。よってその場合はパンニングする方向側の残りの領域を評価領域と定める。その場合、評価領域は切り出し領域よりも狭まってしまうものの、たとえば次の切り出し領域と予想される８０％などと一定以上の割合が含まれていると判断すれば、次画角の撮影枚数の判断に用いることができる。

【0083】

ステップＳ１１０５では、画像処理部２４が評価値を取得する。ここでは１つ前の画角の評価画像に対して、Ｓ１１０４で求めた評価領域を設定する。この評価領域に基づき評価値を取得する。評価画像および評価値の求め方はＳ６０２と同じである。

【0084】

ステップＳ１１０６では、ステップＳ１１０５にて得られたヒストグラムをもとに、撮影枚数を決定する。判定方法はステップＳ６０３と同じであり、ヒストグラムの形状を見て決定する。

【0085】

Ｓ１１０２では、Ｓ１１０１で決定した撮影枚数に基づき撮影を行う。例えば適正露出と適正露出＋３段の撮影が必要とＳ１１０１で決定した場合、それに基づいて２枚撮影を行う。

【0086】

Ｓ１１０３における画像合成について、詳細を図１１（ｃ）のフローチャートに示す。図１１（ｃ）のＳ６０４～Ｓ６０５は、図６のＳ６０４～Ｓ６０５と同じ処理となるため、説明は割愛する。

【0087】

以上述べた通り、撮影の時点で合成に不要な撮影を行わないようにすることで、合成処理時間および撮影処理時間の短縮をすることが可能となる。

【0088】

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【符号の説明】

【0089】

１３ Ｄ／Ａ変換器
１５ メモリ制御部
１８ 記録媒体Ｉ／Ｆ
２２ 撮像部
２３ Ａ／Ｄ変換器
２４ 画像処理部
２８ 表示部
３０ 電源部
３１ 電源制御部
３２ メモリ
５０ システム制御部
５２ システムメモリ
５３ システムタイマー
５６ 不揮発性メモリ
６０ モード切り替えスイッチ
６１ シャッターボタン
６２ 第１シャッタースイッチ
６３ 第２シャッタースイッチ
７０ 操作部
７２ 電源スイッチ
７３ コントローラホイール
８０ 検出部
１００ デジタルカメラ
１０１ シャッター
１０２ バリア
１０３ 撮影レンズ
１１１ 接続ケーブル
１１２ コネクタ
２００ 記録媒体
２０１ 記録媒体スロット
１１２ コネクタ
２００ 記録媒体
２０１ 記録媒体スロット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】