特開 2025-140862 画像処理装置、撮像装置および画像撮像装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025140862

(43)【公開日】2025-09-29

(54)【発明の名称】画像処理装置、撮像装置および画像撮像装置の制御方法

(51)【国際特許分類】

   H04N 23/63 20230101AFI20250919BHJP

   H04N 23/60 20230101ALI20250919BHJP

【ＦＩ】

H04N23/63 110

H04N23/60 500

H04N23/63 330

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024040477

(22)【出願日】2024-03-14

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】高橋 陽一

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA42

5C122FH09

5C122FH15

5C122FH18

5C122FH22

5C122FK28

5C122FK41

5C122FL08

5C122HB01

5C122HB05

(57)【要約】

【課題】 長秒露光に相当する画像の合成を行う際に合成画像を経時的な変化を確認しながら、領域ごとに合成停止の指示を行うことが可能な撮像装置を提供する。
【解決手段】 複数フレームの画像データを取得する取得手段と、前記複数フレームの画像データを合成する合成手段と、前記合成手段によって得られた合成画像を逐次表示する合成画像表示手段と、画像データを領域分割する領域分割手段と、前記領域分割手段によって分割された分割領域ごとに合成処理を中断する合成処理中断手段を有し、合成処理中断手段に応じて合成処理を停止する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

経時的に撮影された複数の画像のそれぞれに対して同じ領域分割を行う分割手段と、
前記複数の画像から合成画像を作成する合成手段と、
前記合成手段による合成の終了を指示する指示手段と、
前記合成画像を表示する表示部と、を有し、
前記合成手段は、前記指示手段による指示に基づいて、前記分割手段によって分割された領域ごとに合成処理を終了することを特徴とする画像処理装置。

【請求項2】

前記分割手段は前記複数の画像のそれぞれに対して２つ以上の領域に分割を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記指示手段は、前記分割領域の少なくとも一つを選択可能であることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記合成画像は、第１の時点までに撮影された複数の画像から作成された第１の合成画像と、第１の時点より後に撮影された画像を用いて第２の合成画像を新たに作成することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記表示部の表示を制御する制御手段と、をさらに有し、
前記制御手段は前記合成手段が作成した合成画像を前記表示部に表示することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記制御手段は、前記表示部における表示を前記合成手段が合成画像を新たに作成するたびに変更するように制御することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記制御手段は、前記表示部における前記合成手段が合成を終了した合成画像の領域の表示の形態を変更することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記制御手段は、前記合成手段が合成を終了した合成画像の領域を強調表示することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記合成画像は、前記合成画像の作成に用いられた前記経時的に撮影された複数の画像よりも長秒の撮影の効果が付与されたものであることを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記合成手段は加算合成、加算平均、比較明のいずれかで前記合成画像の作成を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項11】

撮像手段と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
を有する撮像装置。

【請求項12】

経時的に撮影された複数の画像のそれぞれに対して同じ領域分割を行う分割ステップと、
前記複数の画像から合成画像を作成する合成ステップと、
前記合成手段による合成の終了を指示する指示ステップと、
前記合成画像を表示する表示ステップと、を有し、
前記合成ステップは、前記指示ステップにおける指示に基づいて、前記分割ステップによって分割された領域ごとに合成処理を終了することを特徴とする画像処理装置の制御方法。

【請求項13】

コンピュータを、請求項１乃至１０に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処置装置、撮像装置および画像処理装置の制御方法、に関し、特には画像合成技術に関する。

【背景技術】

【0002】

長秒の露光を行う撮影としてバルブ撮影という方法が知られている。バルブ撮影では露光開始から露光終了までを撮影者が指示して撮影を行うものが知られている。露光中はセンサーからの画像信号の読み出しが行われないため、撮影されている画像の明るさを確認できない。すなわち、撮影者が、所望する明るさで撮影ができているのかを途中で確認することが難しい。

【0003】

これに対し、特許文献１のように露光中に定期的に画像信号の読み出しを行い、逐次加算合成を行い、画像の合成結果を表示デバイスに表示する技術がある。この技術を活用し、撮影開始後に明るさの変化を確認しながら、露光終了、すなわち合成の終了を指示することが可能となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－１１７３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では読み出した画像データで画像の全域を加算合成していくので、合成画像の全体の明るさが一律で変化していく。そのため、画像内に輝度差がある被写体が存在する場合に合成画像全体で適切な明るさの画像を得ることが難しい。

【0006】

本発明はこのような従来技術の課題に鑑みてなされたものであり、その一態様において、画像の合成を行う際に合成画像の明るさの経時的な変化を確認しながら、領域ごとに合成停止の指示を行うことが可能な撮像装置を提供する。

【課題を解決するための手段】

【0007】

本発明に係る撮像装置は、複数フレームの画像データを取得する取得手段と、前記複数フレームの画像データを合成する合成手段と、前記合成手段によって得られた合成画像を逐次表示する合成画像表示手段と、画像データを領域分割する領域分割手段と、前記領域分割手段によって分割された分割領域ごとに合成処理を中断する合成処理中断手段を有し、合成処理中断手段に応じて合成処理を停止する。

【発明の効果】

【0008】

本発明によれば画像の合成を行う際に合成画像の明るさの経時的な変化を確認しながら、領域ごとに合成停止の指示を行うことが可能な画像処理装置を提供することができる

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像装置の機能構成例を示すブロック図

【図2】実施形態における合成撮影モードの動作に関するフローチャート

【図3】実施形態における分割領域設定方法の説明図

【図4】実施形態における合成画像および撮影中表示の説明図

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

なお、以下では、本発明をデジタルカメラなどの撮像装置で実施する形態に関して説明する。しかし本発明は、撮像機能の有無を問わず、複数枚の画像の合成が可能であれば、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダでも実施可能である。これらは例示であり、本発明は他の電子機器でも実施可能である。

【0012】

図１は、本発明の一実施形態に係る画像処理装置を搭載した一例としての撮像装置１０の機能構成例を示すブロック図である。

【0013】

制御部１０８は、プログラムを実行可能なプロセッサを１つ以上と、ＲＡＭと、ＲＯＭとを有する。制御部１０８は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込み、プロセッサによって実行することができる。制御部１０８は、プログラムを実行することにより、図１に示す機能ブロックを含む撮像装置１０の構成要素、および／または通信可能に接続された外部機器の動作を制御する。撮像装置１０の機能は、制御部１０８がプログラムを実行することにより実施することができる。なお、制御部１０８がプログラムを実行することによって実現可能な機能を、ハードウェア（例えばＡＳＩＣやＦＰＧＡなど）を用いて実施してもよい。ＲＯＭは例えば電気的に書き換え可能であり、制御部１０８が有するプロセッサが実行可能なプログラムのほか、撮像装置１０の設定値、ＧＵＩデータなどを記憶する。制御部１０８は例えばシステムオンチップ（ＳｏＣ）やシステムオンパッケージ（ＳｉＰ）の形態を有しうる。

【0014】

撮影レンズ１００は複数のレンズおよび絞りを有し、被写体の光学像を生成する。撮像素子１０２は例えばＣＭＯＳイメージセンサであり、２次元配列された複数の光電変換部（画素）を有する。

【0015】

撮像素子１０２が有する画素は、電荷蓄積期間に発生した電荷量に応じた値を有する画素信号を生成する。なお、メカニカルシャッタ１０１を開閉させる撮影では、電荷蓄積期間は露光期間に相当する。メカニカルシャッタ１０１を開状態に維持する撮影では、電荷蓄積期間は蓄積電荷のリセット時から露光期間経過までの期間に相当する。一般に前者は静止画撮影、後者は動画撮影に相当するが、後者は静止画撮影にも該当しうる。なお、撮像素子１０２がグローバルシャッター機構を有する場合、メカニカルシャッタ１０１を用いなくてもよい。

【0016】

１回の電荷蓄積期間が終了すると、撮像素子１０２から、１フレーム分の画素信号群（アナログ画像信号）が読み出される。なお、撮像素子１０２がデジタル形式の画素信号群を出力可能な場合、Ａ／Ｄ変換部１０３はなくてもよい。

【0017】

この段階では、各画素信号は、対応する画素が有する単位フィルタの色に応じた１つの色成分のみを有する。本明細書では、このような、単位フィルタの色に応じた１つの色成分のみを有する画素信号から構成されるデジタル形式の画像信号をＲＡＷデータと呼ぶ。

【0018】

Ａ／Ｄ変換部１０３もしくは撮像素子１０２から出力されるＲＡＷデータは、メモリ１０９に一旦格納される。メモリ１０９は、ＲＡＷデータや、画像処理部１０４によって処理された画像データなどを一時的に記憶するために用いられる。

【0019】

画像処理部１０４はＲＡＷデータに対して、現像処理を適用する。現像処理は、色補間処理や階調補正処理（ガンマ処理）など、複数の画像処理の総称である。色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。色補間処理が適用されることにより、各画素はカラー画像として必要な複数の色成分（例えばＲＧＢやＹＣｂＣｒ）を有するようになり、ＲＡＷデータではなくなる。

【0020】

画像処理部１０４は、現像後の画像データに対して、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などの検出処理、合成処理、スケーリング処理、符号化および復号処理を適用することができる。また、画像処理部１０４は、ヘッダ情報生成処理などのデータ加工処理、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出などの評価値算出処理など、様々な画像処理を適用することができる。なお、これらは画像処理部１０４が適用可能な画像処理の例示であり、画像処理部１０４が適用する画像処理を限定するものではない。

【0021】

また画像処理部１０４は撮像された複数のＲＡＷデータを合成し、合成されたＲＡＷデータをメモリ１０９に格納することができる。

【0022】

画像処理部１０４では実効可能な合成処理のモードとして、例えば加算モード、平均加算モード、比較明モードが選択可能である。

【0023】

各合成モードにおける画像合成方法について説明する。Ｎフレーム（Ｎは２以上の整数）の画像を合成するものとする。各フレームの画像を構成する画素が、ｘｙ直交座標系の座標（ｘ，ｙ）を有し、座標（ｘ，ｙ）の画素の輝度値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１～Ｎ）、合成画像の座標（ｘ，ｙ）の画素の輝度値をＩ（ｘ，ｙ）とする。合成部１０８は、合成モードに応じて、以下のように合成画像の各画素の輝度値Ｉ（ｘ，ｙ）を算出する。
・加算モード
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）

【0024】

加算モードにおいて合成部１０８は、各フレームの同じ座標の画素の輝度値を加算して合成画像を生成する。加算モードは、例えば適正露出量の１／Ｎの露出量で撮影したＮフレームの画像を合成して適正露出の画像を生成する場合に用いられる。
・加算平均モード
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ

【0025】

加算平均モードにおいて合成部１０８は、加算モードと同様に求めた輝度値をフレーム数Ｎで割ることで、各画素の輝度値がＮフレームの平均値である合成画像を生成する。加算平均モードは、例えば高感度で撮影した画像のノイズを低減するために用いられる。
・比較明モード
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））

【0026】

ここで、ｍａｘ（）は、（）内の要素の最大値を抽出する関数である。各フレームで同じ座標を有するＮ画素のうち最大の輝度値から構成される合成画像が得られる。比較明モードは、例えば花火や星空を撮影した画像を合成する際に効果的である。

【0027】

表示部１０５は、例えばタッチディスプレイであり、ライブビュー画像、再生画像、ＧＵＩ、撮像装置１０の設定値や情報などの表示に用いられる。

【0028】

操作部１０６は、ユーザが撮像装置１０に様々な指示を与えるための入力デバイス（スイッチ、キー、ボタン、ダイヤル、タッチパネルなど）の総称である。例えば、表示部１０５をタッチパネルとして、操作部１０６の１つとして利用することも可能である。

【0029】

記録部１０７は、撮影モードおよび記録設定に応じて、ＲＡＷデータ、合成ＲＡＷデータ、現像処理された画像データ、これらのデータに付随する音声データなどを、メモリカードなどの記録媒体に記録する。

【0030】

次に、図２のフローチャートを用いて、撮像装置１０の合成撮影モードにおける動作について説明する。合成撮影モードは、経時的に撮影された複数フレームの画像を合成した合成画像を逐次表示し撮影者の指示に基づいて撮影終了（露光を終了）し、画像記録する撮影モードである。本実施形態では加算モードであるが、合成モードを選べるようにしてもよい。また、本実施形態で説明する合成撮影モードは経時的に撮影された複数フレームの画像を合成することで長秒露光に相当する効果を合成画像に付与することができる。

【0031】

Ｓ２０１で制御部１０８は、操作部１０６を通じてユーザから撮影条件の設定を受け付ける。この時に設定する撮影条件は露出条件であり、感度、絞り値、逐次撮影する際のシャッタースピードである。逐次撮影する際のシャッタースピードと合成する画像の枚数によって、長秒露光に相当する効果が合成画像に付与されることになる。

【0032】

Ｓ２０２で制御部１０８は、操作部１０６への入力に基づいて分割領域を設定する。図３（ａ）に示すように、分割領域は表示部１０５に表示された画像（ライブビュー画像等）の領域内で分割線３０１の座標をユーザが設定し、画像の領域が分割されることで設定される。分割線３０１は操作部１０６のタッチパネルもしくは、ボタン等で座標を設定可能である。図３（ｂ）では分割線３０１を中心に、１つめの領域３０２と２つめの領域３０３に領域が分割されている。本実施例では分割線による領域設定を行ったが、画像中の輝度領域別に連続領域で領域分割を行い、それぞれを分割領域としてもよい。また、図３では分割線３０１の１本によって領域が分割されているが、複数の分割線によって領域を分割できるような仕様としてもよい。

【0033】

Ｓ２０３で制御部１０８は、操作部１０６を通じてユーザから撮影指示が入力されたことを検出する。撮影指示は例えば操作部１０６に含まれるシャッタボタンの全押し操作であってよい。撮影指示の入力を検出すると、制御部１０８はＳ２０４を実行する。Ｓ２０４で制御部１０８は１フレームの撮影処理を実行する。そして、制御部１０８は撮影で得られたＲＡＷデータをメモリ１０９に保存する。制御部１０８は、１フレーム目（撮影指示を検出してから最初の１枚目）の撮影時にはＳ２０５の合成処理をスキップしてＳ２０６を実行する。なお後述するフローチャートにて２フレーム目以降の撮影が継続される場合には制御部１０８はＳ２０５が実行するように制御する。

【0034】

Ｓ２０５で、画像処理部１０４は直近の撮影で得られた画像（ＲＡＷデータ）と前フレームまでの合成画像（合成ＲＡＷデータ）とを合成することで、新たな合成画像（新規の合成ＲＡＷデータ）を作成する。画像処理部１０４は、設定されているモードに応じて合成処理を実行する。

【0035】

Ｓ２０６で、制御部１０８はＳ１０５で合成された合成画像を表示部１０５に表示させる。本実施例では合成画像はＲＡＷデータであるため、画像処理部１０４で現像処理を行い、現像された合成画像を表示部１０５に表示する。

【0036】

Ｓ２０７で、制御部１０８は分割領域に対して合成の停止指示が出されているかを検知し、Ｓ２０８へと進む。合成の停止指示は、例えば連続撮像処理中にユーザが露光をやめたい領域を選択することで行う。領域の選択は操作部１０６に含まれるタッチパネル（表示部１０５としてもよい）もしくはボタンによって行うことが可能である。例えば、タッチパネルでの選択では表示部１０５に表示される合成画像をユーザが確認しながら、露光を停止したいタイミングでユーザが露光を停止したい合成画像の分割領域をタッチパネル上にてタッチすることで行う。ボタンによる選択では、例えば現在選択されている分割領域を表示部１０５にて確認できるようにハイライト表示し、制御部１０８がボタンの押し下げを検出することでその領域の合成を停止するように制御する。選択されている領域は例えば、領域選択用に割り当てたボタンを押すことで切り替えるようにしてもよい。

【0037】

以上、ここではユーザの操作に基づいて制御部１０８が合成の停止指示を検出する場合を説明した。なお、分割された領域に対して画像処理部１０４が輝度の積分を行い、所定の輝度値以上になった場合にその領域の合成を終了するようにしてもよい。所定の輝度値についてはカメラ側にあらかじめ設定された値でもよいし、ユーザが操作部１０６を介して選択、設定できるような値としてもよい。

【0038】

Ｓ２０８で、制御部１０８は全ての分割領域に対して合成の停止指示が出ていないと判断した場合はＳ２０９、出ている場合は撮影が終了したと判断しＳ２１１を実行する。

【0039】

Ｓ２０９で、制御部１０８はユーザ操作による撮影停止指示があるかを検出し、Ｓ２１０へと進む。撮影停止指示は例えば操作部１０６に含まれるシャッタボタンの全押し操作により行う。Ｓ２１０にて撮影停止指示が検出されない場合はＳ２０４～Ｓ２０８の処理を繰り返し実行する。このとき、Ｓ２０６にて制御部１０８が表示部１０５に表示させる合成画像は、直近の撮影（第２の時点）で得られた画像（ＲＡＷデータ）と前フレーム（第１の時点）までの合成画像（合成ＲＡＷデータ）となる。すなわち、制御部１０８が表示部１０５に表示させる合成画像が最新の合成画像に更新されることになる。

【0040】

Ｓ２１０にて撮影停止指示が検出された場合は撮影を終了したと判断しＳ２１１を実行する。なお、制御部１０８は例えば撮影指示が継続して入力されている間（撮影停止指示が行われていない間）は連続して撮影を行うように撮像装置１０を制御するものとする。

【0041】

Ｓ２１１で、制御部１０８が撮像処理を停止し、画像処理部１０４はこれまでに処理がなされた合成画像を現像し、現像処理後の画像データから、画像データを格納した画像データファイルを生成する。生成された画像データファイルは記録部１０７へと送られ、Ｓ２１２へと進む。

【0042】

Ｓ２１２では記録部１０７がＳ１１１で生成された画像データファイルをメモリカードなどの記録媒体に記録する。なお、現像処理された画像データに加えて、あるいはその代わりに、合成ＲＡＷデータを記録してもよい。

【0043】

記録部１０７による記録が終了すると、制御部１０８は図２に示した動作を終了し、例えば撮影スタンバイ状態に復帰する。以上が図２のフローチャートの説明である。

【0044】

続いて、図４を用いて、一連の撮影の中での合成画像および、撮影中の合成画像の表示を説明する。図４中に示した横軸は時間の経過を示している。ここでは撮影を開始してから時刻ｔ１、ｔ２、ｔ３における合成画像および、撮影中に表示部１０５で表示可能な合成画像の表示の例について示している。ここでは簡単のため、撮影開始から撮影終了がｔ１、ｔ２、ｔ３の順であるものとして説明する。

【0045】

撮影開始後の時刻ｔ１における合成画像を４０１、表示部１０５上での合成中画像の表示を４１１に示す。合成中画像４１１において、白い点線が分割線となっており、２つの領域に分割されている。ここではどの領域も合成停止の指示がされていないため、画像合成部１０４によってすべての領域に対して合成処理が行われる。

【0046】

時刻ｔ２において、ユーザが２つの分割領域のうち下側の分割領域を合成停止指示した際の合成画像を４０２、表示部１０５上での合成中画像の表示を４１２に示す。表示部１０５は合成中画像表示４１２において、合成の停止指示された下側の領域についてグレーアウト表示をする。グレーアウト表示は合成画像を現像した表示用画像に対して、合成が停止された領域を画像処理部１０４により単色で塗りつぶし、表示部１０５で表示する。この時、合成画像４０２は合成画像４０１よりも全ての領域で明るくなっている。なお、合成の停止指示がされたことを示す方法はこれに限ったものではない。例えば、合成が停止した領域の一部に合成が終了したことを示すアイコン等の表示を行うことで、ユーザに合成が終了したことを報知してもよい。また、合成が停止した領域の輪郭部分を強調表示するなどしてユーザに合成が終了したことを報知してもよい。

【0047】

時刻ｔ３において、ユーザが上側の分割領域について合成の停止を指示し、全ての分割領域の合成が停止された際の合成画像を４０３、表示部１０５での合成中画像の表示を４１３に示す。合成中画像表示４１１について、すべての分割領域が選択されるのですべてグレーアウト表示され、撮影が終了する。この時、合成画像４０３は下側の分割領域は合成が止まっているため、合成画像４０２に対して、上側の領域のみ明るくなり、分割領域ごとに露光時間および明るさを変更することができる。

【0048】

以上説明したように、本実施形態によれば、画像の合成を行う際に合成画像の明るさの経時的な変化を確認しながら、領域ごとに合成停止の指示を行うことができる。

【0049】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0050】

本発明は上述した実施形態の内容に制限されず、様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【0051】

本実施形態の開示は、以下の構成、方法、プログラム並びに記憶媒体を含む。

【0052】

（構成１）
経時的に撮影された複数の画像のそれぞれに対して同じ領域分割を行う分割手段と、前記複数の画像から合成画像を作成する合成手段と、前記合成手段による合成の終了を指示する指示手段と、前記合成画像を表示する表示部と、を有し、前記合成手段は、前記指示手段による指示に基づいて、前記分割手段によって分割された領域ごとに合成処理を終了することを特徴とする画像処理装置。

【0053】

（構成２）
前記分割手段は前記複数の画像のそれぞれに対して２つ以上の領域に分割を行うことを特徴とする構成１に記載の画像処理装置。

【0054】

（構成３）
前記指示手段は、前記分割領域の少なくとも一つを選択可能であることを特徴とする構成１または２に記載の画像処理装置。

【0055】

（構成４）
前記合成画像は、第１の時点までに撮影された複数の画像から作成された第１の合成画像と、第１の時点より後に撮影された画像を用いて第２の合成画像を新たに作成することを特徴とする構成１乃至３にいずれか１つに記載の画像処理装置。

【0056】

（構成５）
前記表示部の表示を制御する制御手段と、をさらに有し、前記制御手段は前記合成手段が作成した合成画像を前記表示部に表示することを特徴とする構成４に記載の画像処理装置。

【0057】

（構成６）
前記制御手段は、前記表示部における表示を前記合成手段が合成画像を新たに作成するたびに変更するように制御することを特徴とする構成５に記載の画像処理装置。

【0058】

（構成７）
前記制御手段は、前記表示部における前記合成手段が合成を終了した合成画像の領域の表示の形態を変更することを特徴とする構成１乃至７のいずれか１つに記載の画像処理装置。

【0059】

（構成８）
前記制御手段は、前記合成手段が合成を終了した合成画像の領域を強調表示することを特徴とする構成７に記載の画像処理装置。

【0060】

（構成９）
前記合成画像は、前記合成画像の作成に用いられた前記経時的に撮影された複数の画像よりも長秒の撮影の効果が付与されたものであることを特徴とする構成１乃至９のいずれか１つに記載の画像処理装置。

【0061】

（構成１０）
前記合成手段は加算合成、加算平均、比較明のいずれかで前記合成画像の作成を行うことを特徴とする構成１乃至１０のいずれか１つに記載の画像処理装置。

【0062】

（構成１１）
撮像手段と、構成１乃至１０のいずれか１つに記載の画像処理装置と、を有する撮像装置。

【0063】

（方法１）
経時的に撮影された複数の画像のそれぞれに対して同じ領域分割を行う分割ステップと、前記複数の画像から合成画像を作成する合成ステップと、前記合成手段による合成の終了を指示する指示ステップと、前記合成画像を表示する表示ステップと、を有し、前記合成ステップは、前記指示ステップにおける指示に基づいて、前記分割ステップによって分割された領域ごとに合成処理を終了することを特徴とする画像処理装置の制御方法。

【0064】

（プログラム１）
コンピュータを、構成１乃至１０のいずれか１つに記載の画像処理装置が有する各手段として機能させるためのプログラム。

【0065】

（記憶媒体１）
コンピュータを、構成１乃至１０のいずれか１つに記載の画像処理装置が有する各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【符号の説明】

【0066】

１０ カメラ
１００ 撮影レンズ
１０１ メカニカルシャッタ
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ 表示部
１０６ 操作部
１０７ 記録部
１０８ 制御部
１０９ メモリ

【図1】

【図2】

【図3】

【図4】