ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
- 弁理士法人プロスペック特許事務所 (東京、名古屋、在宅勤務可)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-11-10
(45)【発行日】2025-11-18
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20251111BHJP
H04N 25/53 20230101ALI20251111BHJP
【ＦＩ】
H04N23/60 500
H04N25/53
【請求項の数】
11
(21)【出願番号】P 2023506711
(86)(22)【出願日】2021-08-05
(86)【国際出願番号】 JP2021029167
(87)【国際公開番号】W WO2022195909
(87)【国際公開日】2022-09-22
【審査請求日】2024-06-25
(31)【優先権主張番号】P 2021041617
(32)【優先日】2021-03-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】吉田 圭佑
(72)【発明者】
【氏名】芝池 優子
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開２００７－０９７０３３（ＪＰ，Ａ）
【文献】特開２００８－３０１２８６（ＪＰ，Ａ）
【文献】特開２０１２－０１０１０５（ＪＰ，Ａ）
【文献】特開２０２０－１４１３４６（ＪＰ，Ａ）
【文献】特開２００６－３４５３１７（ＪＰ，Ａ）
【文献】特開２００５－２０４１８５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－５／２５７、
２３／００、２３／４０－２３／７６、
２３／９０－２３／９５９
(57)【特許請求の範囲】
【請求項1】
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備え、
前記合成処理部で合成する複数のＲＡＷ画像データは、１枚の撮像素子により非露光期間を介して時間的に連続して撮像され、互いの露光期間が時間的に連続する状態とする処理が施された複数のＲＡＷ画像データである
画像処理装置。
【請求項2】
前記合成処理部で合成する複数のＲＡＷ画像データは、前記撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、互いの露光期間が時間的に連続する状態とされたものである請求項１に記載の画像処理装置。
【請求項3】
前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えた請求項１又は請求項２に記載の画像処理装置。
【請求項4】
前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する請求項１又は請求項２に記載の画像処理装置。
【請求項5】
前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである請求項１又は請求項２に記載の画像処理装置。
【請求項6】
前記合成処理部は、シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する
請求項１又は請求項２に記載の画像処理装置。
【請求項7】
前記合成処理部は、枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択する
請求項１又は請求項２に記載の画像処理装置。
【請求項8】
前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである請求項１に記載の画像処理装置。
【請求項9】
前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データである請求項１又は請求項２に記載の画像処理装置。
【請求項10】
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を画像処理装置が実行する画像処理方法であり、
前記合成処理で合成する複数のＲＡＷ画像データは、１枚の撮像素子により非露光期間を介して時間的に連続して撮像され、互いの露光期間が時間的に連続する状態とする処理が施された複数のＲＡＷ画像データである
画像処理方法。
【請求項11】
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を情報処理装置に実行させるプログラムであり、
前記合成処理で合成する複数のＲＡＷ画像データは、１枚の撮像素子により非露光期間を介して時間的に連続して撮像され、互いの露光期間が時間的に連続する状態とする処理が施された複数のＲＡＷ画像データである
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、プログラムに関し、画像の合成処理の技術に関する。
【背景技術】
【0002】
撮像装置などで画作りを行う前の画像はＲＡＷ画像と呼ばれることがある。そして撮影結果の画像としてＲＡＷ画像を記録することは一般に行われている。ＲＡＷ画像を記録すると、撮像後に色再現などの処理における自由度が高まるという利点があるためである。
【0003】
下記特許文献１では、熟練を必要とせずに、長時間露光を利用した先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果を容易に実現できるようにする技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－２３２３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで一般に、カメラマンは撮像装置で撮像を行う際にシャッタースピードを設定する。シャッタースピードが自動設定される撮像装置もある。いずれにしても、撮像実行時にシャッタースピードは設定されていることになる。
そのため、例えＲＡＷ画像データを記録していても、撮像後にシャッタースピードの調整をすることはできない。このため、撮像前のシャッタースピード設定が適切でなかったなどとして撮影に失敗することもありえる。
またＲＡＷ画像データについては現像処理を行って画作りをした所定形式の画像データを生成するが、特許文献１のように現像後の画像データを合成する場合に、必ずしも合成画像に適した現像処理が行われるとは限らない。
そのため、例えＲＡＷ画像データを記録していても、撮像後にシャッタースピードの調整をすることはできない。このため、撮像前のシャッタースピード設定が適切でなかったなどとして撮影に失敗することもありえる。
またＲＡＷ画像データについては現像処理を行って画作りをした所定形式の画像データを生成するが、特許文献１のように現像後の画像データを合成する場合に、必ずしも合成画像に適した現像処理が行われるとは限らない。
【0006】
本開示では、これらの点に注目し、よりＲＡＷ画像を有効に利用する技術を提案することを目的とする。
【課題を解決するための手段】
【0007】
本技術に係る画像処理装置は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備える。前記合成処理部で合成する複数のＲＡＷ画像データは、１枚の撮像素子により非露光期間を介して時間的に連続して撮像され、互いの露光期間が時間的に連続する状態とする処理が施された複数のＲＡＷ画像データである。
撮像により得られる一群のＲＡＷ画像データを合成する。即ち現像処理前の段階で合成する。
撮像により得られる一群のＲＡＷ画像データを合成する。即ち現像処理前の段階で合成する。
【0008】
上記した本技術に係る画像処理装置においては、前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えることが考えられる。
つまりＲＡＷ画像データを合成した後に、その合成ＲＡＷ画像データについて現像処理を行うようにする。
つまりＲＡＷ画像データを合成した後に、その合成ＲＡＷ画像データについて現像処理を行うようにする。
【0009】
上記した本技術に係る画像処理装置においては、前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成することが考えられる。
複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像の撮像時のシャッタースピードよりも長い露光期間のシャッタースピードの画像が得られるようにする。
複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像の撮像時のシャッタースピードよりも長い露光期間のシャッタースピードの画像が得られるようにする。
【0010】
上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データであることが考えられる。
例えば連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
例えば連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
【0011】
上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データであることが考えられる。
例えば一定のシャッタースピードで連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
例えば一定のシャッタースピードで連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
【0012】
上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データであることが考えられる。
例えば時間的に連続するＲＡＷ画像データは、非露光期間が存在しないような一連のＲＡＷ画像データとする。
例えば時間的に連続するＲＡＷ画像データは、非露光期間が存在しないような一連のＲＡＷ画像データとする。
【0013】
上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、前記撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、互いの露光期間が時間的に連続する状態とされたものであることが考えられる。
撮像素子（イメージセンサ）による撮像動作では、例えば露光期間と読出期間が時分割で行われるため、読出期間は露光が途切れた非露光期間となる。このような非露光期間に露光量（露光により蓄積される電荷量）に相当する補間を行う。
撮像素子（イメージセンサ）による撮像動作では、例えば露光期間と読出期間が時分割で行われるため、読出期間は露光が途切れた非露光期間となる。このような非露光期間に露光量（露光により蓄積される電荷量）に相当する補間を行う。
【0014】
上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものであることが考えられる。
複数の撮像素子を用いることで、一方の読出期間に、他方で露光を行うということができる。
複数の撮像素子を用いることで、一方の読出期間に、他方で露光を行うということができる。
【0015】
上記した本技術に係る画像処理装置においては、前記合成処理部は、シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択することが考えられる。
例えば合成処理を行う際に、ユーザがシャッタースピードを指定できるようにする。
例えば合成処理を行う際に、ユーザがシャッタースピードを指定できるようにする。
【0016】
上記した本技術に係る画像処理装置においては、前記合成処理部は、枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択することが考えられる。
例えば合成処理を行う際に、ユーザが画像の枚数を指定できるようにする。
例えば合成処理を行う際に、ユーザが画像の枚数を指定できるようにする。
【0017】
上記した本技術に係る画像処理装置においては、前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データであることが考えられる。
【0018】
上記した本技術に係る画像処理装置においては、前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データであることが考えられる。
いわゆるＹＣ－ＲＡＷと呼ばれる画像データである。
いわゆるＹＣ－ＲＡＷと呼ばれる画像データである。
【0019】
本技術に係る画像処理方法は、画像処理装置が、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を実行する画像処理方法である。前記合成処理で合成する複数のＲＡＷ画像データは、１枚の撮像素子により非露光期間を介して時間的に連続して撮像され、互いの露光期間が時間的に連続する状態とする処理が施された複数のＲＡＷ画像データである。これによりＲＡＷ画像データを有効に用いる。
本技術に係るプログラムは、この画像処理を情報処理装置に実行させるプログラムである。これにより上記の画像処理装置を容易に実現できるようにする。
本技術に係るプログラムは、この画像処理を情報処理装置に実行させるプログラムである。これにより上記の画像処理装置を容易に実現できるようにする。
【図面の簡単な説明】
【0020】
【図1】本技術の実施の形態の合成処理の説明図である。
【図2】実施の形態の撮像装置のブロック図である。
【図3】実施の形態の情報処理装置のブロック図である。
【図4】ＲＡＷ画像データと現像処理の説明図である。
【図5】実施の形態及び比較例の合成処理と現像処理の説明図である。
【図6】実施の形態の撮像時の処理のフローチャートである。
【図7】実施の形態の合成処理及び現像処理を含むフローチャートである。
【図8】実施の形態で露光期間を連続させる追加処理の説明図である。
【図9】実施の形態で露光期間が連続したＲＡＷ画像データの撮像の説明図である。
【図10】ＹＣ－ＲＡＷ画像データと現像処理の説明図である。
【図11】実施の形態の合成処理と現像処理の説明図である。
【発明を実施するための形態】
【0021】
以下、実施の形態を次の順序で説明する。
＜１．概要＞
＜２．撮像装置の構成＞
＜３．情報処理装置の構成＞
＜４．ＲＡＷ画像データの合成処理と現像処理＞
＜５．ＹＣ－ＲＡＷ画像データの合成処理と現像処理＞
＜６．まとめ及び変形例＞
＜１．概要＞
＜２．撮像装置の構成＞
＜３．情報処理装置の構成＞
＜４．ＲＡＷ画像データの合成処理と現像処理＞
＜５．ＹＣ－ＲＡＷ画像データの合成処理と現像処理＞
＜６．まとめ及び変形例＞
【0022】
なお本開示では、撮像装置などで現像処理の一部又は全部を行う前の画像をＲＡＷ画像と呼ぶ。またＲＡＷ画像としての１枚（１フレーム）の画像を構成する画像データをＲＡＷ画像データと呼ぶ。
具体的にＲＡＷ画像データと呼ばれる画像データは各種存在するが、本実施の形態では撮像素子（イメージセンサ）の色配列と同じ色配列を有する画像データをＲＡＷ画像データの例とする。なお同じ欠陥補正がされることで撮像素子の色配列と同じ色配列を有することになった画像データもＲＡＷ画像データに含まれる。
このＲＡＷ画像データは、例えばイメージセンサにおいてＲ（赤）、Ｇ（緑）、Ｂ（青）の画素信号を出力する場合は、Ｒ、Ｇ、Ｂ形式の画像データとなる。なお、ＲＡＷ画像データとしては、Ｒ、Ｇ、ＢだけでなくＷ（ホワイト）の画素値を含んだ画像データもある。さらにベイヤー配列のイメージセンサの場合、Ｇ１（緑１），Ｇ２（緑２），Ｒ（赤），Ｂ（青）の各画素値を含んだ画像データがＲＡＷ画像データとなる。また、Ｇ１，Ｇ２，Ｒ，Ｂの各画素値を４つの別のチャンネルとしてそれぞれを纏めるような画像データ形式もある。例えばＧ１，Ｇ２，Ｒ，Ｂのそれぞれだけで１フレームを構成し、その後、各チャンネルを圧縮したような画像データである。つまりＧ１画像データ，Ｇ２画像データ，Ｒ画像データ，Ｂ画像データなどとしての画像データである。これもＲＡＷ画像データの例に含まれる。
具体的にＲＡＷ画像データと呼ばれる画像データは各種存在するが、本実施の形態では撮像素子（イメージセンサ）の色配列と同じ色配列を有する画像データをＲＡＷ画像データの例とする。なお同じ欠陥補正がされることで撮像素子の色配列と同じ色配列を有することになった画像データもＲＡＷ画像データに含まれる。
このＲＡＷ画像データは、例えばイメージセンサにおいてＲ（赤）、Ｇ（緑）、Ｂ（青）の画素信号を出力する場合は、Ｒ、Ｇ、Ｂ形式の画像データとなる。なお、ＲＡＷ画像データとしては、Ｒ、Ｇ、ＢだけでなくＷ（ホワイト）の画素値を含んだ画像データもある。さらにベイヤー配列のイメージセンサの場合、Ｇ１（緑１），Ｇ２（緑２），Ｒ（赤），Ｂ（青）の各画素値を含んだ画像データがＲＡＷ画像データとなる。また、Ｇ１，Ｇ２，Ｒ，Ｂの各画素値を４つの別のチャンネルとしてそれぞれを纏めるような画像データ形式もある。例えばＧ１，Ｇ２，Ｒ，Ｂのそれぞれだけで１フレームを構成し、その後、各チャンネルを圧縮したような画像データである。つまりＧ１画像データ，Ｇ２画像データ，Ｒ画像データ，Ｂ画像データなどとしての画像データである。これもＲＡＷ画像データの例に含まれる。
【0023】
また、撮像素子から読み出される画像データを、輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データもＲＡＷ画像データと呼ばれることがある。これも本開示でいうＲＡＷ画像データの一種であるが、説明上の区別のため、「ＹＣ－ＲＡＷ画像データ」と呼ぶこととする。
【0024】
＜１．概要＞
実施の形態の画像処理装置は、撮像装置（カメラ）や画像編集等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、画像処理装置と考えることもできる。
実施の形態の画像処理装置は、撮像装置（カメラ）や画像編集等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、画像処理装置と考えることもできる。
【0025】
そのような画像処理装置は、複数のＲＡＷ画像データを合成して、合成ＲＡＷ画像データを生成する処理を行う。
図１には、ＲＡＷ画像データＲ＃１からＲＡＷ画像データＲ＃ｎまでの複数のＲＡＷ画像データを合成して１枚の合成ＲＡＷ画像データを生成することを模式的に示している。本実施の形態における合成処理としては、複数の画像データを、互いのフレームの位置を合わせて重畳させるような合成処理や、複数の画像データにおいて特定被写体の位置を互いに合わせて重畳させるような合成処理が考えられる。
図１には、ＲＡＷ画像データＲ＃１からＲＡＷ画像データＲ＃ｎまでの複数のＲＡＷ画像データを合成して１枚の合成ＲＡＷ画像データを生成することを模式的に示している。本実施の形態における合成処理としては、複数の画像データを、互いのフレームの位置を合わせて重畳させるような合成処理や、複数の画像データにおいて特定被写体の位置を互いに合わせて重畳させるような合成処理が考えられる。
【0026】
この場合に、合成処理の対象とする複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）は、連続して撮像され、時間的に連続したフレームとしての関係を持つ一群のＲＡＷ画像データであることが一例として考えられる。
但し、全く時間的には無関係な複数のＲＡＷ画像データを合成することも想定される。さらに被写体として特に相関関係がない画像である複数のＲＡＷ画像データを合成することも想定される。
但し、全く時間的には無関係な複数のＲＡＷ画像データを合成することも想定される。さらに被写体として特に相関関係がない画像である複数のＲＡＷ画像データを合成することも想定される。
【0027】
また複数のＲＡＷ画像データからは、１枚の合成ＲＡＷ画像データが生成されてもよいし、複数のＲＡＷ画像データより少ない枚数の複数の合成ＲＡＷ画像データが生成されてもよい。
例えば時間的に連続する１０枚のＲＡＷ画像データが存在したとしたときに、１０枚全部を合成したＲＡＷ画像データや、７枚を合成したＲＡＷ画像データなど、合成するＲＡＷ画像データを選択的に用いる例も考えられる。
例えば時間的に連続する１０枚のＲＡＷ画像データが存在したとしたときに、１０枚全部を合成したＲＡＷ画像データや、７枚を合成したＲＡＷ画像データなど、合成するＲＡＷ画像データを選択的に用いる例も考えられる。
【0028】
また合成ＲＡＷ画像データに対して現像処理が行われる。これにより例えばＪＰＥＧ（Joint Photographic Experts Group）画像データなど、所定形式の画像データが得られるようにする。もちろん所定形式の画像データとしてはＪＰＥＧ形式の画像データに限定されない。例えばＨＥＩＦ（High Efficiency Image File Format）、ＹＵＶ４２２、ＹＵＶ４２０などでもよい。
【0029】
以下の実施の形態の説明では、主に、時間的に連続した複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する例を述べていく。
例えば連続的に記録された複数枚のＲＡＷ画像データを合成し、１枚の合成ＲＡＷ画像データを生成する。これにより長秒露光効果と同等の効果を得る。また合成するＲＡＷ画像データの枚数の設定により、各ＲＡＷ画像データの撮像時のシャッタースピードより遅い任意のシャッタースピードで合成ＲＡＷ画像データが作成できるものとする。
また合成処理で得られる合成ＲＡＷ画像データに対しては、通常の現像処理と同様に、レンズ補正、ＮＲ（ノイズリダクション）、デモザイク、色再現、シャープネス処理等を加える。
例えば連続的に記録された複数枚のＲＡＷ画像データを合成し、１枚の合成ＲＡＷ画像データを生成する。これにより長秒露光効果と同等の効果を得る。また合成するＲＡＷ画像データの枚数の設定により、各ＲＡＷ画像データの撮像時のシャッタースピードより遅い任意のシャッタースピードで合成ＲＡＷ画像データが作成できるものとする。
また合成処理で得られる合成ＲＡＷ画像データに対しては、通常の現像処理と同様に、レンズ補正、ＮＲ（ノイズリダクション）、デモザイク、色再現、シャープネス処理等を加える。
【0030】
＜２．撮像装置の構成＞
図２で撮像装置１の構成例を説明する。
この撮像装置１は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０、又は画像処理部２０を備えた撮像装置１が、本開示の画像処理装置の例として考えることができる。
図２で撮像装置１の構成例を説明する。
この撮像装置１は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０、又は画像処理部２０を備えた撮像装置１が、本開示の画像処理装置の例として考えることができる。
【0031】
撮像装置１は、例えばレンズ系１１、撮像素子部１２、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、画像処理部２０、バッファメモリ２１、ドライバ部２２、センサ部２３を有する。
【0032】
レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
【0033】
撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部２０やカメラ制御部１８に出力する。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部２０やカメラ制御部１８に出力する。
【0034】
画像処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
この画像処理部２０は、撮像素子部１２からのデジタル信号（撮像画像信号）、即ちＲＡＷ画像データに対して、各種の信号処理を施す。
なお、ＲＡＷ画像データとは、例えば上述のＹＣ－ＲＡＷ画像データのように、撮像素子部１２からのデジタル信号について一部の処理を施した画像データを指す場合もある。またＹＣ－ＲＡＷ画像データの形式に至らなくとも、例えば前処理として、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行った段階のものをＲＡＷ画像データと呼ぶ場合もある。
またレンズ補正やノイズリダクションを行った段階の画像データも含めてＲＡＷ画像データと呼ぶ場合もある。
この画像処理部２０は、撮像素子部１２からのデジタル信号（撮像画像信号）、即ちＲＡＷ画像データに対して、各種の信号処理を施す。
なお、ＲＡＷ画像データとは、例えば上述のＹＣ－ＲＡＷ画像データのように、撮像素子部１２からのデジタル信号について一部の処理を施した画像データを指す場合もある。またＹＣ－ＲＡＷ画像データの形式に至らなくとも、例えば前処理として、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行った段階のものをＲＡＷ画像データと呼ぶ場合もある。
またレンズ補正やノイズリダクションを行った段階の画像データも含めてＲＡＷ画像データと呼ぶ場合もある。
【0035】
本実施の形態の場合、画像処理部２０は合成処理部３１と現像処理部３２としての信号処理機能を備える。
合成処理部３１は後述のように、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を行う。
現像処理部３２は、ＲＡＷ画像データや、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理を行う。例えば現像処理部３２は、レンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。
合成処理部３１は後述のように、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を行う。
現像処理部３２は、ＲＡＷ画像データや、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理を行う。例えば現像処理部３２は、レンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。
【0036】
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
【0037】
これらの現像処理部３２の処理が広義の現像処理であるが、特に色再現／シャープネス処理を狭義の現像処理と呼ぶ。狭義の現像処理を施した画像データは、元のＲＡＷ画像データの情報の一部が失われるため、その後の画像編集の自由度は狭くなる。
また狭義の現像処理を施していない段階の画像データは、本開示でいうＲＡＷ画像データ、ＹＣ－ＲＡＷ画像データの範疇といえる。
また狭義の現像処理を施していない段階の画像データは、本開示でいうＲＡＷ画像データ、ＹＣ－ＲＡＷ画像データの範疇といえる。
【0038】
画像処理部２０は、このように現像処理部３２による広義の現像処理を行って、所定形式の画像データを生成する。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ、ＹＵＶ４２２、ＹＵＶ４２０等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
なお現像処理を施していないＲＡＷ画像データの画像ファイルを生成する場合もある。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ、ＹＵＶ４２２、ＹＵＶ４２０等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
なお現像処理を施していないＲＡＷ画像データの画像ファイルを生成する場合もある。
【0039】
バッファメモリ２１は、例えばＤ－ＲＡＭ（Dynamic Random Access Memory）により形成される。このバッファメモリ２１は、画像処理部２０において上記の合成処理や現像処理の過程で、画像データの一時的な記憶に用いられる。
【0040】
記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0041】
表示部１５はユーザに対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５には画像処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５には画像処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【0042】
通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データやメタデータを含む静止画ファイルや動画ファイルの送信出力を行う。
また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末などとの間で、例えばブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、ＮＦＣ（Near field communication）等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことも可能とされてもよい。また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。
従って撮像装置１は、通信部１６により、撮像画像やメタデータを、後述の情報処理装置７０に送信することができる。
また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末などとの間で、例えばブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、ＮＦＣ（Near field communication）等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことも可能とされてもよい。また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。
従って撮像装置１は、通信部１６により、撮像画像やメタデータを、後述の情報処理装置７０に送信することができる。
【0043】
操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
【0044】
カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、画像処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、画像処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0045】
メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
【0046】
ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
【0047】
センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３として、例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載された場合、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、ＩＭＵデータなどは、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
センサ部２３として、例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載された場合、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、ＩＭＵデータなどは、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
【0048】
＜３．情報処理装置の構成＞
次に情報処理装置７０の構成例を図３で説明する。
情報処理装置７０はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
そして、この情報処理装置７０は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０，又は画像処理部２０を備えた情報処理装置７０が、本開示の画像処理装置の例として考えることができる。
次に情報処理装置７０の構成例を図３で説明する。
情報処理装置７０はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
そして、この情報処理装置７０は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０，又は画像処理部２０を備えた情報処理装置７０が、本開示の画像処理装置の例として考えることができる。
【0049】
情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0050】
画像処理部２０は、上述の撮像装置１で説明した合成処理部３１，現像処理部３２としての機能を備える。
【0051】
この画像処理部２０としての合成処理部３１，現像処理部３２は、ＣＰＵ７１内の機能として設けられてもよい。
また画像処理部２０は、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現されてもよい。
また画像処理部２０は、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現されてもよい。
【0052】
ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、画像処理部２０は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
【0053】
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
【0054】
また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0055】
入出力インタフェース７５には、ＨＤＤや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
【0056】
記憶部７９は、処理対象のデータや、各種プログラムを記憶することができる。
情報処理装置７０が本開示の画像処理装置として機能する場合、記憶部７９には、処理対象の画像データ（例えばＲＡＷ画像データ）が記憶されることや、合成ＲＡＷ画像データ、或いは合成ＲＡＷ画像データに対して現像処理したＪＰＥＧ画像データなどが記憶されることも想定される。
また記憶部７９には、合成処理や現像処理のためのプログラムが記憶される。
情報処理装置７０が本開示の画像処理装置として機能する場合、記憶部７９には、処理対象の画像データ（例えばＲＡＷ画像データ）が記憶されることや、合成ＲＡＷ画像データ、或いは合成ＲＡＷ画像データに対して現像処理したＪＰＥＧ画像データなどが記憶されることも想定される。
また記憶部７９には、合成処理や現像処理のためのプログラムが記憶される。
【0057】
通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
撮像装置１との間の通信、特に撮像画像等の受信は、通信部８０によって行われる。
撮像装置１との間の通信、特に撮像画像等の受信は、通信部８０によって行われる。
【0058】
入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
【0059】
この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
【0060】
＜４．ＲＡＷ画像データの合成処理と現像処理＞
以下、撮像装置１や情報処理装置７０における画像処理部２０で行われるＲＡＷ画像データの合成処理と現像処理について説明する。
以下、撮像装置１や情報処理装置７０における画像処理部２０で行われるＲＡＷ画像データの合成処理と現像処理について説明する。
【0061】
例えば画像処理部２０は、撮像後におけるシャッタースピードの編集を目的として複数のＲＡＷ画像データを合成し、一枚又は複数枚の合成ＲＡＷ画像データを生成する処理を行う。
【0062】
まず図４は画像処理部２０での現像処理の流れを模式的に示している。
例えば撮像素子部１２から入力される画像データは、それ自体が、又は図示しない前処理を加えた状態がＲＡＷ画像データとなる。
なお図４では、撮像装置１を想定して撮像素子部１２から入力される画像データをＲＡＷ画像データとして示しているが、情報処理装置７０の場合は、例えば記憶部７９から読み出されたＲＡＷ画像データと考えればよい。
例えば撮像素子部１２から入力される画像データは、それ自体が、又は図示しない前処理を加えた状態がＲＡＷ画像データとなる。
なお図４では、撮像装置１を想定して撮像素子部１２から入力される画像データをＲＡＷ画像データとして示しているが、情報処理装置７０の場合は、例えば記憶部７９から読み出されたＲＡＷ画像データと考えればよい。
【0063】
広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ（ノイズリダクション）、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われる。
そして、このような現像処理後の画像データとして、例えばＪＰＥＧ画像データが生成される。
そして、このような現像処理後の画像データとして、例えばＪＰＥＧ画像データが生成される。
【0064】
このような現像処理と合成処理の関係として、比較例と実施の形態を図５Ａ、図５Ｂに示す。
図５Ａは実施の形態に対する比較例として示したものであり、それぞれがＲＡＷ画像データについての現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）を経て生成された複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を示している。
この複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）について、ステップＳＴ２０として合成処理を施すことで、合成ＪＰＥＧ画像データを生成する。
図５Ａは実施の形態に対する比較例として示したものであり、それぞれがＲＡＷ画像データについての現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）を経て生成された複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を示している。
この複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）について、ステップＳＴ２０として合成処理を施すことで、合成ＪＰＥＧ画像データを生成する。
【0065】
複数の画像の合成処理としては、この比較例のように、現像処理後の複数ＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を合成することが想定される。
ところがこの場合、次のような問題が指摘できる。
まず、合成に用いる複数の画像データのそれぞれに対して広義の現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）が必要である。例えば個々のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）のそれぞれも保存対象とするものであればよいが、合成画像のみを目的とするような場合、処理負担が増えることになる。
ところがこの場合、次のような問題が指摘できる。
まず、合成に用いる複数の画像データのそれぞれに対して広義の現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）が必要である。例えば個々のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）のそれぞれも保存対象とするものであればよいが、合成画像のみを目的とするような場合、処理負担が増えることになる。
【0066】
また現像処理は、各画像データに最適化された信号処理で行われる。このため合成後の画像データに対して最適な信号処理とは限らない。
また合成後の画像は現像処理後であるため、編集性が制限される。特にステップＳＴ４の色再現／シャープネス処理において色情報等が間引かれているなどしてＲＡＷ画像データの時点で存在した情報の一部が失われているためである。
また合成後の画像は現像処理後であるため、編集性が制限される。特にステップＳＴ４の色再現／シャープネス処理において色情報等が間引かれているなどしてＲＡＷ画像データの時点で存在した情報の一部が失われているためである。
【0067】
そこで本実施の形態では、図５Ｂのような合成処理を行う。
図５Ｂは、合成処理の対象とする画像データとして複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）を示している。
例えばこの複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）について、ステップＳＴ１０の合成処理を行う。これにより合成ＲＡＷ画像データを得る。
また合成ＲＡＷ画像データに対して、ステップＳＴ１、ＳＴ２，ＳＴ３，ＳＴ４の現像処理を行う。これにより合成画像としてのＪＰＥＧ画像データを生成する。
図５Ｂは、合成処理の対象とする画像データとして複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）を示している。
例えばこの複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）について、ステップＳＴ１０の合成処理を行う。これにより合成ＲＡＷ画像データを得る。
また合成ＲＡＷ画像データに対して、ステップＳＴ１、ＳＴ２，ＳＴ３，ＳＴ４の現像処理を行う。これにより合成画像としてのＪＰＥＧ画像データを生成する。
【0068】
このようにすると、現像処理は合成後の一回のみでよく、信号処理負担が軽減される。また、その現像処理は、合成後の合成ＲＡＷ画像データに対して最適化されたパラメータを用いて行うことができるため、生成される現像画像データ、例えば上記のＪＰＥＧ画像データの画像品質を向上させることができる。
また色再現／シャープネス処理等の画作りが行われていない合成ＲＡＷ画像データは画作りによる情報の欠損がないため、例えば色再現などの面で高い編集性を持つものとなる。
このように、複数のＲＡＷ画像データについて合成を行うことで、合成画像に最適化され、かつ効率化された信号処理を行うことが可能となる。
また色再現／シャープネス処理等の画作りが行われていない合成ＲＡＷ画像データは画作りによる情報の欠損がないため、例えば色再現などの面で高い編集性を持つものとなる。
このように、複数のＲＡＷ画像データについて合成を行うことで、合成画像に最適化され、かつ効率化された信号処理を行うことが可能となる。
【0069】
ここで、複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）が時間的に連続して記録された画像データである場合を考える。
すると、１枚のＲＡＷ画像データの撮像時のシャッタースピードを合成枚数で掛けたシャッタースピードの合成画像が生成できるものとなる。
例えばシャッタースピード＝１／１００秒として、連写撮像した１００枚のＲＡＷ画像データを合成すると、シャッタースピード＝１秒の合成画像を得ることができる。
すると、１枚のＲＡＷ画像データの撮像時のシャッタースピードを合成枚数で掛けたシャッタースピードの合成画像が生成できるものとなる。
例えばシャッタースピード＝１／１００秒として、連写撮像した１００枚のＲＡＷ画像データを合成すると、シャッタースピード＝１秒の合成画像を得ることができる。
【0070】
【0071】
まず図６は、撮像装置１の撮像時の処理例である。
撮像装置１では、ユーザがＲＡＷ合成モードを選択することが可能とされている。ＲＡＷ合成モードをユーザが選択する操作を行った場合、カメラ制御部１８の制御に基づいて、画像処理部２０が図示の処理を行う。
撮像装置１では、ユーザがＲＡＷ合成モードを選択することが可能とされている。ＲＡＷ合成モードをユーザが選択する操作を行った場合、カメラ制御部１８の制御に基づいて、画像処理部２０が図示の処理を行う。
【0072】
ステップＳ１０１で画像処理部２０は、カメラ制御部１８の指示に基づいてＲＡＷ合成モードとしての設定を行う。これはステップＳ１０３以下の処理を行う動作モードの設定である。
【0073】
ステップＳ１０２で画像処理部２０はレリーズ操作を待機する。
ユーザが、例えば連写撮像の要領で、例えばシャッターボタンを押し続けるなどのレリーズ操作を行う。
ユーザのレリーズ操作をカメラ制御部１８が検知した場合、画像処理部２０はカメラ制御部１８のレリーズ指示に応じて、ステップＳ１０２からステップＳ１０３に進み、以降の処理を行う。
ユーザが、例えば連写撮像の要領で、例えばシャッターボタンを押し続けるなどのレリーズ操作を行う。
ユーザのレリーズ操作をカメラ制御部１８が検知した場合、画像処理部２０はカメラ制御部１８のレリーズ指示に応じて、ステップＳ１０２からステップＳ１０３に進み、以降の処理を行う。
【0074】
レリーズ操作が行われると、撮像素子部１２では、連写撮像の動作が行われる。例えば一定のシャッタースピードの撮像動作により、順次画像データを画像処理部２０に送出してくる。
ステップＳ１０３で画像処理部２０は、ＲＡＷ画像データのバッファリングを行う。即ち撮像素子部１２から入力される１フレームのＲＡＷ画像データをバッファメモリ２１に記憶させる処理を行う。
画像処理部２０は、ステップＳ１０４でカメラ制御部１８からのレリーズ操作終了の通知を監視しながら、ステップＳ１０３の処理を繰り返す。
これにより、レリーズ操作が終了するまでの期間に、複数のＲＡＷ画像データがバッファリングされることになる。
ステップＳ１０３で画像処理部２０は、ＲＡＷ画像データのバッファリングを行う。即ち撮像素子部１２から入力される１フレームのＲＡＷ画像データをバッファメモリ２１に記憶させる処理を行う。
画像処理部２０は、ステップＳ１０４でカメラ制御部１８からのレリーズ操作終了の通知を監視しながら、ステップＳ１０３の処理を繰り返す。
これにより、レリーズ操作が終了するまでの期間に、複数のＲＡＷ画像データがバッファリングされることになる。
【0075】
レリーズ操作終了となったら、画像処理部２０はステップＳ１０５に進み、バッファメモリ２１に一時記憶した複数のＲＡＷ画像データのそれぞれについて追加処理を行う。この追加処理とは、複数のＲＡＷ画像データの露光期間が時間的に連続するように、つまり露光期間の途切れがないようにする処理である。具体的には複数のＲＡＷ画像データのそれぞれが、イメージセンサ１２ａにおける露光期間における露光量に対して、イメージセンサ１２ａにおける非露光期間に相当する露光量を追加する処理である。
なお、ステップＳ１０５の追加処理は、必ずしもレリーズ操作が終了した後に開始するものとしなくてもよい。連写撮像が行われている期間にステップＳ１０５の追加処理を開始してもよい。
また、このステップＳ１０５の追加処理の具体例について以下図８で説明するが、この追加処理自体が行われない場合もある。つまり図６においてステップＳ１０５が存在しない処理例も想定される。
なお、ステップＳ１０５の追加処理は、必ずしもレリーズ操作が終了した後に開始するものとしなくてもよい。連写撮像が行われている期間にステップＳ１０５の追加処理を開始してもよい。
また、このステップＳ１０５の追加処理の具体例について以下図８で説明するが、この追加処理自体が行われない場合もある。つまり図６においてステップＳ１０５が存在しない処理例も想定される。
【0076】
図８ではイメージセンサ１２ａの撮像動作として、露光期間Ｔａと露光による電荷の読出期間Ｔｂを示している。なお実際には露光も読出も行わない期間やリセット期間などもあるが、図示及び説明の簡略化のため、それらは読出期間Ｔｂに含めるものとする。
【0077】
露光期間Ｔａと読出期間Ｔｂの動作により、１フレームの画像データが得られるが、連写撮像が行われることで、この露光期間Ｔａと読出期間Ｔｂが繰り返されることになる。
ところが読出期間Ｔｂにおいては、イメージセンサ１２ａでは露光が行われていない。すると、そのまま複数のＲＡＷ画像データを合成しても、正確には単純にシャッタースピードを遅くしたものとはならない。
ところが読出期間Ｔｂにおいては、イメージセンサ１２ａでは露光が行われていない。すると、そのまま複数のＲＡＷ画像データを合成しても、正確には単純にシャッタースピードを遅くしたものとはならない。
【0078】
もちろん、シャッタースピードの編集という意味での合成処理は、必ずしも厳密な意味ではなくてもよいため、このように露光期間Ｔａの途切れのある複数のＲＡＷ画像データを合成することでも、擬似的な意味でシャッタースピードの編集を行うということはできる。
その場合は、ステップＳ１０５の追加処理は不要としてもよい。
その場合は、ステップＳ１０５の追加処理は不要としてもよい。
【0079】
一方、正確な意味でシャッタースピードの編集を実現するには、露光期間Ｔａの途切れがない複数のＲＡＷ画像データを合成することが適切となる。
実際には、読出期間Ｔｂの必要性から、露光期間Ｔａは途切れるのであるが、その読出期間の画素情報としての露光量を画素値に追加する処理を行うことで、露光期間Ｔａの途切れがない画像データを生成するものとする。
一例としては、１つのフレームの各画素値を、露光期間Ｔａと読出期間Ｔｂの期間長の比や、前後のフレームの追加処理前の画素値との変化量を考慮して、補間演算を行うことで、読出期間Ｔｂにも露光が行われたとしたときの画素値を算出する。そしてそのよう各画素値について追加処理を行って、ＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・とする。
これによりＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・は露光期間Ｔａの途切れがない複数のＲＡＷ画像データとすることができる。
実際には、読出期間Ｔｂの必要性から、露光期間Ｔａは途切れるのであるが、その読出期間の画素情報としての露光量を画素値に追加する処理を行うことで、露光期間Ｔａの途切れがない画像データを生成するものとする。
一例としては、１つのフレームの各画素値を、露光期間Ｔａと読出期間Ｔｂの期間長の比や、前後のフレームの追加処理前の画素値との変化量を考慮して、補間演算を行うことで、読出期間Ｔｂにも露光が行われたとしたときの画素値を算出する。そしてそのよう各画素値について追加処理を行って、ＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・とする。
これによりＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・は露光期間Ｔａの途切れがない複数のＲＡＷ画像データとすることができる。
【0080】
なお、撮像素子部１２に複数のイメージセンサ１２ａ１，１２ａ２が設けられることで、追加処理を行わなくとも、露光期間Ｔａの途切れのない複数のＲＡＷ画像データを得ることができる。
図９に示すように、例えばイメージセンサ１２ａ１の出力からＲＡＷ画像データＲ＃１を得る。次に、イメージセンサ１２ａ２の出力からＲＡＷ画像データＲ＃２を得る。
このとき、イメージセンサ１２ａ１とイメージセンサ１２ａ２は、露光タイミングがずれた状態で同期するように動作させる。即ち図示のように、イメージセンサ１２ａ１の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ２の露光期間Ｔａが開始され、またイメージセンサ１２ａ２の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ１の露光期間Ｔａが開始されるようにする。
このようにすることで、イメージセンサ１２ａ１，１２ａ２から交互に得られるＲＡＷ画像データＲ＃１、Ｒ＃２、Ｒ＃３、Ｒ＃４・・・は、露光期間が連続した画像データとなる。
図９に示すように、例えばイメージセンサ１２ａ１の出力からＲＡＷ画像データＲ＃１を得る。次に、イメージセンサ１２ａ２の出力からＲＡＷ画像データＲ＃２を得る。
このとき、イメージセンサ１２ａ１とイメージセンサ１２ａ２は、露光タイミングがずれた状態で同期するように動作させる。即ち図示のように、イメージセンサ１２ａ１の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ２の露光期間Ｔａが開始され、またイメージセンサ１２ａ２の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ１の露光期間Ｔａが開始されるようにする。
このようにすることで、イメージセンサ１２ａ１，１２ａ２から交互に得られるＲＡＷ画像データＲ＃１、Ｒ＃２、Ｒ＃３、Ｒ＃４・・・は、露光期間が連続した画像データとなる。
【0081】
また、１つのイメージセンサ１２ａを用いる場合でも、読出期間Ｔｂによる露光期間の途切れがほぼ無視できるようなイメージセンサ１２ａである場合や、最終的に得たい画像が動く被写体が存在しないなど目的によって、追加処理を行わなくともよい。換言すると、露光期間の途切れの影響が多いような撮像装置や撮像場面のときに追加処理を可能とするようにしてもよい。
【0082】
図６のステップＳ１０５で追加処理を行った後、或いは図６の処理としてステップＳ１０５の追加処理が行われない場合はステップＳ１０４でレリーズ操作終了と判定された後、画像処理部２０はステップＳ１０６で、複数のＲＡＷ画像データＲ＃１、Ｒ＃２・・・を一群の画像データとしてパッキングして記録する。例えばＨＥＩＦを用いることでパッキングを行うことができる。
例えば画像処理部２０から複数のＲＡＷ画像データを記録制御部１４に転送して、グループ化された一群の画像データとして、記録媒体に記録させる。或いは、グループ化された一群の画像データとして、複数のＲＡＷ画像データを通信部１６から外部機器、例えば情報処理装置７０に送信させるようにしてもよい。
例えば画像処理部２０から複数のＲＡＷ画像データを記録制御部１４に転送して、グループ化された一群の画像データとして、記録媒体に記録させる。或いは、グループ化された一群の画像データとして、複数のＲＡＷ画像データを通信部１６から外部機器、例えば情報処理装置７０に送信させるようにしてもよい。
【0083】
以上のようにパッキングされた複数のＲＡＷ画像データに対して、撮像装置１又は情報処理装置７０において、図７の処理により、撮像後のシャッタースピード編集を行うことができる。
撮像装置１の場合は、記録媒体に記録した一群のＲＡＷ画像データを対象とする。
また情報処理装置７０の場合は、撮像装置１から受信したり、リムーバブル記録媒体８２を介して取り込まれたりして、記憶部７９に格納された一群のＲＡＷ画像データを対象として、図７の処理を行うことができる。
撮像装置１の場合は、記録媒体に記録した一群のＲＡＷ画像データを対象とする。
また情報処理装置７０の場合は、撮像装置１から受信したり、リムーバブル記録媒体８２を介して取り込まれたりして、記憶部７９に格納された一群のＲＡＷ画像データを対象として、図７の処理を行うことができる。
【0084】
ステップＳ１５０で画像処理部２０は、指定されたシャッタースピード、又は指定された合成枚数を設定する。
例えばユーザインタフェースにより、ユーザが操作部１７（又は入力部７６）を用いて、任意のシャッタースピードや任意の合成枚数を指定できるようにする。
カメラ制御部１８（又はＣＰＵ７１）は、ユーザの操作を検知したら、それを画像処理部２０に通知する。これにより画像処理部２０では、シャッタースピード又は合成する画像の枚数を設定する。
例えばユーザインタフェースにより、ユーザが操作部１７（又は入力部７６）を用いて、任意のシャッタースピードや任意の合成枚数を指定できるようにする。
カメラ制御部１８（又はＣＰＵ７１）は、ユーザの操作を検知したら、それを画像処理部２０に通知する。これにより画像処理部２０では、シャッタースピード又は合成する画像の枚数を設定する。
【0085】
シャッタースピードを設定するということは、その求められたシャッタースピードから、撮像時のシャッタースピードを除算して、合成処理の対象とするＲＡＷ画像データの枚数を算出するという意味となる。
また画像の枚数を設定するというのは、そのまま合成処理の対象とするＲＡＷ画像データの枚数を決定するという意味となる。
また画像の枚数を設定するというのは、そのまま合成処理の対象とするＲＡＷ画像データの枚数を決定するという意味となる。
【0086】
ステップＳ１５１で画像処理部２０は、合成するＲＡＷ画像データの範囲を設定する。例えばＲＡＷ画像データＲ＃１から合成ＲＡＷ画像データＲ＃５０までの５０枚のＲＡＷ画像データが時間的に連続する画像データとしてパッキングされているとする。この場合に、その５０枚のうちで時間的に最初となるスタート画像から時間的に最後となるエンド画像の範囲を設定するものである。
例えば合成ＲＡＷ画像データＲ＃１０からＲＡＷ画像データＲ＃３０の範囲を合成する範囲などとして設定する。
ユーザがスタート画像を指定する操作を行うことに応じて、そのスタート画像から指定されたシャッタースピード（又は指定枚数）で、エンド画像が決まり、合成する対象の範囲が決定される。
例えば合成ＲＡＷ画像データＲ＃１０からＲＡＷ画像データＲ＃３０の範囲を合成する範囲などとして設定する。
ユーザがスタート画像を指定する操作を行うことに応じて、そのスタート画像から指定されたシャッタースピード（又は指定枚数）で、エンド画像が決まり、合成する対象の範囲が決定される。
【0087】
なお、この処理例では、ステップＳ１５０でシャッタースピード又は枚数が設定されるため、ステップＳ１５１でスタート画像、又はエンド画像のいずれかがユーザによって指定されれば、合成する画像データの範囲が設定できることになる。
これに対して、ユーザがシャッタースピードや枚数を指定せずに、スタート画像とエンド画像を任意に指定することで、任意のシャッタースピードの合成画像が得られるようにしてもよい。
これに対して、ユーザがシャッタースピードや枚数を指定せずに、スタート画像とエンド画像を任意に指定することで、任意のシャッタースピードの合成画像が得られるようにしてもよい。
【0088】
ステップＳ１５２で画像処理部２０は、ステップＳ１５１で設定した範囲の複数のＲＡＷ画像データの合成処理を行う。
なお、このとき、各画素単位で画素値を合成（例えば平均化）する単純な合成処理を行ってもよいし、複数枚の画像について重み付けを変えて合成する合成処理を行ってもよい。また被写体の特定箇所の合成ＲＡＷ画像における画素位置を固定して合成することで、特定箇所がぼけない画像とする合成処理を行ってもよい。
なお、このとき、各画素単位で画素値を合成（例えば平均化）する単純な合成処理を行ってもよいし、複数枚の画像について重み付けを変えて合成する合成処理を行ってもよい。また被写体の特定箇所の合成ＲＡＷ画像における画素位置を固定して合成することで、特定箇所がぼけない画像とする合成処理を行ってもよい。
【0089】
合成処理により、合成ＲＡＷ画像データが得られる。
ステップＳ１５３では、画像処理部２０は、合成ＲＡＷ画像データに対して現像処理を行う。これにより例えばＪＰＥＧ画像データを生成する。
ステップＳ１５４で画像処理部２０は、記録する画像データを出力する。例えば撮像装置１の場合、記録制御部１４にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、記録媒体に記録させる。情報処理装置７０の場合は、画像処理部２０は記憶部７９にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、それらを記録させる。
なお記録する画像データは、現像処理を経たＪＰＥＧ画像データのみでもよいし、合成ＲＡＷ画像データのみの場合もあり得る。
合成ＲＡＷ画像データを記録しておけば、その後にも、合成画像に対して自由度の高い画像編集／現像処理を行うことが可能になる。
ステップＳ１５３では、画像処理部２０は、合成ＲＡＷ画像データに対して現像処理を行う。これにより例えばＪＰＥＧ画像データを生成する。
ステップＳ１５４で画像処理部２０は、記録する画像データを出力する。例えば撮像装置１の場合、記録制御部１４にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、記録媒体に記録させる。情報処理装置７０の場合は、画像処理部２０は記憶部７９にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、それらを記録させる。
なお記録する画像データは、現像処理を経たＪＰＥＧ画像データのみでもよいし、合成ＲＡＷ画像データのみの場合もあり得る。
合成ＲＡＷ画像データを記録しておけば、その後にも、合成画像に対して自由度の高い画像編集／現像処理を行うことが可能になる。
【0090】
以上のように記録されたＪＰＥＧ画像データや合成ＲＡＷ画像データは、撮像後に任意のシャッタースピードに編集した画像データということができる。
【0091】
＜５．ＹＣ－ＲＡＷ画像データの合成処理と現像処理＞
以上の例は、撮像素子部１２で得られたＲＡＷ画像データについて合成処理を行う例としたが、同じ考え方で、輝度値とクロマ値の形式のＹＣ－ＲＡＷ画像データの合成も想定される。ＹＣ－ＲＡＷ画像データの場合について、以下説明する。
なお以下では説明上、撮像素子部１２で得られたＲ、Ｇ、Ｂ形式のＲＡＷ画像データを、ＹＣ-ＲＡＷ画像データと区別するために「ＲＧＢ－ＲＡＷ画像データ」と表記する。またＲＧＢ－ＲＡＷ画像データによる合成ＲＡＷ画像データを「合成ＲＧＢ－ＲＡＷ画像データ」とする。
以上の例は、撮像素子部１２で得られたＲＡＷ画像データについて合成処理を行う例としたが、同じ考え方で、輝度値とクロマ値の形式のＹＣ－ＲＡＷ画像データの合成も想定される。ＹＣ－ＲＡＷ画像データの場合について、以下説明する。
なお以下では説明上、撮像素子部１２で得られたＲ、Ｇ、Ｂ形式のＲＡＷ画像データを、ＹＣ-ＲＡＷ画像データと区別するために「ＲＧＢ－ＲＡＷ画像データ」と表記する。またＲＧＢ－ＲＡＷ画像データによる合成ＲＡＷ画像データを「合成ＲＧＢ－ＲＡＷ画像データ」とする。
【0092】
図１０はＹＣ－ＲＡＷ画像データを得る場合の画像処理部２０の処理の流れを示している。
撮像素子部１２から入力されるＲＧＢ－ＲＡＷ画像データに対して、広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われることで、例えばＪＰＥＧ画像データが生成される。
この場合に、デモザイク後においてステップＳＴ５のＹＣ変換が行われることで、ＹＣ－ＲＡＷ画像データが得られる。
なおＹＣ－ＲＡＷ画像データの生成については、ステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲが行われなくてもよい。
撮像素子部１２から入力されるＲＧＢ－ＲＡＷ画像データに対して、広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われることで、例えばＪＰＥＧ画像データが生成される。
この場合に、デモザイク後においてステップＳＴ５のＹＣ変換が行われることで、ＹＣ－ＲＡＷ画像データが得られる。
なおＹＣ－ＲＡＷ画像データの生成については、ステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲが行われなくてもよい。
【0093】
このようなＹＣ－ＲＡＷ画像データとして、例えば時間的に連続した複数枚を一群にパッキングして記録することで、後の時点で、その複数のＹＣ－ＲＡＷ画像データを用いた合成処理が可能になる。
特にＹＣ－ＲＡＷ画像データでは、色再現／シャープネス処理を施す前の状態であることから、ＲＡＷ画像データ段階の情報が失われていないため、上述のＲＡＷ画像データの合成の場合と同様の利点が得られる。
特にＹＣ－ＲＡＷ画像データでは、色再現／シャープネス処理を施す前の状態であることから、ＲＡＷ画像データ段階の情報が失われていないため、上述のＲＡＷ画像データの合成の場合と同様の利点が得られる。
【0094】
図１１Ａ、図１１Ｂ、図１１Ｃに、ＹＣ－ＲＡＷ画像データを用いた合成処理の例を示す。
図１１Ａは、複数のＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）を示しており、これをステップＳＴ１１として合成処理を行い、合成ＹＣ－ＲＡＷ画像データを生成する例である。また合成ＹＣ－ＲＡＷ画像データに対してステップＳＴ４の色再現／シャープネス処理を行って、合成画像としての例えばＪＰＥＧ画像データ等の現像画像データを生成することができる。
図１１Ａは、複数のＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）を示しており、これをステップＳＴ１１として合成処理を行い、合成ＹＣ－ＲＡＷ画像データを生成する例である。また合成ＹＣ－ＲＡＷ画像データに対してステップＳＴ４の色再現／シャープネス処理を行って、合成画像としての例えばＪＰＥＧ画像データ等の現像画像データを生成することができる。
【0095】
図１１Ｂは、複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ５の処理を行って合成ＹＣ－ＲＡＷ画像データを生成する例である。
【0096】
図１１Ｃは、複数のＹＣ－ＲＡＷ画像データをそれぞれＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）に戻してから合成する例である。複数のＹＣ－ＲＡＷ画像データから戻した複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４の処理を行って合成画像としての例えばＪＰＥＧ画像データを生成する。
【0097】
以上の各例のようにＹＣ－ＲＡＷ画像データを用いての合成処理例も各種考えられる。
【0098】
＜６．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像処理装置、即ち画像処理部２０（又は画像処理部２０を備える撮像装置１や情報処理装置７０）は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部３１を備える。
複数の画像データを合成する合成処理を、ＲＡＷ画像データの段階で行うということは、複数の画像データについて現像処理を施す前の段階で合成し、その後、現像処理を行うということである。そして合成ＲＡＷ画像データについて現像処理を行って、ＪＰＥＧ画像データなどを生成することは、その合成ＲＡＷ画像データに対して適した現像処理ができるということになる。
合成の対象とする複数のＲＡＷ画像データは、時間的に連続した静止画として撮像されたものでもよいし、動画として撮像された各フレームのＲＡＷ画像データでもよい。さらには、合成の対象とする複数のＲＡＷ画像データは、撮像時刻としての関連性や、或いは被写体の関連性などのない、互いに無関係な複数のＲＡＷ画像データでもよい。つまりユーザが選択した任意の複数のＲＡＷ画像データを合成することも考えられる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像処理装置、即ち画像処理部２０（又は画像処理部２０を備える撮像装置１や情報処理装置７０）は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部３１を備える。
複数の画像データを合成する合成処理を、ＲＡＷ画像データの段階で行うということは、複数の画像データについて現像処理を施す前の段階で合成し、その後、現像処理を行うということである。そして合成ＲＡＷ画像データについて現像処理を行って、ＪＰＥＧ画像データなどを生成することは、その合成ＲＡＷ画像データに対して適した現像処理ができるということになる。
合成の対象とする複数のＲＡＷ画像データは、時間的に連続した静止画として撮像されたものでもよいし、動画として撮像された各フレームのＲＡＷ画像データでもよい。さらには、合成の対象とする複数のＲＡＷ画像データは、撮像時刻としての関連性や、或いは被写体の関連性などのない、互いに無関係な複数のＲＡＷ画像データでもよい。つまりユーザが選択した任意の複数のＲＡＷ画像データを合成することも考えられる。
【0099】
実施の形態の画像処理部２０は、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部３２をさらに備えている。
このようにすることで合成ＲＡＷ画像データに適した各種のパラメータで現像処理が行われ、例えばＪＰＥＧ画像データなどの合成後の所定形式の画像データが得られるため、生成される合成画像（例えばＪＰＥＧ画像データによる画像）の画像品質の向上が実現できる。
また、合成する前の複数のＲＡＷ画像データのそれぞれについての現像処理を行わなくてもよいことで、現像処理の効率化が実現できる。
また合成ＲＡＷ画像データは、圧縮処理等を含めた現像処理前のＲＡＷ画像データを合成したものであり、元の画像としての多くの情報が残っているため、ユーザが画作りを行うときの自由度が拡大するという利点もある。
また合成ＲＡＷ画像データを保存することで、将来的に現像処理技術が進歩した状態で現像を行うということにも適している。
このようにすることで合成ＲＡＷ画像データに適した各種のパラメータで現像処理が行われ、例えばＪＰＥＧ画像データなどの合成後の所定形式の画像データが得られるため、生成される合成画像（例えばＪＰＥＧ画像データによる画像）の画像品質の向上が実現できる。
また、合成する前の複数のＲＡＷ画像データのそれぞれについての現像処理を行わなくてもよいことで、現像処理の効率化が実現できる。
また合成ＲＡＷ画像データは、圧縮処理等を含めた現像処理前のＲＡＷ画像データを合成したものであり、元の画像としての多くの情報が残っているため、ユーザが画作りを行うときの自由度が拡大するという利点もある。
また合成ＲＡＷ画像データを保存することで、将来的に現像処理技術が進歩した状態で現像を行うということにも適している。
【0100】
実施の形態の合成処理部３１は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する例を挙げた。
例えば被写体内容として関連する複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像データの撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを得ることができる。
例えば被写体内容として関連する複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像データの撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを得ることができる。
【0101】
実施の形態では、合成処理部３１が合成する複数のＲＡＷ画像データが、時間的に連続する複数フレームのＲＡＷ画像データである例を挙げた。
これにより例えば撮像時のシャッタースピードよりも遅いシャッタースピードで撮像したかのような画像を、撮像後に生成できることになる。つまり、撮影後にシャッタースピードを編集することが可能となる。
またこれにより、例えば貴重なシャッターチャンスにおいてシャッタースピードの設定ミスによる失敗を防ぐことができる。
シャッタースピードの調整に手間取ってシャッターチャンスを逃すということもなくなる。
また撮像時のシャッタースピードを変化させるものではないため、光量調整が不要であり、その上で、適切な光量で撮像された画像から、任意のシャッタースピードの合成画像を得ることができる。
さらに、撮像後にシャッタースピードを詳細に調整することで新たな画像表現につながる。
またシャッタースピードを編集した後の合成ＲＡＷ画像データに対し、現像処理を行うことができる。
これにより例えば撮像時のシャッタースピードよりも遅いシャッタースピードで撮像したかのような画像を、撮像後に生成できることになる。つまり、撮影後にシャッタースピードを編集することが可能となる。
またこれにより、例えば貴重なシャッターチャンスにおいてシャッタースピードの設定ミスによる失敗を防ぐことができる。
シャッタースピードの調整に手間取ってシャッターチャンスを逃すということもなくなる。
また撮像時のシャッタースピードを変化させるものではないため、光量調整が不要であり、その上で、適切な光量で撮像された画像から、任意のシャッタースピードの合成画像を得ることができる。
さらに、撮像後にシャッタースピードを詳細に調整することで新たな画像表現につながる。
またシャッタースピードを編集した後の合成ＲＡＷ画像データに対し、現像処理を行うことができる。
【0102】
実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである例を挙げた。
撮像により得られた複数のＲＡＷ画像データは、同じシャッタースピードの画像データとなる。従って合成するＲＡＷ画像データの範囲を設定するのみで、任意のシャッタースピードの合成画像を得ることができる。
撮像により得られた複数のＲＡＷ画像データは、同じシャッタースピードの画像データとなる。従って合成するＲＡＷ画像データの範囲を設定するのみで、任意のシャッタースピードの合成画像を得ることができる。
【0103】
実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである例を挙げた（図８，図９参照）。
複数のＲＡＷ画像データが、露光期間が途切れないような連続した状態とされていることで、合成ＲＡＷ画像データは、実際に、撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像と同等に扱うことができる画像データとなる。つまり、連続した露光期間の長短という本来の意味でのシャッタースピードの編集が可能になる。
これにより通常は撮影後では行うことができないシャッタースピードの変更を、撮影後に可能とするということが実現できる。
複数のＲＡＷ画像データが、露光期間が途切れないような連続した状態とされていることで、合成ＲＡＷ画像データは、実際に、撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像と同等に扱うことができる画像データとなる。つまり、連続した露光期間の長短という本来の意味でのシャッタースピードの編集が可能になる。
これにより通常は撮影後では行うことができないシャッタースピードの変更を、撮影後に可能とするということが実現できる。
【0104】
実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである例を挙げた（図８参照）。
これにより複数のＲＡＷ画像データは、読出期間や電荷リセット期間などの非露光期間があっても、その非露光期間が存在しない状態で得られたデータと考えることができる。従って、一連のＲＡＷ画像データを、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとして扱って合成処理を行うことができる。
これにより複数のＲＡＷ画像データは、読出期間や電荷リセット期間などの非露光期間があっても、その非露光期間が存在しない状態で得られたデータと考えることができる。従って、一連のＲＡＷ画像データを、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとして扱って合成処理を行うことができる。
【0105】
実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データは、複数のイメージセンサ１２ａ１，１２ａ２から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものとする例も挙げた（図９参照）。
複数のイメージセンサ１２ａ１，１２ａ２を用い、一方の非露光期間には他方で露光が行われるように、イメージセンサ１２ａ１，１２ａ２の露光タイミングを設定し、イメージセンサ１２ａ１，１２ａ２から交互に順次読み出したＲＡＷ画像データであることで、その一連のＲＡＷ画像データは、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとなる。
複数のイメージセンサ１２ａ１，１２ａ２を用い、一方の非露光期間には他方で露光が行われるように、イメージセンサ１２ａ１，１２ａ２の露光タイミングを設定し、イメージセンサ１２ａ１，１２ａ２から交互に順次読み出したＲＡＷ画像データであることで、その一連のＲＡＷ画像データは、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとなる。
【0106】
実施の形態では、合成処理部３１が、シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する例を挙げた（図７参照）。
これによりユーザのシャッタースピードの指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定されたシャッタースピードで撮像されたかのような画像となる。シャッタースピードの編集という意味で使用性のよいものとなる。
これによりユーザのシャッタースピードの指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定されたシャッタースピードで撮像されたかのような画像となる。シャッタースピードの編集という意味で使用性のよいものとなる。
【0107】
また実施の形態では、合成処理部３１が、枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データのうちで、合成処理の対象とする合成対象ＲＡＷ画像データを選択する例も挙げた（図７参照）。
これによりユーザの枚数の指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定された枚数の合成画像となる。シャッタースピードでの指定とは異なる指定手法がユーザに提供されることになり、ユーザによっては使いやすいものとなる。
なお、ユーザがシャッタースピードで指定する操作モードと、枚数で指定する操作モードを切り替えることができるようにすることで、ユーザの好みに合わせた使用性が実現される。
これによりユーザの枚数の指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定された枚数の合成画像となる。シャッタースピードでの指定とは異なる指定手法がユーザに提供されることになり、ユーザによっては使いやすいものとなる。
なお、ユーザがシャッタースピードで指定する操作モードと、枚数で指定する操作モードを切り替えることができるようにすることで、ユーザの好みに合わせた使用性が実現される。
【0108】
実施の形態では、ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有するＲＧＢ-ＲＡＷ画像データである例を挙げた。
例えばＲ、Ｇ、Ｂ形式の画像データである。ベイヤー配列の場合のＧ１、Ｇ２、Ｒ、Ｂの各画素の画素値で構成される場合や、それらに上述した一部の処理を施した画像データを含む。このような画素値で構成されるＲＡＷ画像データは、撮像素子部１２から読み出された元々の画像情報であり、合成後の現像処理でも自由度が高い。
例えばＲ、Ｇ、Ｂ形式の画像データである。ベイヤー配列の場合のＧ１、Ｇ２、Ｒ、Ｂの各画素の画素値で構成される場合や、それらに上述した一部の処理を施した画像データを含む。このような画素値で構成されるＲＡＷ画像データは、撮像素子部１２から読み出された元々の画像情報であり、合成後の現像処理でも自由度が高い。
【0109】
また実施の形態では、ＲＡＷ画像データとして、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていないＹＣ－ＲＡＷ画像データの例を挙げた。
ＹＣ－ＲＡＷ画像データについても、それを合成して合成処理を行うことで、現像処理の効率が向上する。またＹＣ－ＲＡＷ画像データは、ＲＡＷ画像データに戻すこともできるため、ＲＡＷ画像データに戻した上での合成処理やその後の現像処理も可能となる。
ＹＣ－ＲＡＷ画像データについても、それを合成して合成処理を行うことで、現像処理の効率が向上する。またＹＣ－ＲＡＷ画像データは、ＲＡＷ画像データに戻すこともできるため、ＲＡＷ画像データに戻した上での合成処理やその後の現像処理も可能となる。
【0110】
実施の形態のプログラムは、上述の図６、図７のような処理を、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより本開示でいう画像処理装置を各種のコンピュータ装置により実現できる。
即ち実施の形態のプログラムは、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより本開示でいう画像処理装置を各種のコンピュータ装置により実現できる。
【0111】
これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0112】
またこのようなプログラムによれば、本開示の画像処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の画像処理装置として機能させることができる。
【0113】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0114】
なお本技術は以下のような構成も採ることができる。
（１）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備えた
画像処理装置。
（２）
前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えた
上記（１）に記載の画像処理装置。
（３）
前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データである
上記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである 上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記合成処理部で合成する複数のＲＡＷ画像データは、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである
上記（６）に記載の画像処理装置。
（８）
前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものである
上記（６）に記載の画像処理装置。
（９）
前記合成処理部は、
シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する
上記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記合成処理部は、
枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択する
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである 上記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データである
上記（１）から（１０）のいずれかに記載の画像処理装置。
（１３）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
画像処理装置が実行する画像処理方法。
（１４）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
情報処理装置に実行させるプログラム。
（１）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備えた
画像処理装置。
（２）
前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えた
上記（１）に記載の画像処理装置。
（３）
前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データである
上記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである 上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記合成処理部で合成する複数のＲＡＷ画像データは、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである
上記（６）に記載の画像処理装置。
（８）
前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものである
上記（６）に記載の画像処理装置。
（９）
前記合成処理部は、
シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する
上記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記合成処理部は、
枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択する
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである 上記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データである
上記（１）から（１０）のいずれかに記載の画像処理装置。
（１３）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
画像処理装置が実行する画像処理方法。
（１４）
それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
情報処理装置に実行させるプログラム。
【符号の説明】
【0115】
１ 撮像装置
１２ 撮像素子部
１２ａ，１２ａ１，１２ａ２ イメージセンサ
１４ 記録制御部
１５ 表示部
１６ 通信部
１７ 操作部
１８ カメラ制御部
１９ メモリ部
２０ 画像処理部
２１ バッファメモリ
３１ 画像合成部
３２ 現像処理部
７０ 情報処理装置、
７１ ＣＰＵ
７９ 記憶部
８０ 通信部
１２ 撮像素子部
１２ａ，１２ａ１，１２ａ２ イメージセンサ
１４ 記録制御部
１５ 表示部
１６ 通信部
１７ 操作部
１８ カメラ制御部
１９ メモリ部
２０ 画像処理部
２１ バッファメモリ
３１ 画像合成部
３２ 現像処理部
７０ 情報処理装置、
７１ ＣＰＵ
７９ 記憶部
８０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】