(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
従来、デジタルカメラ等の撮像装置を用いて星空と地景(山等)を有する星景写真を撮影する場合に、星空と地景の何れもが最適な明るさになる星景画像を得ることは難しい。これは、星空に合わせて撮影すると、星空に適した露出に依り撮影が行われるために、地景が暗くなる星景画像が得られてしまい、地景に合わせて撮影すると、地景に適した露出に依り撮影が行われるために、星空が明るくなりすぎる星景画像が得られてしまうからである。
【0003】
そこで、写真家等は、異なる露出に依り複数回の撮影を行って複数の星景画像を取得し、その中から星空用の星景画像と地景用の星景画像を選択し、画像編集ソフトウェア等を利用して両画像から必要な部分画像を切り出して合成することに依り、星空と地景の何れもが最適な明るさになる星景画像を作成している。
【0004】
また、撮像装置を用いて星景写真を撮影する場合に、星空に合わせて撮影すると、星空に適したトーンカーブに応じた画像処理が行われ、地景に合わせて撮影すると、地景に適したトーンカーブに応じた画像処理が行われる場合もある。この場合も、星空に合わせて撮影すると、地景が暗くなる星景画像が得られてしまい、地景に合わせて撮影すると、星空が明るくなりすぎる星景画像が得られてしまう。
【0005】
なお、HDR(High Dynamic Range)機能を備えた撮像装置の場合は、そのHDR機能を利用して星景写真を撮影することも考えられる。しかしながら、そのHDR機能によれば、星空と地景の明るさのバランスが考慮されて処理が行われるために、星空と地景の何れも最適な明るさにならない星景画像が得られる虞がある。
【0006】
また、撮像装置を用いて星景写真を撮影する場合に、星空に合わせて撮影すると、星空に適したWB(ホワイトバランス)に応じた画像処理が行われ、地景に合わせて撮影すると、地景に適したWBに応じた画像処理が行われる場合もある。星空に適したWBは、例えば3000K(ケルビン)程度の青みが増すWBであり、地景に適したWBは、例えばAWB(オートホワイトバランス)である。この場合は、星空に合わせて撮影すると、地景が不自然に青みを増した星景画像が得られてしまう。
【0007】
撮像装置に関し、例えば、適切な明るさで被写体を撮影する撮像装置が提案されている(特許文献1参照)。この撮像装置は、輝度の異なる複数の画像を生成する画像生成手段と、画像生成手段に依り生成された第1の画像の輝度から、画像生成手段に依り生成された複数の画像の合成に係る合成条件を生成する合成条件生成手段と、合成条件生成手段に依り生成された合成条件に基づいて、上記複数の画像を合成する合成手段と、を有し、合成条件生成手段は、第1の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて第1の画像から被写体画像を分離する分離手段に依り分離されるまで第1の画像を縮小し、縮小された第1の画像を用いて合成条件を生成する。例えば、合成条件生成手段は、縮小された縮小画像の輝度情報に基づいて、縮小画像を2値化する2値化手段と、2値化手段に依り2値化された2値化画像を元の大きさに拡大する拡大手段と、を有し、拡大手段に依り拡大された画像を合成条件として生成する。
【発明の概要】
【発明が解決しようとする課題】
【0009】
星空と地景の何れもが最適な明るさになる星景画像を得る場合に、上述した画像編集ソフトウェアを利用して画像の切り出し及び合成を行う方法では、手間と時間が掛かってしまう。また、上述の特許文献1に記載の撮像装置の如くに分離、縮小、二値化、及び拡大を行う方法を利用する場合は、星空と地景との境界が複雑な形状になる場合に、その境界を正確に再現できない虞がある。
【0010】
本発明は、上記実状に鑑み、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる撮像装置、画像合成方法、及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第1の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第1の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第1の画像における第1の被写界領域と第2の被写界領域の境界を求める境界演算部と、前記第1の画像に対して前記第1の被写界領域に適した第1の画像処理を行うと共に、前記第2の被写界領域に適した第2の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第2の画像に対して前記第2の被写界領域に適した第2の画像処理を行う画像処理部と、前記第2の画像処理後の前記第2の画像から、前記境界に基づいて、前記第2の被写界領域に対応する部分画像を切り出す画像切出部と、前記第1の画像処理後の前記第1の画像に前記部分画像を合成する画像合成部と、を備え
、前記境界演算部は、前記第1の画像において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第1の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【0012】
本発明の第2の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第1の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第1の画像における第1の被写界領域と第2の被写界領域の境界を求める境界演算部と、前記第2の被写界領域に適した第2の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第2の画像から、前記境界に基づいて、前記第2の被写界領域に対応する部分画像を切り出す画像切出部と、前記第1の画像に対して前記第1の被写界領域に適した第1の画像処理を行うと共に、前記部分画像に対して前記第2の被写界領域に適した第2の画像処理を行う画像処理部と、前記第1の画像処理後の前記第1の画像に前記第2の画像処理後の前記部分画像を合成する画像合成部と、を備え
、前記境界演算部は、前記第1の画像において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第1の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【0013】
本発明の第3の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第1の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第1の画像における第1の被写界領域と第2の被写界領域の境界を求める境界演算部と、前記第2の被写界領域に適した第2の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第2の画像から、前記境界に基づいて、前記第2の被写界領域に対応する部分画像を切り出す画像切出部と、前記第1の画像に前記部分画像を合成する画像合成部と、を備え
、前記境界演算部は、前記第1の画像において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第1の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【0014】
本発明の第4の態様は、第1乃至3の何れか一つの態様において
、前記第1の被写界領域は、前記2つの画素における輝度値の高い方の画素を含む領域であり、前記第2の被写界領域は、前記2つの画素における輝度値の低い方の画素を含む領域である、ことを特徴とする。
【0016】
本発明の第
5の態様は、第
1乃至4の何れか一つの態様において、前記特定方向は、前記重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定される、ことを特徴とする。
【0017】
本発明の第
6の態様は、第
1乃至4の何れか一つの態様において、前記特定方向は、前記重力方向に対して反対の方向である、ことを特徴とする。
本発明の第
7の態様は、第
1乃至
6の何れか一つの態様において、前記撮像装置の姿勢を検出する姿勢検出部、を更に備え、前記重力方向は、前記姿勢検出部の検出結果に基づいて決定される、ことを特徴とする。
【0021】
本発明の第
8の態様は、第1乃至
7の何れか一つの態様において、前記第1の被写界領域は、星空に対応する領域であり、前記第2の被写界領域は、地景に対応する領域である、ことを特徴とする。
【0022】
本発明の第
9の態様は、第1又は2の態様において、前記第1の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したホワイトバランスに応じた画像処理の一方又は両方を含み、前記第2の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したホワイトバランスに応じた画像処理の一方又は両方を含む、ことを特徴とする。
【0023】
本発明の第
10の態様は、第1乃至
9の何れか一つの態様において、撮影時の露出が異なる複数の画像を入力する画像入力部、を更に備え、前記第1の画像と前記第2の画像の代わりに、前記複数の画像の中から前記第1の画像として選択された画像と前記複数の画像の中から前記第2の画像として選択された画像とを使用して処理が行われる、ことを特徴とする。
【0024】
本発明の第
11の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置において実行される画像合成方法であって、第1の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第1の画像
において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第1の画像における第1の被写界領域と第2の被写界領域の境界を求め
、前記第2の被写界領域に適した第2の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第2の画
像から、前記境界に基づいて、前記第2の被写界領域に対応する部分画像を切り出し
、前記第1の画像に前記部分画像を合成
し、
前記特定方向は、前記第1の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【0025】
本発明の第
12の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置のコンピュータに、第1の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第1の画像
において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第1の画像における第1の被写界領域と第2の被写界領域の境界を求め
、前記第2の被写界領域に適した第2の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第2の画
像から、前記境界に基づいて、前記第2の被写界領域に対応する部分画像を切り出し
、前記第1の画像に前記部分画像を合成する、という処理を実行させ
、前記特定方向は、前記第1の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする画像合成プログラムである。
【発明の効果】
【0026】
本発明に依れば、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる、という効果を奏する。
【発明を実施するための形態】
【0028】
以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、一実施の形態に係る撮像装置の正面及び背面の外観構成を例示する図である。
図1では、その正面の外観構成を左側に例示し、その背面の外観構成を右側に例示する。
【0029】
図1に例示した撮像装置1は、レンズ交換型又はレンズ一体型のデジタルカメラであるが、これに限定されるものではなく、例えば、スマートフォンやタブレット端末等の携帯型情報端末装置に内蔵されるカメラでもよい。
【0030】
図1に例示したとおり、撮像装置1は、その正面に、レンズ部2を備える。レンズ部2は、撮影レンズ等の撮影光学系を含む。
また、撮像装置1は、その背面に、表示部3、十字キー4、及び複数のボタン5(5a、5b、5c)を備える。表示部3は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイであり、画像や各種画面等を表示する。十字キー4は、表示部3に表示された画像や画面内の項目の選択指示等に使用される。複数のボタン5は、十字キー4に依り選択指示された画像や項目の確定指示に使用される確定ボタン5aと、撮像装置1の電源をON/OFFさせる指示に使用される電源ボタン5bと、所定の指示を行うために使用されるボタン5cを有する。
【0031】
また、撮像装置1は、その上面に、レリーズボタン6を備える。レリーズボタン6は、撮影指示を行うために使用されるボタンである。
図2は、一実施の形態に係る撮像装置の主要な構成を例示する図である。
【0032】
図2に例示した撮像装置1は、制御部11、ROM(Read Only Memory)12、SDRAM(Synchronous Dynamic Random Access Memory)13、撮像部14、画像入力部15、姿勢センサ16、シーン判定部17、画像処理部18、画像切出部19、画像合成部20、及び表示部3を備え、その各々がバス21に接続されている。これに依り、バス21に接続されたもの同士でデータの送受信が可能である。また、撮像装置1は、制御部11に接続された操作部22を備える。
【0033】
制御部11は、撮像装置1の全体を制御する。例えば、制御部11は、操作部22からの指示信号に応じた処理の実行を制御する。
制御部11は、判定部11a及び境界演算部11bを備える。
【0034】
判定部11aは、第1の撮像条件に従って撮像部14が被写界を撮像して出力した撮像データに係る第1の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する。第1の撮像条件は、レリーズボタン6が押下された時の撮影対象(撮像対象)とされる被写界に応じて決定される露出等の撮像条件である。
【0035】
境界演算部11bは、第1の画像における第1の被写界領域と第2の被写界領域の境界を求める。例えば、境界演算部11bは、第1の画像において、輝度値の差が閾値以上であって特定方向に隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、その境界を求めてもよいし、輝度値の差が閾値以上であって特定方向に1つ以上の画素を挟んで隣接する2つの画素の中間位置を夫々繋ぎ合わせることに依り、その境界を求めてもよい。いずれの場合も、その2つの画素における輝度値の高い方の画素を含む方が第1の被写界領域であり、その2つの画素における輝度値の低い方の画素を含む方が第2の被写界領域である。特定方向は、例えば、第1の画像に表された被写界の重力方向に基づいて決定される。この場合、特定方向は、その重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定されてもよいし、その重力方向に対して反対の方向とされてもよい。その重力方向は、例えば、姿勢センサ16の検出結果に基づいて決定される。第1の被写界領域は、例えば、星空に対応する領域であり、第2の被写界領域は、例えば、地景に対応する領域である。
【0036】
なお、制御部11は、CPU(Central Processing Unit)等のプロセッサに依り実現され、そのプロセッサがROM12に記憶されているプログラム(画像合成プログラムを含む)を実行することに依り、判定部11a及び境界演算部11b等といった、制御部11の各機能が実現される。制御部11のプロセッサに依り実行されるプログラムは、撮像装置1の各機能を制御し実行するためのプログラムでもあり、撮像装置1のコンピュータに実行されるプログラムでもある。
【0037】
ROM12は、制御部11のプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ(特定方向規定情報を含む)が記憶されている。
SDRAM13は、制御部11のワークエリア等として使用され、例えば、境界演算部11bが求めた境界の情報が一時的に記憶される。
【0038】
撮像部14は、被写界を撮像して撮像データを出力する。詳しくは、撮像部14は、撮像素子と信号処理部を備え、レンズ部2を経由して入射した被写界の光学像を撮像素子に依り撮像し、その撮像結果である撮像信号に対して信号処理部に依る所定の信号処理を行い、その処理結果である撮像データを出力する。撮像素子は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)といったイメージセンサである。所定の信号処理は、ゲイン調整処理やAD(Analog-to-Digital)変換処理を含む。なお、撮像部14の信号処理部は、回路に依って実現されてもよい。この場合、撮像部14は、撮像素子と信号処理回路を含む撮像処理回路として構成されてもよい。
【0039】
画像入力部15は、撮像装置1への画像の入力等に使用されるインターフェースであり、例えば、画像が記録されたSDメモリカード等が接続されるインターフェースである。或いは、例えば、画像が記録されたUSB(Universal Serial Bus)メモリ等が接続されるUSBインターフェースでもよい。
【0040】
姿勢センサ16は、撮像装置1の姿勢を検出する。姿勢センサ16は、例えば、3軸加速度センサであり、重力方向の検出が可能である。これに依り、第1の画像に表された被写界の重力方向の検出も可能である。
【0041】
シーン判定部17は、撮影(撮像)される被写界のシーンを判定する。例えば、シーン判定部17は、撮影される被写界のシーンが天体シーンであるか否かを判定する。この判定は、例えば、撮像部14が被写界を撮像して出力した撮像データに基づいて行われる。
【0042】
画像処理部18は、各種の画像処理を行う。例えば、画像処理部18は、第1の画像に対して第1の被写界領域に適した第1の画像処理を行うと共に、第2の被写界領域に適した第2の撮像条件に従って撮像部14が被写界を撮像して出力した撮像データに係る第2の画像に対して第2の被写界領域に適した第2の画像処理を行う。第1の画像処理は、例えば、星空に適したトーンカーブに応じた画像処理及び星空に適したWBに応じた画像処理の一方又は両方を含む。第2の画像処理は、例えば、地景に適したトーンカーブに応じた画像処理及び地景に適したWBに応じた画像処理の一方又は両方を含む。
【0043】
画像切出部19は、画像から部分画像を切り出す。例えば、画像切出部19は、第2の画像処理後の第2の画像から、境界演算部11bに依り求められた境界に基づいて、第2の被写界領域に対応する部分画像を切り出す。
【0044】
画像合成部20は、画像の合成を行う。例えば、画像合成部20は、第2の画像処理後の第2の画像から画像切出部19に依り切り出された部分画像を、第1の画像処理後の第1の画像に合成する。
【0045】
操作部22は、ユーザの操作を受け付け、その操作に応じた指示信号を制御部11に出力する。操作部22は、十字キー4、複数のボタン5、及びレリーズボタン6を含む。また、操作部22は、タッチパネルを含んでもよい。この場合、タッチパネルは、表示部3上に配置される。
【0046】
なお、
図2に例示した撮像装置1において、シーン判定部17、画像処理部18、画像切出部19、及び画像合成部20は、例えば、回路に依って実現されてもよい。また、シーン判定部17、画像処理部18、画像切出部19、及び画像合成部20は、制御部11に含まれる構成としてもよい。この場合は、シーン判定部17、画像処理部18、画像切出部19、及び画像合成部20も、制御部11のプロセッサがROM12に記憶されているプログラムを実行することに依って実現される。
【0047】
また、
図2に例示した撮像装置1の一部(制御部11、シーン判定部17、画像処理部18、画像切出部19、及び画像合成部20等)は、ASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の集積回路に依り実現されてもよい。
【0048】
図3は、一実施の形態に係る撮像装置において実行される処理を例示するフローチャートである。この処理は、星景写真の撮影が行われた場合に、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる処理でもある。
【0049】
図3に例示した処理では、電源ボタン5bの押下(電源ON操作)に依り撮像装置1の電源がONし(S301)、その後、レリーズボタン6の押下(撮影指示操作)が行われると、第1の撮像条件に従って撮像部14が被写界を撮像して撮像データを出力する(S302)。第1の撮像条件は、レリーズボタン6が押下された時の撮影対象となる被写界に応じて決定された露出等の撮像条件である。例えば、その被写界において、地景よりも星空の方の割合が大きい場合には、星空に適した撮像条件が第1の撮像条件とされる。
【0050】
S302の後、制御部11は、天体撮影モードが設定されているか否かを判定する(S303)。天体撮影モードは、天体撮影に適した撮影モードであり、操作部22の操作に依り設定可能である。なお、S303の判定では、天体撮影モードが設定されているか否かを判定する代わりに、シーン判定部17が天体シーンであるか否かを判定してもよい。
【0051】
S303の判定結果がNOの場合、画像処理部18は、S302で出力された撮像データに係る画像(第1の画像でもある)に対して通常画像処理を行う(S304)。通常画像処理は、撮影処理時に一般的に行われる画像処理である。
【0052】
一方、S303の判定結果がYESの場合、制御部11は、特殊画像処理を行う(S305)。この処理の詳細は、
図4を用いて後述する。
S304又はS305の後、制御部11は、S304又はS305の処理結果である画像を表示部3に表示させると共に、その画像に係る画像データを、例えば、画像入力部15に接続されたSDメモリカードに記録する(S306)。
【0053】
S306の後、制御部11は、電源ボタン5bの押下(電源OFF操作)が行われたか否かを判定する(S307)。
S307の判定結果がNOの場合は、処理がS302に戻る。
【0054】
一方、S307の判定結果がYESの場合は、撮像装置1の電源がOFFし(S308)、
図3に例示した処理が終了する。
図4は、S305の特殊画像処理を例示するフローチャートである。
【0055】
図4に例示した特殊画像処理では、まず、判定部11aが、S302で出力された撮像データに係る第1の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する(S401)。所定輝度範囲外の領域は、例えば、輝度値が8bitで表される場合に輝度値が20以下の領域である。閾値は、例えば、20%である。この場合のS401の判定処理の一例を、
図5を用いて説明する。
【0056】
図5は、S401の判定処理の一例を説明する図である。
図5に示した例では、まず、第1の画像101が72(=8×9)個のブロックに分割され、各ブロックにおいて輝度値の平均値が求められる。各ブロック内の数値は、輝度値の平均値を示し、下線が引かれた数値は、20以下の数値を示している。そして、全ブロック数に対する、平均値が20以下のブロック数の割合が20%以上であるか否かが判定される。
図5に示した例では、全ブロック数が72であるのに対し、平均値が20以下のブロック数が24であるので、その割合が、24/72%(約33.3%)となり、閾値(20%)以上となる。なお、第1の画像101は、星空と地景を有する被写界が撮像された画像であり、領域101aは星空に対応する領域を示し、領域101bは地景に対応する領域を示している。
【0057】
図4に戻り、S401の判定結果がNOの場合、画像処理部18は、S304と同様に、S302で出力された撮像データに係る第1の画像に対して通常画像処理を行う(S402)。この場合は、S403乃至S407の処理が行われずに、処理が
図3に例示したフローチャートに戻ることになる。
【0058】
一方、S401の判定結果がYESの場合、境界演算部11bは、S302で出力された撮像データに係る第1の画像における第1の被写界領域と第2の被写界領域の境界を求める(S403)。この処理の一例を、
図6を用いて説明する。
【0059】
図6は、S403の処理の一例を説明する図である。
図6に示した例では、第1の画像101に表される被写界の重力方向が、第1の画像101の下方向であるとする。なお、その重力方向は、姿勢センサ16の検出結果に基づいて決定される。また、特定方向を、その重力方向に対して反対の方向、即ち第1の画像101の上方向であるとする。この場合の例では、境界演算部11bが、第1の画像101において、輝度値の差が閾値以上であって上方向に1つの画素を挟んで隣接する2つの画素(例えば画素102と103)の中間位置(中間画素位置)を夫々繋ぎ合わせることに依り、その境界を求める。ここで、閾値は、例えば、輝度値が8bitで表される場合に50とされる。また、その2つの画素(例えば画素102と103)における輝度値の高い方の画素(例えば画素102)を含む方が第1の被写界領域であり、
図5の例に示した星空に対応する領域101aでもある。また、その2つの画素(例えば画素102と103)における輝度値の低い方の画素(例えば画素103)を含む方が第2の被写界領域であり、
図5の例に示した地景に対応する領域101bでもある。
【0060】
図4に戻り、S403の後、撮像部14は、第2の被写界領域に適した第2の撮像条件に従って被写界を撮像して撮像データを出力する(S404)。なお、S302での撮像からS404での撮像までの時間は極僅かであり、S404で撮像される被写界は、S302で撮像された被写界と同じになる。
S404の後、画像処理部18は、S302で出力された撮像データに係る第1の画像に対して第1の被写界領域に適した第1の画像処理を行うと共に、S404で出力された撮像データに係る第2の画像に対して第2の被写界領域に適した第2の画像処理を行う(S405)。第1の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したWBに応じた画像処理の一方又は両方を含む。第2の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したWBに応じた画像処理の一方又は両方を含む。星空に適したWBは、例えば3000K程度の青みが増すWBであり、地景に適したWBは、例えばAWBである。また、星空に適したトーンカーブと地景に適したトーンカーブを
図7に例示する。
【0061】
図7は、その2つのトーンカーブを例示する図である。
図7に例示したとおり、星空に適したトーンカーブ104と地景に適したトーンカーブ105は異なり、星空に適したトーンカーブ104は、地景に適したトーンカーブ105に比べて、中間域での傾きが急になっている。
【0062】
図4に戻り、S405の後、画像切出部19は、第2の画像処理後の第2の画像から、S403で求められた境界に基づいて、第2の被写界領域に対応する部分画像を切り出す(S406)。
【0063】
S406の後、画像合成部20は、S406で切り出された部分画像を、第1の画像処理後の第1の画像に合成する(S407)。詳しくは、S406で切り出された部分画像を、第1の画像処理後の第1の画像における第2の被写界領域上に重畳合成する。この処理の一例を、
図8を用いて説明する。
【0064】
図8は、S407の処理の一例を説明する図である。
図8に示した例では、第1の画像処理後の第1の画像106における第2の被写界領域上に、S406で切り出された部分画像107が重畳合成され、合成画像108が生成される。これに依り、合成画像108では、星空に対応する領域が、星空に適した撮像条件で撮像され且つ星空に適した画像処理が行われた画像となり、地景に対応する領域が、地景に適した撮像条件で撮像され且つ地景に適した画像処理が行われた画像となる。
【0065】
図4に戻り、S402又はS407の後は、処理が
図3に例示したフローチャートに戻る。
以上のとおり、本実施形態によれば、星空と地景を有する星景写真の撮影が行われた場合に、星空と地景の何れもが最適な明るさになる星景画像を容易に得ることができる。また。第1の被写界領域と第2の被写界領域の境界が、輝度値の差が閾値以上であって特定方向に隣接する(又は特定方向に1つ以上の画素を挟んで隣接する)2つの画素の中間位置を繋ぎ合わせることに依り求められるので、星空と地景の境界が正確に再現された星景画像を得ることもできる。
【0066】
なお、本実施形態においては、各種の変形が可能である。
例えば、
図3に例示したフローチャートにおいて、S303及びS304の処理を省き、S302の後は処理がS305へ進む流れとしてもよい。
【0067】
また、例えば、画像切出部19は、第2の画像から、境界演算部11bに依り求められた境界に基づいて、第2の被写界領域に対応する部分画像を切り出してもよい。この場合は、画像処理部18が、第1の画像に対して第1の被写界領域に適した第1の画像処理を行うと共に、第2の画像から画像切出部19に依り切り出された部分画像に対して第2の被写界領域に適した第2の画像処理を行う。画像合成部20は、第1の画像処理後の第1の画像に、第2の画像処理後の部分画像を合成する。これらは、天体撮影モードが設定された場合又はシーン判定部17に依り天体シーンと判定された場合であって且つ判定部11aに依り第1の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよいし、単に判定部11aに依り第1の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよい。
【0068】
また、例えば、上述のとおり、画像切出部19が、第2の画像から、境界演算部11bに依り求められた境界に基づいて、第2の被写界領域に対応する部分画像を切り出すとした場合は、上述の画像処理部18に依る第1の画像処理及び第2の画像処理を行わずに、画像合成部20が、単に、切り出された部分画像を第1の画像に合成してもよい。これらも、天体撮影モードが設定された場合又はシーン判定部17に依り天体シーンと判定された場合であって且つ判定部11aに依り第1の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよいし、単に判定部11aに依り第1の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよい。
【0069】
また、例えば、画像入力部15から、撮影時の露出が異なる複数の画像が入力された場合に、上述の第1の画像と第2の画像の代わりに、その複数の画像の中から第1の画像として選択された画像と、その複数の画像の中から第2の画像として選択された画像とを用いて処理が行われてもよい。この場合は、撮像部14が撮像を行うことなく第1の画像と第2の画像が取得され、その2つの画像を用いて、
図4に例示したS403及びS405乃至S407の処理が行われる。
【0070】
また、例えば、撮像装置1を用いてバルブ撮影が行われる場合に、バルブ撮影の開始時に得られた撮像データに係る画像を第1の画像として選択し、その後、バルブ撮影中に、第2の画像として取り扱い可能な撮像データが得られた時点で、その撮像データに係る画像を第2の画像として選択して、
図4に例示したS403及びS405乃至S407の処理を行うことで合成画像を生成してもよい。この場合は、S403の処理の完了を待つことなく、第2の画像の取得が可能になる。
【0071】
また、例えば、撮像装置1を用いてオートブラケット撮影が行われる場合に、オートブラケット撮影の開始時に得られた撮像データに係る画像を第1の画像として選択し、その後、オートブラケット撮影中に、第2の画像として取り扱い可能な撮像データが得られた時点で、その撮像データに係る画像を第2の画像として選択して、
図4に例示したS403及びS405乃至S407の処理を行うことで合成画像を生成してもよい。この場合も、S403の処理の完了を待つことなく、第2の画像の取得が可能になる。
【0072】
また、撮像される被写界は、例えば
図5の第1の画像101に表された被写界の如く、一方側に星空が存在し、他方側に地景が存在するといった被写界に限られない。例えば、撮像される被写界は、中央部分に星空が存在し、その外周部分に地景が存在するといった被写界(被写界Aとする)でもよい。被写界Aは、洞窟内部から洞窟開口部を通して星空を撮影する場合等に想定される。或いは、例えば、撮像される被写界は、上部に星空が存在し、中央部に地景が存在し、下部に星空に類似する明るさの海や湖等が存在するといった被写界(被写界Bとする)でもよい。被写界Bは、湖岸から対岸へ向けて湖、対岸の地景、及び星空を撮影する場合等に想定される。
【0073】
図9は、被写界Aを撮像して得られた第1の画像を例示する図である。
図10は、被写界Bを撮像して得られた第1の画像を例示する図である。
図9に例示した第1の画像109では、中央部分の領域109aが第1の被写界領域となり、その外周部分の領域109bが第2の被写界領域となる。一方、
図10に例示した第1の画像110では、上部の領域110a及び下部の領域110bが第1の被写界領域となり、中央部の領域110cが第2の被写界領域となる。
【0074】
また、特定方向は、特定方向規定情報に基づいて決定されてもよい。特定方向規定情報は、第1の画像に表される被写界の重力方向に応じた特定方向を規定する情報である。例えば、特定方向規定情報は、360°を複数に等分し、第1の画像に表される被写界の重力方向が、その何れに該当するかに応じて、特定方向を規定するものである。
【0075】
図11は、特定方向規定情報の一例を模式的に示す図である。
図11に模式的に示した特定方向規定情報の例では、360°を8つに等分し(等分パターン111参照)、第1の画像に表される被写界の重力方向が、何れの角度範囲に含まれるかに応じて、特定方向を規定する。
【0076】
この例では、重力方向が角度範囲Aに含まれる場合(下方向又は略下方向の場合)は、特定方向が上方向(下から上)とされ、輝度値の差が閾値以上であって上方向に1つの画素を挟んで隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像a参照)。
【0077】
また、重力方向が角度範囲Bに含まれる場合(右下方向又は略右下方向の場合)は、特定方向が左上方向(右下から左上)とされ、輝度値の差が閾値以上であって左上方向に隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像b参照)。
【0078】
また、重力方向が角度範囲Cに含まれる場合(右方向又は略右方向の場合)は、特定方向が左方向(右から左)とされ、輝度値の差が閾値以上であって左方向に1つの画素を挟んで隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像c参照)。
【0079】
また、重力方向が角度範囲Dに含まれる場合(右上方向又は略右上方向の場合)は、特定方向が左下方向(右上から左下)とされ、輝度値の差が閾値以上であって左下方向に隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像d参照)。
【0080】
また、重力方向が角度範囲Eに含まれる場合(上方向又は略上方向の場合)は、特定方向が下方向(上から下)とされ、輝度値の差が閾値以上であって下方向に1つの画素を挟んで隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像e参照)。
【0081】
また、重力方向が角度範囲Fに含まれる場合(左上方向又は略左上方向の場合)は、特定方向が右下方向(左上から右下)とされ、輝度値の差が閾値以上であって右下方向に隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像f参照)。
【0082】
また、重力方向が角度範囲Gに含まれる場合(左方向又は略左方向の場合)は、特定方向が右方向(左から右)とされ、輝度値の差が閾値以上であって右方向に1つの画素を挟んで隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像g参照)。
【0083】
また、重力方向が角度範囲Hに含まれる場合(左下方向又は略左下方向の場合)は、特定方向が右上方向(左下から右上)とされ、輝度値の差が閾値以上であって右上方向に隣接する2つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる(部分画像h参照)。
【0084】
図11に模式的に示した例では、即ち、特定方向が重力方向に応じて8つの方向の何れかに決定される。
また、特定方向は、第1の画像に表される被写界の重力方向に関わらず、第1の画像の領域毎に規定された方向とされてもよい。
【0085】
図12は、第1の画像の領域毎に特定方向が規定された例を説明する図である。
図12に示した例では、第1の画像112を、
図11に示した等分パターン111の如くに8つの領域に分けて、領域Aにおける特定方向は上方向、領域Bにおける特定方向は左上方向、領域Cにおける特定方向は左方向、領域Dにおける特定方向は左下方向、領域Eにおける特定方向は下方向、領域Fにおける特定方向は右下方向、領域Gにおける特定方向は右方向、領域Hにおける特定方向は右上方向とされる。この例は、第1の画像112が、例えば、
図9に例示した第1の画像109の如く、上述の被写界A、即ち、中央部分に星空が存在し、その外周部分に地景が存在するといった被写界を撮像して得られた画像である場合に好適である。
【0086】
以上、実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【解決手段】撮像装置は、被写界を撮像して撮像データを出力する撮像部と、第1の撮像条件に従って撮像部が被写界を撮像して出力した撮像データに係る第1の画像における第1の被写界領域と第2の被写界領域の境界を求める境界演算部と、第1の画像に対して第1の被写界領域に適した第1の画像処理を行うと共に、第2の被写界領域に適した第2の撮像条件に従って撮像部が上記被写界を撮像して出力した撮像データに係る第2の画像に対して第2の被写界領域に適した第2の画像処理を行う画像処理部と、第2の画像処理後の第2の画像から、境界に基づいて、第2の被写界領域に対応する部分画像を切り出す画像切出部と、第1の画像処理後の第1の画像に部分画像を合成する画像合成部と、を備える。