(58)【調査した分野】(Int.Cl.,DB名)
前記識別表示手段は、前記特定手段により特定された位置に対して所定の処理が完了している場合に、当該所定の処理が完了した被写体であることを前記全体画像上で識別表示する、
ようにしたことを特徴とする請求項1記載の撮像装置。
前記識別表示手段は、前記全体画像に前記所定の処理を実行していない状態を示す未処理画像が予め重ね表示されている状態において、前記特定手段により特定された被写体の位置に表示されている前記未処理画像の重ね表示を消去することにより、当該所定処理が完了した被写体であることを前記全体画像上で識別表示する、
ようにしたことを特徴とする請求項4記載の撮像装置。
【発明を実施するための形態】
【0019】
以下、
図1〜
図4を参照して本発明の実施形態を説明する。
図1は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、例えば、光学10倍の広角・高倍率ズームを搭載したコンパクトカメラで、制御部1を中核として動作する構成となっている。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、
図4に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部M1、撮影された画像をファイル形式によって保存する画像記憶部M2などを有している。
【0020】
RAM4は、フラグ情報、画面情報など、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。表示部5は、例えば、高精細液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、電気泳動型ディスプレイ(電子ペーパ)のいずれかを使用し、画像を高精細に表示するもので、この表示部5の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン(タッチ画面)を構成するようにしている。操作部6は、図示省略したが、押しボタン形式の各種のキーとして、シャッタキーなどの各種のファンクションキーや数字データを入力する数値キーなどを備えたもので、制御部1は、この操作部6からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理などを行う。
【0021】
撮像部7は、デジタルカメラを構成するもので、C−MOS、CCD撮像素子などのエリアイメージセンサを備え、静止画撮影のほかに、動画撮影も可能な構成となっている。この撮像部7は、撮影レンズ7a、絞り機構7b、C−MOSあるいはCCDなどの撮像素子(エリアイメージセンサ)7c、光学系駆動部7dなどのほか、図示省略したが、照明用のフラッシュ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、オートフォーカス機能(AF機能)、超望遠撮影機能、広角撮影機能、露出調整機能(AE機能)などを制御するようにしている。
【0022】
AF機能は、撮影レンズ7aから被写体までの距離を測定して焦点合わせを行う自動焦点合わせ機能で、この測定距離に応じて光学系駆動部7dは、撮影レンズ7aの位置を制御して焦点合わせを行う。なお、AF機能は、赤外線、超音波などを照射するアクティブ方式に限らず、撮像素子7cからの画像データに基づいて位相差を検出する位相差検出方式、コントラスト比を検出するコントラスト検出方式など、任意の方式であってもよい。なお、コントラスト検出方式では、レンズ位置を調整しながらコントラストが最も高くなるレンズ位置に合焦するようにしているが、その際、この合焦したレンズ位置に応じて被写体までの距離を求めるようにしている。
【0023】
また、撮像部7は、被写体に応じて望遠/広角の切り替えができる2焦点式レンズやズームレンズを備え、望遠撮影機能、広角撮影機能を作動させて望遠/広角撮影を行うようにしている。照明部8は、撮像範囲を照明するLEDフラッシュなどである。加速度センサ9は、撮影時に使用され、デジタルカメラの傾きを測定するものである。制御部1は、後述する画像パターンマッチングを行う際に、撮影時に撮像部7により測定された被写体までの距離と加速度センサ9の測定されたデジタルカメラの傾きを考慮することにより、比較対象の画像同士を整合させるようにしている。すなわち、比較対象の画像同士の撮影倍率を整合させたりその向きを整合させたりするようにしている。
【0024】
図2は、目前に広がる風景(富士山)を超望遠で複数箇所撮影する場合の表示状態を示した図である。
図2(1)は、撮影対象である被写体(富士山)を含む風景全体を撮影した場合に、表示部5のモニタ画面(ファインダ画面)に表示された内容を示したもので、図示の例では、全体画像を等倍撮影した場合を示し、モニタ画面の全域に当該全体画像が表示される。なお、全体画像は、等倍撮影された等倍画像に限らず、広角撮影された広角画像又は望遠撮影された望遠画像であってもよい。
【0025】
図2(2)は、富士山の一部(頂上)の一部に照準を合わせた場合のモニタ画面の表示内容を示している。このモニタ画面の一部分には、例えば、図中、右下角部の矩形枠内には、富士山の全体画像(静止画像)が縮小表示されている。このように富士山の全体画像が矩形枠(全体画像枠)内に固定的に表示されている状態において、富士山の一部(例えば、その頂上の一部)を望遠撮影するためにその部分に照準を合わせると、その被写体画像(拡大画像)がモニタ画面の他の領域(全体画像枠を除く全領域)に表示されると共に、全体画像枠内には現在照準を定めている被写体の位置を明示する矩形枠(照準枠)が表示される。この場合、制御部1は、撮像部7により現在照準を定めている被写体画像と全体画像とを比較する画像マッチングを行うことでその被写体が全体画像内のどの位置にあるかを特定し、この位置が現在照準を定めている被写体の位置であることを全体画像上で識別表示(照準枠表示)させるようにしている。これによって撮影対象(富士山)を含む全体画像に対する現在の状態を明示される。
【0026】
図2(2)の状態において、現在照準を定めている頂上部分を撮影するためにシャッタ操作を行うと、現在照準を定めている被写体画像(望遠撮影された拡大画像)が画像記憶部M2に保存させると共に、
図2(3)に示すように、照準枠表示の全体を所定の色(例えば、グリーン)に着色することにより撮影完了枠表示に変更させる。これによって所定の処理(撮影処理、保存処理)が完了した被写体であることが全体画像上で識別表示される。この状態において、富士山の他の部分(麓)に照準を定めるために撮像部7の向きを変えると、それに応じて被写体画像(拡大画像)及び照準枠表示がその方向にリアルタイムに移動するようになる。
【0027】
ここで、富士山の麓の一部に照準を定めた場合には、
図2(3)に示すように、その被写体画像(拡大画像)がモニタ画面の他の領域(全体画像枠を除く全領域)に表示されると共に、全体画像枠内には現在照準を定めている被写体の位置を明示する矩形枠(照準枠)が表示される。このように照準を移動したとしても、前回撮影した頂上部分には、撮影完了枠がそのまま表示されるので、全体画像枠内には今回の照準枠とそれまでの撮影完了枠が共に表示されている状態となる。
【0028】
次に、本実施形態におけるデジタルカメラの動作概念を
図3に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
【0029】
図3は、本実施形態における特殊撮影(撮影対象を含む全体画像に対する現在の状態を明示する撮影)への切り替えに応じて実行開始されるフローチャートである。すなわち、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したもので、この
図3のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
先ず、制御部1は、撮影対象(例えば、富士山)を含む全体画像を撮影済みであるか、RAM4に全体画像が記憶されているかを調べ(ステップS1)、全体画像を取得済みでなければ(ステップS1でNO)、撮影対象を含む画像が全体画像として撮影されたかを調べ(ステップS2)、全体画像が撮影されたときには(ステップS2でYES)、その全体画像をRAM4に一時記憶させる(ステップS3)。そして、次のステップS4に移り、
図2(1)に示すように、RAM4から読み出した全体画像を表示部5のモニタ画面全域に表示させる。
【0030】
この状態において、ユーザ操作に応答して超望遠撮影モードに切り替えるか、一定時間経過後に超望遠撮影モードに切り替える(ステップS5)。そして、この超望遠撮影モードにおいて、望遠による拡大画像(現在照準が合わせられている被写体画像)を取得して(ステップS6)、この拡大画像をモニタ画面に表示させるが(ステップS7)、その際、全体画像を縮小して、モニタ画面の一部(右下角部の全体画像枠内)に表示させると共に、モニタ画面の他の領域(全体画像枠を除く全領域)に、上述の拡大画像(被写体画像)を表示させる。これによって、例えば、
図2(2)に示すように、モニタ画面には全体画像と拡大画像(被写体画像)とが並列表示される。
【0031】
この状態において、制御部1は、この全体画像と拡大画像(被写体画像)とを比較する画像パターンマッチングを行うが(ステップS8)、その際、撮影時に撮像部7により測定された被写体までの距離と加速度センサ9の測定されたデジタルカメラの傾きを考慮することにより、比較対象の画像(全体画像と拡大画像)同士の撮影倍率を整合させたりその向きを整合させたりした後、画像パターンマッチングを行う。その結果、現在照準が合わせられている被写体が全体画像内のどの位置にあるかを特定する(ステップS9)。そして、撮影対象としての被写体の位置を特定することができたかを調べ(ステップS10)、特定することができたときには(ステップS10でYES)、この位置が現在照準を定めている被写体(頂上の一部)の位置であることを全体画像上で識別表示させる(ステップS11)。この場合、
図2(2)に示す例では、全体画像上の当該位置(頂上の一部)に矩形の照準枠が表示される。
【0032】
この状態において、シャッタ操作が行われて撮影処理の実行が指示されたかを調べたり(ステップS12)、撮影終了を指示する操作が行われたかを調べたりする(ステップS13)。いま、いずれの操作も行われなければ(ステップS13でNO)、上述のステップS12に戻って、操作待ち状態となるが、シャッタ操作が行われて撮影が指示されたときには(ステップS12でYES)、撮影された被写体画像を取得して画像記憶部M2に保存させる(ステップS14)。
【0033】
そして、
図2(3)に示すように、全体画像表示枠内において照準枠表示の全体を所定の色(例えば、グリーン)に着色することにより撮影完了枠表示に変更し、所定の処理(撮影処理)が完了した被写体であることを全体画像上で識別表示させる(ステップS15)。なお、この場合の識別表示は、上述の着色表示に限らず、撮影完了を示す文字「済」や記号などを全体画像上の当該位置に重ね表示するようにしてもよく、その表示の仕方は任意である。以下、上述のステップS6に戻り、望遠による拡大画像を取得した後、その拡大画像(被写体画像)をモニタ画面に表示させる(ステップS7)。
【0034】
一方、画像パターンマッチングで撮影対象としての被写体の位置を特定することができなかったときには(ステップS10でNO)、例えば、
図2(4)に示すように、望遠による拡大画像が全体画像から外れている場合、つまり、富士山の外側を拡大撮影した場合であるから、全体画像のズーム倍率と拡大画像のズーム倍率との中間のズーム倍率に変更してから同一の被写体を拡大撮影する(ステップS16)。例えば、全体画像を等倍、拡大画像の10倍で撮影したものとすると、中間倍率として5倍で撮影を行う。つまり、前回の拡大画像撮影時の倍率よりも下げた倍率に再撮影を行う。そして、この中間倍率で撮影した拡大画像(中間画像)と全体画像とを比較する画像パターンマッチングを行って(ステップS17)、それらが部分的にでも一致するかを調べる(ステップS18)。
【0035】
このように倍率を下げて撮影した結果、中間画像と全体画像とが部分的に一致しなければ(ステップS18でNO)、上述のステップS16に戻り、さらに全体画像のズーム倍率と今回の拡大画像のズーム倍率との中間倍率に変更してから同一の被写体を拡大撮影した後、画像パターンマッチングを行う動作を繰り返す(ステップS17)。その結果、拡大画像と全体画像とが部分的にでも一致するようになったときには(ステップS18でYES)、例えば、図
2(4)に示すように、全体画像の左上部分と中間画像の右下部分とが一致したとき(重なり合ったとき)には、全体画像の中の部分一致した方向と180°反対方向に向けた矢印を拡大画像(中間画像)内に表示させて撮影方向の移動を促す(ステップS19)。例えば、図
2(5)に示すように、モニタ画面の拡大画像(中間画像)の表示領域内において、全体画像の中の部分一致した方向(左上方向)と180°反対方向(右下方向)に向けた矢印を表示させることにより撮影方向の移動を促すようにしている。その後、上述のステップS6に戻り、望遠による拡大画像(現在照準が合わせられている被写体画像)を取得した後、以下、上述の動作を繰り返す。
【0036】
ここで、撮影終了を指示する操作が行われたときには(ステップS13でYES)、全体画像を保存する処理を行うが(ステップS20)、この場合、撮影完了を示す識別表示(撮影完了枠表示)が全体画像上に表示されている場合には、全体画像と共にこの識別表示も含めて保存する。その後、
図3のフローから抜ける。
【0037】
以上のように、本実施形態において制御部1は、撮影対象を含む画像が撮像部7により撮影された撮影画像を全体画像として表示している状態において、撮像部7により現在照準を定めている撮影対象の被写体画像とその全体画像とを比較することでその被写体が全体画像内のどの位置にあるかを特定して、その位置が現在照準を定めている被写体であることを全体画像上で識別表示するようにしたので、撮影対象を含む全体画像に対する現在の状態を明示することで適切な撮影を実現することができる。例えば、目前の風景全体に対して現在どの辺りに照準を合わせているのかを容易に知ることができ、適切な撮影の実現により撮影を効率良く、かつ正確に行うことが可能となる。
【0038】
撮像部7により現在照準を定めている被写体画像は、望遠撮影された拡大画像であり、全体画像と被写体画像との倍率を整合させてから全体画像と被写体画像とを比較する画像パターンマッチングを行うようにしたので、画像比較を適切に行うことができる。
【0039】
同一のモニタ画面上において被写体画像と全体画像とを並列表示するようにしたので、ユーザにあっては、両方を見比べながら撮影を行うことができ、撮影対象に照準を即座に定めることが可能となる。
【0040】
撮像部7により現在照準を定めている被写体画像が全体画像内のどの位置にあるかを特定することができなかった場合に、ズーム倍率を下げながら照準を定めた被写体画像と全体画像とを比較する動作を繰り返した結果、被写体画像が全体画像と部分的に一致するようになったときには、現在の照準方向が全体画像に対してどの方向に外れているかを全体画像上で識別表示するようにしたので、ユーザにあっては、その識別表示に見ながら撮影を行うことができ、撮影対象に照準を即座に定めることが可能となる。
【0041】
全体画像が表示されている状態において、撮像部7により現在照準を定めている撮影対象の被写体画像と全体画像とを比較することでその被写体が全体画像内のどの位置にあるかを特定し、その位置に対して所定の処理が完了している場合に、所定の処理が完了した被写体であることを全体画像上で識別表示するようにしたので、現時点までの処理完了済みの箇所を知ることができ、同じ箇所を重複して処理したり未処理の箇所が残ってしまったりすることを防止することができ、処理を効率良く、かつ正確に行うことが可能となる。
【0042】
所定の処理は、撮像部7により現在照準を定めている被写体画像を撮影して保存する撮影処理であり、その画像を撮影して保存する撮影処理が完了している場合に、撮影処理が完了した被写体であることを全体画像上で識別表示するようにしたので、同じ箇所の重複撮りや撮り漏らしを防ぐことができる。
【0043】
所定の処理が完了した被写体であることが識別表示されている全体画像を保存するようにしたので、いつでも処理状況を確認することができる。
【0044】
なお、上述した実施形態においては、所定の処理が完了した被写体であることを全体画像上で識別表示する場合に、照準枠表示の全体を所定の色(例えば、グリーン)に着色することにより撮影完了枠表示に変更するようにしたが、撮影を開始する前に、全体が未処理領域であることを示すために、例えば、全体画像の全域に薄いグレーの網掛けをオーバレイ表示しておき、所定の処理が完了した場合には、その完了エリアに表示されているオーバレイ表示を消去することにより、所定の処理が完了した被写体であることを全体画像上で識別表示するようにしてもよい。このように処理が完了する毎に完了したエリアのオーバレイ表示を消去するようにしても、上述した実施形態と同様の効果を有するほか、処理の完了と未了の明確化が可能となる。さらに処理完了を示す表示は、枠内に“×”を入れた図形を重ね表示させたりするなど、任意である。
【0045】
また、上述した実施形態においては、各被写体に照準を定めながら逐次撮影を行うようにしたが、全体画像の全体を複数のブロックに分け、各ブロックを逐次撮影するようにしてもよい。この場合、現在照準を定めているブロックを識別表示したり、撮影が完了したブロックを識別表示したりすればよい。
【0046】
上述した実施形態においては、被写体画像と全体画像を比較する画像パターンマッチングを行うことで、その被写体が全体画像内のどのエリアの位置にあるかを特定するようにしたが、マッチング方法としては、画像パターンマッチングに限らず、統計的識別法、構造識別法などであってもよい。
また、上述した実施形態においては、静止画像としての被写体画像と全体画像を比較するようにしたが、静止画像に限らず、動画のフレーム同士を比較するようにしてもよい。この場合、被写体画像と全体画像とを動画表示するようにしてもよい。
【0047】
また、上述した実施形態においては、撮像装置としてデジタルカメラ(コンパクトカメラ)に適用した場合を示したが、例えば、光学500倍の光学系(鏡筒)と撮像装置を搭載した天体望遠鏡に適用してもよい。
図4(1)、(2)は、天体望遠鏡で月のクレータを望遠撮影した場合の表示例を示した図で、
図4(1)は、月の一部(クレータ)を天体望遠で撮影するためにその部分に照準を合わせた場合のモニタ画面の内容を示し、モニタ画面の一部(図中、右下角部の矩形枠内)には、月の全体画像が縮小表示される。このように月の全体画像が矩形枠(全体画像枠)内に固定的に表示されている状態において、月の一部(クレータ)を天体望遠で撮影するためにその部分に照準を合わせると、そのクレータの被写体画像(拡大画像)がモニタ画面の他の領域(全体画像枠を除く全領域)に表示されると共に、全体画像枠内には現在照準を定めている被写体の位置を明示する矩形枠(照準枠)が表示される。
【0048】
この場合、被写体画像と全体画像とを比較する画像マッチングを行うことでその被写体が全体画像内のどの位置にあるかを特定し、この位置が現在照準を定めている被写体の位置であることを全体画像上で識別表示(照準枠表示)させる。そして、現在照準を定めているクレータを望遠撮影するためにシャッタ操作を行うと、現在照準を定めている被写体画像が保存させると共に、
図4(2)に示すように、照準枠表示の全体を所定の色(例えば、グリーン)に着色することにより撮影完了枠表示に変更させる。これによって撮影処理が完了した被写体であることを全体画像上で識別表示される。この状態において、他のクレータ(被写体)に照準を定めるために撮像部7の向きを変えると、それに応じて被写体画像(拡大画像)と照準枠表示がリアルタイムに移動するようになる。そして、新たなクレータ(被写体)に照準を定めると、
図4(2)に示すように、全体画像枠内には今回の照準枠とそれまでの撮影完了枠が表示されることになる。
【0049】
また、撮像装置としては、デジタルカメラや天体望遠鏡に限らず、例えば、撮像装置(カメラ)付きの携帯電話機、・PDA・音楽プレイヤーなどであってもよい。
また、上述した実施形態において示したデジタルカメラや天体望遠鏡は、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。