IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7462410制御装置及び方法、撮像装置、及び撮像システム
<>
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図1
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図2
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図3
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図4
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図5
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図6
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図7
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図8
  • 特許-制御装置及び方法、撮像装置、及び撮像システム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】制御装置及び方法、撮像装置、及び撮像システム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240329BHJP
   H04N 25/779 20230101ALI20240329BHJP
【FI】
H04N23/60
H04N25/779
【請求項の数】 16
(21)【出願番号】P 2019228616
(22)【出願日】2019-12-18
(65)【公開番号】P2021097364
(43)【公開日】2021-06-24
【審査請求日】2022-12-08
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】伊藤 篤義
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開2009-159067(JP,A)
【文献】特開2019-134335(JP,A)
【文献】国際公開第2014/175130(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 25/779
G03B 17/18-17/20
G09G 5/00-5/42
(57)【特許請求の範囲】
【請求項1】
撮像素子から画像信号を読み出すタイミングを制御する第1の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第2の同期信号とを生成して出力する生成手段と、
前記生成手段を制御する制御手段と、を有し、
前記制御手段は、
前記表示手段に逐次表示するための第1の画像信号を繰り返し読み出すための前記第1の同期信号と、前記第1の画像信号に基づく画像を前記表示手段に表示させるための前記第2の同期信号とが、予め決められた時間差をもって出力され、
前記第1の画像信号の読み出しの間に、撮影指示に応じたタイミングで第2の画像信号を読み出す場合に、前記第2の画像信号の読み出しの前後で、前記時間差をもって前記第1の同期信号および前記第2の同期信号が出力される、ように前記生成手段を制御し、
前記撮影指示が行われた場合に、前記第2の画像信号を読み出すための準備期間と、前記第2の画像信号の電荷蓄積時間とに基づいて、前記第1の同期信号および前記第2の同期信号を出力するタイミングをずらす
ことを特徴とする制御装置。
【請求項2】
前記生成手段は、前記第1の同期信号および前記第2の同期信号を第1の周期を有する基準同期信号に基づいて生成し、
前記制御手段は、前記第1の同期信号および前記第2の同期信号を出力する前記基準同期信号からの時間差を前記生成手段に指示する
ことを特徴とする請求項1に記載の制御装置。
【請求項3】
撮像素子から画像信号を読み出すタイミングを制御する第1の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第2の同期信号とを生成して出力する生成手段と、
前記生成手段を制御する制御手段と、を有し、
前記制御手段は、
前記表示手段に逐次表示するための第1の画像信号を繰り返し読み出すための前記第1の同期信号と、前記第1の画像信号に基づく画像を前記表示手段に表示させるための前記第2の同期信号とが、予め決められた時間差をもって出力され、
前記第1の画像信号の読み出しの間に、撮影指示に応じたタイミングで第2の画像信号を読み出す場合に、前記第2の画像信号の読み出しの前後で、前記時間差をもって前記第1の同期信号および前記第2の同期信号が出力される、ように前記生成手段を制御し、
記撮影指示が行われ、前記撮影指示が行われてから所定時間が経過したタイミングで前記第2の画像信号を読み出すための電荷の蓄積を行う場合に、前記撮影指示が行われたタイミングに基づいて、前記第1の同期信号および前記第2の同期信号を出力するタイミングをずらす
ことを特徴とする制御装置。
【請求項4】
前記第2の画像信号の読み出しが指示されていない場合、前記生成手段は、前記第1の同期信号および前記第2の同期信号を第2の周期で生成し、
前記制御手段は、前記第2の画像信号を繰り返し読み出す場合に、前記第2の画像信号の2回目以降の読み出しタイミングを、1回目の前記第2の画像信号の読み出しタイミングから、前記第2の周期の整数倍のタイミングとするように前記生成手段を制御することを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項5】
前記第1の画像信号と前記第2の画像信号は、前記撮像素子から同じ読み出し方法により読み出されることを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項6】
前記撮像素子から、前記第2の画像信号を、前記第1の画像信号より時間のかかる読み出し方法により読み出されることを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項7】
前記第1の画像信号は動画像の画像信号であることを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項8】
記録媒体に記録する記録手段をさらに有し、
前記記録手段は、前記第1の画像信号および前記第2の画像信号を記録することを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項9】
前記第2の画像信号は静止画像の画像信号であることを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
【請求項10】
請求項1乃至のいずれか1項に記載の制御装置と、
撮像手段と
を有することを特徴とする撮像装置。
【請求項11】
請求項10に記載の撮像装置と、
前記制御装置に接続され、前記制御装置と同期をとって、前記撮像素子から出力された画像信号を処理する処理手段を含む処理装置と
を有することを特徴とする撮像システム。
【請求項12】
請求項10に記載の撮像装置と、
前記制御装置に接続され、前記制御装置と同期をとらずに、前記撮像素子から出力された画像信号を処理する処理手段を含む処理装置と
を有することを特徴とする撮像システム。
【請求項13】
生成手段が、撮像素子から、表示手段に逐次表示するための第1の画像信号を繰り返し読み出すための第1の同期信号と、前記第1の画像信号に基づく画像を前記表示手段に表示させるための第2の同期信号とを、予め決められた時間差をもって生成して出力する第1の生成工程と、
前記生成手段が、前記第1の画像信号の読み出しの間に、撮影指示に応じたタイミングで前記撮像素子から第2の画像信号を読み出す場合に、前記第2の画像信号の読み出し後、前記時間差をもって前記第1の同期信号および前記第2の同期信号を生成して出力する第2の生成工程と、を有し、
前記第2の生成工程では、前記撮影指示が行われた場合に、前記第2の画像信号を読み出すための準備期間と、前記第2の画像信号の電荷蓄積時間とに基づいて、前記第1の同期信号および前記第2の同期信号を出力するタイミングをずらすことを特徴とする制御方法。
【請求項14】
生成手段が、撮像素子から、表示手段に逐次表示するための第1の画像信号を繰り返し読み出すための第1の同期信号と、前記第1の画像信号に基づく画像を前記表示手段に表示させるための第2の同期信号とを、予め決められた時間差をもって生成して出力する第1の生成工程と、
前記生成手段が、前記第1の画像信号の読み出しの間に、撮影指示に応じたタイミングで前記撮像素子から第2の画像信号を読み出す場合に、前記第2の画像信号の読み出し後、前記時間差をもって前記第1の同期信号および前記第2の同期信号を生成して出力する第2の生成工程と、を有し、
前記第2の生成工程では、前記撮影指示が行われ、前記撮影指示が行われてから所定時間が経過したタイミングで前記第2の画像信号を読み出すための電荷の蓄積を行う場合に、前記撮影指示が行われたタイミングに基づいて、前記第1の同期信号および前記第2の同期信号を出力するタイミングをずらすことを特徴とする制御方法。
【請求項15】
コンピュータを、請求項1乃至のいずれか1項に記載の制御装置の各手段として機能させるためのプログラム。
【請求項16】
請求項15に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置及び方法、撮像装置、及び撮像システムに関し、特に画像の撮影タイミング及び撮影画像の表示タイミングの制御に関する。
【背景技術】
【0002】
デジタルカメラや、カメラ機能を備えた電子機器(以下、まとめて「撮像装置」と呼ぶ。)には、ライブビュー(LV)機能を有するものがある。LV機能とは、動画像の撮影を行い、得られた画像(以下、「LV画像」と呼ぶ。)を撮影と並行して表示部に逐次表示する機能のことである。この表示されたLV画像をファインダーとして用いることにより、ユーザーは静止画像撮影や動画像撮影の撮影範囲を確認しながら調整することができる。以下、この撮影範囲の調整操作を「フレーミング」と呼ぶ。
【0003】
ユーザーが意図通りの撮影を行うためには、フレーミングのし易さが重要である。例えば、LV画像の撮影を行ってから、表示部に表示するまでの時間(表示遅延)が大きいと、被写体が表示部に表示されたタイミングでは、すでに被写体は移動してしまっている、ということが発生し得る。即ち、フレーミングのし易さには、表示遅延が大きく関わっていることになる。
【0004】
LV機能を利用してフレーミングを行って静止画像の撮影を行う撮像装置においては、静止画像の連写中にも表示部にLV画像を表示し続けなければフレーミングができなくなってしまう。しかし、静止画像の連写中に、静止画像のコマ間にLV画像の撮影を行って表示する場合、静止画像の連写間隔が短いと、LV画像の撮影タイミングの調整が難しい。その結果、静止画像の連写中は、LV画像の撮像タイミングと、表示部でのLV画像の更新タイミングとの乖離が大きくなって表示遅延が増加し、フレーミングし難くなってしまう。
【0005】
この課題に対して、特許文献1では、イメージセンサの撮像タイミングと、表示部の表示開始タイミングを所定の時間差で同期制御することによって、表示遅延を低減する方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2007-243615号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に開示された従来技術では、撮像動作が一定間隔で行われていない場合にLV表示に違和感が生じてしまう。例えば一定周期で撮影されるLV画像の間に静止画像を撮像するような場合、静止画像を撮像するタイミングで表示周期が一定の値に保てない。その結果、LV表示される被写体の動きが実際の被写体の動きと異なるように感じる原因となる。また、撮影される画像に対する処理経路が異なって、表示部に表示することができるまでの表示遅延が変化する場合には、被写体が動くタイミングが、実際の被写体とLV表示された被写体とで変わってしまう。これらの場合に、LV表示を見てフレーミングをすることが難しくなってしまう。
【0008】
本発明は上記問題点を鑑みてなされたものであり、静止画像の連写中にも、表示遅延が少なくフレーミングを行い易いライブビュー表示を行うことを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の制御装置は、撮像素子から画像信号を読み出すタイミングを制御する第1の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第2の同期信号とを生成して出力する生成手段と、前記生成手段を制御する制御手段と、を有し、前記制御手段は、前記表示手段に逐次表示するための第1の画像信号を繰り返し読み出すための前記第1の同期信号と、前記第1の画像信号に基づく画像を前記表示手段に表示させるための前記第2の同期信号とが、予め決められた時間差をもって出力され、前記第1の画像信号の読み出しの間に、撮影指示に応じたタイミングで第2の画像信号を読み出す場合に、前記第2の画像信号の読み出しの前後で、前記時間差をもって前記第1の同期信号および前記第2の同期信号が出力されるように前記生成手段を制御し、前記撮影指示が行われた場合に、前記第2の画像信号を読み出すための準備期間と、前記第2の画像信号の電荷蓄積時間とに基づいて、前記第1の同期信号および前記第2の同期信号を出力するタイミングをずらすことを特徴とする。
【発明の効果】
【0010】
本発明によれば、静止画像の連写中にも、表示遅延が少なくフレーミングを行い易いライブビュー表示を行うことができる。
【図面の簡単な説明】
【0011】
図1】本発明の実施形態における撮像装置の構成を示すブロック図。
図2】(a)は、実施形態における単位画素の回路図、(b)は、実施形態における撮像素子のブロック図。
図3】実施形態におけるタイミングパルス生成回路のブロック図。
図4】第1の実施形態における静止画像連写時の動作を示すタイミングチャート。
図5】変形例1における静止画像連写時の動作を示すタイミングチャート。
図6】変形例2における静止画像連写時の動作を示すタイミングチャート。
図7】第2の実施形態における静止画像連写時の動作を示すタイミングチャート。
図8】第の実施形態における撮像システムの構成を示すブロック図。
図9】第の実施形態における撮像システムの構成を示すブロック図。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
<第1の実施形態>
図1は、本発明の第1の実施形態に係る撮像装置1の構成を示すブロック図である。図1において、第1レンズ100は撮影光学系104の先端に配置されている。絞り101は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ102、第3レンズ103は、フォーカスアクチュエータ120によって駆動され、光軸方向に進退することにより、撮影光学系104の焦点を調節する。
【0014】
フォーカルプレーンシャッター105は、静止画像撮影時に露光秒時を調節する機能を持つ。ただし、スリットローリング読み出しで電子シャッターを露光秒時の調節に用いる場合は、フォーカルプレーンシャッター105による露光秒時の調節を行わない。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを低減するために用いられる。
【0015】
撮像素子107は、撮影光学系104により形成された被写体の光学像を電気信号(画像信号)に光電変換する。また、撮像素子107は電子シャッター機能を備え、画像信号をスリットローリング読み出しによって取得することができる。
【0016】
DSP108は、撮像素子107から画像信号を受信して、画像処理を行う。また、画像処理以外にも、撮像素子107からの情報に基づいて、フォーカスレンズ(第2レンズ102、第3レンズ103)の駆動に用いる情報の演算を行う。
【0017】
RAM109は、DSP108で処理された画像データを記憶する機能と、CPU110が動作を行う際のワークメモリとしての機能を兼備する。なお、本実施形態では、これらの機能をRAM109を用いて実現する構成であるが、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、RAM109は、DSP108、CPU110の外部に配置されているが、その一部または全部の機能をDSP108やCPU110に内蔵する構成であってもよい。
【0018】
CPU110は、撮像装置1の各部を制御するためのプログラムを実行し、撮像装置1の動作を統括的に制御する。CPU110は、撮像素子107に各種設定を行うことによって、撮像素子107からの読み出しを制御することができる。また、CPU110はタイミングパルス生成回路111と通信を行い、後述のように各モジュールの動作を制御するための各種タイミングパルスの発生タイミングの制御を行う。
【0019】
タイミングパルス生成回路111は、第1クロック112からのクロック信号CLK1と第2クロック113からのクロック信号CLK2に基づいて複数の同期信号を生成し、撮像素子107と表示部114に供給する。撮像素子107は、タイミングパルス生成回路111からの信号に同期して動作することで、撮影動作を行う。
【0020】
また、表示部114はタイミングパルス生成回路111からの信号に同期して動作することで、表示画像を更新する。さらに、CPU110は、DSP108から出力される演算結果を用いて、フォーカスアクチュエータ120を制御し、撮影光学系104の焦点を調節する機能も有する。
【0021】
表示部114は、DSP108によって処理された静止画像や動画像、メニュー等の表示を行う。動画像(LV画像)を逐次表示し、ファインダーとして用いることにより、ユーザーは静止画像撮影や動画撮影の撮影範囲を確認しながら調整するフレーミングを行うことができる。なお、表示部114は、背面ディスプレイや電子ビューファインダー(EVF)等、複数の表示器を含んでいてもよい。
【0022】
操作部115は、ボタンやレバー等の操作部材により構成され、静止画像の撮影指示をするための静止画像撮影釦が含まれる。なお、操作部115に操作部材を設けずに、タッチパネルにより各種指示を入力するように構成してもよい。ユーザーは、操作部115を通じてCPU110を制御することで、撮影を行うことができる。
【0023】
CPU110は、ユーザーによる静止画像撮影釦の押下を検知すると、静止画像の撮影準備期間を含む一定時間が経過した後に、静止画像の撮影を行う。また、静止画像の撮影開始後、静止画像撮影釦が継続して押下されている場合に、静止画像の連写撮影を行う。なお、静止画像の撮影に関する詳細な動作に関しては、図4のタイミングチャートを用いて説明する。
【0024】
記録媒体116は着脱可能に構成され、静止画像データ及び動画データが記録される。ROM117は、CPU110が各部の動作を制御するためのプログラムを格納する。
【0025】
シャッター駆動回路118は、フォーカルプレーンシャッター105を駆動制御する。フォーカス駆動回路119は、CPU110の出力に基づいてフォーカスアクチュエータ120を制御することで、フォーカスレンズ(第2レンズ102、第3レンズ103)を光軸方向に進退駆動して焦点位置を変更する焦点調節を行う。絞り駆動回路121は、絞りアクチュエータ122を制御して絞り101の開口を制御する。
【0026】
次に、本実施形態の撮像素子107の構成について、図2を参照して説明する。
図2(a)は、撮像素子107の単位画素206の詳細な回路構成を説明する図である。フォトダイオード(PD)200は、入射した光を光電変換し、生成した電荷を蓄積する。転送スイッチ201は、制御信号φtxをHigh(以下、「H」と記す。)にすることによって、PD200に蓄積された電荷をフローティングディフュージョン部(FD)202に転送する。
【0027】
リセットスイッチ203は、FD202を初期化するためのスイッチであり、信号φresによって制御される。画素のリセット動作は、信号φtxと信号φresを同時にHにし、PD200とFD202を電源電圧(VDD)にすることによって実現する。画素アンプ用トランジスタ204は、選択スイッチ205、及び後述の垂直出力線208を介して定電流源209に接続される。選択スイッチ205の制御信号φselがHになると、画素アンプ用トランジスタ204は垂直出力線208に接続される。そして、PD200からFD202に転送された電荷が電荷量に応じた電圧値に変換され、垂直出力線208に画像信号として出力される。
【0028】
次に、図2(b)を参照して、撮像素子107の構成について説明する。
画素アレイ207には、水平方向に(m+1)個、垂直方向に(n+1)個の複数の単位画素206が行列状に配置されている。なお、m,n共に自然数である。駆動パルス生成回路210は、タイミングパルス生成回路111からの同期信号に基づいて、単位画素206のリセット動作や読み出し動作を行うためのパルス信号を生成する。
【0029】
生成されたパルス信号は、画素駆動回路212に供給される。行選択回路211は、駆動パルス生成回路210によって生成されたパルス信号を供給する行を選択し、選択した行を画素駆動回路212に設定する。画素駆動回路212は、行選択回路211によって設定された行に、駆動パルス生成回路210によって生成されたパルス信号を上述した制御信号として供給する。
【0030】
画素駆動回路212から供給される制御信号に応じて選択された行の画素から垂直出力線208に画像信号が出力される。定電流源209は、画素アンプ用トランジスタ204と組み合わさってソースフォロワ回路を形成する。
【0031】
AD変換回路(ADC)213は、垂直出力線208に出力されたアナログの画像信号を、その信号レベルに応じたデジタル値に変換する。ADC213によってデジタル値に変換された画像信号は、水平走査回路214によって順に選択されて、出力部215に転送される。
【0032】
なお、行選択回路211による画素アレイ207の駆動を変えることによって、複数の異なる読み出し方で画像信号を読み出すことができる。例えば本実施形態では、静止画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、その次の行の画素の画像信号を読み出し、その繰り返しによって一番下の行まで読み出す方法をとるものとする。
【0033】
また、動画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、数行(例えば2行)とばした行の画素の画像信号を読み出し、その繰り返しによって一番下の行の画素まで読み出す方法をとるものとする。動画像を生成する際にこのように画像信号を読み出すと、画像の垂直解像度は低下するが、1フレームの画像信号の読み出しを短時間かつ低消費電力で行うことができる。他にも、様々な読み出し方法による画像信号の読み出しが可能である。
【0034】
なお、本実施形態では、画素駆動回路212やADC213が撮像素子107に内蔵されている例について説明したが、これらの回路は撮像素子107とは別のチップに設けられてもよい。
【0035】
次に、図3を用いて、タイミングパルス生成回路111の内部構成について説明する。本実施形態では、タイミングパルス生成回路111は、基準同期信号生成回路300(以下、「基準SSG」と呼ぶ。)と、第2同期信号生成回路301(以下、「第2SSG」と呼ぶ。)と、第3同期信号生成回路302(以下、「第3SSG」と呼ぶ。)とから構成されている。
【0036】
基準SSG300と第2SSG301はCPU110に接続されており、それぞれの同期信号のアサートタイミングの時間を記録できるようになっている。この時間によって、基準SSG300と第2SSG301のアサートタイミングの時間差を計算することができる。また、これらの各回路に対して、CPU110から設定を行うことで、様々な周期の同期信号を生成することができるほか、同期信号の発生タイミングを変えることもできる。
【0037】
また、本構成において、第2SSG301は、第1クロック112からのクロック信号CLK1に基づいて動作し、基準SSG300と第3SSG302は、第2クロック113からのクロック信号CLK2に基づいて動作する。そして、第2SSG301は、基本的に、予め決められた第1の周期で第2の同期信号を生成して撮像素子107に出力し、第3SSG302は、同じく第1の周期で第3の同期信号を生成して表示部114に出力する。
【0038】
なお、本実施形態ではタイミングパルス生成回路111に複数のクロックを入力して2種類の同期信号を生成する構成としたが、本発明はこの構成に限定されるものではない。全てのSSGを単一のクロック信号に基づいて動作するようにしてもよいし、異なるクロック信号に基づいて動作するようにしてもよい。また、上記の各SSG回路のすべてまたは一部が独立してブロックを構成してもよい。
【0039】
図4は、第1の実施形態における静止画像の撮影動作を示すタイミングチャートであり、ここでは、連写を行う場合について説明する。また、本実施形態において、記録用の静止画像とLV表示に用いられるLV画像は、互いに異なる読み出し方法により画像信号が読み出されるものとする。図4中、「撮像素子のリセット走査または読み出し走査」において、一点鎖線はLV画像生成用の画像信号読み出しを、二点鎖線は静止画像生成用の画像信号読み出しを表している。また、破線は各読み出しに対応するリセット走査を表しており、垂直方向は撮像素子107の走査方向の行に対応している。さらに、図4中、「表示部の画像更新走査」において、斜めの実線は表示部114がLV表示を更新する走査を表し、垂直方向は表示部114の走査方向の行に対応している。
【0040】
時刻t400で第2の同期信号がアサートされると、LV画像生成用の画像信号の読み出しが開始される。そして、時刻t401で第3の同期信号がアサートされると、表示部114に時刻t400で読み出しが開始された画像信号に基づいて生成されたLV画像が表示され始める。ここでは、時刻t400と時刻t401の時間差だけ撮影から表示までに時間差Δt1を設けることによって、撮影した画像を安定して表示できるものとする。
【0041】
以下、第2の同期信号がアサートされる度に撮像素子から画像信号の読み出しが行われ、第3の同期信号がアサートされる度にLV表示の更新が行われる。なお、LV画像生成用の画像信号の読み出しに先立って、第2の同期信号がアサートされるタイミングから予め決められた露光時間前にリセット走査が行われるが、そのタイミングは、第2の同期信号の周期と、露光時間とから決めることができる。
【0042】
また、時刻t402のように、基準同期信号がアサートされるタイミングで、第3SSG302は、内部カウンタの値をリセットする。このようにして、第3SSG302を基準SSG300の同期信号に同期させる。また、基準同期信号はCPU110にも入力され、CPU110は、この基準同期信号がアサートされたことを検知すると、CPU110のシステム時間を表現するカウンタから値を読み出して、カウント値を記録する。
【0043】
時刻t402で基準同期信号がアサートされた直後に第2の同期信号がアサートされるタイミングである時刻t403では、LV画像生成用の画像信号の読み出しが開始されると同時に、第2の同期信号がCPU110に入力される。そして、CPU110はこの第2の同期信号がアサートされたシステム時間を表現するカウント値を記録する。
【0044】
CPU110は、基準同期信号と第2の同期信号のカウント値から、後述する計算によって第2の同期信号のアサートタイミングを算出する。そしてその計算結果に基づいて、タイミングパルス生成回路111を制御して、第2の同期信号を基準同期信号に、ある一定の時間差をもって同期させるように制御する。このように制御すると、第2の同期信号も第3の同期信号も基準同期信号に同期して動作させることができるので、第2の同期信号と第3の同期信号の時間差Δt1を一定の値に保つことができる。
【0045】
時刻t404で静止画像撮影釦が押下され、撮影開始が指示されると、レリーズタイムラグを管理するタイマーの動作が開始し、それと同時に焦点調節や露出制御等の静止画像の撮影準備が行われる。そして、その撮影準備に要する時間よりも長い時間であるレリーズタイムラグT1が経過した時刻t405に第2の同期信号をアサートし、静止画像用のリセット走査が開始される。そして、電荷蓄積時間T2が経過すると、時刻t407において、再び第2の同期信号をアサートし、静止画像生成用の画像信号の読み出し走査が開始される。この際に、第2の同期信号の位相が変化する。
【0046】
続いて、時刻t409ではLV画像用のリセット走査が開始され、時刻t410でそれに対応するLV画像生成用の画像信号の読み出し走査が開始される。ここで、LV画像生成用の画像信号読み出しの開始タイミングである時刻t410は、静止画像撮影釦の押下タイミングと、レリーズタイムラグT1と、静止画像の電荷蓄積時間T2と、静止画像生成用の画像信号読み出しからLV画像生成用の画像信号の読み出しまでの時間T3とから計算することができる。
【0047】
ここで、時間T3は、表示部114の画像更新周期、すなわち第1の周期である。本実施形態では、これらの時間T1、T2、T3は、時刻t404に撮影釦が押下されたタイミングで確定できるものとする。また、このような条件では、時刻t404の時点で、基準同期信号のアサートタイミングt406の時刻と、LV画像生成用の画像信号読み出しのための第2の同期信号のアサートタイミングt410の時刻が確定している。
【0048】
そこで、時刻t410に対して時間差がΔt1になる時刻t411に第3の同期信号がアサートされるように、時刻t408において第3の同期信号のアサートタイミングを変更し、以降そのタイミングを維持するようにする。そのために、基準同期信号に対して第3の同期信号をずらすようにする。ここでは、ずらし量を第3の同期信号の周期以下に調節する。
【0049】
基準同期信号がアサートされる時刻t406と時刻t411の差は、第3の同期信号の周期以上になるので、基準同期信号と第3の同期信号の同期をするのは時刻t408で行うことにし、そのずらし量をΔu1とする。このとき、時刻t404でCPU110は時間差Δu1を計算し、タイミングパルス生成回路111に対して第3の同期信号のアサートタイミングをΔu1だけずらすように設定を行う。
【0050】
この設定に基づいて、時刻t408に第3の同期信号がアサートされる。これにより、第3SSG302は、基準同期信号を受信してからΔu1だけ時間が経過したときにカウンタ値をリセットするように設定することになる。以降、第3の同期信号は基準同期信号に対して時間差Δu1だけずれて同期しながら動作する。
【0051】
また、LV画像生成の画像信号読み出し走査のための第2の同期信号のアサートタイミングの時刻t410と、その直前の静止画の読み出しのための第2の同期信号のアサートタイミングの時刻t407との時間差T3は、表示部114の画像更新周期と同じだけの時間である。そこで、時刻t407以降では、基準同期信号のアサートタイミングと第2の同期信号アサートタイミングの時間差を、基準同期信号のアサートタイミングの時刻t406と、静止画生成用の画像信号読み出しのための第2の同期信号アサートタイミングの時刻t407との差Δu2に保つように動作させる。
【0052】
より具体的には、基準同期信号のアサートタイミングの時刻t406と、静止画の読み出し走査のための第2の同期信号アサートタイミングの時刻t407との差Δu2を、時間差目標値として記録する。そして、それ以降に基準同期信号と第2の同期信号がアサートされたタイミングで、アサートタイミングの時間差を計算し、さらにその時間差から時間差目標値Δu2を差し引く。これにより、その差が第2の同期信号のアサートタイミングを補正すべき差となるので、その差を補正するように第2の同期信号のアサートタイミングをずらす。
【0053】
このように動作させることで、時刻t407以降では基準同期信号と第2の同期信号は、時間差目標値Δu2をもって同期しながら動作することができるようになる。そうすることにより、時刻t407以降では基準同期信号と第2の同期信号と第3の同期信号が同期しながら動作することになる。これにより、LV画像生成用の画像信号読み出し開始時刻t410と表示部114の画像更新走査の開始時刻t41との時間差Δt1を一定に保ちながら撮影することができる。
【0054】
このように、第2の同期信号及び3の同期信号のアサートタイミングを変更することによって、位相がずれ、周期の異なるフレームが1フレーム挿入されることになる。これにより、時刻t411で開始する表示部114のLV画像の更新タイミングは、直前の表示部114のLV画像の更新タイミングとは異なる位相となるが、以降、常にLV画像の表示遅延を時間差Δt1とすることができる。
【0055】
また、1回目の静止画像の撮影時には、第2の同期信号に基づいてリセット走査を行ったが、2回目以降は、静止画像生成用の画像信号の読み出しタイミングを第2の同期信号の第1の周期に合わせ、そのタイミングから必要な電荷蓄積時間だけ前にリセット走査を行うように制御する。これにより、第2の同期信号及び第3の同期信号のアサートタイミングを合わせ直す必要を無くすことができる。
【0056】
なお、本実施形態では、読み出された静止画像生成用の画像信号を、表示部114にLV表示に用いないが、これは以下の理由による。一般に、静止画像を表示するために最適な時間差(Δt2とする)は、LV画像を表示するために最適な時間差(本実施形態におけるΔt1)とは異なる。そのため、静止画像を表示部114に表示しようとすると、LV画像を表示するフレームと表示遅延が変わってしまうことになり、被写体の動きが不自然になると考えられるためである。しかしながら、静止画像を表示する構成にしても構わない。
【0057】
また、本実施形態では、時刻t412での表示部114の更新に対応するLV画像生成用の画像信号の読み出しは行わない。その理由は、連写による静止画像生成用の画像信号の読み出し(例えば時刻t413で開始される読み出し)が行われるタイミングでは、LV画像生成用の画像信号の読み出しができないためである。また、静止画像連写時のLV画像の更新レートを一定に保つためである。この際、第2SSG301は、第2の同期信号を間引く制御を行う。ただし撮像素子107の画像信号の読み出し速度が十分に早い場合には、LV画像の更新レートを上げて、このタイミングで表示画像を更新する構成にしてもよい。
【0058】
さらに、本実施形態では、静止画像の連写中には表示部114のフレームレートが落ちる構成としたが、本発明はこれに限定されるものではない。上述したように画像信号の読み出し速度が十分に速い場合には、例えば図4において第2の同期信号だけ半分の周期で動作させることによって、静止画像の連写中の表示部114の更新レートと、静止画像の連写をしていないときの表示部114の更新レートをそろえてもよい。このようにすると、静止画像用の画像信号の読み出しとLV画像生成用の画像信号の読み出しを異なる読み出し方法にしつつも、表示部114をの更新レートを連写中に低下させないように動作させることができる。
【0059】
以上説明したように、第1の実施形態によれば、静止画像を連写する場合にも、LV画像の表示遅延を変えないようにすることができるため、ライブビュー表示を見易くすることができる。
【0060】
なお、本実施形態においては、LV画像を単に表示に用いるだけの構成としたが、この画像を記録媒体116に動画像として記録することも可能である。このように構成することで、静止画像と動画像を同時に撮影することができる。
【0061】
<変形例1>
図5は、静止画像の連写時の2コマ目の撮影において、電荷蓄積時間がLV表示の更新レートよりも長い場合のタイミングチャートを示す。このように、静止画像の連写中に電荷蓄積時間の長さが変化するのは、例えば、各静止画像のために測定した測光値が変化している場合や、露出値のブラケット撮影を行う場合等がある。
【0064】
図5に示すように、静止画像の蓄積時間が表示部114の更新レートよりも長い場合、静止画像の蓄積時間がどのような値であっても、LV画像生成用の画像信号と静止画像生成用の画像信号の読み出しタイミングの間隔が、第1の周期の整数倍となるように制御する。このように制御することで、表示部114のLV画像の更新を行うタイミングを再度調整し直す必要を無くすことができる。ここではその具体的な制御方法について、図5のタイミングチャートを参照しながら説明する。なお、図4のタイミングチャートで既に説明した内容に関しては説明を省略する。
【0065】
1枚目の静止画像の撮影後、時刻t500に第2の同期信号がアサートされてから一定時間が経過した時刻t501から静止画像用のリセット走査を開始する。また、上述したように、2枚目の静止画像の電荷蓄積時間は時刻t500から時刻t502までの時間、すなわち、第1の周期よりも長いものとする。電荷蓄積時間は、リセット走査を開始するまでには決まっているものとする。
【0066】
まず、時刻t500でLV画像生成用の画像信号の読み出しが開始されてから、電荷蓄積時間経過直後の第2の同期信号のアサートタイミングである時刻t503を、2枚目の静止画像生成用の画像信号読み出し開始タイミングとして決定する。そして、時刻t503から電荷蓄積時間を逆算することにより、時刻t501を決定する。図5に示すタイミングチャートの例では、時刻t502でアサートされる第2の同期信号に対しては、LV画像の読み出しを伴わない。
【0067】
時刻t503で、時刻t501のリセット走査に対応する静止画像生成用の画像信号の読み出しを行い、続いて時刻t504で第2の同期信号がアサートされるタイミングでLV画像生成用の画像信号の読み出しを行う。すると、時刻t504でのLV画像生成用の画像信号の読み出しタイミングと時刻t505の表示部114の更新タイミングとは時間差Δt1の関係を保つことができるので、表示遅延を図4のタイミングチャートに示す時間差Δt1と変えないように制御することができる。
【0068】
上記の通り、変形例1によれば、基準同期信号と第3の同期信号のアサートタイミングを頻繁に調節することなく、静止画像の電荷蓄積時間を制御することができる。
【0069】
<変形例2>
図4のタイミングチャートでは、時刻t404の静止画撮影釦押下時に、レリーズタイムラグT1と、静止画像の電荷蓄積時間T2と、静止画像生成用の画像信号の読み出し時間T3が確定しているものとした。しかし、実際にはそれ以外の場合も存在する。
【0070】
例えば、レリーズタイムラグT1の撮影準備中に、露出制御の一環として、電荷蓄積時間を決定する場合がある。このように、図6の時刻t600において静止画撮影釦が押下された時に、静止画像の電荷蓄積時間T2が確定していない場合、図4のタイミングチャートで解説したようなタイミングの調節はできなくなる。そこで変形例2では、時刻t601で電荷蓄積時間T2が確定する場合について説明する。
【0071】
時刻t602で基準同期信号がアサートされ、時刻t603で第2の同期信号がアサートされる。このとき、第2の同期信号のアサートタイミングの制御は、図4のタイミングチャートで解説した方法で行う。しかし、第3の同期信号のアサートタイミングの変更に時間がかかる場合、第3の同期信号のアサートタイミングの制御は図4のタイミングチャートで解説した方法では行うことができない。
【0072】
そのような場合、表示部114の画像更新走査をしばらく停止し、次に同期信号のアサートタイミングの制御が行えるタイミングで制御する。例えば、次に静止画の撮影が行われるタイミングの前後の時間に着目すると、t604で基準同期信号がアサートされ、続いてt605で第2の同期信号がアサートされる。この第2の同期信号のアサートタイミングは前述のように基準同期信号のアサートタイミングt604から時間差Δu2を保つように制御されている。
【0073】
このときt605で第2の同期信号がアサートされてからさらに時間Δt1だけ経過した時刻t606で、第3の同期信号がアサートされるように設定すればよい。そのためには、時刻t606の時点での基準同期信号と第3の同期信号のアサートタイミングの時間差Δu1を計算し、タイミングパルス生成回路111に対して設定すればよいが、この時間差Δu1はt601で電荷蓄積時間T2が確定した時に計算可能である。
【0074】
従って、時刻t601でCPU110は時間差Δu1を計算し、タイミングパルス生成回路111に対して第3の同期信号のアサートタイミングをΔu1だけずらすように設定を行う。この設定に基づいて、t606に第3の同期信号がアサートされる。このとき、第3SSG302は、基準同期信号を受信してからΔu1だけ時間が経過したときにカウンタ値をリセットするように設定することになる。
【0075】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態においては、消費電力の削減を目的として、静止画像生成用の画像信号の読み出しと、LV画像生成用の画像信号の読み出しを違う読み出し方法で行うものとした。しかし、このことによって処理が煩雑になるほか、表示フレームレートが低下してしまう要因にもなる。そこで、本第2の実施形態では、静止画像の連写中において、読み出した静止画像生成用の画像信号をLV表示に使用することで、表示フレームレートの低下を抑制する方法について説明する。
【0076】
図7は、第2の実施形態における静止画像の撮影動作を示すタイミングチャートである。なお、静止画像撮影釦押下前のLV画像の読み出しは、静止画像の読み出しと同一であっても異なるものであってもよいが、読み出しから表示までの時間差や消費電力低減の観点から、静止画像用の読み出しと異なる読み出し方法とする。なお、図7中、各種線種は第1の実施形態の図4で説明したものと同様であるため、ここでは説明を省略する。また、静止画像撮影釦押下前は、図4のタイミングチャートに示す動作と同様であるため、説明を省略する。
【0077】
時刻t700で静止画像撮影釦が押下されると、焦点調節や露出制御等の静止画像の撮影準備が行われる。そして、レリーズタイムラグT1が経過した時刻t701に、第2の同期信号をアサートし、静止画像用のリセット走査が開始される。予め決められた電荷蓄積時間T2が経過すると、時刻t702において再び第2の同期信号をアサートし、静止画像生成用の画像信号の読み出し走査が開始される。これ以降、第2の同期信号は静止画像撮影前と同じ第1の周期でアサートされる。
【0078】
本実施形態では、撮影された静止画像を表示部114に表示する。ここで、読み出した静止画像を表示部114に表示するのに最も適した時間差をΔt2とする。このとき、第2の同期信号のアサートタイミングt702から、その直後の第3の同期信号のアサートタイミングt704までの時間がΔt2となるように制御する。
【0079】
より具体的には、静止画像撮影釦が押下されたt700の時点で、レリーズタイムラグT1と電荷蓄積時間T2は確定しているので、静止画像用生成用の画像信号の読み出しが開始される時刻t702が確定する。そこで、その時刻から時間差Δt2となる時刻t704もその時に同時に確定することができる。これらの情報を用いて、その時刻に第3の同期信号がアサートされるためには、基準同期信号がアサートされるt703から時間差Δu2だけ、第3の同期信号のアサートタイミングを変更すればよい。
【0080】
CPU110は時間差Δu2を求める計算を行い、時刻t700で、タイミングパルス生成回路111の設定を変更する。すると、第3の同期信号のアサートタイミングは時刻t703から時間差Δu2だけ変更された時刻t704に変更される。
【0081】
静止画像撮影釦は押下され続けているので、1枚目の静止画像を撮影した時刻t702から表示部114の更新レートの周期と同じだけ時間が経過した時刻t705において2枚目の静止画像生成用の画像信号を読み出す。するとその画像は、そこから時間差Δt2だけ経過した時刻t706から更新される表示部114のLV画像として使用される。
【0082】
上記のように各種タイミングを制御することによって、静止画像の連写中においても表示部114の表示レートを低下させることなく、連写を行うことができる。
【0083】
なお、本実施形態では静止画像の撮影周期と表示部114の更新周期が同一となるように制御したが必ずしもこのように制御する必要はなく、静止画像の撮影周期が表示部114の更新周期の整数分の1となるような周期にしてもよい。このように制御することによって、表示部114の更新レートを超えて、静止画像の撮影コマ速を設定ことができる。
【0084】
逆に、撮影した静止画像のすべてを記録する必要はない。電力の削減や処理負荷の軽減を目的として、撮影した静止画像のすべてを記録せず、間引いて記録してもよい。
【0085】
更に、読み出した静止画像生成用の画像信号から、自動露出(AE)、自動焦点調節(AF)用の各種演算を行う場合でも、同様に、撮影された静止画像のすべてについて演算を行わず、間引いて各種演算を行ってもよい。
【0086】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
図8は、第3の実施形態に係る撮像システムの構成を示すブロック図である。なお、図1に示す構成と同様の構成には同じ参照番号を付し、説明を省略する。本実施形態では、外部装置700を、図1に示された構成を有する撮像装置1に接続することで、撮像装置1と外部装置700とが一体として動作することが可能な構成となっている。本実施形態では、そのような構成のうち、外部装置700に対して同期信号を入力する構成をとることによって、外部装置700と撮像装置1との間で同期を保つ例について説明する。
【0087】
外部装置700には、第2のCPU701が内蔵され、第2のCPU701とCPU110は接続されて通信を行うことで情報をやり取りする。第2のCPU701は、第3クロック703から出力される第3クロック信号CLK3に基づいて動作する第2のタイミングパルス生成回路702に対して設定を行う。第2のタイミングパルス生成回路702は、タイミングパルス生成回路111から出力される基準同期信号を受信する。第2のタイミングパルス生成回路702には、第4同期信号生成回路704(以下、「第4SSG」と呼ぶ。)が内蔵されている。そして、この第4SSG704に、タイミングパルス生成回路111から出力される基準同期信号と、第3クロック703から出力される第3クロック信号CLK3とが入力される。
【0088】
第4SSG704は、第3SSG302と同様に、タイミングパルス生成回路111から出力される基準同期信号を受信すると、その受信から予め決められた時間経過後にカウンタをリセットする機能を有する。なお、ここでの予め決められた時間は0も含む。そのため、第1の実施形態において図4のタイミングチャートで解説した、第3の同期信号のアサートタイミングの変更方法と全く同様の方法で、第4SSG704からの第4の同期信号のアサートタイミングを変更することができる。その機能を使用することで、静止画像の連写撮影中でも、外部装置700はLV画像の撮影に同期するように動作することができる。
【0089】
動作部705は、第2のタイミングパルス生成回路702からのタイミングパルスと、第2のCPU701からの設定に基づいて動作する。ここで、動作部705の動作は、特定のものに限定されない。例えば、動作時間を記録するタイムレコーダー、音声を記録するマイク、光量を調節する照明装置、映像を記録する録画装置、撮影された画像を表示するための表示装置等、様々な機器が考えられる。また、これ以外のものでもよい。加えて、種々の動作を実現するために、実際には動作部705がさらにいくつかのブロックに分かれる構成であってもよい。
【0090】
上記の通り第3の実施形態によれば、撮像装置1に接続された外部装置700に内蔵されている第4SSG704を制御することによって、画像の撮像が行われるタイミングに対して、外部装置700の動作タイミングを一定に保つことができる。このように外部装置を動作させることによって、画像の取得が行われるタイミングに対する外部装置の動作タイミングが最適になるように、外部装置の動作タイミングを変更することができる。
【0091】
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
図9は、第4の実施形態に係る撮像システムの構成を示すブロック図である。なお、図1に示す構成と同様の構成には同じ参照番号を付し、説明を省略する。本実施形態では、外部表示装置800を、図1に示された構成を有する撮像装置1に接続することで、撮像装置1と外部表示装置800が一体として動作することが可能な構成となっている。本実施形態では、そのような構成のうち、外部表示装置800に対して同期信号を入力しない構成をとることによって、より単純な構成を実現した例を示す。
【0092】
外部表示装置800には、第3のCPU801が内蔵され、第3のCPU801とCPU110は接続され通信を行うことで情報をやり取りする。第3のCPU801は、第4クロック803から出力される第4クロック信号CLK4に基づいて動作する第3のタイミングパルス生成回路802に対して設定を行う。第3のタイミングパルス生成回路802には、第5同期信号生成回路804(以下、「第5SSG」と呼ぶ。)が内蔵されており、この第5SSG804に第4クロック803から出力される第4クロック信号CLK4が入力される。第5SSG804は、基準SSG300がアサートする同期信号を受け付けないため、第5SSG804が同期信号をアサートするタイミングと、基準SSG300が同期信号をアサートするタイミングの同期をとることはできない構成となっている。
【0093】
第2表示部805は、第5SSG804がアサートする同期信号と、第3のCPU801からの設定によって、撮像素子107から読み出された画像を表示する。このような構成においては、第5SSG804が同期信号をアサートするタイミングは、静止画像撮影釦が押下されるタイミングと無関係になっていため、画像が表示されるタイミングも、静止画像撮影開始指示が通知されるタイミングとは無関係のタイミングとなる。
【0094】
この時、外部表示装置800の表示は静止画像撮影開始指示とは独立のタイミングとなるが、表示部114は上述した第1の実施形態で示した動作をさせることで、表示遅延を低減する。
【0095】
以上、本実施形態で解説した方法によれば、撮像装置1と外部表示装置800の接続信号線を減らすことができる。その結果、撮影者が直接見るファインダーにおいては表示遅延を低減しつつも、それ以外の外部モニタ等には簡素なシステムで画像を表示させることが可能となる。
【0096】
<他の実施形態>
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0097】
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0098】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0099】
1:撮像装置、107:撮像素子、108:DSP、110:CPU、111:タイミングパルス生成回路、112:第1クロック、113:第2クロック、114:表示部、115:操作部、300:基準同期信号生成回路、301:第2同期信号生成回路、302:第3同期信号生成回路
図1
図2
図3
図4
図5
図6
図7
図8
図9