(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-13
(45)【発行日】2025-06-23
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/65 20230101AFI20250616BHJP
H04N 23/67 20230101ALI20250616BHJP
G02B 7/34 20210101ALI20250616BHJP
G03B 13/36 20210101ALI20250616BHJP
【FI】
H04N23/65 100
H04N23/67
G02B7/34
G03B13/36
(21)【出願番号】P 2021116825
(22)【出願日】2021-07-15
【審査請求日】2024-03-14
(73)【特許権者】
【識別番号】000131326
【氏名又は名称】株式会社シグマ
(72)【発明者】
【氏名】村上 雄祐
(72)【発明者】
【氏名】澤田 有輝
【審査官】堀井 康司
(56)【参考文献】
【文献】特開2014-068053(JP,A)
【文献】特開2000-106646(JP,A)
【文献】特開2009-015073(JP,A)
【文献】特開2004-226570(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222-5/257
H04N 23/00
H04N 23/40-23/76
H04N 23/90-23/959
G02B 7/34
G03B 13/36
(57)【特許請求の範囲】
【請求項1】
撮像素子から受信した動画像の画像信号を所定のフレームレートで画像処理回路に高速転送可能な中間デバイスとしてFPGA(Field-Programmable Gate Array)を有する撮像装置において、
前記FPGAは、少なくとも、前記撮像素子と前記画像処理回路との間で画像信号の送受信を行う通信回路ブロックと、受信した画像信号に所定の画像処理を行う画像処理ブロックと、受信した画像信号を用いてオートフォーカスに関する演算処理を行うAF処理ブロックと、前記通信回路ブロックと前記画像処理ブロックと前記AF処理ブロックに対して高速クロック信号を出力するPLL回路ブロックとを有し、
前記FPGAは、前記通信回路ブロック
の画像信号転送及び前記AF処理ブロックの
AF処理がいずれも完了したことを検知すると前記PLL回路ブロックの駆動を停止し、
前記画像処理回路は、1フレーム分の画像信号の転送完了から所定の待機期間の経過後、前記FPGAに対して前記PLL回路ブロックの駆動再開を指示して前記PLL回路ブロックの駆動停止期間を終了させ、
前記画像処理回路は、1フレーム分の画像信号の前記FPGAへの転送開始から前記画像処理回路への転送完了までのフレーム転送期間と、前記AF処理ブロックにおける演算処理の開始から終了までのAF処理期間のうち、いずれが早く終了するのかを検知し、それぞれ異なる計算式を用いて前記駆動停止期間を算出すること特徴とする撮像装置。
【請求項2】
前記FPGAは、前記通信回路ブロックにおける1フレーム分の画像信号の転送処理と、前記AF処理ブロックにおけるAF処理とがいずれも完了していることを検知することで前記PLL回路ブロックの駆動を停止することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像処理回路は、前記待機期間として、少なくとも、1フレーム分の画像信号の前記画像処理回路への転送完了から次フレームの画像信号の前記FPGAへの転送開始までのフレーム転送休止期間と、前記PLL回路ブロックの安定化に要する期間とに基づいて算出されることを特徴とする請求項1又は2に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像を撮影可能で消費電力を低減可能な撮像装置に関する。
【背景技術】
【0002】
従来から、画像処理の中間デバイス(FPGA)を有する撮像装置において、FPGAから後段の画像処理デバイス(DSP)に撮影画像データを伝送するシリアル通信の際に、高速伝送を可能にするための高速クロック信号を生成する手段としてPLL回路(Phase-loocked loop回路)を用いる手法がある。
【0003】
しかしながら、PLL回路は一般に消費電力が大きいため、PLL回路を適切に制御することで消費電力を抑えることが望まれていた。
【0004】
例えば、特許文献1に開示の発明では、撮像素子と、中間デバイスと、画像処理デバイスを有し、撮像素子が連続して複数の画像信号を取得することで動画像を得る撮像装置において、中間デバイスは、クロック信号の速度の調整を行うPLL回路と、撮影された画像信号の中間デバイスへの伝送開始と伝送完了をPLL回路に知らせる同期信号生成回路と、PLL回路が調整したクロック信号で、画像処理デバイスと高速シリアル通信を行う高速シリアル送信回路と、を有し、PLL回路は、撮像素子が撮影した動画像の画像信号のうち、1枚分の画像信号の伝送が完了後に稼働を停止する休止期間を有し、PLL回路の休止期間は、連続した複数の画像信号の取得における所定のフレームレートに対して予め設定された時間であり、中間デバイスは、所定のフレームレートを与えられることで独立的にPLL回路の停止及び起動を行う構成としている。
【0005】
この発明によれば、動画像撮影時において、撮影画像信号の処理効率を下げることなく、消費電力を抑制した撮像装置を提供することができる、としている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
一方で、近年、自動合焦(AF)機能強化のニーズに対応するために、撮像素子内に像面位相差検出用の画素を搭載したデジタルカメラが一般化してきている。それに伴い、像面位相差AFの処理を担うDSP側の負担が増加している。そのため、後段のDSPで行っていた処理の一部を前段のFPGA側に移管することで、DSP側の負荷をFPGA(Field-Programmable Gate Array)と分担して行うように構成することが望まれる。
【0008】
このような、処理の一部(AF処理)をFPGAで担当する構成とした場合も、引き続きPLL回路の電力消費の低減は必要である。このような構成の場合、画像転送のブランキング期間中であってもAF処理用の回路ブロックが動作しているケースが起こりうる。そのため、特許文献1に開示されているように、画像転送の休止期間中にPLL回路を停止する制御をしてしまうと、AF処理中のPLL回路まで停止してしまい、誤動作につながるという問題点があった。
【0009】
本発明はこのような状況に鑑みてなされたものであり、AF処理に影響せず効果的に動画撮影時の消費電力を削減可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明を実施の撮像装置は、撮像素子から受信した動画像の画像信号を所定のフレームレートで画像処理回路に高速転送可能な中間デバイスとしてFPGA(Field-Programmable Gate Array)を有する撮像装置において、FPGAは、少なくとも、撮像素子と画像処理回路との間で画像信号の送受信を行う通信回路ブロックと、受信した画像信号に所定の画像処理を行う画像処理ブロックと、受信した画像信号を用いてオートフォーカスに関する演算処理を行うAF処理ブロックと、通信回路ブロックと画像処理ブロックとAF処理ブロックに対して高速クロック信号を出力するPLL回路ブロックとを有し、FPGAは、通信回路ブロックの画像信号転送及びAF処理ブロックのAF処理がいずれも完了したことを検知するとPLL回路ブロックの駆動を停止し、画像処理回路は、1フレーム分の画像信号の転送完了から所定の待機期間の経過後、FPGAに対してPLL回路ブロックの駆動再開を指示してPLL回路ブロックの駆動停止期間を終了させ、画像処理回路は、1フレーム分の画像信号のFPGAへの転送開始から画像処理回路への転送完了までのフレーム転送期間と、AF処理ブロックにおける演算処理の開始から終了までのAF処理期間のうち、いずれが早く終了するのかを検知し、それぞれ異なる計算式を用いて駆動停止期間を算出すること特徴とする。
【0011】
また、本発明を実施の撮像装置は、好ましくは、FPGAは、通信回路ブロックにおける1フレーム分の画像信号の転送処理と、AF処理ブロックにおけるAF処理とがいずれも完了していることを検知することでPLL回路ブロックの駆動を停止することを特徴とする。
【0012】
また、本発明を実施の撮像装置は、好ましくは、画像処理回路は、待機期間として、少なくとも、1フレーム分の画像信号の画像処理回路への転送完了から次フレームの画像信号のFPGAへの転送開始までのフレーム転送休止期間と、PLL回路ブロックの安定化に要する期間とに基づいて算出されることを特徴とする。
【発明の効果】
【0013】
本発明を実施の撮像装置によれば、AF処理に影響せず効果的に動画撮影時の消費電力を削減することが可能となる。
【図面の簡単な説明】
【0014】
【
図1】本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。
【
図2】画像信号をDSP140に受け渡すFPGA130内の処理を説明するブロック図である。
【
図3】動画像撮影時の処理の流れを示すタイミングチャートである。
【
図4】パワマネ可否判定を含むLVモードの処理の流れを説明するフローチャートである。
【
図5】パワマネ可否判定の流れを説明するフローチャートである。
【
図6】パワマネありLV処理ループの流れを説明するフローチャートである。
【発明を実施するための形態】
【0015】
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。
【0016】
図1に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図において撮像装置100は、撮影光学系110と、撮像素子120と、FPGA130と、DSP140と、メインCPU150と、ユーザインターフェース(I/F)161と、記録媒体インターフェース(I/F)162と、画像表示部170と、レンズ制御部180とを備えている。
【0017】
撮影光学系110は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、例として1枚のレンズのみ記載している。
【0018】
撮像素子120は、撮影光学系110により集光された光線を受光して光電変換し、画像信号を出力する。撮像素子120は内部に不図示のゲイン可変アンプ、A/Dコンバータを備えており、画像信号はデジタルデータとして出力される。これらのゲイン可変アンプ、A/Dコンバータを内蔵していない撮像素子120を採用する場合には、これらのデバイスを個別に搭載すればよい。
【0019】
FPGA130は、撮像素子120から読み出された画像信号に対して所定の処理を施し、後段のDSP140に出力する中間デバイスである。FPGA130について詳しくは後述する。
【0020】
DSP140は、FPGA130から出力された画像信号に対して各種の信号処理を施す。信号処理の例として、例えば、色再現処理、JPEG形式やTIFF形式の画像データへの現像処理等がある。
【0021】
メインCPU150は、格納されたプログラムを実行することで撮像装置100全体の包括的な制御を行う。例えば、撮像素子120の読み出し制御を行う。すなわち、メインCPU150が撮像素子120の駆動タイミングを決定する信号を出力することで、画素毎の水平駆動並びに垂直駆動が制御され、各画素で生成された画像信号が読み出される。
【0022】
レンズ制御部180はメインCPU150と相互に通信可能に接続されており、協働して撮影光学系110の制御を行う。
【0023】
ユーザI/F161は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、メインCPU150はこれらに対応する動作を行う指示を出す。
【0024】
記録媒体I/F162は、不図示の記録媒体との間でRAWデータや現像後の画像データの書き込み及び読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。
【0025】
画像表示部170は、いわゆるライブビュー(LV)画像や不図示の記録媒体から読み出された画像データ等を表示する。
【0026】
次に、上述した本発明の撮像装置100におけるFPGA130の働きについて詳しく説明する。
図2は撮像素子120から読み出された画像信号をDSP140に受け渡す働きをするFPGA130内の処理を説明するブロック図である。
【0027】
本図においてFPGA130は、受信回路ブロック131と、画像処理ブロック132と、送信回路ブロック133と、メインクロック生成ブロック134と、PLL回路ブロック135と、AF処理ブロック136とを備えている。
【0028】
受信回路ブロック131は、撮像素子120から出力された画像信号を受け取る。
【0029】
画像処理ブロック132は、撮像素子120から出力された画像信号に所定の画像処理を施す。画像処理の例としては、例えば、欠陥画素補正、ホワイトバランス処理、撮影レンズのシェーディング補正等がある。また、画像処理が施された画像信号を送信回路ブロック133に出力する。
【0030】
送信回路ブロック133は、画像処理ブロック132から出力された画像信号をDSP140に転送する。これにより、各種処理が施された画像信号がFPGA130からDSP140へ引き渡される。また、送信回路ブロック133は、公知の方法によりDSP140への画像信号の転送完了を検知する。この転送完了検知は、後述するPLL回路ブロック135の駆動停止に利用される。
【0031】
AF処理ブロック136は、必要に応じて画像処理ブロック132から画像信号を受け取り、これに所定のAF処理を施す。AF処理の例としては、例えば、コントラストAF処理、像面位相差画素の出力を用いた相関演算処理等がある。また、AF処理ブロック136は、公知の方法によりAF処理の完了を検知する。この処理完了検知は、後述するPLL回路ブロック135の駆動停止に利用される。
【0032】
メインクロック生成ブロック134は、クロック信号を生成する。ここで生成されたクロック信号はPLL回路ブロック135に入力される。
【0033】
PLL回路ブロック135は、メインクロック生成ブロック134で生成されたクロック信号を入力信号として、これに同期した高速のクロック信号を生成する。ここで生成された高速クロック信号は、画像処理ブロック132、送信回路ブロック133及びAF処理ブロック136に入力される。この高速クロック信号により、それぞれの回路では高速な内部処理の実行が可能となる。
【0034】
また、FPGA130は上述した送信回路ブロック133の画像信号転送とAF処理ブロック136のAF処理がいずれも完了したことを検知すると、PLL回路ブロック135の駆動を停止させる。
【0035】
なお、FPGA130内の各回路間、及びFPGA130からDSP140への画像信号の転送に係る同期信号に関しては、本実施例における受信回路ブロック131内に不図示の同期信号生成ブロックにより生成されているものとする。ここで生成された同期信号は、不図示の通信経路を介して画像処理ブロック132、送信回路ブロック133及びAF処理ブロック136に入力される。受信回路ブロック131等の各回路では、この同期信号に同期させて画像信号を後段の回路に転送している。
【0036】
次に、本発明を実施の撮像装置100において所定のフレームレート(例えば30fps)で動画像を撮影した場合の処理の流れを説明する。
図3は、動画像撮影時の撮像素子120からDSP140までの処理の流れを示すタイムチャートの一例である。
【0037】
本図において、信号VAct_Inは、撮像素子120で取得された画像信号1フレーム分の撮像素子120からFPGA130への転送の状態を表す信号である。本実施例においては、FPGA130内の受信回路ブロック131に入力される信号の状態に対応している。この信号がHiであれば1フレーム分の転送状態であることを意味し、この期間がすなわち垂直アクティブ期間である。一方、この信号がLowであればフレーム転送の非アクティブ期間であることを意味する。
【0038】
信号VAct_Outは、FPGA130内で処理された画像信号1フレーム分のFPGA130からDSP140への転送の状態を表す信号である。本実施例においては、FPGA130内の送信回路ブロック133から出力される信号の状態に対応している。この信号がHiであれば1フレーム分の転送状態であることを意味し、この期間がすなわち垂直アクティブ期間である。一方、この信号がLowであればフレーム転送の非アクティブ期間であることを意味する。
【0039】
FPGA130は、転送された画像信号から順次画像処理等の処理を施し、DSP140へと転送を行っている。そこで、以降では、1フレーム分の画像信号について、FPGA130への転送開始(信号VAct_InがHi)からDSP140への転送完了(信号VAct_OutがLow)までの期間をフレーム転送期間Ton_Ftとも呼ぶ場合がある。本図中において、期間(1)がこのフレーム転送期間Ton_Ftに当たる。
【0040】
なお、このフレーム転送期間Ton_Ftは、DSP140においてLVモードのフレームレートと露光時間に応じた公知の演算により算出される。
【0041】
また、DSP140への転送完了(信号VAct_OutがLow)から次フレームのFPGA120への転送開始(信号VAct_InがHi)までの期間をフレーム転送休止期間Toff_Ftとも呼ぶ場合がある。本図中において、期間(2)がこのフレーム転送休止期間Toff_Ftに当たる。
【0042】
本実施例の撮像装置100におけるLVモードではフレームレートが固定であり、信号VAct_InがHiに立ち上がってから次のフレーム転送で再度立ち上がるまでの期間は一定となっている。そのため、このフレーム転送休止期間Toff_Ftは、DSP140においてLVモードのフレームレートと上述したフレーム転送期間Ton_Ftとの差分により算出される。
【0043】
AF処理信号S_AFは、FPGA130内のAF処理ブロック136における所定のAF処理の実行状態を表す信号である。この信号がHiであればAF処理ブロック136においてAF処理が実行中であることを意味し、一方、この信号がLowであればAF処理が行われていないことを意味する。例えば、AFの合焦判定が成功した場合などに、この信号がHiからLowに移行する。以降では、この信号がHiである期間をAF処理期間Ton_AFとも呼ぶ場合がある。本図中において、期間(3)がこのAF処理期間Ton_AFに当たる。
【0044】
このAF処理期間Ton_AFは、DSP140において撮像装置100のAF設定、例えば測距枠の位置や大きさに応じた公知の演算により予め算出することが可能である。
【0045】
また、FPGA130への転送開始(信号VAct_InがHi)からAF処理の開始(信号S_AFがHi)までの期間をAF処理待機期間Toff_AFとも呼ぶ場合がある。本図中において、期間(4)がこのAF処理待機期間Toff_AFに当たる。
【0046】
このAF処理待機期間Toff_AFは、DSP140において撮像装置100のAF設定、例えば測距枠の位置や大きさに応じた公知の演算により予め算出することが可能である。
【0047】
なお、本図においては、フレーム転送期間Ton_Ftが終了した後にAF処理期間Ton_AFが終了しているが、これに限られず、いわゆる1点AF(ピンポイントAF)等の設定によりAF処理が軽く短時間で完了した場合には、これらの前後が逆になるケースも生じうる。
【0048】
PLL駆動信号S_PLLは、FPGA130内のPLL回路ブロック135の駆動状態を表す信号である。この信号がHiであればPLL回路ブロック135が駆動中であることを意味し、FPGA130内のいずれかの回路が処理を行っていることになる。一方、この信号がLowであればPLL回路ブロック135が駆動停止中であることを意味する。
【0049】
本実施例においては、撮像装置100の撮影モード中はPLL回路ブロック135は基本的に駆動状態となっており、FPGA130からの駆動停止の指令に従ってPLL回路ブロック135は駆動停止状態に入る。そこで、PLL回路ブロック135の駆動停止(信号S_PLLがLow)から復帰(信号S_PLLがHi)までの期間が本発明を実施の撮像装置100におけるパワマネ期間Toff_PLLとなる。本図中において、期間(5)がこのパワマネ期間Toff_PLLに当たる。
【0050】
このパワマネ期間Toff_PLLは、上述した信号VAct_Outと信号S_AFとがいずれもLowとなるタイミングで開始される。
【0051】
また、このパワマネ期間Toff_PLLは、DSP140において関連する各種期間に基づいて算出される。算出について詳しくは後述する。
【0052】
PLL安定化期間Tstb_PLLは、パワマネ期間Toff_PLLが終了し駆動停止状態から復帰したPLL回路ブロック135の駆動が安定するまでに要する期間を表している。本実施例においては、PLL回路ブロック135の諸元表から得られる値をプリセット値としてあらかじめDSP140内に保持しており、DSP140は必要に応じて参照する。本図中において、期間(6)がこのPLL安定化期間Tstb_PLLに当たる。
【0053】
PLL復帰トリガ信号Strig_PLLは、DSP140がPLL回路ブロック135の復帰を指示するためにFPGA130に対して送信する信号を表している。本実施例においては、このPLL復帰トリガ信号Strig_PLLの送信されるタイミングはDSP140が管理している。
【0054】
具体的には、FPGA130からDSP140へのフレーム転送が完了したことを検知すると、DSP140はPLL復帰トリガ信号Strig_PLL送信までの時間カウントを開始する。そして、所定の期間が経過したことを検知すると、DSP140はPLL回路ブロック135を復帰させるために、FPGA130に対してPLL復帰トリガ信号Strig_PLLを送信する。以降では、この期間をPLL復帰トリガ待機期間Ttrig_PLLとも呼ぶ場合がある。本図中において、期間(7)がこのPLL復帰トリガ待機期間Ttrig_PLLに当たる。
【0055】
効果的な電力消費の削減を達成するためには、このPLL復帰トリガ待機期間Ttrig_PLLをできるだけ長く維持し、PLL回路ブロック135の停止する期間を長くすることが効果的である。そこで、本実施例において、DSP140がPLL復帰トリガ信号Strig_PLLを送信するのは、撮像素子120から次のフレーム転送が開始されるタイミングからPLL回路ブロック135の駆動安定化に必要なPLL安定化期間Tstb_PLLだけ遡ったタイミングで行えばいいということになる。
【0056】
具体的には、PLL復帰トリガ待機期間Ttrig_PLLは、上述したフレーム転送休止期間Toff_FtとPLL安定化期間Tstb_PLLとを用いて算出することができる。すなわち、PLL復帰トリガ待機期間Ttrig_PLLは以下の式により求められる。
Ttrig_PLL=Toff_Ft-Tstb_PLL ・・・ (式1)
【0057】
次に、上述したパワマネ期間Toff_PLLの算出について説明する。本実施例におけるパワマネ期間Toff_PLLは、フレーム転送期間Ton_Ftの終了とAF処理期間Ton_AFの終了のいずれが遅いかによって計算方法が異なるので、それぞれについて検討する。
【0058】
まず、
図3に示したような、フレーム転送期間Ton_Ftの終了後にAF処理期間Ton_AFが終了する、すなわち、フレーム転送の完了後にAF処理が完了する場合について検討する。
【0059】
この場合には、フレーム転送の完了後であってもAF処理が完了するまでPLL回路ブロック135を駆動しておく必要がある。従って、安定化期間を無視した理想的なPLL回路ブロックの駆動停止可能な期間は、撮像素子120の転送開始から次フレームの転送開始までの期間(=フレームレート)と、撮像素子120の転送開始からAF処理が完了するまでの期間との差分となる。
【0060】
以上から、実際のパワマネ期間Toff_PLLは、フレーム転送期間Ton_Ftとフレーム転送休止期間Toff_FtとAF処理期間Ton_AFとAF処理待機期間Toff_AFとPLL安定化期間Tstb_PLLとを用いて、以下の式により求められる。
Toff_PLL=(Ton_Ft+Toff_Ft)
-(Toff_AF+Ton_AF)
- Tstb_PLL ・・・ (式2)
【0061】
次に、上述したケースの逆で、AF処理期間Ton_AFの終了後にフレーム転送期間Ton_Ftが終了する、すなわち、フレーム転送中にAF処理が完了する場合について検討する。
【0062】
この場合には、AF処理を気にすることなく、フレーム転送が完了すればPLL回路ブロック135の駆動を停止して問題ない。従って、理想的なPLL回路ブロックの駆動停止可能な期間は、そのままフレーム転送休止期間Toff_Ftとなる。
【0063】
以上から、実際のパワマネ期間Toff_PLLは、フレーム転送休止期間Toff_FtとPLL安定化期間Tstb_PLLとを用いて、以下の式により求められる。
Toff_PLL=Toff_Ft-Tstb_PLL ・・・ (式3)
【0064】
以上で説明したとおり、本発明を実施の撮像装置100におけるPLL回路ブロック135のパワマネ期間Toff_PLLは、フレーム転送とAF処理のいずれの処理が遅く完了するかに応じて、各式により得られる期間とされるが、算出されるパワマネ期間Toff_PLLが余りに短い期間である場合などでは、撮像装置100の処理が不安定になるおそれがある。そのため、実際にパワマネを行うか否かについての判定を行うことが望ましい。
【0065】
図4は、PLL回路ブロック135のパワマネ可否判定を含むLVモードの処理の流れを説明するフローチャートの一例である。なお、本図中には示されていないが、本フローチャートはLV処理中にAF処理を含む場合について説明している。
【0066】
本フローチャートは、撮像装置100がLVモードに入ると開始される。LVモードは、例えば、ユーザによる撮像装置100の電源ONやLVを用いた撮影モードの選択により開始される。
【0067】
まず、本フローチャートのステップS101では、撮像装置100のLV駆動設定の確認が行われる。具体的には、LV画像を拡大して詳細を確認する動作や、測距枠の位置を変更する動作等が行われたかを確認して反映する。
【0068】
次にステップS102では、PLL回路ブロック135のパワマネ可否についての判定が行われる。パワマネ可否判定について詳しくは後述する。
【0069】
次にステップS103では、前段ステップにおける判定結果に基づいて分岐する。すなわち、PLL回路ブロック135がパワマネ可との判定結果であった場合には、ステップS104に進む。一方、PLL回路ブロック135がパワマネ不可との判定結果であった場合には、ステップS106に進む。
【0070】
ステップS104では、PLL復帰トリガ待機期間Ttrig_PLLが算出される。上述したように、具体的には、DSP140がフレーム転送休止期間Toff_FtとPLL安定化期間Tstb_PLLとから算出する。
【0071】
次にステップS105では、パワマネありLV処理ループが実行される。この処理ループについて詳しくは後述する。パワマネありLV処理ループが終了すると、ステップS107に進む。
【0072】
一方、ステップS106では、公知のパワマネなしLV処理ループが実行される。パワマネなしLV処理ループが終了すると、ステップS107に進む。
【0073】
次にステップS107では、撮像装置100のLVモードが終了するかどうかの判定が行われる。LVモードが終了するケースとしては、例えば、ユーザによる撮像装置100の電源OFFやLVを用いないスチル撮影モードの選択、メニュー画面等への移行がある。撮像装置100のLVモードが終了せず継続する場合には、ステップS102に戻り、そこで再度PLL回路ブロック13のパワマネ可否についての判定を行う。一方、撮像装置100のLVモードが終了する場合には、そのまま本フローチャートは終了する。
【0074】
次に、上述した全体フローのパワマネ可否判定ステップS102について詳しく説明する。
図5はパワマネ可否判定の流れを説明するフローチャートの一例である。
【0075】
図4のパワマネ可否判定S102が開始されると、まずステップS201では、DSP140がパワマネ期間Toff_PLLを算出する。上述したように、本実施例においてこのパワマネ期間Toff_PLLは、フレーム転送とAF処理のいずれの処理が遅く完了するかに応じて計算式が異なる。そのため、DSP140は、まず、いずれの処理が遅く完了するのかについて判定を行う。
【0076】
具体的には、DSP140は、フレーム転送期間Ton_Ftと、AF処理待機期間Toff_AFとAF処理期間Ton_AFとの合計の長さとを比較する。その結果、フレーム転送期間Ton_Ftの方が短ければ上記した式(1)を用い、反対に、フレーム転送期間Ton_Ftの方が長ければ上記した式(2)を用いてパワマネ期間Toff_PLLの算出を行う。
【0077】
次にステップS202では、前ステップで算出されたパワマネ期間Toff_PLLが所定の期間Tth_PLLよりも長いかどうかについての判定を行う。この所定期間Tth_PLLは、例えば、0でもいいし、また処理の安定性を考慮した期間を設定することもできる。
【0078】
判定の結果、パワマネ期間Toff_PLLが期間Tth_PLL以上長ければ、DSP140はパワマネ可能と判断し、ステップS203に進む。反対に、パワマネ期間Toff_PLLが期間Tth_PLLよりも短ければ、DSP140はパワマネ不可能と判断し、ステップS204に進む。
【0079】
次に、ステップS203では、前ステップの判定結果に従ってパワマネ可能フラグをONにする。一方、ステップS204では、前ステップの判定結果に従ってパワマネ可能フラグをOFFにする。
【0080】
以上の各ステップが終了すると本フローチャートは終了し、ステップS103へ進む。
【0081】
このように、PLL回路ブロック135のパワマネ可否についての判定をDSP140が行うことにより、FPGA130との間で不要な通信を行う必要がなく、そのため発明を実施するための構成をよりシンプルにすることが可能となる。
【0082】
次に、上述した全体フローのパワマネありLV処理ループS105について詳しく説明する。
図6はパワマネありLV処理ループの流れを説明するフローチャートの一例である。
図4のステップS105に進むと本フローチャートのパワマネありLV処理ループが開始される。
【0083】
本フローチャートのステップS301、ステップS303、ステップS304、ステップS307、ステップS308、ステップS310の各ステップは、DSP140によって実行される処理である。一方、ステップS302、ステップS305、ステップS306、ステップS309の各ステップは、FPGA130によって実行される処理である。
【0084】
まず、ステップS301では、DSP140がFPGA130に対してフレーム転送の開始を指示する。
【0085】
次に、ステップS302では、FPGA130がDSP140からの指示を受けてフレーム転送を開始する。これにより、撮像素子120にて生成された画像信号1フレーム分の受信と、FPGA130内で処理された画像信号1フレーム分のDSP140への転送が、所定のフレームレートで行われる。FPGA130はさらに、撮像素子120から受信した画像信号に対するAF処理を開始する。
【0086】
次に、ステップS303では、DSP140がFPGA130から1フレーム分の受信が完了したことを検知する。これは、例えば、転送に用いる高速シリアル通信の中にフレーム転送の開始や終了を知らせる同期コードを埋め込み、受信する際にその同期コードを検知することでDSP140が転送開始や終了を検知する方法がある。
【0087】
次に、ステップS304では、DSP140が、前段のステップS303のフレーム受信完了を検知したことにより、PLL回路ブロック135を復帰させるためのPLL復帰トリガ信号Strig_PLLを送信するまでに待機すべき期間、すなわち、PLL復帰トリガ待機期間Ttrig_PLLのカウントを開始する。具体的には、DSP140はフレーム転送期間Ton_Ftの終了からカウントを開始し、
図4のステップS104において算出されたPLL復帰トリガ待機期間Ttrig_PLLが経過するまでこのカウントを継続する。
【0088】
一方、ステップS305では、FPGA130がDSP140へのフレーム転送とAF処理ブロック136におけるAF処理がいずれも完了したことを検知する。
【0089】
次に、ステップS306では、FPGA130が前段のステップS305のフレーム転送及びAF処理完了を検知したことにより、PLL回路ブロック135の駆動を停止する。これによりパワマネ期間Toff_PLLに入る。
【0090】
このように、パワマネ期間に入るためのPLL回路ブロック135の駆動停止をFPGA130単独で行うことにより、DSP140との間の通信が不要となり、時間のロスなく素早くパワマネ期間に入ることが可能となる。また、DSP140がFPGA130の停止に関与しないで済むので、DSP140内の処理の遅延を防ぐことが可能となる。
【0091】
一方、ステップS307では、DSP140が継続していた時間経過のカウントにおいて、事前に算出しておいたPLL復帰トリガ待機期間Ttrig_PLLが経過したことを検知する。これにより、DSP140は当該カウントを停止してリセットを行う。
【0092】
次に、ステップS308では、DSP140がPLL復帰トリガ待機期間Ttrig_PLLの経過を検知したことにより、FPGA130に対してPLL回路ブロック135の駆動を復帰させるようPLL復帰トリガ信号Strig_PLLを送信する。
【0093】
このように、PLL回路ブロック135の復帰を命令するトリガ信号をDSP140から送信することにより、モード切替等で割り込み処理が発生した場合などにDSP140が次フレームの転送不要と判断することができ、FPGA130において復帰判断を行う場合に比べPLL回路ブロック135のよりきめ細やかな停止制御が可能となる。
【0094】
一方、ステップS309では、FPGA130がDSP140からのPLL回路ブロック135復帰指示を受けて、PLL回路ブロック135の駆動を復帰させる。これによりパワマネ期間Toff_PLLが終了する。
【0095】
次に、ステップS310では、DSP140が本LVループ終了の判定を行う。詳しくは、DSP140は撮像素子120の駆動モードが変更されたか否かを検知し、駆動モードの変更が行われていた場合には本LVループを終了させ、
図4のステップS107に進む。一方、撮像素子120の駆動モード変更がされていない場合には引き続き本ループを繰り返すためにステップS301に戻り、再度各ステップを実行していく。
【0096】
以上で説明したように、本発明に記載の撮像装置によれば、FPGAにおいてAF処理を行うような構成においても、AF処理に影響を与えることなくFPGA内に設けたPLL回路ブロックを駆動停止することができ、消費電力の効率的な削減が可能となる。
【符号の説明】
【0097】
110 撮影光学系
120 撮像素子
130 FPGA
131 受信回路ブロック
132 画像処理ブロック
133 送信回路ブロック
134 メインクロック生成ブロック
135 PLL回路ブロック
136 AF処理ブロック
140 DSP
150 メインCPU
161 ユーザインターフェース
162 記録媒体インターフェース
170 画像表示部
180 レンズ制御部