特許 7195941 情報処理装置及びその制御方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】情報処理装置及びその制御方法並びにプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221219BHJP

   H04N 5/369 20110101ALI20221219BHJP

   H04L 7/00 20060101ALI20221219BHJP

【ＦＩ】

H04N5/232

H04N5/369

H04L7/00 120

【請求項の数】 19

(21)【出願番号】P 2019004342

(22)【出願日】2019-01-15

(65)【公開番号】P2020113918

(43)【公開日】2020-07-27

【審査請求日】2022-01-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】伊藤 篤義

【審査官】高野 美帆子

(56)【参考文献】

【文献】特許第５６３１０８４（ＪＰ，Ｂ２）

【文献】米国特許出願公開第２０１７／００８５７５５（ＵＳ，Ａ１）

【文献】特開２０１１－０１５２２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／３６９

Ｈ０４Ｌ ７／００

(57)【特許請求の範囲】

【請求項1】

第１のクロックを生成する第１のクロック生成部と、
第２のクロックを生成する第２のクロック生成部と、
第１のモジュールと、
前記第１のモジュールとは異なる第２のモジュールと、
前記第１のモジュールに第１の同期信号を供給し、前記第１の同期信号に同期した動作を行わせる、前記第１のクロックで動作する第１のタイミング制御手段と、
第１の設定時間に基づき前記第２のモジュールに第２の同期信号を供給し、前記第２の同期信号に同期した動作を行わせる、前記第２のクロックで動作する第２のタイミング制御手段と、
前記第１の同期信号が前記第１のモジュールに供給された第１の時刻、及び前記第２の同期信号が前記第２のモジュールに供給された第２の時刻を計測する時間計測手段と、
前記第２の同期信号に同期して前記第１の同期信号を前記第１のモジュールに供給する第１のモード、及び第２の設定時間に基づき前記第１の同期信号を前記第１のモジュールに供給する第２のモードの一方に前記第１のタイミング制御手段の動作モードを切り替える切替手段と、
前記切替手段が、前記第１のモードで前記第１の同期信号を前記第２の同期信号に同期させた後、前記第２のモードに切り替えた場合、前記第１及び第２の時刻の時間差を算出する算出手段と、
前記算出された時間差が第１の時間以上の場合、前記第２の設定時間を第２の時間だけ変更する変更手段とを備えることを特徴とする情報処理装置。

【請求項2】

前記時間計測手段は前記第２のクロックで動作することを特徴とする請求項１記載の情報処理装置。

【請求項3】

前記第１のクロック生成部と前記第１のモジュールは第１の基板上にあり、前記第２のクロック生成部と前記第２のモジュールは第２の基板上にあることを特徴とする請求項１記載の情報処理装置。

【請求項4】

前記第１のモジュールは、撮像素子であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記撮像素子は、前記第１の同期信号に同期して動画１フレームの撮像動作を行うことを特徴とする請求項４記載の情報処理装置。

【請求項6】

前記第２のモジュールは、前記第２の同期信号に同期して、前記動画１フレームに対応する動作を行うことを特徴とする請求項５記載の情報処理装置。

【請求項7】

前記第２のモジュールは、前記動画１フレームに対応する録音を行う録音部、前記動画１フレームに対応するライブビュー表示を行う表示部、前記撮像素子と被写体からの光学距離が等しくなる位置に配される他の撮像素子のいずれかであることを特徴とする請求項６記載の情報処理装置。

【請求項8】

前記第２の時間は、前記第１の時間であることを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記第２の時間は、前記撮像素子の水平同期信号の周期の整数倍と等しいことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。

【請求項10】

前記第２の時間は、前記撮像素子のリセット走査開始タイミングの設定可能単位の整数倍と等しいことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。

【請求項11】

前記第１のタイミング制御手段は、第ｎフレームにおいて前記計測された時刻の時間差が前記第１の時間以上の場合、第（ｎ＋１）フレームの前記第１の同期信号を供給するタイミングをずらすことを特徴とする請求項５乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記第１のタイミング制御手段は、第ｎフレームにおいて前記計測された時刻の時間差が前記第１の時間以上の場合、第（ｎ＋１）フレームのリセット走査開始タイミングを第２の時間だけ変更することを特徴とする請求項１１記載の情報処理装置。

【請求項13】

第ｎフレームにおいて前記計測された時刻の時間差が前記第１の時間以上の場合、第（ｎ＋１）フレームでは前記第１及び第２の同期信号が供給された時刻を計測しないよう前記時間計測手段を制御する制御手段を更に備えることを特徴とする請求項１１又は１２記載の情報処理装置。

【請求項14】

第３のクロックを生成する第３のクロック生成部と、
前記第１及び第２のモジュールとは異なる第３のモジュールと、
前記第３のモジュールに第３の同期信号を供給し、前記第３の同期信号に同期した動作を行わせる、前記第３のクロックで動作する第３のタイミング制御手段とを更に備え、
前記時間計測手段は、前記第３の同期信号が前記第３のモジュールに供給された第３の時刻を更に計測し、
前記変更手段は、前記計測された前記第２及び第３の時刻の時間差が第３の時間以上の場合、前記第３のタイミング制御手段が前記第３の同期信号を前記第３のモジュールに供給するタイミングを第４の時間だけ変更することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記第３のクロック生成部と前記第３のモジュールは第３の基板上にあることを特徴とする請求項１４記載の情報処理装置。

【請求項16】

前記第１のモジュールは、前記第１の同期信号に同期して動画１フレームの撮像動作を行う撮像素子であって、
前記第３のモジュールは、前記第３の同期信号に同期して、前記動画１フレームに対応する動作を行うことを特徴とする請求項１４又は１５記載の情報処理装置。

【請求項17】

前記第３のモジュールは、前記動画１フレームに対応する録音を行う録音部、前記動画１フレームに対応するライブビュー表示を行う表示部、前記撮像素子と被写体からの光学距離が等しくなる位置に配される他の撮像素子のいずれかであることを特徴とする請求項１６記載の情報処理装置。

【請求項18】

第１のクロックを生成する第１のクロック生成部と、第２のクロックを生成する第２のクロック生成部と、第１のモジュールと、前記第１のモジュールとは異なる第２のモジュールとを有する情報処理装置の制御方法であって、
前記第１のモジュールに第１の同期信号を供給し、前記第１の同期信号に同期した動作を行わせる、前記第１のクロックで動作する第１のタイミング制御ステップと、
第１の設定時間に基づき前記第２のモジュールに第２の同期信号を供給し、前記第２の同期信号に同期した動作を行わせる、前記第２のクロックで動作する第２のタイミング制御ステップと、
前記第１の同期信号が前記第１のモジュールに供給された第１の時刻、及び前記第２の同期信号が前記第２のモジュールに供給された第２の時刻を計測する時間計測ステップと、
前記第２の同期信号に同期して前記第１の同期信号を前記第１のモジュールに供給する第１のモード、及び第２の設定時間に基づき前記第１の同期信号を前記第１のモジュールに供給する第２のモードの一方に前記第１のタイミング制御ステップにおける動作モードを切り替える切替ステップと、
前記切替ステップにおいて、前記第１のモードで前記第１の同期信号を前記第２の同期信号に同期させた後、前記第２のモードに切り替えた場合、前記第１及び第２の時刻の時間差を算出する算出ステップと、
前記算出された時間差が第１の時間以上の場合、前記第２の設定時間を第２の時間だけ変更する変更ステップとを有することを特徴とする制御方法。

【請求項19】

請求項１８記載の制御方法を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びその制御方法並びにプログラムに関し、特に、独立したクロック供給源を有する２つのモジュールを有する情報処理装置及びその制御方法並びにプログラム関する。

【背景技術】

【0002】

近年、信号の送信モジュール、特に撮像素子が一定時間に取り扱う信号量が増加している。その背景には静止画の高画素化、ハイダイナミックレンジ化、動画の高画素化・高フレームレート化などがある。そのため、撮像素子と、撮像素子から出力された信号を受信し処理する受信モジュールとの間のデータ通信の高速化がこれまで以上に求められるようになった。このデータ通信の高速化を実現する技術には多くの手法があるが、一般的に伝送エラーの少ない状態で高速な通信を実現するためには通信回路に高精度のクロックを入力することが必要である。高精度のクロックを供給するためには、そのクロックを出力する発振器の精度が必要なのはもちろんだが、損失をできるだけ抑えるために、発振器とそのクロックを要求するモジュールの距離が離れすぎてはならない。

【0003】

そこで、例えば撮像装置の場合、撮像素子が搭載される基板とそれ以外のモジュールが搭載される基板の夫々に発振器を搭載することがある。しかし、一般的には、これら複数の発振器の間でのクロック周波数が整数倍の関係にあることは保証できない。また、複数の発振器のクロック周波数を揃える構成にしたとしても、発振器の出力するクロック周波数は夫々の偏差の範囲で周波数が変わることが許容されているので、撮像素子とそれ以外のモジュールの間で、周期がずれてしまう。かかる問題に関して、種々の解決案が提案されている。

【0004】

例えば、特許文献１では、動画像の各フレームデータを垂直同期信号の周波数で撮像素子から走査ライン順に出力し、各フレームデータの出力時刻と、動画像を表示するディスプレイの基準出力時刻とのずれを検出する。この検出されたずれが所定の閾値を超えた場合に垂直同期信号の発行タイミングを変更することで、上記問題の解決を図っている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５６３１０８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術では、基準出力時刻と各フレームデータの出力時刻のずれは補正できるが、受信モジュールが録音部などのような基準出力時刻と関係なく動作するモジュールである場合、撮像素子と受信モジュールの間でのずれを補正できない。すなわち、撮像素子とそれ以外のモジュールが独立したクロック供給源により動作する場合、特許文献１に示す従来技術では撮像素子とそれ以外のモジュールの間でずれを補正できない。

【0007】

そこで、本発明の目的は、独立したクロック供給源を有する２つのモジュールの間での周期のずれを抑えることができる情報処理装置及びその制御方法並びにプログラムを提供することである。

【課題を解決するための手段】

【0008】

本発明の請求項１に係る情報処理装置は、第１のクロックを生成する第１のクロック生成部と、第２のクロックを生成する第２のクロック生成部と、第１のモジュールと、前記第１のモジュールとは異なる第２のモジュールと、前記第１のモジュールに第１の同期信号を供給し、前記第１の同期信号に同期した動作を行わせる、前記第１のクロックで動作する第１のタイミング制御手段と、第１の設定時間に基づき前記第２のモジュールに第２の同期信号を供給し、前記第２の同期信号に同期した動作を行わせる、前記第２のクロックで動作する第２のタイミング制御手段と、前記第１の同期信号が前記第１のモジュールに供給された第１の時刻、及び前記第２の同期信号が前記第２のモジュールに供給された第２の時刻を計測する時間計測手段と、前記第２の同期信号に同期して前記第１の同期信号を前記第１のモジュールに供給する第１のモード、及び第２の設定時間に基づき前記第１の同期信号を前記第１のモジュールに供給する第２のモードの一方に前記第１のタイミング制御手段の動作モードを切り替える切替手段と、前記切替手段が、前記第１のモードで前記第１の同期信号を前記第２の同期信号に同期させた後、前記第２のモードに切り替えた場合、前記第１及び第２の時刻の時間差を算出する算出手段と、前記算出された時間差が第１の時間以上の場合、前記第２の設定時間を第２の時間だけ変更する変更手段とを備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、独立したクロック供給源を有する２つのモジュールの間での周期のずれを抑えることができる。

【図面の簡単な説明】

【0010】

【図1】第１～第３の実施形態に係る情報処理装置としての撮像装置の全体構成を示すブロック図である。

【図2】図１の撮像装置の基板配置図である。

【図3】図２における第１及び第２の同期信号の発行タイミングのずれが発生する原理を説明するためのタイミングチャートである。

【図4】第１の実施形態に係るずれ補正処理のフローチャートである。

【図5】図４のずれ補正処理により、第１及び第２の同期信号の発行タイミングのずれが補正される様子を示すタイミングチャートである。

【図6】スリットローリング動作による蓄積時間の制御を説明するためのタイミングチャートである。

【図7A】第２の実施形態に係るずれ補正処理において、図１における撮像素子の水平同期期間の単位で、第１の同期信号の発行タイミングをずらす場合を説明するための概念図である。

【図7B】第２の実施形態に係るずれ補正処理において、リセット走査の設定可能単位で、第１の同期信号の発行タイミングをずらす場合を説明する概念図である。

【図7C】第２の実施形態に係るずれ補正処理において、リセット走査開始タイミングを第１の同期信号をアサートするタイミングの変更量と同じだけずらす様子を示すタイミングチャートである。

【図8】各種の設定値の送信タイミングとその設定値が有効になるタイミングを示すタイミングチャートである。

【図9A】第３の実施形態に係るずれ補正処理のフローチャートである。

【図9B】図９Ａの続きである。

【図10A】図９Ａ、図９Ｂのずれ補正処理により、第１及び第２の同期信号の発行タイミングのずれが補正される様子を示すタイミングチャートである。

【図10B】図９Ａ、図９Ｂのずれ補正処理において、リセット走査開始タイミングを第１の同期信号をアサートするタイミングの変更量と同じだけずらす様子を示すタイミングチャートである。

【図11】第４の実施形態に係る情報処理装置としての撮像装置の全体構成を示すブロック図である。

【図12】図１１の撮像装置の基板配置図である。

【発明を実施するための形態】

【0011】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

【0012】

＜第１の実施形態＞
図１は、第１の実施形態に係る情報処理装置としての撮像装置の全体構成を示すブロック図である。

【0013】

図１において、撮像装置は、撮像光学系１０４ａと本体部１０４ｂからなる。

【0014】

まず、撮像光学系１０４ａの構成について説明する。

【0015】

第１レンズ１００は、撮像光学系１０４ａの先端に配置される。

【0016】

絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。

【0017】

第２レンズ１０２及び第３レンズ１０３は、後述のフォーカスアクチュエータ１１７によって駆動され、光軸方向に進退することにより、撮像光学系１０４ａの焦点を調節する。

【0018】

次に、本体部１０４ｂの構成について説明する。

【0019】

フォーカルプレーンシャッタ１０５は、静止画撮影時に露光秒時を調節する。

【0020】

光学的ローパスフィルタ１０６は撮影画像の偽色やモアレを低減するために用いられる。

【0021】

撮像素子１０７（第１のモジュール）は、撮像光学系１０４ａにより結像された光学像を電気信号（アナログ画素信号）に変換後、所定の量子化ビット数に応じてデジタル画像データに変換して出力する。本実施形態の撮像素子１０７は水平及び垂直方向に複数の画素を備えるＣＭＯＳ型イメージセンサである。画素数は８Ｋフォーマットの動画を取得するに十分な数を有しており、例えば３２００万画素以上の画素を有する。また、各画素には集光効率を高めるためのマイクロレンズと複数の光電変換部を備える構成としてもよい。例えば一つの画素に２つの光電変換部を設ける構成（デュアルピクセル）の場合には、通常よりも出力信号量が約２倍に増加することから、より高速な動作が必要となる。

【0022】

ＤＳＰ１０８は、画像信号の受信と画像処理を行う。また、ＤＳＰ１０８は、画像処理以外にも、撮像素子１０７からの情報に基づいて、撮像光学系１０４ａの駆動に用いる情報の演算を行う。

【0023】

ＲＡＭ１０９は、ＤＳＰ１０８で処理された画像データを記憶する機能と、後述のＣＰＵ１１０が動作を行う際のワークメモリの機能を兼備する。尚、本実施形態では、これらの機能をＲＡＭ１０９を用いて実現するが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８やＣＰＵ１１０に内蔵する構成であってもよい。

【0024】

ＣＰＵ１１０は、撮像装置の動作を統括的に制御すべく、撮像装置の各部を制御するためのプログラムを実行する。また、ＣＰＵ１１０は、ＤＳＰ１０８から出力される演算結果を用いて、後述のフォーカス駆動回路１１６を制御し、撮像光学系１０４ａの焦点を調節する機能も有する。

【0025】

録音部１１１（第２のモジュール）は、音声データを取得する。取得された音声データは、ＣＰＵ１１０で加工されて記録される。

【0026】

表示部１１２は、ＤＳＰ１０８によって処理された静止画像や動画像およびメニュー等の表示を行う。

【0027】

記録媒体１１３は、静止画データ及び動画データを記録する着脱可能な記録媒体である。

【0028】

ＲＯＭ１１４は、ＣＰＵ１１０が各部の動作を制御するためにロードして実行するプログラムを格納する。

【0029】

シャッター駆動回路１１５は、フォーカルプレーンシャッタ１０５を駆動制御する。

【0030】

フォーカス駆動回路１１６は、撮像光学系１０４ａの焦点位置を変更する焦点位置変更手段であり、ＣＰＵ１１０の出力に基づいてフォーカスアクチュエータ１１７を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行なう。

【0031】

絞り駆動回路１１８は、絞りアクチュエータ１１９を制御して絞り１０１の開口を制御する。

【0032】

図２は、図１の撮像装置の基板配置図である。尚、ここで説明する要素は本実施形態の解説に必要なものに限定し、それ以外を省略する。

【0033】

第１の基板２００は撮像素子１０７と、例えば発振器から構成される第１のクロックを生成する第１のクロック生成部（ＣＬＫ１）２０１が搭載された基板である。撮像素子１０７と第１のクロック生成部２０１が同一基板上の近傍に配置されることによって、撮像素子１０７に高品質のクロックを供給することができる。

【0034】

第２の基板２０２は、録音部１１１と、例えば発振器から構成される第２のクロック生成部（ＣＬＫ２）２０３と信号処理回路２０４が搭載された基板である。信号処理回路２０４は、図１のＤＳＰ１０８やＣＰＵ１１０を含むＩＣである。信号処理回路２０４には、第１のクロックで動作する第１の同期信号発生回路２０５（第１のタイミング制御手段）と、第２のクロックで動作する第２の同期信号発生回路２０７（第２のタイミング制御手段）及び時間計測部２０６とが含まれる。第１の同期信号発生回路２０５は、ＣＰＵ１１０からの設定値（第２の設定時間）に基づいて第１の同期信号２０８をアサート（供給）するか、第２の同期信号２０９がアサートされたタイミングに同期させて第１の同期信号２０８をアサートするかを選択できる。第２の同期信号発生回路２０７は、かかる選択はできず、ＣＰＵ１１０からの設定値（第１の設定時間）に基づいてのみ第２の同期信号２０９をアサートする。

【0035】

撮像素子１０７は、第１の同期信号発生回路２０５によって発生される第１の同期信号２０８に同期して動画１フレームの撮像動作を行い、これにより取得された画像データを信号処理回路２０４へと出力する。この出力を行う撮像素子１０７に第１の同期信号２０８を供給する第１の同期信号発生回路２０５を動作させるためのクロックは、第１のクロック生成部２０１から生成される高品質のクロックであるため、画像データの高速伝送が可能となる。なお、本実施形態の画像データの転送においてはその高速性を確保するために複数レーンの高速差動対を用いて行われる。各レーンにおける伝送クロックは例えば４．８ＧＨｚであり、約３Ｇｂｐｓ以上の通信帯域を備える。また、第１の基板２００および第２の基板２０２はガラスエポキシ基板に代表されるプリント基板であり、それぞれの基板はポリイミドやポリエステルなどのフィルムで出来た基材の上に配線が形成されたフレキシブル基板等で接続される。なお、基板の構成及び材料はこれらのものに限られずガラスエポキシ基板に代えてフレキシブル基板を用いてもよいし、基板間をワイヤ等の線材で接続してもよい。

【0036】

また、録音部１１１は、第２の同期信号発生回路２０７によって発生される第２の同期信号２０９に同期して、撮像素子１０７により撮像される動画１フレームに対応する録音動作を行い、これにより取得された音声データを信号処理回路２０４に出力する。この出力を行う録音部１１１に第２の同期信号２０９を供給する第２の同期信号発生回路２０７を動作させるためのクロックは、第２のクロック生成部２０３から生成される高品質のクロックであるため、音声データの高速伝送が可能となる。

【0037】

時間計測部２０６（時間計測手段）は、第１及び第２の同期信号２０８，２０９がアサートされた時刻を計測する。

【0038】

以下、動画の撮像と音声の録音に関するタイミングの制御について詳細に解説する。

【0039】

図３は、第１及び第２の同期信号２０８，２０９の発行タイミングのずれが発生する原理を説明するためのタイミングチャートである。

【0040】

この例では、時刻ｔ３００において、第１の同期信号２０８と第２の同期信号２０９のアサートされるタイミングが完全に一致している。しかし、第１のクロック生成部２０１と第２のクロック生成部２０３は、一般的には設定周波数が異なる部品であるため、その後の動作周波数は完全には一致しない。また仮に、第１のクロック生成部２０１と第２のクロック生成部２０３として設定周波数が同じ部品を使用したとしてもその偏差の範囲で両者の動作周波数は異なる。よって、時刻ｔ３００から連続してフレームの撮影を続けるうちに１フレームの時間の誤差（ずれ）が蓄積してしまう。

【0041】

例えば、第（ｎ＋５）フレーム（ｎは１以上の整数。以下、同じ。）の先頭においては、時刻ｔ３０１に第１の同期信号２０８がアサートされる一方、時刻ｔ３０２に第２の同期信号２０９がアサートされる。すなわち、第（ｎ＋５）フレームでは、Δだけ、時間のずれが蓄積してしまっている。

【0042】

このように時間のずれが蓄積してしまうと、撮像装置が最終的に記録する動画ファイルにおいて、音声と動画のタイミングがずれたまま記録されてしまう。そこで本実施形態では図４に示す以下のずれ補正処理を用いてそのずれを補正する。

【0043】

図４は、本実施形態に係るずれ補正処理のフローチャートである。

【0044】

本処理は、動画の撮影開始から動画の撮影終了までの間に、ずれの検出を行い、第１の同期信号２０８をアサートするタイミングを決める設定値を変更する。

【0045】

まず、動画の撮影が開始されると、ステップＳ４０１に進み、第２の同期信号発生回路２０７が第２の同期信号をアサートする。

【0046】

ステップＳ４０２では第１の同期信号発生回路２０５が第２の同期信号２０９を検出する。

【0047】

その直後のステップＳ４０３では第１の同期信号発生回路２０５がその検出された第２の同期信号２０９と同期させて第１の同期信号２０８をアサートする。

【0048】

そしてステップＳ４０４で、ＣＰＵ１１０は第１の同期信号発生回路２０５の動作モードを切り替える（切替手段）。この切り替えで、第１の同期信号発生回路２０５は、第２の同期信号２０９に同期して第１の同期信号２０８をアサートするモード（第１のモード）から、ＣＰＵ１１０からの設定値に基づいて第１の同期信号２０８をアサートするモード（第２のモード）となる。以上の動作によって、撮影開始タイミングでは第１の同期信号２０８と第２の同期信号２０９がアサートされるタイミングを同期させることができる。

【0049】

ステップＳ４０５では、ＣＰＵ１１０は同期信号の検出待ち状態となる。ステップＳ４０６で第１及び第２の同期信号２０８，２０９の一方の同期信号がアサートされたことを検出すると、ＣＰＵ１１０はステップＳ４０７で時間計測部２０６からその一方の同期信号が検出（アサート）された時刻を読み出し、記録する。

【0050】

ステップＳ４０８で第１及び第２の同期信号２０８，２０９の他方の同期信号がアサートされたことを検出すると、ＣＰＵ１１０はステップＳ４０９で時間計測部２０６からその他方の同期信号が検出（アサート）された時刻を読み出し、記録する。

【0051】

その後、ＣＰＵ１１０はステップＳ４１０で、ステップＳ４０７，Ｓ４０９で記録した時刻から、第１及び第２の同期信号２０８，２０９が検出された時刻の時間差を算出する。

【0052】

ステップＳ４１１で、ＣＰＵ１１０は、算出された時間差が閾値Δ以上（第１の時間以上）であるかを判定する。算出された時間差が閾値Δ以上であればステップＳ４１２で、ＣＰＵ１１０（変更手段）は第１の同期信号発生回路２０５に設定する第１の同期信号２０８のアサートタイミングの設定値を、所定値だけ変更する。すなわち、ＣＰＵ１１０は、第１の同期信号２０８のアサートタイミングをずらすよう第１の同期信号発生回路２０５を制御する。本実施形態では、この所定値を閾値Δとする。一方、算出された時間差が閾値Δ未満であればステップＳ４１３で、ＣＰＵ１１０は第１の同期信号発生回路２０５への設定値を維持する。すなわち、ＣＰＵ１１０は、第１の同期信号２０８のアサートタイミングを維持するよう第１の同期信号発生回路２０５を制御する。

【0053】

ステップＳ４１２またはステップＳ４１３の後、ステップＳ４１４でＣＰＵ１１０は撮影を終了するかを判定する。撮影を終了しない場合は、ステップＳ４０５へと遷移し、ＣＰＵ１１０は、次の同期信号の検出待ち状態となる。一方、撮影を終了する場合は、ステップＳ４１５へと遷移し、動画の撮影を終了すると共に本処理を終了する。

【0054】

図５は、図４のずれ補正処理により、第１及び第２の同期信号の発行タイミングのずれが補正される様子を示すタイミングチャートである。

【0055】

第ｎフレームの先頭では、時刻ｔ５００で第１の同期信号２０８がアサートされる。ＣＰＵ１１０は、これを検出した際に時間計測部２０６で計測された時刻を読み出し、その時刻がＣＰＵ１１０によって記録される。

【0056】

時刻ｔ５０１で第２の同期信号２０９がアサートされる。ＣＰＵ１１０は、これを検出した際に時間計測部２０６で計測された時刻を読み出し、その時刻がＣＰＵ１１０によって記録される。

【0057】

ＣＰＵ１１０は、記録した時刻の時間差を計算し、計算された時間差と閾値Δを比較する。ここでは計算された時間差が閾値Δと等しいので、動作は図４のステップ４１２へと遷移する。

【0058】

ＣＰＵ１１０は、次に第１の同期信号発生回路２０５に設定する第１の同期信号２０８の発行タイミングの設定値を、所定値Δだけ変更する。これにより、第１の同期信号２０８のアサートされるタイミングが第（ｎ＋１）フレームだけ変わる。この結果、第（ｎ＋１）フレームの先頭の時刻ｔ５０２で第１の同期信号２０８と第２の同期信号２０９のアサートされるタイミングを揃えることができる。

【0059】

その後、第（ｎ＋６）フレームの先頭でまた第１及び第２の同期信号２０８，２０９のアサートされるタイミングの時間差がΔ以上になるので、同様の手続きによって続く第（ｎ＋７）フレームの先頭ではその時間差が補正される。

【0060】

以上説明したように本実施形態によれば、独立した複数のクロック生成部の周波数の違いや偏差などに起因する動作タイミングのずれを抑えることができる。よって、例えば、動画の撮像と音声の録音に関するタイミングのずれをある一定の時間差以内（本実施形態では閾値Δ）に収めることができる。なお、本実施形態においては第１の同期信号２０８および、第２の同期信号２０９はフレームの取得タイミングを規定する垂直同期信号であり、約６０分の１秒の周期でアサートとされる。なお、対象とする同期信号はフレームの垂直同期信号に限られず、行を単位とする水平同期信号を対象としてもよい。また、垂直同期信号の周期は６０分の１秒以下の例えば１２０分の１秒の周期としてもよい。

【0061】

また、本実施形態では、撮像素子１０７による動画の撮影と録音部１１１による音声の録音のタイミングを同期させたが、本発明はこれに限定されない。例えば、表示部１１２が第２の同期信号発生回路２０７によって生成される同期信号に同期して、撮像素子１０７により撮像される動画１フレームに対応するライブビュー表示を行うときも、図４のずれ補正処理を実行するようにしてもよい。これにより、撮像素子１０７による動画の撮影と表示部１１２によるライブビュー表示のタイミングのずれをある一定の時間差以内に収めることができる。また、後述する図１１のように、撮像素子１０７と被写体からの光学距離が等しくなる位置に配される第２の撮像素子１１０１を撮像装置が有する場合がある。この場合は、第２の撮像素子１１０１が第２の同期信号発生回路２０７によって生成される同期信号に同期して、撮像素子１０７により撮像される動画１フレームに対応する撮像動作を行うようにしてもよい。すなわち、撮像素子１０７が同期する同期信号とは独立した同期信号に同期して動作をするモジュールであれば、図４のずれ補正処理を適用することができる。これにより、そのモジュールの動作と撮像素子１０７の動作のタイミングのずれを、ある一定の値以下に収めることが可能である。

【0062】

尚、本実施形態では、撮像素子１０７が動画の撮影を行ったが、本発明はこれに限定されない。例えば、撮像素子１０７が、高画素の静止画や、ハイダイナミックレンジの静止画の連続撮影を行うと同時に、表示部１１２によるライブビュー表示を行う際に、図４のずれ補正処理を実行するようにしてもよい。また、第１の同期信号発生回路２０５によって発生される第１の同期信号２０８に同期して、周期的に信号を信号処理回路２０４へと出力するモジュールであれば、撮像素子１０７でなくてもよい。例えば、図２における撮像素子１０７をネットワークと接続する通信部とし、通信部がネットワークを介して受信した動画を表示部１１２で再生表示を行う際に、図４のずれ補正処理を実行するようにしてもよい。

【0063】

＜第２の実施形態＞
以下、第２の実施形態について説明する。尚、本実施形態のハードウェア構成は第１の実施形態と同一であるため、同一の構成要素には同一の符号を付し、重複した説明は省略する。

【0064】

例えば、撮像素子１０７がＣＭＯＳイメージセンサである場合、撮像素子１０７の上部から順次ライン露光して読み出していくスリットローリング動作によって動画像を取得することが一般的である。このスリットローリング動作によって画像を取得する時、リセット走査と読み出し走査はある一定の走査周期の整数倍で撮像素子１０７の上部から順次行われる必要がある。

【0065】

図６は、スリットローリング動作による蓄積時間の制御を説明するためのタイミングチャートである。

【0066】

第１の同期信号２０８に同期して撮像素子１０７の読み出し走査は行われる。ＣＰＵ１１０から撮像素子１０７にリセット走査開始タイミング６００を設定しておくと、リセット走査は第１の同期信号２０８が撮像素子１０７に入力されてからリセット走査開始タイミング６００だけ経過したタイミングで開始される。

【0067】

また、ＣＰＵ１１０から第１の同期信号発生回路２０５に垂直サイズ６０１を設定しておくと、第１の同期信号が撮像素子１０７に入力されてから垂直サイズ６０１だけ経過したタイミングで次の同期信号が出力される。これらの設定値を用いると、蓄積時間を（垂直サイズ６０１－リセット走査開始設定６００）と制御することができる。

【0068】

第１の実施形態では、第１の同期信号２０８をアサートするタイミング設定の変更量を閾値Δと等しくした。ここで、この変更量が上記一定の走査周期の整数倍でない場合、撮像素子１０７内のある一行でリセット走査または読み出し走査の時間が、上記一定の走査周期と異なってしまい、それに起因してその行の前後で画像に露光量の差が発生する可能性がある。そこで本実施形態では、図７Ａ～図７Ｃに示す方法でＣＰＵ１１０が第１の同期信号２０８をアサートするタイミングを変更する量に制約を設ける。これにより、第１及び第２の同期信号２０８，２０９の間の時間差を低減してもスリットローリング動作によって得られた画像に露光段差を発生させないようにする。

【0069】

図７Ａは、本実施形態に係るずれ補正処理において、撮像素子１０７の水平同期信号の周期を示す、１水平同期期間（ＨＤ）の単位で、第１の同期信号２０８の発行タイミングを整数倍だけずらす場合を説明するための概念図である。

【0070】

ＣＰＵ１１０は、第１の同期信号２０８の発行タイミングの設定値を図７Ａに示すようにＨＤ単位の整数倍だけずらして設定し、第１の同期信号発生回路２０５にその設定値を送信する。これによって、第１の同期信号２０８が発行される前後でリセット走査の周期にずれが発生しないようにすることができる。

【0071】

図７Ｂは、本実施形態に係るずれ補正処理において、リセット走査の設定可能単位で、第１の同期信号の発行タイミングをずらす場合を説明する概念図である。

【0072】

ここでは、撮像素子１０７の回路の構成を工夫することによって、リセット走査の設定可能単位が１ＨＤの半分になった場合を示す。この時、ある行のリセット走査にかかる時間は、リセット操作の設定可能単位の２倍となる。

【0073】

このような場合、蓄積時間をより詳細に決めることができる。具体的には、ＣＰＵ１１０は、第１の同期信号２０８の発行タイミングの設定値を図７Ｂに示すようにリセット走査の設定可能単位の整数倍だけずらして設定し、第１の同期信号発生回路２０５にその設定値を送信する。これによって、ある行のリセット走査中に第１の同期信号２０８がアサートされても、その前後でリセット走査の周期にずれが発生することを防止し、画質に影響が出ないようにすることができる。

【0074】

またスリットローリング動作によって動画像を取得する場合、このように第１の同期信号２０８をアサートするタイミングを変更する時、リセット走査開始タイミング６００を変更しなければ蓄積時間に差が生じてしまう。よって、リセット走査開始タイミング６００を第１の同期信号２０８をアサートするタイミングの変更量と同じだけずらす。

【0075】

具体的には、図７Ｃのタイミングチャートに示すように、まず、時刻ｔ７００で第ｎフレームの第１の同期信号２０８がアサートされて、ＣＰＵ１１０によってその時刻が記録される。

【0076】

時刻ｔ７０１で第２の同期信号２０９がアサートされて、ＣＰＵ１１０によってその時刻が記録される。

【0077】

ＣＰＵ１１０によって第ｎフレームの第１及び第２の同期信号２０８，２０９のアサートされた時刻の時間差が計算される。ここでは、計算された時間差が閾値Δ以上になった場合について説明する。この場合、ＣＰＵ１１０は、第（ｎ＋１）フレームの第１の同期信号２０８のアサートされるタイミングを時刻ｔ７０４から所定量（リセット走査の設定可能単位の整数倍）だけずれた時刻ｔ７０５に変更する。また、ＣＰＵ１１０は、第ｎフレームのリセット走査開始タイミング６００も時刻ｔ７０２から上記所定量だけずれた時刻ｔ７０３に変更する。このようにリセット走査開始タイミング６００の設定値を変更することにより、第１の同期信号２０８を変更しても蓄積時間を変えないように制御することができる。

【0078】

以上説明したように本実施形態によれば、第１の同期信号２０８をずらす量を適切に制御することによって、第１の同期信号２０８をずらしてもスリットローリング動作による画像の取得には影響を与えない例を開示した。

【0079】

＜第３の実施形態＞
以下、第３の実施形態について説明する。尚、本実施形態のハードウェア構成は第１の実施形態と同一であるため、同一の構成要素には同一の符号を付し、重複した説明は省略する。

【0080】

第２の実施形態では、同期信号の時間差が閾値Δ以上であることを検出したフレームで、ＣＰＵ１１０から第１の同期信号発生回路２０５への設定値を所定値だけ変更し、その直後にアサートされる第１の同期信号２０８のタイミングを変更する例を示した。しかし実際にそのような構成をとると設定値を送信するタイミングの制約が大きくなってしまう。例えばスリットローリング動作によって動画像の取得を行う構成において、リセット走査開始タイミング６００がごく短い値に設定される場合を考える。この時リセット走査開始タイミング６００を計算によって求めるには時間がかかるので、計算完了時点で既にリセット走査を開始すべきタイミングを過ぎてしまうという問題が生じうる。そこで、本実施形態では設定を行うタイミングと設定を反映させるタイミングを変えることで、かかる問題が生じることを防止する。

【0081】

図８は、ＣＰＵによる各種の設定値の送信タイミングと第１の同期信号発生回路２０５において設定値が有効になるタイミングを示したタイミングチャートである。

【0082】

本実施形態において各種の設定値とは、以下の３つの設定値のいずれかを指す。１つ目の設定値は、ＣＰＵ１１０が第１の同期信号発生回路２０５に対して設定する、第１の同期信号２０８の発行タイミングの設定値である。２つ目の設定値は、ＣＰＵ１１０が第２の同期信号発生回路２０７に対して設定する、第２の同期信号２０９の発行タイミングの設定値である。３つ目の設定値は、ＣＰＵ１１０が撮像素子１０７に設定する、リセット走査開始タイミング６００の設定値である。

【0083】

時刻ｔ８００で第１の同期信号２０８がアサートされると、その時、第１の同期信号発生回路２０５のバッファに保持されていた設定値が有効設定値となる。

【0084】

次に時刻ｔ８０１でＣＰＵ１１０は、第ｎフレームの第１及び第２の同期信号２０８，２０９が検出された時刻の時間差を計算した結果に基づき算出した第１及び第２の同期信号発生回路２０５，２０７及び撮像素子１０７の夫々への設定値の送信を開始する。この送信は、時刻ｔ８０２で完了する。このタイミングで第１及び第２の同期信号発生回路２０５，２０７及び撮像素子１０７の夫々が有する各バッファは、その送信された新しい設定値を保持する。

【0085】

時刻ｔ８０３で上記有効設定値に基づき、第（ｎ+１）フレームの第１の同期信号２０８がアサートされると、時刻ｔ８０２で第１の同期信号発生回路２０５のバッファに保持された新しい設定値で有効設定値が更新される。すなわち、ＣＰＵ１１０が時刻ｔ８０１から時刻ｔ８０２にかけて送信した設定値が、時刻ｔ８０３のタイミングで各種有効設定値となる。

【0086】

このように、設定値の反映タイミングを１フレームずらすことによって、蓄積時間の設定などを適切に行うことができる。

【0087】

本実施形態に係るずれ補正処理を、図９Ａ，図９Ｂのフローチャートを参照しながら説明する。尚、図９Ａ，図９Ｂのフローチャートのうち、図４のフローチャートと共通の処理を行うステップは同じ符号を付した。本フローチャートは、図４のフローチャートに検出フラグのオン・オフを行うステップが加わった点で異なる。

【0088】

動画中のあるフレームにおいて複数の同期信号の検出とそのアサートされた時刻の記録が終わると、図９Ｂに示す通り、ＣＰＵ１１０は、ステップＳ９００で検出フラグがオンであるかオフであるかの確認を行う。この確認の結果、検出フラグがオフであった場合、ステップＳ９０３でＣＰＵ１１０は検出フラグをオンにしてそのフレームの処理を終了し、ステップＳ４１４に進む。

【0089】

一方、ステップＳ９００の確認の結果、検出フラグがオンであった場合、ステップＳ４１０に遷移し、ＣＰＵ１１０は、第１及び第２の同期信号２０８，２０９が検出された時刻の時間差を計算する。そしてステップＳ４１１で、算出された時間差が閾値Δ以上であると判定された場合、ステップＳ４１２でＣＰＵ１１０は第１の同期信号発生回路２０５に設定する第１の同期信号２０８のアサートタイミングの設定値を、所定値だけ変更する。そしてステップＳ９０１でＣＰＵ１１０は検出フラグをオフにしてそのフレームの処理を終了し、ステップＳ４１４に進む。ステップＳ４１１で、算出された時間差が閾値Δ未満であると判定された場合、ステップＳ４１３でＣＰＵ１１０が第１の同期信号発生回路２０５への設定値を変更せず維持する。そしてステップＳ９０２で検出フラグをオンにしてそのフレームの処理を終了し、ステップＳ４１４に進む。

【0090】

図１０Ａは、図９Ａ、図９Ｂのずれ補正処理により、第１及び第２の同期信号２０８，２０９の発行タイミングのずれが補正される様子を示すタイミングチャートである。

【0091】

時刻ｔ１０１０で第ｎフレームの第１の同期信号２０８がアサートされ、時刻ｔ１０１１で第ｎフレームの第２の同期信号２０９がアサートされると、図９，９Ｂのフローチャートの処理がステップＳ４０９まで実行されたことになる。続くステップＳ９００ではＣＰＵ１１０において検出フラグがオンになっているかどうかをチェックする。ここで、検出フラグがオンであったとする。すると図９ＢのステップＳ４１０へと遷移し、第１の実施形態に開示された方法によってＣＰＵ１１０で第１及び第２の同期信号２０８，２０９が検出された時刻の時間差が計算される。ここでは計算された時間差が閾値Δ以上になった場合について説明する。この場合、図９のステップＳ４１１の判断はＹＥＳとなり、ステップＳ４１２へ遷移する。ＣＰＵ１１０では第２の同期信号２０９とのずれが最小限になるように１ＨＤの整数倍の単位で第１の同期信号２０８のアサートタイミングの設定値を変更し、その設定値を時刻ｔ１０１２で第１の同期信号発生回路２０５に送信を開始する。この送信が時刻ｔ１０１３で完了すると第１の同期信号発生回路２０５のバッファに保持される。その後ステップＳ９０１でＣＰＵ１１０は検出フラグをオフにし、第ｎフレームでの処理が終了する。

【0092】

時刻ｔ１０１４で第（ｎ＋１）フレームの第１の同期信号２０８がアサートされるとそのタイミングで、時刻ｔ１０１３で第１の同期信号発生回路２０５は、そのバッファに保持された設定値が有効設定値にする。時刻ｔ１０１５で第２の同期信号２０９がアサートされると、図９，９Ｂのフローチャートの処理が再度ステップＳ４０９まで実行されたことになる。続くステップＳ９００ではＣＰＵ１１０において検出フラグがオンになっているかどうかをチェックする。ここで、第ｎフレームはステップＳ９０１を通過したので検出フラグがオフになっている。このためステップＳ９０３へと遷移し、ＣＰＵ１１０は検出フラグをオンにして第（ｎ＋１）フレームにおける動作を終了する。

【0093】

この場合、ＣＰＵ１１０は各種設定値の変更は行わない。すなわち、時刻ｔ１０１６から時刻ｔ１０１７にかけてＣＰＵ１１０から第１の同期信号発生回路２０５へ送信される設定値は、時刻ｔ１０１２から時刻ｔ１０１３にかけてＣＰＵ１１０から第１の同期信号発生回路２０５へ送信される設定値と同じである。よって、時刻ｔ１０１８で第（ｎ＋２）フレームの第１の同期信号２０８がアサートされるタイミングでは、時刻ｔ１０１７で第１の同期信号発生回路２０５のバッファに保持された設定値が有効設定値になる。この設定値は、時刻ｔ１０１２でＣＰＵ１１０が第１の同期信号発生回路２０５に送信した設定値の値と同一である。また、この設定値はタイミング補正がなされた設定値であったから、ここで第１の同期信号２０８と第２の同期信号２０９とのずれは最小となる。

【0094】

図１０Ａでは同期信号のアサートタイミングのみに着目して議論を行った。しかしスリットローリング動作によって動画像を取得するシステムにおいては、リセット走査の反映タイミングもまた設定タイミングと異なるタイミングにならなければならない。

【0095】

よって、図１０Ｂのタイミングチャートに示すように、第ｎフレームでＣＰＵ１１０から第１の同期信号発生回路２０５へ送信する設定値によって、第（ｎ＋２）フレームの第１の同期信号２０８の発行タイミングを時刻ｔ１０２２から時刻ｔ１０２３にずらす。

【0096】

一方、第ｎフレームでＣＰＵ１１０から撮像素子１０７へ送信された設定値も、第（ｎ＋１）フレームの第１の同期信号２０８がアサートされるタイミングで、撮像素子１０７がそのバッファに保持される設定値を有効設定値とする。この有効設定値を用いることにより、撮像素子１０７は、時刻ｔ１０２２と時刻ｔ１０２３の時間差と同じ時間差だけ、第（ｎ＋１）フレームのリセット走査開始タイミング６００をずらす。図１０Ｂの例では、第（ｎ＋１）フレームのリセット走査開始タイミング６００をずれ補正前のタイミングである時刻ｔ１０２０から、時刻ｔ１０２１のタイミングにずらす。このように制御することで、蓄積時間を一定に保ったままずれを解消することができる。

【0097】

以上、本実施形態によれば、ＣＰＵ１１０は、第１の同期信号２０８の発行タイミングの設定値とリセット走査開始タイミング６００の設定値の算出を行うタイミングより、算出された各設定値を有効設定値として反映させるタイミングを遅らせる。これにより、ＣＰＵ１１０は、第１及びの同期信号２０８，２０９を確実に同期させると共に、撮像素子１０７の行間での画像に露光量の差を生じることを抑制できる。

【0098】

また、第１及び第２の同期信号２０８，２０９がアサートされた時刻の時間差が所定値Δ以上になった場合、次のフレームでは上記各時刻の計測を行わないよう、ＣＰＵ１１０は時間計測部２０６を制御する（制御手段）。上述の通り、次のフレームでは、各種設定値を変更する必要がないからである。

【0099】

さらに、第１の同期信号２０８の発行タイミングのずれ補正を行う場合、そのずれ補正前後の時間差と同一の時間差だけ、リセット走査開始タイミング６００もずらす。これにより、蓄積時間を一定に保ったまま、ずれを解消することができる。

【0100】

本実施形態で解説した方法を用いることで設定値を送信するタイミング制約を大幅に緩和することができる構成を示した。

【0101】

＜第４の実施形態＞
以下、第４の実施形態について説明する。第１～第３の実施形態では、２つの独立のクロック生成部から生成されるクロックで動作するモジュール間で、動作時間のずれを一定の値以下に抑える例を開示した。本実施形態では、３つ以上の独立のクロック生成部から生成されるクロックで動作するモジュール間で、動作時間のずれを一定の値以下に抑える例を示す。

【0102】

図１１は、本実施形態に係る情報処理装置しての撮像装置の全体構成を示すブロック図である。尚、図１のブロック図と同じ構成要素には同一の符号を付した。

【0103】

図１１のブロック図では、図１のブロック図に対して、光路上にペリクルミラー１１００が配置されている。このペリクルミラー１１００は光を半分透過し、半分反射する。ペリクルミラーによって反射された光は第２の撮像素子１１０１（第３のモジュール）に導かれる。第２の撮像素子１１０１は撮像素子１０７と、被写体からの光学距離が等しくなる位置に配されている。そのため、第２の撮像素子１１０１には撮像素子１０７と同じ像が結像される。

【0104】

図１２は、図１１の撮像装置の基板配置図である。尚、ここで説明する要素は本実施形態の解説に必要なものに限定し、それ以外を省略する。また、図２、図１１で既に説明した構成要素については同じ符号を付した。

【0105】

第３の基板１２００は、第２の撮像素子１１０１と、例えば発振器から構成される第３のクロックを生成する第３のクロック生成部（ＣＬＫ３）１２０１（第３のクロック生成部）が搭載された基板である。第２の撮像素子１１０１と第３のクロック生成部１２０１が同一基板上の近傍に配置されることによって、第２の撮像素子１１０１に高品質のクロックを供給することができる。

【0106】

第２の基板２０２に搭載された信号処理回路１２０３は、図１１のＤＳＰ１０８やＣＰＵ１１０を含むＩＣである。信号処理回路１２０３には、第１のクロックで動作する第１の同期信号発生回路２０５と、第２のクロックで動作する第２の同期信号発生回路２０７と、第２のクロックで動作する時間計測部２０６が含まれている。また、それに加えて、第３のクロックで動作する第３の同期信号発生回路１２０２（第３のタイミング制御手段）も含まれている。

【0107】

時間計測部２０６は、第１及び第２の同期信号がアサートされた時刻を計測するだけでなく、第３の同期信号がアサートされた時刻も計測する。

【0108】

第２の撮像素子１１０１は、第３の同期信号発生回路１２０２が発生する第３の同期信号１２０４に同期して、撮像素子１０７により撮像される動画１フレームに対応する撮像動作を行い、これにより取得された画像データを信号処理回路１２０３へと出力する。この出力を行う、第２の撮像素子１１０１に第３の同期信号１２０４を供給する第３の同期信号発生回路１２０２を動作させるためのクロックは、第３のクロック生成部１２０１から生成される高品質のクロックであるため、画像データの高速伝送が可能となる。

【0109】

第１～第３の実施形態では、第１及び第２の同期信号２０８，２０９がアサートされた時刻の時間差が閾値Δ以上である場合、ＣＰＵ１１０が第１の同期信号２０８をアサートするタイミングを遅らせて上記時間差を一定の値以下に抑える動作を行う。この動作は、本実施形態のように、第３の同期信号発生回路１２０２が撮像装置に加わっても変わらない。

【0110】

但し、第３の同期信号発生回路１２０２が撮像装置に加わると、ＣＰＵ１１０は、第３の同期信号１２０４と第２の同期信号２０９のアサートされるタイミングの時間差も計算する。この計算された時間差が閾値Δ２以上の場合、ＣＰＵ１１０が第３の同期信号発生回路１２０２に対して設定する第３の同期信号１２０４の設定タイミングを所定値だけ変更する。設定値を変更する方法は、第１～第３の実施形態で開示された方法を用いる。このように第３の同期信号発生回路１２０２を制御することによって、第３の同期信号１２０４と第２の同期信号２０９がアサートされる時間差を、第２の同期信号２０９の発行タイミングを基準として一定の値以下に抑えることができる。

【0111】

ところで、第１～第３の実施形態において説明した通り、第１の同期信号２０８がアサートされるタイミングもまた第２の同期信号２０９がアサートされるタイミングを基準として、ある一定の値以下の時間差に制御される。よって、本実施形態では、第１の同期信号発生回路２０５と第３の同期信号発生回路１２０２を制御することによって、第１～第３の同期信号２０８，２０９，１２０４がアサートされるタイミングの時間差を、ある一定の値以下に保つことができる。

【0112】

以上の点は一般化することができる。すなわち、情報処理装置に３つ以上の独立した同期信号発生回路が存在する場合、各同期信号発生回路からの同期信号をアサートするタイミングを、そのうちの１つの同期信号がアサートされたタイミングを基準に制御する。これにより、各同期信号発生回路の同期信号をアサートするタイミングの同期を取ることができる。

【0113】

以上、本実施形態によれば、３つ以上の独立した同期信号発生回路が存在する情報処理装置において、夫々の同期信号発生回路から発生される同期信号がアサートされるタイミングの時間差を、ある一定の値以下に抑えるように制御することができる。

【0114】

尚、本実施形態において、第３の同期信号発生回路１２０２によって制御される対象を第２の撮像素子１１０１としたが、その限りではない。例えば、外部の録音装置や表示部材などのような、同一基板に存在する同期信号発生回路から発生される同期信号に同期し、撮像素子１０７により撮像される動画１フレームに対応する動作を行う装置であれば、あらゆる装置に適用可能である。

【0115】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0116】

［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

【0117】

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

【0118】

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

【0119】

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

【0120】

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

【符号の説明】

【0121】

１０７ 撮像素子
１１１ 録音部
２００ 第１の基板
２０１ 第１のクロック生成部
２０２ 第２の基板
２０３ 第２のクロック生成部
２０５ 第１の同期信号発生回路
２０６ 時間計測部
２０７ 第２の同期信号発生回路
１１０１ 第２の撮像素子
１２００ 第３の基板
１２０１ 第３のクロック生成部
１２０２ 第３の同期信号発生回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12】