知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177556
(43)【公開日】2023-12-14
(54)【発明の名称】撮像装置および撮像装置の制御方法
(51)【国際特許分類】
H04N 23/45 20230101AFI20231207BHJP
H04N 23/63 20230101ALI20231207BHJP
H04N 23/60 20230101ALI20231207BHJP
【ＦＩ】
H04N5/225 800
H04N5/232 930
H04N5/232 290
H04N5/232
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022090289
(22)【出願日】2022-06-02
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】内舘 光
(72)【発明者】
【氏名】梶田 佳樹
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA67
5C122FA18
5C122FC05
5C122FH18
5C122FK21
5C122FK24
5C122FK41
5C122GA34
5C122HA05
5C122HA76
5C122HA77
5C122HB01
5C122HB02
(57)【要約】
【課題】複数の撮像部または撮像部とセンシング部を同期させた上で、安定したフレームレートを実現できるようにする。
【解決手段】撮像装置は、第１の露光期間における露光により撮像を行う第１の撮像部と、第２の露光期間における露光により撮像を行う第２の撮像部と、前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部とを有する。
【選択図】図５
【解決手段】撮像装置は、第１の露光期間における露光により撮像を行う第１の撮像部と、第２の露光期間における露光により撮像を行う第２の撮像部と、前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部とを有する。
【選択図】図５
【特許請求の範囲】
【請求項1】
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部と、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
第２の露光期間における露光により撮像を行う第２の撮像部と、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
【請求項2】
前記第１のタイムスタンプ生成部は、前記第１の撮像部の前記第１の露光期間の重心または中心を示す第１のタイムスタンプを生成し、
前記第２のタイムスタンプ生成部は、前記第２の撮像部の前記第２の露光期間の重心または中心を示す第２のタイムスタンプを生成することを特徴とする請求項１に記載の撮像装置。
前記第２のタイムスタンプ生成部は、前記第２の撮像部の前記第２の露光期間の重心または中心を示す第２のタイムスタンプを生成することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記第１の撮像部は、第１のシャッタ方式で撮像し、
前記第２の撮像部は、前記第１のシャッタ方式とは異なる第２のシャッタ方式で撮像することを特徴とする請求項１に記載の撮像装置。
前記第２の撮像部は、前記第１のシャッタ方式とは異なる第２のシャッタ方式で撮像することを特徴とする請求項１に記載の撮像装置。
【請求項4】
前記第１のシャッタ方式は、ローリングシャッタ方式であり、
前記第２のシャッタ方式は、グローバルシャッタ方式であることを特徴とする請求項３に記載の撮像装置。
前記第２のシャッタ方式は、グローバルシャッタ方式であることを特徴とする請求項３に記載の撮像装置。
【請求項5】
前記第１の露光期間の長さと前記第２の露光期間の長さは異なることを特徴とする請求項１に記載の撮像装置。
【請求項6】
センサデータを取得するセンシング部をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項7】
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする請求項６に記載の撮像装置。
【請求項8】
前記第１の撮像部により撮像された画像と、前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプとを基に、画像処理を行う画像処理部をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項9】
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１の撮像部により撮像された画像と、前記コンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを請求項６に記載の撮像装置。
前記第１の撮像部により撮像された画像と、前記コンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを請求項６に記載の撮像装置。
【請求項10】
前記センシング部は、サンプリング時間におけるサンプリングによりセンサデータを取得し、
前記センシング部の前記サンプリング時間を示す第３のタイムスタンプを生成する第３のタイムスタンプ生成部をさらに有することを特徴とする請求項６に記載の撮像装置。
前記センシング部の前記サンプリング時間を示す第３のタイムスタンプを生成する第３のタイムスタンプ生成部をさらに有することを特徴とする請求項６に記載の撮像装置。
【請求項11】
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記第３のタイムスタンプとを基に、前記コンピュータグラフィックス画像を変形する画像変形部と、
前記第１の撮像部により撮像された画像と、前記画像変形部により変形されたコンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを請求項１０に記載の撮像装置。
前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記第３のタイムスタンプとを基に、前記コンピュータグラフィックス画像を変形する画像変形部と、
前記第１の撮像部により撮像された画像と、前記画像変形部により変形されたコンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを請求項１０に記載の撮像装置。
【請求項12】
前記第１の撮像部は、第１の同期信号を基に、前記第１の露光期間における露光を行い、
前記第２の撮像部は、第２の同期信号を基に、前記第２の露光期間における露光を行い、
前記撮像装置は、前記第１の同期信号を基に、前記第２の同期信号を生成する同期化部をさらに有することを特徴とする請求項１に記載の撮像装置。
前記第２の撮像部は、第２の同期信号を基に、前記第２の露光期間における露光を行い、
前記撮像装置は、前記第１の同期信号を基に、前記第２の同期信号を生成する同期化部をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項13】
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする請求項１に記載の撮像装置。
【請求項14】
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部と、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部と、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
【請求項15】
前記第１のタイムスタンプ生成部は、前記撮像部の前記露光期間の重心または中心を示す第１のタイムスタンプを生成することを特徴とする請求項１４に記載の撮像装置。
【請求項16】
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする請求項１４に記載の撮像装置。
【請求項17】
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする請求項１４に記載の撮像装置。
【請求項18】
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部とを有する撮像装置の制御方法であって、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
第２の露光期間における露光により撮像を行う第２の撮像部とを有する撮像装置の制御方法であって、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項19】
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部とを有する撮像装置の制御方法であって、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部とを有する撮像装置の制御方法であって、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【0002】
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する技術が知られている。その技術では、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ使用者が観察できる。
【0003】
このような技術では、複数の撮像画像や各種センサ情報を用いた演算処理を行うことによりＨＭＤの位置姿勢を求めることによって、ＨＭＤ使用者の体験する空間の位置情報を取得する。ＨＭＤ使用者の位置情報を正確に取得することができれば、適切な空間にＣＧを描画することが可能となり、ＨＭＤ使用者はＭＲ体験に没入することができる。
【0004】
位置情報を正確に求めるためには、複数の撮像手段や各種センサは、可能な限り、同期した状態で動作させることが望ましい。これに対し、特許文献１には、複数の撮像手段に対して露光時間の重心を一致させることで、同期させる技術が記載されている。また、特許文献２には、複数の撮像手段と各種センサまで含めて同期させる技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００６－５６０８号公報
【特許文献2】特開２０２１－１１７０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１および２に記載された技術では、複数の撮像画像や各種センサをフレーム単位では同期することができるが、同期させるためにフレームレートが変動して一定とはならず、ＨＭＤ使用者にとって違和感のあるＭＲ映像となってしまう。
【0007】
本開示の目的は、複数の撮像部または撮像部とセンシング部を同期させた上で、安定したフレームレートを実現できるようにすることである。
【課題を解決するための手段】
【0008】
撮像装置は、第１の露光期間における露光により撮像を行う第１の撮像部と、第２の露光期間における露光により撮像を行う第２の撮像部と、前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部とを有する。
【発明の効果】
【0009】
本開示によれば、複数の撮像部または撮像部とセンシング部を同期させた上で、安定したフレームレートを実現することができる。
【図面の簡単な説明】
【0010】
【図1】画像表示システムの構成例を示す図である。
【図2】ＨＭＤと画像処理装置の機能構成例を示す図である。
【図3】撮像部の処理を示すタイミングチャートである。
【図4】ＨＭＤの制御方法を示すフローチャートである。
【図5】ＨＭＤの制御方法を示すタイミングチャートである。
【図6】ＨＭＤと画像処理装置の機能構成例を示す図である。
【図7】ＨＭＤの制御方法を示すタイミングチャートである。
【発明を実施するための形態】
【0011】
以下に、好ましい実施形態を、図面に基づいて詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態による画像表示システム１００の構成例を示す図である。画像表示システム１００は、頭部搭載型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、ＨＭＤ）１０１と、表示装置１０２と、操作部１０４と、画像処理装置１０３を有する。画像処理装置１０３には、表示装置１０２と操作部１０４が接続されている。画像処理装置１０３は、操作部１０４の使用者の操作情報を入力し、表示装置１０２に画像および情報を表示する。
（第１の実施形態）
図１は、第１の実施形態による画像表示システム１００の構成例を示す図である。画像表示システム１００は、頭部搭載型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、ＨＭＤ）１０１と、表示装置１０２と、操作部１０４と、画像処理装置１０３を有する。画像処理装置１０３には、表示装置１０２と操作部１０４が接続されている。画像処理装置１０３は、操作部１０４の使用者の操作情報を入力し、表示装置１０２に画像および情報を表示する。
【0012】
ＨＭＤ１０１は、使用者の頭部に装着され、画像処理装置１０３で生成した画像を表示する。ＨＭＤ１０１は、小規模ネットワークにより無線接続された画像処理装置１０３と通信を行う。小規模ネットワークは、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ＨＭＤ１０１と画像処理装置１０３の間の通信は、無線通信に限らず、有線通信方式を利用してもよい。また、画像処理装置１０３とＨＭＤ１０１を別々のハードウェア構成としているが、画像処理装置１０３の持つ機能をすべてＨＭＤ１０１内に実装して、一体化することも可能である。
【0013】
図２は、図１に示したＨＭＤ１０１と画像処理装置１０３の機能構成例を示すブロック図である。ＨＭＤ１０１は、撮像部２０１，２０２と、表示部２０３と、センシング部２０４と、動作算出部２０５と、撮像処理部２０６と、演算部２０７と、画像合成部２０８と、同期化部２２０と、タイムスタンプ管理部２２１を有する。
【0014】
撮像部２０１および２０２は、それぞれ、外界を撮像するための対物光学系とイメージセンサを有する。表示部２０３は、画像をＨＭＤ１０１の使用者に提示するための接眼光学系とディスプレイを有する。センシング部２０４は、ＨＭＤ１０１の動作をセンシングする。動作算出部２０５は、センシング部２０４のセンシング結果から、ＨＭＤ１０１の動きを算出する。撮像処理部２０６は、撮像部２０１および２０２からの撮像画像を画像処理する。演算部２０７は、演算を行う。画像合成部２０８は、撮像画像とＣＧ画像を合成する。同期化部２２０は、撮像部２０１，２０２およびセンシング部２０４を同期化させる。タイムスタンプ管理部２２１は、タイムスタンプを管理する。
【0015】
画像処理装置１０３は、位置姿勢計算部２０９と、ＣＧ生成部２１０と、コンテンツＤＢ（データベース）２１１を有する。位置姿勢計算部２０９は、撮像画像とＨＭＤ１０１の動きから、ＨＭＤ１０１の位置姿勢を計算する。コンテンツＤＢ２１１は、ＣＧデータを格納する。ＣＧ生成部２１０は、位置姿勢計算部２０９により計算された位置姿勢の情報を基に、コンテンツＤＢ２１１よりＣＧデータを読み込んだ後、ＣＧ画像を生成する。
【0016】
次に、図２を用いて、使用者がＭＲ映像を体験する方法について説明する。撮像部２０１および２０２は、それぞれ、外界を撮像する。撮像部２０１および２０２は、画素数、画質、ノイズ、センササイズ、消費電力、コスト等の様々な要因を鑑み、ローリングシャッタ方式の撮像素子とグローバルシャッタ方式の撮像素子を使い分けたり、用途に応じてそれらを組み合わせて使用することができる。例えば、撮像部２０１は、仮想空間の画像と合成する撮像画像を撮像する場合には、より高画質な画像が取得可能なローリングシャッタ方式の撮像素子を用いる。撮像部２０２は、ＨＭＤ１０１の位置姿勢を計算するために外界を撮像する場合には、像流れのないグローバルシャッタ方式の撮像素子を用いる。像流れとは、走査方向のライン毎に順次、露光処理が開始されるローリングシャッタ方式の動作原理に起因して発生する現象である。
【0017】
図３は、ローリングシャッタ方式の撮像部２０１とグローバルシャッタ方式の撮像部２０２の処理例を示すタイミングチャートである。図３の横軸は、時間を示す。撮像部２０１がローリングシャッタ方式の撮像素子を用い、撮像部２０２がローリングシャッタ方式の撮像素子を用いる例を説明する。
【0018】
撮像部２０１の露光（ローリング）は、ローリングシャッタ方式の撮像素子で撮像される各ラインの露光時間を示している。ローリングシャッタ方式の撮像部２０１では、各ラインの露光のタイミングに時間的なズレが生じることにより、露光時間中に撮像部２０１や被写体が動いた際に、被写体が流れるように変形して記録される現象が発生する。この現象が像流れである。
【0019】
撮像部２０２の露光（グローバル）は、グローバルシャッタ方式の撮像素子で撮像される各ラインの露光時間を示している。グローバルシャッタ方式の撮像部２０２では、同時に全ラインの露光処理が行われるため、各ラインの露光タイミングに時間的なズレが生じず、像流れは発生しない。本実施形態では、撮像部２０１はローリングシャッタ方式の撮像素子を用い、撮像部２０２はグローバルシャッタ方式の撮像素子を用いるものとして説明する。
【0020】
図２において、撮像部２０１および２０２は、外界を撮像した撮像画像を、タイムスタンプ管理部２２１に出力する。タイムスタンプ管理部２２１は、撮像画像を入力すると、タイムスタンプを発行する。これについての詳細な動作は後述する。
【0021】
撮像処理部２０６は、撮像部２０１および２０２により撮像された撮像画像に対して、画像処理を実行する。撮像処理部２０６で行われる画像処理とは、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御、デモザイク処理、シェーディング補正、ノイズリダクション、歪み補正等である。撮像処理部２０６は、撮像部２０１および２０２により撮像された撮像画像に対して、画像処理を行うことにより、画像の高画質化を図る。その後、撮像処理部２０６は、撮像部２０２により撮像された撮像画像を画像処理した画像を、画像処理後のＣＧの描画位置を特定するために、位置姿勢計算部２０９に出力する。また、撮像処理部２０６は、撮像部２０１により撮像された撮像画像を画像処理した画像を、ＣＧ画像と合成するために、画像合成部２０８に出力する。
【0022】
センシング部２０４は、ＨＭＤ１０１の動作をセンシングする。センシング部２０４のセンサは、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）や加速度センサ、角速度センサなどである。本実施形態においては、センシング部２０４は、例えば、ＩＭＵである。動作算出部２０５は、ＩＭＵから出力されるセンシングデータから、ＨＭＤ１０１の移動、傾き、回転等を算出し、それらを位置姿勢計算部２０９に出力する。
【0023】
位置姿勢計算部２０９は、画像処理後の撮像部２０２の撮像画像と動作算出部２０５の算出結果から、現実世界を示す世界座標系とＨＭＤ１０１を通して観察した画像を示すカメラ座標系との関係を計算する。そして、位置姿勢計算部２０９は、その関係を基に、現実世界に対してＨＭＤ１０１がどのような位置姿勢であるかを計算する。位置姿勢の計算方法は、例えば、現実世界に基準となるマーカー等を置いておき、ステレオカメラ構成とした撮像部２０２で画像を取得し、画像内のマーカーの位置関係から、ＨＭＤ１０１の位置姿勢を計算する方法がある。または、現実世界の静止物体の特徴量を画像から算出し、特徴量の時間変化からＨＭＤ１０１の自己位置推定と環境地図作成を行う方法などがある。本実施形態においては、位置姿勢の計算方法については特に限定されない。位置姿勢計算部２０９は、このようにして計算された位置姿勢の情報をＣＧ生成部２１０に出力する。
【0024】
ＣＧ生成部２１０は、位置姿勢計算部２０９の位置姿勢の情報を基に、撮像画像のどの位置、どの向きにＣＧを重畳するかを計算する。また、ＣＧ生成部２１０は、コンテンツＤＢ２１１からＣＧデータを読み込むことで、ＣＧのレンダリングを行う。これにより、ＣＧ生成部２１０は、撮像部２０２により撮像された撮像画像の向いている方向に合わせたＣＧ画像を生成し、ＣＧ画像を画像合成部２０８に出力する。
【0025】
画像合成部２０８は、画像処理後の撮像部２０１の撮像画像とＣＧ生成部２１０から得られるＣＧ画像とを合成することによりＭＲ画像を生成し、ＭＲ画像を表示部２０３に提示（表示）する。ＭＲ画像を表示部２０３に表示することで、ＨＭＤ１０１の使用者は、外界には存在しない物体をＣＧとして視認し、ＭＲ体験をすることができる。
【0026】
このとき、前述したように、ＣＧ生成部２１０が生成するＣＧ画像は、画像合成後の撮像部２０２の撮像画像を基に生成されている。一方、画像合成部２０８が合成する撮像画像は、画像処理後の撮像部２０１の撮像画像である。すわなち、撮像部２０１と撮像部２０２で撮像される時間的なタイミングが異なる場合、画像合成部２０８が画像合成をした場合に、違和感のあるＭＲ画像が生成されてしまうことになる。
【0027】
そこで、図３のタイミングチャートを用いて、複数の撮像部２０１および２０２の露光重心を一致させる方法について説明する。撮像部２０１および２０２の露光重心を一致させることができれば、撮像部２０１および２０２で撮像される時間的なタイミングのずれは発生しないことになる。
【0028】
図３は、同期化部２２０から２つの撮像部２０１および２０２への外部同期入力を変化させ、撮像部２０１および２０２の露光重心が一致させるように動作させた様子を示している。図３では、撮像部２０１の撮像露光のタイミングチャートと、撮像部２０２の撮像露光のタイミングチャートを示している。
【0029】
撮像部２０１は、同期化部２２０から外部同期入力が行われると、設定されたシャッタスピード（例えばＦｒａｍｅ０の場合には１／１２０ｓ）に応じて変化する露光開始待ち時間Ａ１＿ｆ０を経て、露光を開始する。このとき、撮像部２０１は、ローリングシャッタ方式の撮像素子を用いるため、順次、ラインごとに露光を開始する。そして、撮像部２０１は、設定されたシャッタスピード時間分露光されると、順次、ラインごとに露光を終了する。そして、撮像部２０１は、露光が終了すると、画像データをラスタ順に出力する。撮像部２０１は、画像データを出力する場合、画像データとは別に、フレームの先頭を示すＶｓｙｎｃと、ラインの先頭を示すＨｓｙｎｃなどの同期信号も合わせて出力する。撮像処理部２０６は、画像データを入力する場合には、このＶｓｙｎｃとＨｓｙｎｃなどの同期信号を基準に、画像データとして取得する。
【0030】
撮像部２０２は、撮像部２０１と同様に、同期化部２２０から外部同期入力が行われると、設定されたシャッタスピード（例えばＦｒａｍｅ０の場合には１／１２０ｓ）に応じて変化する露光開始待ち時間Ａ２＿ｆ０を経て、露光を開始する。このとき、撮像部２０２は、グローバルシャッタ方式の撮像素子を用いるため、全ライン同時に露光を開始する。そして、撮像部２０２は、設定されたシャッタスピード時間分露光されると、全ライン同時に露光を終了する。そして、撮像部２０２は、露光が終了すると、画像データをラスタ順に出力する。
【0031】
前述したように、撮像部２０１は、ローリングシャッタ方式の撮像素子を用い、撮像部２０２は、グローバルシャッタ方式の撮像素子を用いている。そのため、撮像部２０１と撮像部２０２の露光重心を一致させるには、撮像部２０１と撮像部２０２のシャッタスピード設定を鑑み、相対的に撮像部２０１と撮像部２０２の露光開始時間をずらす必要がある。そこで、図３では、撮像部２０２への外部同期入力を、撮像部２０１への外部同期入力とはタイミングを変えることで、上記の露光重心の一致を実現している。このように、複数の撮像部２０１および２０２における露光重心を一致させるように、同期化部２２０は、外部同期入力タイミングを撮像部２０１および２０２ごとに変化させる。
【0032】
しかしながら、上記の方法によると、撮像部２０１および２０２のシャッタスピードによって外部同期入力タイミングが変化する。外部同期入力されてから画像データ出力までの時間は一定であるため、外部同期入力タイミングが一定ではないと、フレーム間の画像データ出力時間（フレームレート）が変動することになる。撮像部２０１および２０２から出力される撮像画像のフレームレートが変動すると、表示部２０３に表示される画像の更新のフレームレートも変動することになり、使用者はＭＲ体験を快適に体験することができないという課題が存在する。
【0033】
そこで、本実施形態では、ＨＭＤ１０１は、同期化部２２０とタイムスタンプ管理部２２１により、外部同期入力を複数の撮像部２０１および２０２で共通化する。そして、ＨＭＤ１０１は、撮像部２０１および２０２の露光重心のずれを、タイムスタンプ情報として、画像データと紐づけることで、上記の課題の解決を図る。
【0034】
次に、本実施形態の同期化部２２０を説明する。図２に示すように、同期化部２２０は、撮像部２０１と撮像部２０２を同期化するために、外部同期信号を生成する。同期化部２２０は、画像合成部２０８から垂直同期信号Ｖｓｙｎｃが入力されると、一定のオフセット時間を経た後に、外部同期信号を生成する。これは、撮像部２０１および２０２の撮像レートと表示部２０３の更新レートの周期を同一とすることで、ＭＲ映像を低遅延かつ滑らかに提供することが可能となるためである。しかしながら、外部同期信号の生成方法は、これに特に限定されない。同期化部２２０は、内部でタイミング信号を自動生成し、そのタイミング信号を外部同期信号として出力する方法や、特定の撮像部２０１または２０２の垂直同期信号Ｖｓｙｎｃをトリガに、外部同期信号を生成して出力する方法などを使用してもよい。
【0035】
次に、図４および図５を用いて、本実施形態のタイムスタンプ管理部２２１の説明を行う。図４は、タイムスタンプ管理部２２１の処理例を示すフローチャートである。タイムスタンプ管理部２２１は、内部にタイムカウンタＴｃｎｔを持っている。
【0036】
ステップＳ４０１では、タイムスタンプ管理部２２１は、タイムカウンタＴｃｎｔの動作を開始させる。タイムカウンタＴｃｎｔは、その他の動作に影響されることなく、基準となる時間のカウントを開始する。なお、タイムスタンプ管理部２２１は、内部のカウンタの値をタイムカウンタＴｃｎｔの値としてもよいし、外部装置から入力される基準信号を基にタイムカウンタＴｃｎｔの値を生成してもよい。
【0037】
ステップＳ４０２では、タイムスタンプ管理部２２１は、同期化部２２０が出力する外部同期信号を入力したか否かを判定する。タイムスタンプ管理部２２１は、同期化部２２０が出力する外部同期信号を入力していない場合には、ステップＳ４０２に戻り、同期化部２２０が出力する外部同期信号を入力した場合には、ステップＳ４０３に進む。
【0038】
ステップＳ４０３では、タイムスタンプ管理部２２１は、同期化部２２０から外部同期信号が入力された時点でのタイムカウンタＴｃｎｔの値を外部同期時間Ｔ（ｎ）として保持する。同期化部２２０は、この外部同期信号を、撮像部２０１および２０２にも出力する。撮像部２０１および２０２は、外部同期時間Ｔ（ｎ）と同じ時間から露光の準備状態に入る。
【0039】
ステップＳ４０４では、タイムスタンプ管理部２２１は、撮像部２０１および２０２に設定されている露光時間パラメータを取得する。露光時間パラメータは、撮像部２０１および２０２に対してレジスタ設定されるシャッタスピードの値や露光モード設定などである。これにより、タイムスタンプ管理部２２１は、撮像部２０１および２０２の各々における露光時間に関する情報を取得することが可能となる。
【0040】
ステップＳ４０５では、タイムスタンプ管理部２２１は、上記の撮像部２０１および２０２の露光時間パラメータから、撮像部２０１の露光重心のオフセット値Ｔｏｆｆｓｅｔ１と、撮像部２０２の露光重心のオフセット値Ｔｏｆｆｓｅｔ２を特定する。オフセット値Ｔｏｆｆｓｅｔ１およびＴｏｆｆｓｅｔ２は、それぞれ、外部同期時間Ｔ（ｎ）から、撮像部２０１および２０２の露光の重心までの時間を示す値であり、撮像部２０１および２０２の特性と設定されるシャッタスピードによって一意に決まる値である。オフセット値Ｔｏｆｆｓｅｔ１は、例えば、Ｔｏｆｆｓｅｔ１（ｎ）＝Ａ１＿ｆ（ｎ）＋Ｂ１＿ｆ（ｎ）で表すことができる。オフセット値Ｔｏｆｆｓｅｔ２は、例えば、Ｔｏｆｆｓｅｔ２（ｎ）＝Ａ２＿ｆ（ｎ）＋Ｂ２＿ｆ（ｎ）で表すことができる。Ａ１＿ｆ（ｎ）およびＡ２＿ｆ（ｎ）は、それぞれ、例えば図５のＡ１＿ｆ０およびＡ２＿ｆ０のように、外部同期信号の入力から露光を開始するまでの時間である。Ｂ１＿ｆ（ｎ）およびＢ２＿ｆ（ｎ）は、それぞれ、例えば図５のＢ１＿ｆ０およびＢ２＿ｆ０のように、露光が開始されてから露光重心に到達するまでの時間である。ｎは、フレーム番号を示す。時間Ａ１＿ｆ（ｎ）、Ａ２＿ｆ（ｎ）、Ｂ１＿ｆ（ｎ）およびＢ２＿ｆ（ｎ）は、ともに撮像部２０１または２０２の特性と設定されるシャッタスピードによって決まる。そのため、時間Ａ１＿ｆ（ｎ）、Ａ２＿ｆ（ｎ）、Ｂ１＿ｆ（ｎ）およびＢ２＿ｆ（ｎ）は、演算部２０７が毎フレーム設定するシャッタスピードに応じて求めてもよいし、設定されるシャッタスピードの候補をテーブル化して参照することにより取得してもよい。このように、タイムスタンプ管理部２２１は、撮像部２０１および２０２の露光時間パラメータから、撮像部２０１の露光重心のオフセット値Ｔｏｆｆｓｅｔと、撮像部２０２の露光重心のオフセット値Ｔｏｆｆｓｅｔ２を特定する。その特定方法は、特に限定されない。
【0041】
ステップＳ４０６では、タイムスタンプ管理部２２１は、撮像部２０１のタイムスタンプＳ１（ｎ）と撮像部２０２のタイムスタンプＳ２（ｎ）を発行し、タイムスタンプＳ１（ｎ）およびＳ２（ｎ）を保持する。タイムスタンプ管理部２２１は、Ｓ１（ｎ）＝Ｔ（ｎ）＋Ｔｏｆｆｓｅｔ１（ｎ）によりタイムスタンプＳ１（ｎ）を算出し、Ｓ２（ｎ）＝Ｔ（ｎ）＋Ｔｏｆｆｓｅｔ２（ｎ）によりタイムスタンプＳ２（ｎ）を算出する。タイムスタンプＳ１（ｎ）およびＳ２（ｎ）は、それぞれ、撮像部２０１および２０２の露光重心時間を示す。
【0042】
ステップＳ４０７では、タイムスタンプ管理部２２１は、撮像部２０１または２０２から垂直同期信号Ｖｓｙｎｃを入力したか否かを判定する。タイムスタンプ管理部２２１は、撮像部２０１または２０２から垂直同期信号Ｖｓｙｎｃを入力していない場合には、ステップＳ４０７に戻り、撮像部２０１または２０２から垂直同期信号Ｖｓｙｎｃを入力した場合には、ステップＳ４０８に進む。
【0043】
ステップＳ４０８では、タイムスタンプ管理部２２１は、撮像部２０１から垂直同期信号Ｖｓｙｎｃを入力した場合には、撮像部２０１のタイムスタンプＳ１（ｎ）と、撮像部２０１から入力した画像データＤ１（ｎ）とを対応付けて出力する。また、タイムスタンプ管理部２２１は、撮像部２０２から垂直同期信号Ｖｓｙｎｃを入力した場合には、撮像部２０２のタイムスタンプＳ２（ｎ）と、撮像部２０２から入力した画像データＤ２（ｎ）とを対応付けて出力する。これにより、タイムスタンプ管理部２２１は、１フレーム単位の画像処理を完了し、ステップＳ４０２に戻る。
【0044】
以後、タイムスタンプ管理部２２１は、次のフレームも同様の処理を繰り返すことによって、フレームごとの画像データＤ１（ｎ）およびＤ２と、露光重心を示したタイムスタンプＳ１（ｎ）およびＳ２（ｎ）とをそれぞれ対応付けて出力することができる。
【0045】
図５は、本実施形態によるＨＭＤ１０１の制御方法の例を示すタイミングチャートである。タイムスタンプ管理部２２１は、図４のフローチャートの処理を行っている。以下、図５を用いて、図４で説明したフローチャートの処理の説明を補足する。
【0046】
時刻Ｅ０は、同期化部２２０が外部同期信号を撮像部２０１，２０２とセンシング部２０４とタイムスタンプ管理部２２１に出力した時刻である。撮像部２０１と撮像部２０２とセンシング部２０４とタイムスタンプ管理部２２１は、共通の外部同期信号を入力する。タイムスタンプ管理部２２１は、時刻Ｅ０におけるタイムカウンタＴｃｎｔの値を外部同期時間Ｔ０として保持する。
【0047】
時刻Ｔ０では、撮像部２０１のシャッタスピード設定は１／１２０ｓであり、撮像部２０１はローリングシャッタ方式の撮像素子を用いている。時間Ａ１＿ｆ０は、撮像部２０１が外部同期信号を入力してから露光を開始するまでの時間である。時間Ｂ１＿ｆ０は、撮像部２０１の露光が開始されてから露光重心に到達するまでの時間である。時間Ａ１＿ｆ０およびＢ１＿ｆ０は、撮像部２０１の特性と設定されるシャッタスピードによって一意に決まる値である。タイムスタンプ管理部２２１は、Ｓ１（０）＝Ｔ０＋Ａ１＿ｆ０＋Ｂ１＿ｆ０により、タイムスタンプＳ１（０）を算出する。
【0048】
時刻Ｒ０は、撮像部２０１が垂直同期信号Ｖｓｙｎｃを出力する時刻であり、撮像部２０１が画像データＤ１（０）の出力を開始する時刻である。時刻Ｒ０では、タイムスタンプ管理部２２１は、タイムスタンプＳ１（０）と画像データＤ１（０）とを対応付けて出力する。
【0049】
また、時刻Ｔ０では、撮像部２０２のシャッタスピード設定は１／１２０ｓであり、撮像部２０２はグローバルシャッタ方式の撮像素子を用いている。時間Ａ２＿ｆ０は、撮像部２０２が外部同期信号を入力してから露光を開始するまでの時間である。時間Ｂ２＿ｆ０は、撮像部２０２の露光が開始されてから露光重心に到達するまでの時間である。時間Ａ２＿ｆ０およびＢ２＿ｆ０は、撮像部２０２の特性と設定されるシャッタスピードによって一意に決まる値である。タイムスタンプ管理部２２１は、Ｓ２（０）＝Ｔ０＋Ａ２＿ｆ０＋Ｂ２＿ｆ０により、タイムスタンプＳ２（０）を算出する。
【0050】
時刻Ｒ１は、撮像部２０２が垂直同期信号Ｖｓｙｎｃを出力する時刻であり、撮像部２０２が画像データＤ２（０）の出力を開始する時刻である。時刻Ｒ１では、タイムスタンプ管理部２２１は、タイムスタンプＳ２（０）と画像データＤ２（０）とを対応付けて出力する。
【0051】
撮像部２０１は、ローリングシャッタ方式の撮像素子を用いている。撮像部２０２は、グローバルシャッタ方式の撮像素子を用いている。そのため、撮像部２０１および２０２のシャッタスピードが相互に同一であるにもかかわらず、時間Ｂ１＿ｆ０およびＢ２＿ｆ０が相互に異なることがわかる。
【0052】
次に、本実施形態による効果を説明する。上記のように、タイムスタンプ管理部２２１は、撮像部２０１および２０２の共通の外部同期信号を入力し、設定値に応じてタイムスタンプＳ１（ｎ）およびＳ２（ｎ）を生成する。時間差ΔＴ（ｎ）は、タイムスタンプＳ１（ｎ）とタイムスタンプＳ２（ｎ）との差分であり、撮像部２０１および２０２の露光重心のずれ時間である。
【0053】
ＣＧ生成部２１０が生成するＣＧ画像は、画像処理後の撮像部２０２の撮像画像を基に生成されている。一方、画像合成部２０８に入力される撮像画像は、画像処理後の撮像部２０１の撮像画像である。すわなち、撮像部２０１と撮像部２０２で露光される時間的なタイミングが異なる場合、画像合成部２０８が画像合成をすると、違和感のあるＭＲ画像が生成されてしまう。本実施形態では、ＨＭＤ１０１は、時間差ΔＴ（ｎ）をタイムスタンプＳ１（ｎ）およびＳ２（ｎ）から求め、時間差ΔＴ（ｎ）を考慮して、ＣＧ画像を生成する。
【0054】
図５において、撮像部２０１のＦｒａｍｅ０におけるタイムスタンプ値は、Ｓ１（０）である。撮像部２０２のＦｒａｍｅ０におけるタイムスタンプ値は、Ｓ２（０）である。時間差ΔＴ０は、撮像部２０１の露光重心と撮像部２０２の露光重心の時間差である。例えば、撮像処理部２０６は、ΔＴ０＝｜Ｓ１（０）－Ｓ２（０）｜により時間差ΔＴ０を算出し、時間差ΔＴ０と画像処理後の撮像部２０２の撮像画像を位置姿勢計算部２０９に出力する。
【0055】
位置姿勢計算部２０９は、時間差ΔＴ０と、画像処理後の撮像部２０２の撮像画像と、動作算出部２０５の算出結果とを基に、撮像部２０１と撮像部２０２の露光重心のずれ分を考慮したＨＭＤ１０１の位置姿勢を計算する。前述した通り、位置姿勢計算部２０９は、現実世界を示す世界座標系とＨＭＤ１０１を通して観察した画像を示すカメラ座標系との関係を計算し、現実世界に対してＨＭＤ１０１がどのような位置姿勢であるかを計算する。位置姿勢計算部２０９は、時間差ΔＴと動作算出部２０５の算出結果を用いることにより、ＨＭＤ１０１の動きを考慮して、時間差ΔＴ０の時間誤差を補正することができる。具体的には、位置姿勢計算部２０９は、動作算出部２０５の算出結果を基に、ＨＭＤ１０１の移動、傾き、回転、加速度、角速度等の状態を知ることができる。すなわち、位置姿勢計算部２０９は、ＨＭＤ１０１の現実世界上での変化と時間差ΔＴ０とを基に、撮像部２０１の撮像画像が表すカメラ座標と撮像部２０２の撮像画像が表すカメラ座標の差分量がわかるので、これを考慮して、ＨＭＤ１０１の位置姿勢を計算する。位置姿勢計算部２０９は、ＨＭＤ１０１の位置姿勢の情報をＣＧ生成部２１０に出力する。
【0056】
ＣＧ生成部２１０は、位置姿勢計算部２０９により計算されたＨＭＤ１０１の位置姿勢の情報を基に、コンテンツＤＢ２１１からＣＧデータを読み込み、撮像部２０２により撮像された撮像画像の向いている方向に合わせたＣＧ画像を生成する。そして、ＣＧ生成部２１０は、そのＣＧ画像を画像合成部２０８に出力する。
【0057】
画像合成部２０８は、撮像処理部２０６から画像処理後の撮像部２０１の撮像画像を入力し、ＣＧ生成部２１０からＣＧ画像を入力する。画像合成部２０８は、画像処理後の撮像部２０１の撮像画像とＣＧ画像とを合成することによりＭＲ画像を生成し、ＭＲ画像を表示部２０３に表示する。ＭＲ画像を表示部２０３に表示することで、ＨＭＤ１０１の使用者は、外界には存在しない物体をＣＧとして視認し、ＭＲ体験をすることができる。
【0058】
以上のように、位置姿勢計算部２０９は、時間差ΔＴ０と動作算出部２０５の算出結果を用いて、ＨＭＤ１０１の位置姿勢を計算する。これにより、位置姿勢計算部２０９は、ＨＭＤ１０１の動きを考慮して、時間差ΔＴ０の時間誤差を補正した上で、ＨＭＤ１０１の位置姿勢を計算することができる。このようにすることで、撮像部２０１および２０２の露光重心が不一致であっても、画像合成部２０８は、正確な位置で、画像処理後の撮像部２０１の撮像画像とＣＧ画像とを合成することができる。
【0059】
ＨＭＤ１０１は、複数の撮像部２０１および２０２の特性と設定されたシャッタスピードの値を基に、撮像部２０１および２０２の露光重心のずれの時間差ΔＴ０を正確に求めることができる。これにより、ＨＭＤ１０１は、同期化部２２０により、複数の撮像部２０１および２０２とセンシング部２０４とを同期化させた上で、安定したフレームレートを実現することができる。
【0060】
以上のように、撮像装置は、ＨＭＤ１０１と、画像処理装置１０３を有する。ＨＭＤ１０１は、表示部２０３を有する頭部装着型装置である。
【0061】
撮像部２０１は、第１の露光期間における露光により撮像を行う。第１の露光期間は、例えば、図５のＢ１＿ｆ０＋Ｃ１＿ｆ０である。撮像部２０２は、第２の露光期間における露光により撮像を行う。第２の露光期間は、例えば、図５のＢ２＿ｆ０＋Ｃ２＿ｆ０である。タイムスタンプ管理部２２１は、タイムスタンプ生成部であり、撮像部２０１の第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する。第１のタイムスタンプは、例えば、図５のＳ１（０）である。また、タイムスタンプ管理部２２１は、撮像部２０２の第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する。第２のタイムスタンプは、例えば、図５のＳ２（０）である。
【0062】
具体的には、タイムスタンプ管理部２２１は、撮像部２０１の第１の露光期間の重心または中心を示す第１のタイムスタンプを生成する。また、タイムスタンプ管理部２２１は、撮像部２０２の露光期間の重心または中心を示す第２のタイムスタンプを生成する。
【0063】
撮像部２０１は、第１のシャッタ方式で撮像する。撮像部２０２は、第１のシャッタ方式とは異なる第２のシャッタ方式で撮像する。第１のシャッタ方式は、例えば、ローリングシャッタ方式である。第２のシャッタ方式は、例えば、グローバルシャッタ方式である。
【0064】
図５のｆｒａｍｅ１では、撮像部２０１の第１の露光期間は、例えば、Ｂ１＿ｆ１＋Ｃ１＿ｆ１である。撮像部２０２の第２の露光期間は、例えば、Ｂ２＿ｆ１＋Ｃ２＿ｆ１である。この場合、第１の露光期間の長さと第２の露光期間の長さは異なる。
【0065】
センシング部２０４は、センサデータを取得する。例えば、センシング部２０４は、ＨＭＤ１０１の動きを示すセンサデータを取得する。
【0066】
画像合成部２０８と位置姿勢計算部２０９とＣＧ生成部２１０は、画像処理部であり、撮像部２０１により撮像された画像と、撮像部２０２により撮像された画像と、第１のタイムスタンプと、第２のタイムスタンプとを基に、画像処理を行う。
【0067】
位置姿勢計算部２０９とＣＧ生成部２１０は、撮像部２０２により撮像された画像と、第１のタイムスタンプと、第２のタイムスタンプと、センサデータとを基に、コンピュータグラフィックス画像を生成する。画像合成部２０８は、撮像部２０１により撮像された画像と、上記のコンピュータグラフィックス画像とを基に、画像合成を行う。
【0068】
なお、撮像部２０１は、垂直同期信号Ｖｓｙｎｃを基に、第１の露光期間における露光を行ってもよい。その場合、同期化部２２０は、撮像部２０１の垂直同期信号Ｖｓｙｎｃを基に、外部同期信号を生成する。撮像部２０２は、同期化部２２０により生成された外部同期信号を基に、第２の露光期間における露光を行う。
【0069】
以上のように、本実施形態によれば、ＨＭＤ１０１と画像処理装置１０３は、撮像部２０１と撮像部２０２とセンシング部２０４を同期させた上で、安定したフレームレートを実現することができる。
【0070】
（第２の実施形態）
以下、図６を参照して、第２の実施形態を説明する。図６は、第２の実施形態によるＨＭＤ１０１と画像処理装置１０３の機能構成例を示すブロック図である。図６のＨＭＤ１０１は、図２のＨＭＤ１０１に対して、画像変形部６０１を追加したものである。図６の画像処理装置１０３は、図２の画像処理装置１０３と同様である。以下、第２の実施形態が第１の実施形態と異なる点を説明する。
以下、図６を参照して、第２の実施形態を説明する。図６は、第２の実施形態によるＨＭＤ１０１と画像処理装置１０３の機能構成例を示すブロック図である。図６のＨＭＤ１０１は、図２のＨＭＤ１０１に対して、画像変形部６０１を追加したものである。図６の画像処理装置１０３は、図２の画像処理装置１０３と同様である。以下、第２の実施形態が第１の実施形態と異なる点を説明する。
【0071】
ＣＧ生成部２１０は、コンテンツＤＢから読み出すＣＧデータの描画負荷状況により、スループットが変動し、レイテンシが増加する場合がある。その場合、画像合成部２０８は、ＣＧ生成部２１０からＣＧ画像を入力するタイミングが遅れるため、ＣＧ画像の位置が撮像画像の位置とは一致せず、違和感のあるＭＲ画像となる場合がある。
【0072】
そこで、画像変形部６０１は、動作算出部２０５の算出結果に基づいて、ＣＧ生成部２１０により生成されたＣＧ画像を変形する。撮像部２０１で撮像された画像は、ＨＭＤ１０１の動作に追従して変化しているので、画像変形部６０１は、ＣＧ画像の遅れを補正するように、ＣＧ画像を画像変形させる。画像変形の方法は、例えば、ホモグラフィ変換などの画像変形方法である。画像変形部６０１は、変形したＣＧ画像を画像合成部２０８に出力する。
【0073】
画像合成部２０８は、撮像処理部２０６から画像処理後の撮像部２０１の撮像画像を入力し、画像変形部６０１から変形されたＣＧ画像を入力する。画像合成部２０８は、画像処理後の撮像部２０１の撮像画像と、変形されたＣＧ画像とを合成することによりＭＲ画像を生成し、ＭＲ画像を表示部２０３に提示（表示）する。
【0074】
これにより、ＨＭＤ１０１は、ＣＧ生成部２１０でのＣＧ画像生成でレイテンシが増えたとしても、ＨＭＤ１０１の使用者にとって違和感の少ないＭＲ画像を表示部２０３に表示することができる。
【0075】
動作算出部２０５は、センシング部２０４から出力されるセンサデータを基に、ＨＭＤ１０１の移動、傾き、回転等を算出する。画像変形部６０１は、動作算出部２０５の算出結果を基に、ＣＧ画像を変形する。画像合成部２０８は、画像処理後の撮像部２０１の撮像画像と変形されたＣＧ画像を合成する。そのため、ＨＭＤ１０１は、撮像部２０１および２０２とセンシング部２０４のデータ取得タイミングを正確に把握することが必要となる。そこで、タイムスタンプ管理部２２１は、センシング部２０４が出力するセンサデータに対して、タイムスタンプを対応付けて出力する。以下、その詳細を説明する。
【0076】
図７は、第２の実施形態によるＨＭＤ１０１の制御方法の例を示すタイミングチャートである。図７のタイミングチャートを用いて、第２の実施形態における動作を説明する。図７の撮像部２０１および２０２のタイミングチャートは、図５の撮像部２０１および２０２のタイミングチャートと同じである。以下、図７のセンシング部２０４のタイミングチャートを主に説明する。
【0077】
時刻Ｅ０は、同期化部２２０が外部同期信号を撮像部２０１，２０２とセンシング部２０４とタイムスタンプ管理部２２１に出力した時刻である。撮像部２０１と撮像部２０２とセンシング部２０４とタイムスタンプ管理部２２１は、共通の外部同期信号を入力する。タイムスタンプ管理部２２１は、時刻Ｅ０におけるタイムカウンタＴｃｎｔの値を外部同期時間Ｔ０として保持する。
【0078】
センシング部２０４は、設定に基づき、サンプリングタイミングで、センサデータをサンプリングする。時刻Ｅ０からサンプリングタイミングまでの時間は、センシング部２０４の設定により一意に決まる値であり、Ａ３＿ｆ０＋Ｂ３＿ｆ０である。タイムスタンプ管理部２２１は、Ｓ３（０）＝Ｔ０＋Ａ３＿ｆ０＋Ｂ３＿ｆ０により、タイムスタンプＳ３（０）を算出する。サンプリングタイミングから時間Ｃ３＿ｆ０の後、センシング部２０４は、サンプリングしたセンサデータＤ３（０）の出力を開始する。タイムスタンプ管理部２２１は、タイムスタンプＳ３（０）とセンサデータＤ３（０）とを対応付けて動作算出部２０５に出力する。
【0079】
動作算出部２０５は、撮像部２０１のタイムスタンプＳ１（０）と、撮像部２０２のタイムスタンプＳ２（０）と、センシング部２０４のタイムスタンプＳ３（０）を基に、センサデータの取得タイミングのずれ量ΔＴ０＿１３およびΔＴ０＿２３を算出する。
【0080】
例えば、動作算出部２０５は、ΔＴ０＿１３＝｜Ｓ１（０）－Ｓ３（０）｜により、撮像部２０１の露光重心とセンシング部２０４のデータ取得タイミングとのずれ量ΔＴ０＿１３を算出する。また、動作算出部２０５は、ΔＴ０＿２３＝｜Ｓ２（０）－Ｓ３（０）｜により、撮像部２０２の露光重心とセンシング部２０４のデータ取得タイミングとのずれ量ΔＴ０＿２３を算出する。動作算出部２０５は、ずれ量ΔＴ０＿１３およびΔＴ０＿２３を画像変形部６０１に出力する。
【0081】
画像変形部６０１は、ずれ量ΔＴ０＿１３およびΔＴ０＿２３を基に、撮像画像に対するＣＧ画像の遅れを補正するように、ＣＧ生成部２１０により生成されたＣＧ画像を変形する。
【0082】
画像合成部２０８は、撮像処理部２０６から画像処理後の撮像部２０１の撮像画像を入力し、画像変形部６０１から変形されたＣＧ画像を入力する。画像合成部２０８は、画像処理後の撮像部２０１の撮像画像と、変形されたＣＧ画像とを合成することによりＭＲ画像を生成し、ＭＲ画像を表示部２０３に表示する。これにより、表示部２０３は、ＨＭＤ１０１の使用者にとって違和感の少ない画像を提示（表示）することができる。
【0083】
以上のように、センシング部２０４は、サンプリング時間におけるサンプリングによりセンサデータを取得する。タイムスタンプ管理部２２１は、センシング部２０４のサンプリング時間を示す第３のタイムスタンプを生成する。第３のタイムスタンプは、例えば、図７のＳ３（０）である。
【0084】
位置姿勢計算部２０９とＣＧ生成部２１０は、撮像部２０２により撮像された画像と、第１のタイムスタンプと、第２のタイムスタンプと、センサデータとを基に、コンピュータグラフィックス画像を生成する。第１のタイムスタンプは、例えば、図７のＳ１（０）である。第２のタイムスタンプは、例えば、図７のＳ２（０）である。
【0085】
画像変形部６０１は、第１のタイムスタンプと、第２のタイムスタンプと、第３のタイムスタンプとを基に、上記のコンピュータグラフィックス画像を変形する。画像合成部２０８は、撮像部２０１により撮像された画像と、画像変形部６０１により変形されたコンピュータグラフィックス画像とを基に、画像合成を行う。
【0086】
以上のように、本実施形態によれば、ＨＭＤ１０１と画像処理装置１０３は、撮像部２０１と撮像部２０２とセンシング部２０４を同期させた上で、安定したフレームレートを実現することができる。
【0087】
（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0088】
以上、実施形態について説明したが、本開示はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【0089】
本実施形態の開示は、以下の構成および方法を含む。
（構成１）
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部と、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
（構成２）
前記第１のタイムスタンプ生成部は、前記第１の撮像部の前記第１の露光期間の重心または中心を示す第１のタイムスタンプを生成し、
前記第２のタイムスタンプ生成部は、前記第２の撮像部の前記第２の露光期間の重心または中心を示す第２のタイムスタンプを生成することを特徴とする構成１に記載の撮像装置。
（構成３）
前記第１の撮像部は、第１のシャッタ方式で撮像し、
前記第２の撮像部は、前記第１のシャッタ方式とは異なる第２のシャッタ方式で撮像することを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記第１のシャッタ方式は、ローリングシャッタ方式であり、
前記第２のシャッタ方式は、グローバルシャッタ方式であることを特徴とする構成３に記載の撮像装置。
（構成５）
前記第１の露光期間の長さと前記第２の露光期間の長さは異なることを特徴とする構成１～４のいずれか１項に記載の撮像装置。
（構成６）
センサデータを取得するセンシング部をさらに有することを特徴とする構成１～５のいずれか１項に記載の撮像装置。
（構成７）
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする構成６に記載の撮像装置。
（構成８）
前記第１の撮像部により撮像された画像と、前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプとを基に、画像処理を行う画像処理部をさらに有することを特徴とする構成１～７のいずれか１項に記載の撮像装置。
（構成９）
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１の撮像部により撮像された画像と、前記コンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを構成６または７に記載の撮像装置。
（構成１０）
前記センシング部は、サンプリング時間におけるサンプリングによりセンサデータを取得し、
前記センシング部の前記サンプリング時間を示す第３のタイムスタンプを生成する第３のタイムスタンプ生成部をさらに有することを特徴とする構成６または７に記載の撮像装置。
（構成１１）
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記第３のタイムスタンプとを基に、前記コンピュータグラフィックス画像を変形する画像変形部と、
前記第１の撮像部により撮像された画像と、前記画像変形部により変形されたコンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを構成１０に記載の撮像装置。
（構成１２）
前記第１の撮像部は、第１の同期信号を基に、前記第１の露光期間における露光を行い、
前記第２の撮像部は、第２の同期信号を基に、前記第２の露光期間における露光を行い、
前記撮像装置は、前記第１の同期信号を基に、前記第２の同期信号を生成する同期化部をさらに有することを特徴とする構成１～１１のいずれか１項に記載の撮像装置。
（構成１３）
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする構成１～１２のいずれか１項に記載の撮像装置。
（構成１４）
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部と、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
（構成１５）
前記第１のタイムスタンプ生成部は、前記撮像部の前記露光期間の重心または中心を示す第１のタイムスタンプを生成することを特徴とする構成１４に記載の撮像装置。
（構成１６）
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする構成１４または１５に記載の撮像装置。
（構成１７）
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする構成１４～１６のいずれか１項に記載の撮像装置。
（方法１）
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部とを有する撮像装置の制御方法であって、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
（方法２）
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部とを有する撮像装置の制御方法であって、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
（構成１）
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部と、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
（構成２）
前記第１のタイムスタンプ生成部は、前記第１の撮像部の前記第１の露光期間の重心または中心を示す第１のタイムスタンプを生成し、
前記第２のタイムスタンプ生成部は、前記第２の撮像部の前記第２の露光期間の重心または中心を示す第２のタイムスタンプを生成することを特徴とする構成１に記載の撮像装置。
（構成３）
前記第１の撮像部は、第１のシャッタ方式で撮像し、
前記第２の撮像部は、前記第１のシャッタ方式とは異なる第２のシャッタ方式で撮像することを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記第１のシャッタ方式は、ローリングシャッタ方式であり、
前記第２のシャッタ方式は、グローバルシャッタ方式であることを特徴とする構成３に記載の撮像装置。
（構成５）
前記第１の露光期間の長さと前記第２の露光期間の長さは異なることを特徴とする構成１～４のいずれか１項に記載の撮像装置。
（構成６）
センサデータを取得するセンシング部をさらに有することを特徴とする構成１～５のいずれか１項に記載の撮像装置。
（構成７）
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする構成６に記載の撮像装置。
（構成８）
前記第１の撮像部により撮像された画像と、前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプとを基に、画像処理を行う画像処理部をさらに有することを特徴とする構成１～７のいずれか１項に記載の撮像装置。
（構成９）
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１の撮像部により撮像された画像と、前記コンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを構成６または７に記載の撮像装置。
（構成１０）
前記センシング部は、サンプリング時間におけるサンプリングによりセンサデータを取得し、
前記センシング部の前記サンプリング時間を示す第３のタイムスタンプを生成する第３のタイムスタンプ生成部をさらに有することを特徴とする構成６または７に記載の撮像装置。
（構成１１）
前記第２の撮像部により撮像された画像と、前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記センサデータとを基に、コンピュータグラフィックス画像を生成する生成部と、
前記第１のタイムスタンプと、前記第２のタイムスタンプと、前記第３のタイムスタンプとを基に、前記コンピュータグラフィックス画像を変形する画像変形部と、
前記第１の撮像部により撮像された画像と、前記画像変形部により変形されたコンピュータグラフィックス画像とを基に、画像合成を行う画像合成部とをさらに有することを構成１０に記載の撮像装置。
（構成１２）
前記第１の撮像部は、第１の同期信号を基に、前記第１の露光期間における露光を行い、
前記第２の撮像部は、第２の同期信号を基に、前記第２の露光期間における露光を行い、
前記撮像装置は、前記第１の同期信号を基に、前記第２の同期信号を生成する同期化部をさらに有することを特徴とする構成１～１１のいずれか１項に記載の撮像装置。
（構成１３）
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする構成１～１２のいずれか１項に記載の撮像装置。
（構成１４）
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部と、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成部と、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成部と
を有することを特徴とする撮像装置。
（構成１５）
前記第１のタイムスタンプ生成部は、前記撮像部の前記露光期間の重心または中心を示す第１のタイムスタンプを生成することを特徴とする構成１４に記載の撮像装置。
（構成１６）
前記センシング部は、前記撮像装置の動きを示すセンサデータを取得することを特徴とする構成１４または１５に記載の撮像装置。
（構成１７）
前記撮像装置は、表示部を有する頭部装着型装置であることを特徴とする構成１４～１６のいずれか１項に記載の撮像装置。
（方法１）
第１の露光期間における露光により撮像を行う第１の撮像部と、
第２の露光期間における露光により撮像を行う第２の撮像部とを有する撮像装置の制御方法であって、
前記第１の撮像部の前記第１の露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記第２の撮像部の前記第２の露光期間内の露光タイミングを示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
（方法２）
露光期間における露光により撮像を行う撮像部と、
サンプリング時間におけるサンプリングによりセンサデータを取得するセンシング部とを有する撮像装置の制御方法であって、
前記撮像部の前記露光期間内の露光タイミングを示す第１のタイムスタンプを生成する第１のタイムスタンプ生成ステップと、
前記センシング部の前記サンプリング時間を示す第２のタイムスタンプを生成する第２のタイムスタンプ生成ステップと
を有することを特徴とする撮像装置の制御方法。
【符号の説明】
【0090】
１０１ ＨＭＤ、１０２ 表示装置、１０３ 画像処理装置、１０４ 操作部、２０１ 撮像部、２０２ 撮像部、２０３ 表示部、２０４ センシング部、２０５ 動作算出部、２０６ 撮像処理部、２０７ 演算部、２０８ 画像合成部、２０９ 位置姿勢計算部、２１０ ＣＧ生成部、２１１ コンテンツＤＢ、２２０ 同期化部、２２１ タイムスタンプ管理部、６０１ 画像変形部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】