知財求人 - 知財ポータルサイト「IP Force」
- 横河電機株式会社 (東京都武蔵野市)
- 早稲田大学リサーチイノベーションセンター (東京都)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】画像処理装置、画像処理システム、および画像処理方法
(51)【国際特許分類】
H04N 13/106 20180101AFI20220620BHJP
H04N 13/194 20180101ALI20220620BHJP
H04N 13/344 20180101ALI20220620BHJP
H04N 7/01 20060101ALI20220620BHJP
G09G 5/00 20060101ALI20220620BHJP
G09G 5/36 20060101ALI20220620BHJP
【ＦＩ】
H04N13/106
H04N13/194
H04N13/344
H04N7/01 270
G09G5/00 550H
G09G5/36 510M
G09G5/36 510V
【請求項の数】
7
(21)【出願番号】P 2017185468
(22)【出願日】2017-09-26
(65)【公開番号】P2019062397
(43)【公開日】2019-04-18
【審査請求日】2020-09-25
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】梶田 佳樹
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開平０７－２８４１２７（ＪＰ，Ａ）
【文献】特開２０１３－０４２２１６（ＪＰ，Ａ）
【文献】国際公開第２０１２／０６３５４２（ＷＯ，Ａ１）
【文献】特開２０１４－０８２６８６（ＪＰ，Ａ）
【文献】特開２０１６－０１００８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｈ０４Ｎ ７／０１
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
画像処理装置であって、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第１の撮像画像処理手段と、
前記第１の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに１フレームおきにフレームの間引き処理を行う間引き手段と、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第２の撮像画像処理手段と、
前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにＣＧが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第１の表示用画像処理手段と、
前記第１の表示用画像処理手段によって画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第２の表示用画像処理手段とを有することを特徴とする画像処理装置。
【請求項2】
前記間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、右の動画像データにおいて、左の動画像データで間引きされる一方のフレームとは異なるもう一方フレームを間引きする間引き処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、右の動画像データにおいて、左の動画像データで間引きされる一方のフレームと同じ一方のフレームを間引きする間引き処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項4】
第１の画像処理装置と第２の画像処理装置とを有する画像処理システムであって、前記第１の画像処理装置は、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第１の撮像画像処理手段と、
前記第１の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに１フレームおきにフレームの間引き処理を行う第１の間引き手段と、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第２の撮像画像処理手段と、を有し、
前記第２の画像処理装置は、
前記第１の画像処理装置より送信された左右の動画像データに対して、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第３の撮像画像処理手段と、
前記第３の撮像画像処理手段によって撮像画像処理が行われた動画像データを左右に分配し、当該分配された左右の動画像データを前記所定のフレームレートで２回続けて読み出して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第４の撮像画像処理手段と、
前記第４の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれにＣＧを合成して左右の表示用動画像データを生成する生成手段と、
前記生成手段によって生成された左右の表示用動画像データに対して、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第１の表示用画像処理手段と、
前記第１の表示用画像処理手段によって表示用画像処理が行われた左右の表示用動画像データのそれぞれに対して、フレームの周期を変更せずに１フレームおきにフレームの間引き処理を行う第２の間引き手段と、
前記第２の間引き手段により間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して前記第１の画像処理装置に送信する第２の表示用画像処理手段とを有し、
前記第１の画像処理装置はさらに、
前記第２の画像処理装置から送信された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第３の表示用画像処理手段と、
前記第３の表示用画像処理手段によって表示用画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第４の表示用画像処理手段とを有することを特徴とする画像処理システム。
【請求項5】
前記第１の間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、右の動画像データにおいて、左の動画像データで間引きされる一方のフレームとは異なるもう一方フレームを間引きする間引き処理を行うことを特徴とする請求項４に記載の画像処理システム。
【請求項6】
前記第１の間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、右の動画像データにおいて、左の動画像データで間引きされる一方のフレームと同じ一方のフレームを間引きする間引き処理を行うことを特徴とする請求項４に記載の画像処理システム。
【請求項7】
画像処理装置による画像処理方法であって、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第１の撮像画像処理ステップと、
前記第１の撮像画像処理ステップにおいて撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに１フレームおきにフレームの間引き処理を行う間引きステップと、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第２の撮像画像処理ステップと、
前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにＣＧが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第１の表示用画像処理ステップと、
前記第１の表示用画像処理ステップにおいて画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第２の表示用画像処理ステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像データの伝送量削減を行う技術に関する。
【背景技術】
【0002】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、「ＨＭＤ」と称する）を利用するものがある。このシステムでは、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる。
【0003】
図１５は、ビデオシースルー型ＨＭＤを利用した一般的な複合現実感システム（以降、ＭＲシステム）の機能ブロック図である。この図を使用して概要を説明する。
【0004】
ビデオシースルー型ＨＭＤ１５０１は、撮像部１５０３、表示部１５０４、位置姿勢センサ１５０５、ＨＭＤ側インタフェース１５０６から構成される。画像処理装置１５０２は、装置側インタフェース１５０７、位置姿勢情報生成部１５０８、コンテンツＤＢ（データベース）１５０９、ＣＧ描画合成部１５１０から構成される。画像処理装置１５０２は、ＨＭＤ１５０１から受け取った撮像画像及び三次元位置姿勢情報に基づきＣＧを描画し、撮像画像との合成処理を行う。一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。
【0005】
ＨＭＤ１５０１の撮像部１５０３は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する。一般にはステレオ画像を生成するために右目用、左目用の二つの撮像素子と光学系及び後段の画像処理を行うためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）から構成される。
【0006】
表示部１５０４は、合成されたＭＲ画像の表示を行う。こちらも右目用、左目用の二つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【0007】
位置姿勢センサ１５０５は、ＨＭＤ装着者の位置姿勢情報を得るためのセンサ情報を取得する。位置姿勢センサとしては、磁気センサやジャイロセンサ（加速度、角速度）等が使用される。
【0008】
ＨＭＤ側インタフェース１５０６は、撮像部１５０３で撮像された画像や位置姿勢センサ１５０５で取得された位置姿勢センサ情報の画像処理装置１５０２への伝送、及び合成されたＭＲ画像のＨＭＤ１５０１への伝送を行う。
【0009】
装置側インタフェース１５０７は、画像処理装置側のインタフェースであり、ＨＭＤ側インタフェース１５０６とのデータ伝送を行う。
【0010】
位置姿勢情報生成部１５０８は、受け取った撮像画像や位置姿勢センサ情報をもとにＨＭＤ装着者の位置姿勢情報を生成する。
【0011】
コンテンツＤＢ１５０９は、仮想画像のコンテンツを格納しているデータベースである。
【0012】
ＣＧ描画合成１５１０は、位置姿勢情報とコンテンツＤＢの情報によりＣＧを描画し、撮像画像と合成する。ここで得られたＭＲ画像を装置側インタフェース１５０７、ＨＭＤ側インタフェース１５０６を介してＨＭＤ１５０１に送り、表示部１５０４で表示させる。
【0013】
一般的に、ＨＭＤ側インタフェース１５０６、装置側インタフェース１５０７間の伝送には、ＭＲシステムに求められるリアルタイム性、かつ大容量のデータ伝送を実現するため、メタル線や光ファイバ等を用いた多芯ケーブルによる有線接続が用いられる。ＨＭＤ装着者がケーブルによる動きの制約を受けることなく、より自由にＭＲ空間を体験できるようにするためは、ＨＭＤ側インタフェース、装置側インタフェース間のデータ伝送に用いるケーブルの細線化や、伝送の無線化が望まれる。例えば、画像符号化やフレームレート変換等のデータ量削減手法を組み合わせることにより、ケーブルの細線化が可能であり、また、近年の無線伝送技術の向上もあって、同様の方法を用いることで無線伝送を行うことも可能となってきている。
【0014】
ディスプレイのフレームレートの１／２のフレームレートを有する動画像データから左目用画像データと右目用画像データとを生成し、左目用画像データと右目用画像データとを時分割に出力する手法が以下の特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0015】
【文献】特開２０１５－３９０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかし、特許文献１の手法では、ディスプレイのフレームレートの１／２のフレームレートの動画像データを使用することにより、動画像データに対して複数の画像処理を実施する際の処理遅延の蓄積が膨大になる。例えば、ディスプレイのフレームレートを６０ｆｐｓとした場合、１フレームあたりの伝送時間は１／６０秒となるが、１／２のフレームレートである３０ｆｐｓの動画像データでは、１フレームあたりの伝送時間が１／３０秒となる。すなわち、フレームメモリを使用する画像処理を行う際に、１フレーム分のデータがフレームメモリにたまるまでの時間の差は１／６０秒となり、これはそのまま最終的にディスプレイに表示されるまでの処理遅延として現れることとなる。したがって、フレームメモリ、ラインメモリ等を利用する画像処理を多用するほど、６０ｆｐｓの動画像データと、３０ｆｐｓの動画像データとの画像処理における処理遅延の差は大きくなる。
【0017】
そこで、本発明は、動画像データのフレーム間引処理を行うことにより、各種画像処理における処理遅延を増加させることなく、データ量の削減を実現することを目的とする。
【課題を解決するための手段】
【0018】
上記課題を解決するために、本発明は、画像処理装置に、左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第１の撮像画像処理手段と、前記第１の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに１フレームおきにフレームの間引き処理を行う間引き手段と、前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第２の撮像画像処理手段と、前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにＣＧが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第１の表示用画像処理手段と、前記第１の表示用画像処理手段によって画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第２の表示用画像処理手段とを備えることを特徴とする。
【発明の効果】
【0019】
以上の構成によれば、本発明は、動画像データのフレーム間引処理を行うことにより、各種画像処理における処理遅延を増加させることなく、データ量の削減を実現することが可能となる。
【図面の簡単な説明】
【0020】
【図1】撮像機能付表示装置を利用したＭＲシステムの装置構成を示す図である。
【図2】ＭＲシステムにおける画像合成について説明する図である。
【図3】本発明の第１の実施形態における画像処理システムの構成の一例を示す図である。
【図4】フレームレートの異なる動画像データに対する画像処理における遅延の蓄積について説明する図である。
【図5】本発明の第１の実施形態における画像処理システムの撮像部から位置姿勢情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【図6】本発明の第１の実施形態における画像処理システムのＣＧ描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【図7】本発明の第２の実施形態における画像処理システムの構成の一例を示す図である。
【図8】奥行情報を考慮した画像合成について説明する図である。
【図9】左目用、右目用の撮像画像中に含まれる任意の被写体の奥行情報生成を説明する図である。
【図10】本発明の第２の実施形態における画像処理システムの撮像部から奥行情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【図11】本発明の第２の実施形態における画像処理システムのＣＧ描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【図12】本発明の第３の実施形態における画像処理システムのＨＭＤと画像処理装置間のデータ伝送をケーブルを用いた有線伝送で行う構成について説明する図である。
【図13】本発明の第３の実施形態における画像処理システムのＨＭＤと画像処理装置間のデータ伝送をＨＭＤ側無線ボックス、装置側無線ボックス介しての無線伝送で行う構成について説明する図である。
【図14】本発明の第４の実施形態における画像処理システムの構成の一例を示す図である。
【図15】ビデオシースルー型ＨＭＤを利用した一般的なＭＲシステムの機能ブロック図である。
【発明を実施するための形態】
【0021】
［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、撮像機能付表示装置を利用したＭＲシステムの装置構成を示す図である。
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、撮像機能付表示装置を利用したＭＲシステムの装置構成を示す図である。
【0022】
撮像機能付表示装置を利用したＭＲシステムは、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１０１、コントローラ１０２、ＰＣ１０３から構成される。ＨＭＤ１０１は、使用者の観察している視界の現実空間の撮像画像を取得するための撮像部を有する。また、撮像画像やＰＣ１０３からの入力画像、または撮像画像にＰＣ１０３で生成したＣＧ画像を重畳した合成画像などの表示用画像を装着者に提供するための表示部を有する。図１では、ＨＭＤ１０１とコントローラ１０２間を有線接続としているが、これは無線接続でもよい。ＨＭＤ１０１は、コントローラ１０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。ＨＭＤ１０１、コントローラ１０２、ＰＣ１０３のいずれかには、ＨＭＤ装着者の三次元位置姿勢情報を生成するための位置姿勢情報生成部を有する。三次元位置姿勢情報は、ＨＭＤの撮像部、あるいは別途設置した客観カメラで取得した画像情報や、加速度センサやジャイロセンサ、磁気センサ等の各種センサ情報を用いて生成する。コントローラ１０２と接続されたＰＣ１０３は、三次元位置姿勢情報に基づき、ＨＭＤ装着者の視点から観察されるＣＧ画像の描画、合成を行うＣＧ描画合成部を有する。コントローラ１０２は、画像の解像度変換、色空間変換、光学系の歪み補正、画像符号化等の各種画像処理機能、及び伝送機能を備えている。図１では、コントローラ１０２とＰＣ１０３を別々のハードウェア構成としているが、コントローラ１０２とＰＣ１０３がそれぞれ有する機能を集め、専用の画像処理装置１０４として構成することも可能である。以降の説明では機能的な観点から、コントローラ１０２とＰＣ１０３がそれぞれ有する機能を組み合わせたものを画像処理装置１０４として表記して説明する。
【0023】
図２は、ＭＲシステムにおける画像合成について説明する図である。撮像画像２０１はＨＭＤの撮像部で現実空間を撮像した画像である。ＭＲシステム用のＨＭＤにおいては、撮像部の撮像範囲の中心光軸が、ＨＭＤ装着者の視線方向に略一致するように配置されることが好ましい。撮像画像中のマーカー２０２は、ＨＭＤ装着者の位置姿勢を算出するために用いられる指標である。ＣＧ画像２０３は、画像処理装置内のＣＧ描画合成部で位置姿勢情報に基づいて描画された画像であり、仮想空間のＣＧオブジェクト２０４が描画されている。ＣＧ描画合成部において、撮像画像２０１にＣＧ画像２０３を重畳して、ＭＲ画像２０５を生成し、ＨＭＤの表示部で表示することにより、ＨＭＤ装着者にＭＲ空間を提供することができる。画像合成の際に、三次元空間上の奥行きに関する情報を利用することにより、ＣＧ画像を透過させた半透明合成画像を生成することも可能である。
【0024】
図３は、本発明の第１の実施形態における画像処理システムの構成の一例を示す図である。本発明の第１の実施形態における画像処理システムは、以下の構成を有するＨＭＤ１０１、及び画像処理装置１０４で構成される。ＨＭＤ１０１は、撮像部３０１、位置姿勢センサ３０２、ＨＭＤ側撮像画像処理部３０３、ＨＭＤ側間引処理部３０４、ＨＭＤ側撮像画像制御部３０５、ＨＭＤ側共通撮像画像処理部３０６を有する。また、ＨＭＤ側Ｉ／Ｆ（インタフェース）３０７、ＨＭＤ側共通表示画像処理部３２０、ＨＭＤ側表示画像制御部３２１、表示フレームメモリ３２２、ＨＭＤ側表示画像処理部３２３、表示部３２４を有する。
【0025】
画像処理装置１０４は、装置側Ｉ／Ｆ３０８、装置側共有撮像画像処理部３０９、装置側撮像画像制御部３１０を有する。また、撮像フレームメモリ３１１、装置側撮像画像処理部３１２、位置姿勢情報生成部３１３、コンテンツＤＢ（データベース）３１４、ＣＧ描画合成部３１５、装置側表示画像処理部３１６を有する。また、装置側間引処理部３１７、装置側表示画像制御部３１８、装置側共通表示画像処理部３１９を有する。
【0026】
ＨＭＤ側Ｉ／Ｆ３０７及び装置側Ｉ／Ｆ３０８は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のＬ、またはＲの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0027】
ＨＭＤ１０１の撮像部３０１は、ＨＭＤ装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。撮像部は撮像デバイスと撮像光学系から構成され、撮像デバイスとしては、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどが使用される。
【0028】
位置姿勢センサ３０２は、ＨＭＤ装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。この位置姿勢センサ５０３としては、例えば、客観カメラや、磁気センサ、加速度センサ、角速度センサ等が使用される。位置姿勢センサ５０３は、必ずしもＨＭＤ１０１内に有している必要はなく、例えば、ＨＭＤ装着者の周囲に設置した客観カメラの撮像画像から必要な情報を得る構成でもよい。
【0029】
ＨＭＤ側撮像画像処理部３０３は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
【0030】
ＨＭＤ側間引処理部３０４は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。フレーム間引処理は、いわゆるフレームレート変換のようなデータ量削減と同時にフレームの周期自体が変更されるものではなく、フレーム周期は入出力間で変更せずに、後段へ送るフレーム数を削減することにより動画像データ量を削減するものである。
【0031】
ＨＭＤ側撮像画像制御部３０５は、ＨＭＤ側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のＨＭＤ側共通撮像画像処理部３０６へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の撮像画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及びＨＭＤ側Ｉ／Ｆ３０７で送信可能なフレーム数に収まるように制御される。
【0032】
ＨＭＤ側共通撮像画像処理部３０６は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0033】
ＨＭＤ側Ｉ／Ｆ３０７は、画像処理装置１０４の装置側Ｉ／Ｆ３０８との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ３０２で取得したセンサ情報の送信を行う。また、表示部３２４で表示するための表示画像の受信、その他制御信号の送受信も行う。
【0034】
ＨＭＤ側共通表示画像処理部３２０は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。
【0035】
ＨＭＤ側表示画像制御部３２１は、フレーム間引処理後の左目用、右目用の表示画像から、表示部３２４において表示可能なフレームレートを有する左目用、右目用の表示画像の再構成を行う。具体的には、フレーム間引処理後の左目用、右目用の表示画像を、それぞれ左目用、右目用の表示フレームメモリ３２２に分配、格納し、表示部３２４でのフレームレートに合わせて、最新の表示画像を表示フレームメモリから出力する制御を行う。
【0036】
表示フレームメモリ３２２は、左目用表示画像、右目用表示画像をそれぞれ格納し、ＨＭＤ側表示画像制御部３２１の制御に基づき、ＨＭＤ側表示画像処理部３２３に表示画像を出力する。
【0037】
ＨＭＤ側表示画像処理部３２３は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。例えば、オフセット調整やゲイン調整、あるいは表示光学系の歪み補正といった表示デバイスや表示光学系の個体バラツキを補正する処理が挙げられる。
【0038】
表示部３２４は、ＣＧが重畳されたＭＲ画像をＨＭＤ装着者の左目、右目にそれぞれ表示するものである。図３では省略しているが、表示部３２４は、表示デバイスと表示光学系から構成される。この表示デバイスとしては、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスなどが使用される。
【0039】
画像処理装置１０４の装置側Ｉ／Ｆ３０８は、ＨＭＤ１０１のＨＭＤ側Ｉ／Ｆ３０７との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ３０２で取得したセンサ情報の受信を行う。また、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0040】
装置側共通撮像画像処理部３０９は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0041】
装置側撮像画像制御部３１０は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ３１１に分配する。そして、表示部３２４において表示可能なフレームレートに合わせて、撮像フレームメモリ３１１から撮像画像を出力する制御を行う。
【0042】
撮像フレームメモリ３１１は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部３１０の制御に基づき、装置側撮像画像処理部３１２に撮像画像を出力する。
【0043】
装置側撮像画像処理部３１２は、撮像フレームメモリ３１１から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、ＨＭＤ側撮像画像処理部３０３と同様に、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部３１２と、ＨＭＤ側撮像画像処理部３０３との間で実行する画像処理をそれぞれ分散させてもよい。
【0044】
位置姿勢情報生成部３１３は、位置姿勢センサ３０２で取得したセンサ情報や、撮像部３０１で取得した撮像画像情報、あるいはその両方の情報からＨＭＤ１０１の三次元位置姿勢情報を算出する。
【0045】
コンテンツＤＢ３１４は、ＣＧ描画用のコンテンツを格納するデータベースである。ＣＧ描画合成部３１５は、三次元位置姿勢情報に基づいて、ＣＧ画像の描画、及び撮像画像とＣＧ画像の合成を実行し、ＭＲ体験用の表示画像を生成する。
【0046】
装置側表示画像処理部３１６は、ＣＧ描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、ＨＭＤ側表示画像処理部３２３と同様に、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部３１６と、ＨＭＤ側表示画像処理部３２３との間で実行する画像処理をそれぞれ分散させてもよい。
【0047】
装置側間引処理部３１７は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0048】
装置側表示画像制御部３１８は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部３１９へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の表示画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及び装置側Ｉ／Ｆ３０８で送信可能なフレーム数に収まるように制御される。
【0049】
装置側共通表示画像処理部３１９は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側共通表示画像処理部３２０と同様に、左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部３１９と、ＨＭＤ側共通表示画像処理部３２０との間で実行する画像処理をそれぞれ分散させてもよい。
【0050】
以上の構成により、ＨＭＤ１０１の装着者は、撮像画像とＣＧ画像が合成された臨場感の高いＭＲ画像を体験することが可能となる。
【0051】
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0052】
図４は、フレームレートの異なる動画像データに対する画像処理における遅延の蓄積について説明する図である。
【0053】
図４では、撮像部で取得された撮像画像に対して、画像処理Ａ、画像処理Ｂ、伝送、画像処理Ｃを介して、表示部で表示する処理が行われた場合について説明を行う。
【0054】
図４（ａ）はフレームレート６０ｆｐｓの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像Ｃ１の撮像の開始時刻を０とした場合、撮像画像Ｃ１の取得の完了時刻は１／６０秒後となる。続く、画像処理Ａは画像１面分のフレームメモリを必要とする画像処理とした場合、画像処理Ａが開始される、すなわち処理画像ＰＡ１が出力されるのは撮像画像Ｃ１の取得完了後からとなる。画像処理Ｂは画像１／３面分のラインメモリを必要とする処理とした場合、画像処理Ｂによる処理画像ＰＢ１が出力されるのは、処理画像ＰＡ１を１／３面分出力後からとなる。同様に伝送、画像処理Ｃ、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、それぞれの処理遅延を蓄積していった場合、撮像画像Ｃ１が、最終的に表示部で表示画像Ｄ１として表示開始される時刻はＴ１となる。
【0055】
図４（ｂ）はフレームレート３０ｆｐｓの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像Ｃ１の撮像の開始時刻を０とした場合、撮像画像Ｃ１の取得の完了時刻は１／３０秒後となる。続く、画像処理Ａでは、上述したように画像１面分のフレームメモリを必要とするため、処理画像ＰＡ１が出力されるのは１／３０以降となる。６０ｆｐｓの場合と同様に画像処理Ｂ、伝送、画像処理Ｃ、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、各処理遅延を蓄積していった場合、撮像画像Ｃ１が、最終的に表示部で表示画像Ｄ１として表示開始される時刻はＴ２となる。
【0056】
以上のように、フレームレートが異なる動画像データに対して各種画像処理を行うことで、Ｔ２とＴ１の差分ΔＴが生じることが確認できる。また、図４では省略して図示を行っているが、実際には、各処理ごとに必要となるメモリ分の遅延に加えて、各処理でかかる処理時間も遅延時間として蓄積される。例えば、各画像処理において動画像データのピクセルクロックを用いて処理が行われ、ピクセルクロック単位での処理遅延が生じるような場合には、ΔＴの値はさらに大きくなる。
【0057】
図５は、本発明の第１の実施形態における画像処理システムの撮像部から位置姿勢情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0058】
本実施の形態における画像処理システムは、ＨＭＤ１０１の撮像部３０１のフレームレート、及び表示部３２４のフレームレートを６０ｆｐｓとして説明を行う。
【0059】
撮像部３０１では左目用撮像画像ＣＬｎ、右目用撮像画像ＣＲｎ（ｎは１以上の整数）の撮像が行われる。１枚目の左目用撮像画像ＣＬ１、１枚目の右目用撮像画像ＣＲ１の撮像開始時刻を０とした場合、撮像画像ＣＬ１、ＣＲ１の取得の完了時刻は１／６０秒後となる。
【0060】
続く、ＨＭＤ側撮像画像処理部３０３で左目用、右目用の撮像画像処理が並行して行われ、処理画像Ｐ１Ｌｎ、Ｐ１Ｒｎ（ｎは１以上の整数）が生成される。
【0061】
ＨＭＤ側間引処理部３０４では、ＨＭＤ１０１から画像処理装置１０４への撮像画像の伝送データ量を削減するために左目用処理画像Ｐ１Ｌｎから偶数フレームを、右目用処理画像Ｐ１Ｒｎから奇数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像Ｐ１Ｌ（２ｎ－１）、Ｐ１Ｒ２ｎ（ｎは１以上の整数）は後段の処理ブロックに時分割で出力される。ここでは、データ量を１／２に削減するために左右で偶数、奇数フレームをそれぞれ間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
【0062】
ＨＭＤ側共通撮像画像処理部３０６では、時分割出力される左目用撮像画像、右目用撮像画像に対して、共通の画像処理が実行され、処理画像Ｐ２Ｌ（２ｎ－１）、Ｐ２Ｒ２ｎ（ｎは１以上の整数）が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
【0063】
続いて、ＨＭＤ側インタフェース３０７、装置側インタフェース３０８を介して、伝送画像Ｔ１Ｌ（２ｎ－１）、Ｔ１Ｒ２ｎ（ｎは１以上の整数）の伝送が行われる。
【0064】
装置側共通撮像画像処理部３０９では、ＨＭＤ側共通撮像画像処理部３０６と同様に時分割で伝送されるＴ１Ｌ（２ｎ－１）、Ｔ１Ｒ２ｎ（ｎは１以上の整数）に対して、共通の画像処理が実行される。それにより、処理画像Ｐ３Ｌ（２ｎ－１）、Ｐ３Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0065】
続く、撮像フレームメモリ３１１Ｌには左目用処理画像Ｐ３Ｌ（２ｎ－１）が、撮像フレームメモリ３１１Ｒには右目用処理画像Ｐ３Ｒ２ｎがそれぞれ格納される。撮像フレームメモリ３１１からは６０ｆｐｓの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が２回続けて出力される。
【0066】
装置側撮像画像処理部３１２では、ＨＭＤ側撮像画像処理部３０３と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像Ｐ４Ｌ（２ｎ－１）、Ｐ４Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0067】
位置姿勢情報生成部３１３では、処理画像Ｐ４Ｌ（２ｎ－１）、Ｐ４Ｒ２ｎ、及び位置姿勢センサ３０２で取得されたセンサ情報を用いてＨＭＤ１０１の三次元位置姿勢情報を算出する。そして、処理画像Ｐ５Ｌ（２ｎ－１）、Ｐ５Ｒ２ｎ（ｎは１以上の整数）が後段へ出力される。
【0068】
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像ＣＬ１の取得が開始されてから、位置姿勢情報生成部で位置姿勢情報と対応づけられた処理画像Ｐ５Ｌ１の出力が開始されるまでの処置遅延はＴＣとなる。
【0069】
図６は、本発明の第１の実施形態における画像処理システムのＣＧ描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0070】
ＣＧ描画合成部３１５では、三次元位置姿勢情報に基づいたＣＧ画像の描画と、左目用、右目用処理画像Ｐ５Ｌ（２ｎ－１）、Ｐ５Ｒ２ｎとの合成処理を行い、左目用ＭＲ画像ＭＲＬ（２ｎ－１）、右目用ＭＲ画像ＭＲＲ２ｎ（ｎは１以上の整数）を生成する。
【0071】
装置側表示画像処理部３１６では、左目用、右目用の表示画像処理が並行して行われ、処理画像Ｐ６Ｌ（２ｎ－１）、Ｐ６Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0072】
装置側間引処理部３１７では、画像処理装置１０４からＨＭＤ１０１への表示画像の伝送データ量を削減するために左目用処理画像Ｐ６Ｌ（２ｎ－１）、右目用処理画像Ｐ６Ｒ２ｎから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像Ｐ６Ｌ（２ｎ－１）、Ｐ６Ｒ２ｎは後段の処理ブロックに時分割で出力される。
【0073】
装置側共通表示画像処理部３１９では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像Ｐ７Ｌ（２ｎ－１）、Ｐ７Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0074】
続いて、装置側インタフェース３０８、ＨＭＤ側インタフェース３０７を介して、伝送画像Ｔ２Ｌ（２ｎ－１）、Ｔ２Ｒ２ｎ（ｎは１以上の整数）の伝送が行われる。
【0075】
ＨＭＤ側共通表示画像処理部３２０では、装置側共通表示画像処理部３１９と同様に時分割で伝送されるＴ２Ｌ（２ｎ－１）、Ｔ２Ｒ２ｎに対して、共通の画像処理が実行され、処理画像Ｐ８Ｌ（２ｎ－１）、Ｐ８Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0076】
続く、表示フレームメモリ３２２Ｌには左目用処理画像Ｐ８Ｌ（２ｎ－１）が、表示フレームメモリ３２２Ｒには右目用処理画像Ｐ８Ｒ２ｎがそれぞれ格納される。表示フレームメモリ３２２からは６０ｆｐｓの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が２回続けて出力される。
【0077】
ＨＭＤ側表示画像処理部３２３では、装置側表示画像処理部３１６と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像Ｐ９Ｌ（２ｎ－１）、Ｐ９Ｒ２ｎ（ｎは１以上の整数）が生成される。
【0078】
表示部３２４では、処理画像Ｐ９Ｌ（２ｎ－１）、Ｐ９Ｒ２ｎが、それぞれ左目用表示画像ＤＬ（２ｎ－１）、右目用表示画像ＤＲ２ｎ（ｎは１以上の整数）として表示される。
【0079】
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像ＣＬ１の取得が開始されてから、最終的に表示部において表示画像ＤＬ１として表示が開始されるまでの処置遅延はＴＤとなる。
【0080】
ここで注目するべきは、ＨＭＤ１０１と画像処理装置１０４間で伝送される画像データ量は撮像画像、表示画像ともに３０ｆｐｓと同等に落とされているということである。しかしながら、撮像から表示に至るまでの全ての処理は６０ｆｐｓで実行されているため、フレームレート変換後に３０ｆｐｓで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積を抑えることが可能となっている。
【0081】
以上の構成を有することにより、本実施の形態における画像処理システムは、左目用、右目用画像間でのフレーム間引処理、及び時分割出力を行い、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。
【0082】
［第２の実施形態］
本発明を実現するのに好適な第２の実施の形態を図に従って説明する。第１の実施形態では、左目用画像データの偶数フレーム、右目用画像データの奇数フレームをそれぞれ間引処理していた。しかし、第１の実施形態では、位置姿勢情報生成部において三次元位置姿勢情報算出に用いられる左目用撮像画像と右目用撮像画像、及び表示部において表示される左目用表示画像と、右目用表示画像の生成時刻にズレが生じるという問題がある。これを解決する手段として、本実施形態では、間引処理のタイミングを左目用画像と右目用画像で同期させる例を説明する。なお、第１の実施形態と重複する部分については説明を省略する。
本発明を実現するのに好適な第２の実施の形態を図に従って説明する。第１の実施形態では、左目用画像データの偶数フレーム、右目用画像データの奇数フレームをそれぞれ間引処理していた。しかし、第１の実施形態では、位置姿勢情報生成部において三次元位置姿勢情報算出に用いられる左目用撮像画像と右目用撮像画像、及び表示部において表示される左目用表示画像と、右目用表示画像の生成時刻にズレが生じるという問題がある。これを解決する手段として、本実施形態では、間引処理のタイミングを左目用画像と右目用画像で同期させる例を説明する。なお、第１の実施形態と重複する部分については説明を省略する。
【0083】
図７は、本発明の第２の実施形態における画像処理システムの構成の一例を示す図である。本発明の第２の実施形態における画像処理システムは、以下の構成を有するＨＭＤ１０１、及び画像処理装置１０４で構成される。ＨＭＤ１０１は、撮像部３０１、位置姿勢センサ３０２、ＨＭＤ側撮像画像処理部３０３、ＨＭＤ側間引処理部３０４、ＨＭＤ側撮像画像制御部３０５、ＨＭＤ側共通撮像画像処理部３０６を有する。また、ＨＭＤ側Ｉ／Ｆ（インタフェース）３０７、ＨＭＤ側共通表示画像処理部３２０、ＨＭＤ側表示画像制御部３２１、表示フレームメモリ３２２、ＨＭＤ側表示画像処理部３２３、表示部３２４を有する。
【0084】
画像処理装置１０４は、装置側Ｉ／Ｆ３０８、装置側共有撮像画像処理部３０９、装置側撮像画像制御部３１０、撮像フレームメモリ３１１、装置側撮像画像処理部３１２、位置姿勢情報生成部３１３を有する。また、奥行情報生成部７０１、コンテンツＤＢ（データベース）３１４、ＣＧ描画合成部３１５、装置側表示画像処理部３１６、装置側間引処理部３１７、装置側表示画像制御部３１８、装置側共通表示画像処理部３１９を有する。
【0085】
ＨＭＤ側Ｉ／Ｆ３０７及び装置側Ｉ／Ｆ３０８は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のＬ、またはＲの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0086】
本実施の形態における画像処理システムは、画像処理装置１０４に奥行情報生成部７０１を有しており、奥行情報を考慮して撮像画像とＣＧ画像の合成を行うことを特徴としている。以下、この点に関して説明する。
【0087】
画像処理装置１０４の位置姿勢情報生成部３１３は、ＨＭＤ１０１の位置姿勢センサ３０２で取得したセンサ情報、撮像部３０１で取得した撮像画像、あるいはその両方の情報からＨＭＤ１０１の三次元位置姿勢情報を算出する。
【0088】
奥行情報生成部７０１は、左目用、右目用の撮像画像の中から奥行検出対象となる任意の被写体を抽出し、三角測量の原理を用いたステレオ法により被写体の奥行情報を算出する。撮像画像の中から被写体を検出する方法としては、マーカー形状や特徴点等を検出して用いる方法や、カラーマーカーや衣服、肌色等の色情報を検出して用いる方法などがあり、それらを組み合わせて検出精度をより向上させることも可能である。
【0089】
ＣＧ描画合成部３１５は、三次元位置姿勢情報と奥行情報に基づいてＣＧ画像の描画、撮像画像との合成を実行し、ＭＲ体験用の表示画像を生成する。
【0090】
以上の構成により、ＨＭＤ１０１の装着者は、撮像画像中の任意の被写体とＣＧ画像との奥行関係を考慮して合成された臨場感の高いＭＲ画像を体験することが可能となる。
【0091】
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0092】
図８は、奥行情報を考慮した画像合成について説明する図である。図８（ａ）は、ＭＲ体験の対象となるシーンを模式的に示した図である。体験者が手８０１を動かしてＣＧオブジェクト８０２とインタクラクションしているところをＨＭＤ１０１の撮像部で撮像している。なお、以下では、ＣＧオブジェクト８０２とのインタラクションを行う被写体が手８０１だとして説明を行うが、本発明はこれに限定されず、任意の被写体に適用可能である。
【0093】
図８（ｂ）、及び図８（ｃ）は、ＭＲ体験においてＨＭＤ１０１の表示部に表示される映像を模式的に示す図である。ＭＲ体験において、体験者が実際にＣＧオブジェクト８０２が存在しているように感じるには、手８０１とＣＧオブジェクト８０２との前後関係を考慮した上で、ＣＧオブジェクト８０２のＣＧ画像を描画、合成する必要がある。つまり、ＨＭＤ１０１から見て、手８０１がＣＧオブジェクト８０２よりも手前にある場合は、図２（ｂ）のように手８０１でＣＧオブジェクト８０２を隠して表示する必要がある。一方で、手８０１がＣＧオブジェクト８０２よりも奥にある場合には、図２（ｃ）のようにＣＧオブジェクト８０２で手８０１を隠して表示する必要がある。本発明では、このような表示を行うためにＨＭＤ１０１の撮像部で取得された撮像画像の中から手８０１の領域を抽出し、その領域の奥行情報に応じて、その領域にＣＧオブジェクト８０２のＣＧ画像を上書き描画するか否かを判定する。手８０１の領域の抽出では、事前に手８０１の色領域を登録しておき、映像中に登録した色の画素が現れた時に、その画素を手８０１として抽出する。
【0094】
図９は、左目用、右目用の撮像画像中に含まれる任意の被写体の奥行情報生成を説明する図である。図９では、ＨＭＤ１０１の左目用の撮像部３０１Ｌにより取得された左目用撮像画像９０１Ｌ、及びＨＭＤ１０１の右目用の撮像部３０１Ｒにより取得された右目用撮像画像９０１Ｒをそれぞれ示している。
【0095】
ここで、左目用撮像画像９０１Ｌにおける任意の被写体９０２の点Ｐｌ１の撮像画像面内における座標を（Ｘｌ１，Ｙｌ１）とする。同様に右目用撮像画像９０１Ｒにおける前記左目用撮像画像内の点Ｐｌ１に相当する対応点を点Ｐｒ１とし、点Ｐｒ１の撮像画像面内の座標を（Ｘｒ１，Ｙｒ１）とする。前記対応点は画像処理による各種ステレオマッチング手法を用いることで探索可能である。ここで、左目用の撮像部３０１Ｌと右目用の撮像部３０１Ｒ間の基線長をＢ、各撮像デバイスに光学像を結像している撮像光学系の焦点距離をｆとする。この時、点Ｐｌ１及びＰｒ１の奥行情報Ｚ１は、三角測量の原理を用いたステレオ法によりＺ１＝Ｂ・ｆ／｜Ｘｌ１－Ｘｒ１｜の関係式で求めることができる。上記の奥行情報生成を行うためには、左目用撮像画像９０１Ｌと右目用撮像画像９０１Ｒの取得タイミングが同時であることが求められる。
【0096】
図１０は、本発明の第２の実施形態における画像処理システムの撮像部から奥行情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0097】
本実施の形態における画像処理システムは、第１の実施の形態と同様、ＨＭＤ１０１の撮像部３０１のフレームレート、及び表示部３２４のフレームレートを６０ｆｐｓとして説明を行う。
【0098】
撮像部３０１、ＨＭＤ側撮像画像処理部３０３における処理は第１の実施の形態と同様のため説明を省略する。
【0099】
ＨＭＤ側間引処理部３０４では、ＨＭＤ１０１から画像処理装置１０４への撮像画像の伝送データ量を削減するために左目用処理画像Ｐ１Ｌｎ、右目用処理画像Ｐ１Ｒｎから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像Ｐ１Ｌ（２ｎ－１）、Ｐ１Ｒ（２ｎ－１）（ｎは１以上の整数）は後段の処理ブロックに時分割で出力される。ここでは、左目用処理画像Ｐ１Ｌ（２ｎ－１）と右目用処理画像Ｐ１Ｒ（２ｎ－１）が同じタイミングで処理される。そのため、後段の処理ブロックに時分割で出力するために左目用処理画像Ｐ１Ｌ（２ｎ－１）出力中に、右目用処理画像Ｐ１Ｒ（２ｎ－１）を不図示のフレームメモリへ格納する処理を行う。そして、左目用処理画像Ｐ１Ｌ（２ｎ－１）の出力後に、右目用処理画像Ｐ１Ｒ（２ｎ－１）をフレームメモリから読み出して出力することで、左目用と右目用の処理画像の時分割出力を実施する。また、データ量を１／２に削減するために左右ともに偶数フレームを間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
【0100】
ＨＭＤ側共通撮像画像処理部３０６では、時分割出力される左目用処理画像Ｐ１Ｌ（２ｎ－１）、右目用処理画像Ｐ１Ｒ（２ｎ－１）に対して、共通の画像処理が実行され、処理画像Ｐ２Ｌ（２ｎ－１）、Ｐ２Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
【0101】
続いて、ＨＭＤ側インタフェース３０７、装置側インタフェース３０８を介して、伝送画像Ｔ１Ｌ（２ｎ－１）、Ｔ１Ｒ（２ｎ－１）（ｎは１以上の整数）の伝送が行われる。
【0102】
装置側共通撮像画像処理部３０９では、ＨＭＤ側共通撮像画像処理部３０６と同様に時分割で伝送されるＴ１Ｌ（２ｎ－１）、Ｔ１Ｒ（２ｎ－１）（ｎは１以上の整数）に対して、共通の画像処理が実行される。これにより、処理画像Ｐ３Ｌ（２ｎ－１）、Ｐ３Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0103】
続く、撮像フレームメモリ３１１Ｌには左目用処理画像Ｐ３Ｌ（２ｎ－１）が、撮像フレームメモリ３１１Ｒには右目用処理画像Ｐ３Ｒ（２ｎ－１）がそれぞれ格納される。撮像フレームメモリ３１１からは６０ｆｐｓの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が２回続けて出力される。
【0104】
装置側撮像画像処理部３１２では、ＨＭＤ側撮像画像処理部３０３と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像Ｐ４Ｌ（２ｎ－１）、Ｐ４Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0105】
位置姿勢情報生成部３１３では、処理画像Ｐ４Ｌ（２ｎ－１）、Ｐ４Ｒ（２ｎ－１）、及び位置姿勢センサ３０２で取得されたセンサ情報を用いてＨＭＤ１０１の三次元位置姿勢情報を算出する。そして、処理画像Ｐ５Ｌ（２ｎ－１）、Ｐ５Ｒ（２ｎ－１）（ｎは１以上の整数）が後段へ出力される。
【0106】
奥行情報生成部７０１では、左目用、右目用の処理画像Ｐ５Ｌ（２ｎ－１）、Ｐ５Ｒ（２ｎ－１）を用いて、撮像画像中の任意の被写体の奥行情報を算出し、処理画像Ｐ６Ｌ（２ｎ－１）、Ｐ６Ｒ（２ｎ－１）（ｎは１以上の整数）が後段へ出力される。
【0107】
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像ＣＬ１の取得が開始されてから、奥行情報生成部で奥行情報と対応づけられた処理画像Ｐ６Ｌ１の出力が開始されるまでの処置遅延はＴＣとなる。
【0108】
図１１は、本発明の第２の実施形態における画像処理システムのＣＧ描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0109】
ＣＧ描画合成部３１５では、三次元位置姿勢情報に基づいたＣＧ画像の描画と、左目用、右目用処理画像Ｐ６Ｌ（２ｎ－１）、Ｐ６Ｒ（２ｎ－１）との合成処理を行う。これにより、左目用ＭＲ画像ＭＲＬ（２ｎ－１）、右目用ＭＲ画像ＭＲＲ（２ｎ－１）（ｎは１以上の整数）を生成する。
【0110】
装置側表示画像処理部３１６では、左目用、右目用の表示画像処理が並行して行われ、処理画像Ｐ７Ｌ（２ｎ－１）、Ｐ７Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0111】
装置側間引処理部３１７では、画像処理装置１０４からＨＭＤ１０１への表示画像の伝送データ量を削減するために左目用処理画像Ｐ７Ｌ（２ｎ－１）、右目用処理画像Ｐ７Ｒ（２ｎ－１）から偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像Ｐ７Ｌ（２ｎ－１）、Ｐ７Ｒ（２ｎ－１）は後段の処理ブロックに時分割で出力される。
【0112】
装置側共通表示画像処理部３１９では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像Ｐ８Ｌ（２ｎ－１）、Ｐ８Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0113】
続いて、装置側インタフェース３０８、ＨＭＤ側インタフェース３０７を介して、伝送画像Ｔ２Ｌ（２ｎ－１）、Ｔ２Ｒ（２ｎ－１）（ｎは１以上の整数）の伝送が行われる。
【0114】
ＨＭＤ側共通表示画像処理部３２０では、装置側共通表示画像処理部３１９と同様に時分割で伝送されるＴ２Ｌ（２ｎ－１）、Ｔ２Ｒ（２ｎ－１）に対して、共通の画像処理が実行される。これにより、処理画像Ｐ９Ｌ（２ｎ－１）、Ｐ９Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0115】
続く、表示フレームメモリ３２２Ｌには左目用処理画像Ｐ９Ｌ（２ｎ－１）が、表示フレームメモリ３２２Ｒには右目用処理画像Ｐ９Ｒ（２ｎ－１）がそれぞれ格納される。表示フレームメモリ３２２からは６０ｆｐｓの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が２回続けて出力される。
【0116】
ＨＭＤ側表示画像処理部３２３では、装置側表示画像処理部３１６と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像Ｐ１０Ｌ（２ｎ－１）、Ｐ１０Ｒ（２ｎ－１）（ｎは１以上の整数）が生成される。
【0117】
表示部３２４では、処理画像Ｐ１０Ｌ（２ｎ－１）、Ｐ１０Ｒ（２ｎ－１）が、それぞれ左目用表示画像ＤＬ（２ｎ－１）、右目用表示画像ＤＲ（２ｎ－１）（ｎは１以上の整数）として表示される。
【0118】
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像ＣＬ１の取得が開始されてから、最終的に表示部において表示画像ＤＬ１として表示が開始されるまでの処置遅延はＴＤとなる。
【0119】
ここでも、第１の実施形態における画像処理システムと同様に、ＨＭＤ１０１と画像処理装置１０４間で伝送される画像データ量は撮像画像、表示画像ともに３０ｆｐｓと同等に落とされている。しかしながら、撮像から表示に至るまでの全ての処理は６０ｆｐｓで実行されているため、フレームレート変換後に３０ｆｐｓで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積が抑えられる。
【0120】
さらに、本実施の形態における画像処理システムでは、フレーム間引処理のタイミングを左目用画像と右目用画像で同期させていることに特徴を有する。これにより、位置姿勢情報生成部、及び奥行情報生成部において情報算出に用いられる左目用と右目用の撮像画像、及び表示部において表示される左目用と右目用の表示画像の生成時刻を１／３０秒の周期で一致させることができる。左目用と右目用の撮像画像の生成時刻が一致することで、撮像画像中の任意の被写体の奥行情報が算出でき、ＨＭＤ１０１の装着者は、
以上の構成を有することにより、本実施の形態における画像処理システムは、第１の実施形態における画像処理システムと同様に、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。さらに、左目用と右目用の画像データの生成タイミングが一致するように、フレーム間引処理のタイミング制御を行うことで、被写体とＣＧオブジェクトとの奥行関係が考慮された臨場感の高いＭＲ画像を体験することが可能となる。
以上の構成を有することにより、本実施の形態における画像処理システムは、第１の実施形態における画像処理システムと同様に、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。さらに、左目用と右目用の画像データの生成タイミングが一致するように、フレーム間引処理のタイミング制御を行うことで、被写体とＣＧオブジェクトとの奥行関係が考慮された臨場感の高いＭＲ画像を体験することが可能となる。
【0121】
［第３の実施形態］
本発明を実現するのに好適な第３の実施の形態を図に従って説明する。なお、第１、第２の実施形態と重複する部分については説明を省略する。
本発明を実現するのに好適な第３の実施の形態を図に従って説明する。なお、第１、第２の実施形態と重複する部分については説明を省略する。
【0122】
第１、第２の実施形態ではＨＭＤ１０１と画像処理装置１０４間のデータ伝送に関して、有線、無線の接続方式を問わず、伝送データ量を削減するためにＨＭＤ１０１、画像処理装置１０４内でそれぞれフレーム間引処理を行う構成について説明を行った。本実施形態では、ＨＭＤ１０１と画像処理装置１０４間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能な構成について説明する。無線接続では、ＨＭＤ１０１、画像処理装置１０４間を直接接続するケーブルが不要となり、ＨＭＤ装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なＭＲ画像を提供することができるというメリットがある。
【0123】
図１２、１３は、本発明の第３の実施形態における画像処理システムの構成の一例を示す図である。
【0124】
本発明の第３の実施形態における画像処理システムは、ＨＭＤ１０１とＨＭＤ側無線ボックス１３０１、装置側無線ボックス１３０２、画像処理装置１０４で構成される。ＨＭＤ１０１、ＨＭＤ側無線ボックス１３０１、装置側無線ボックス１３０２、画像処理装置１０４は、それぞれ以下の構成を有する。
【0125】
ＨＭＤ１０１は、撮像部３０１、位置姿勢センサ３０２、ＨＭＤ内撮像画像処理部１２０１、ＨＭＤ内有線Ｉ／Ｆ１２０２、ＨＭＤ内表示画像処理部１２０３、表示部３２４を有する。
【0126】
ＨＭＤ側無線ボックス１３０１は、ＨＭＤ側有線Ｉ／Ｆ１３０３、ＨＭＤ側撮像画像処理部３０３、ＨＭＤ側間引処理部３０４、ＨＭＤ側撮像画像制御部３０５、ＨＭＤ側共通撮像画像処理部３０６を有する。また、ＨＭＤ側無線Ｉ／Ｆ１３０４、ＨＭＤ側共通表示画像処理部３２０、ＨＭＤ側表示画像制御部３２１、表示フレームメモリ３２２、ＨＭＤ側表示画像処理部３２３、表示部３２４を有する。
【0127】
装置側無線ボックス１３０２は、装置側無線Ｉ／Ｆ１３０５、装置側共有撮像画像処理部３０９、装置側撮像画像制御部３１０、撮像フレームメモリ３１１、装置側撮像画像処理部３１２、装置側有線Ｉ／Ｆ１３０６を有する。また、装置側表示画像処理部３１６、装置側間引処理部３１７、装置側表示画像制御部３１８、装置側共通表示画像処理部３１９を有する。
【0128】
画像処理装置１０４は、装置内有線Ｉ／Ｆ１２０４、装置内撮像画像処理部１２０５、位置姿勢情報生成部３１３、コンテンツＤＢ３１４、ＣＧ描画合成部３１５、装置内表示画像処理部１２０６を有する。
【0129】
ＨＭＤ内有線Ｉ／Ｆ１２０２、装置内有線Ｉ／Ｆ１２０４、ＨＭＤ側有線Ｉ／Ｆ１３０３、ＨＭＤ側無線Ｉ／Ｆ１３０４、装置側無線Ｉ／Ｆ１３０５、装置側有線Ｉ／Ｆ１３０６は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のＬ、またはＲの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0130】
図１２は、本発明の第３の実施形態における画像処理システムのＨＭＤと画像処理装置間のデータ伝送をケーブルを用いた有線伝送で行う構成について説明する図である。
【0131】
ＨＭＤ１０１の撮像部３０１は、ＨＭＤ装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。
【0132】
位置姿勢センサ３０２は、ＨＭＤ装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。
【0133】
ＨＭＤ内撮像画像処理部１２０１は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。
【0134】
ＨＭＤ内有線Ｉ／Ｆ１２０２は、画像処理装置１０４の装置内有線Ｉ／Ｆ１２０４との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ３０２で取得したセンサ情報の送信を行う。また、表示部３２４で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0135】
ＨＭＤ内表示画像処理部１２０３は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。
【0136】
表示部３２４は、ＣＧが重畳されたＭＲ画像をＨＭＤ装着者の左目、右目にそれぞれ表示するものである。
【0137】
画像処理装置１０４の装置内有線Ｉ／Ｆ１２０４は、ＨＭＤ１０１のＨＭＤ内有線Ｉ／Ｆ１２０２との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信と、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0138】
装置内撮像画像処理部１２０５は、左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。装置内撮像画像処理部１２０５と、ＨＭＤ内撮像画像処理部１２０１とで実行する画像処理は、処理負荷や処理順序を鑑みて、それぞれに分散させることが望ましい。
【0139】
位置姿勢情報生成部３１３は、位置姿勢センサ３０２で取得したセンサ情報や、撮像部３０１で取得した撮像画像情報、あるいはその両方の情報からＨＭＤ１０１の三次元位置姿勢情報を算出する。
【0140】
コンテンツＤＢ３１４は、ＣＧ描画用のコンテンツを格納するデータベースである。ＣＧ描画合成部３１５は、三次元位置姿勢情報に基づいて、ＣＧ画像の描画、及び撮像画像とＣＧ画像の合成を実行し、ＭＲ体験用の表示画像を生成する。
【0141】
装置内表示画像処理部１２０６は、ＣＧ描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。装置内表示画像処理部１２０６と、ＨＭＤ内表示画像処理部１２０３との間で実行する画像処理は、処理負荷や処理順序を鑑みて、をそれぞれ分散させることが望ましい。
【0142】
以上の構成により、ＨＭＤ１０１と画像処理装置１０４間のデータ伝送をケーブルを用いた広帯域な有線伝送で実現することが可能となる。これにより、例えば、６０ｆｐｓのフレームレートを有する撮像画像、及び表示画像のフレームレートを低下させることなく伝送することが可能となり、ＨＭＤ１０１の装着者は、より臨場感の高いＭＲ画像を体験することが可能となる。
【0143】
なお、本実施の形態における画像処理システムは、第２の実施の形態における画像処理システムと同様に、画像処理装置１０４に奥行情報生成部を有する構成としてもよい。また、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0144】
図１３は、本発明の第３の実施形態における画像処理システムのＨＭＤと画像処理装置間のデータ伝送をＨＭＤ側無線ボックス、装置側無線ボックス介しての無線伝送で行う構成について説明する図である。なお、ＨＭＤ１０１、画像処理装置１０４に関して、図１２の構成と同様の説明については省略する。
【0145】
ＨＭＤ１０１のＨＭＤ内有線Ｉ／Ｆ１２０２は、ＨＭＤ側無線ボックス１３０１のＨＭＤ側有線Ｉ／Ｆ１３０３との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信を行う。また、表示部３２４で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0146】
ＨＭＤ側無線ボックス１３０１のＨＭＤ側有線Ｉ／Ｆ１３０３は、ＨＭＤ１０１のＨＭＤ内有線Ｉ／Ｆ１２０２との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0147】
ＨＭＤ側撮像画像処理部３０３は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。
【0148】
ＨＭＤ側間引処理部３０４は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0149】
ＨＭＤ側撮像画像制御部３０５は、ＨＭＤ側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のＨＭＤ側共通撮像画像処理部３０６へ送る制御を行う。
【0150】
ＨＭＤ側共通撮像画像処理部３０６は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像符号化などのような処理が挙げられる。
【0151】
ＨＭＤ側無線Ｉ／Ｆ１３０４は、装置側無線ボックス１３０２の装置側無線Ｉ／Ｆ１３０５との無線通信により、左目用撮像画像、右目用撮像画像、及びセンサ情報の送信と、表示部３２４で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0152】
ＨＭＤ側共通表示画像処理部３２０は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像復号化などのような処理が挙げられる。
【0153】
ＨＭＤ側表示画像制御部３２１は、フレーム間引処理後の左目用、右目用の表示画像をそれぞれ左目用、右目用の表示フレームメモリ３２２に分配する。そして、表示部３２４において表示可能なフレームレートに合わせて、表示フレームメモリから表示画像を出力する制御を行う。
【0154】
表示フレームメモリ３２２は、左目用表示画像、右目用表示画像をそれぞれ格納し、ＨＭＤ側表示画像制御部３２１の制御に基づき、ＨＭＤ側表示画像処理部３２３に表示画像を出力する。
【0155】
ＨＭＤ側表示画像処理部３２３は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。
【0156】
装置側無線ボックス１３０２の装置側無線Ｉ／Ｆ１３０５は、ＨＭＤ側無線ボックス１３０１のＨＭＤ側無線Ｉ／Ｆ１３０４との無線通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0157】
装置側共通撮像画像処理部３０９は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0158】
装置側撮像画像制御部３１０は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ３１１に分配する。そして、表示部３２４において表示可能なフレームレートに合わせて、撮像フレームメモリ３１１から撮像画像を出力する制御を行う。
【0159】
撮像フレームメモリ３１１は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部３１０の制御に基づき、装置側撮像画像処理部３１２に撮像画像を出力する。
【0160】
装置側撮像画像処理部３１２は、撮像フレームメモリ３１１から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側撮像画像処理部３０３と同様に、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部３１２と、ＨＭＤ側撮像画像処理部３０３との間で実行する画像処理をそれぞれ分散させてもよい。
【0161】
装置側有線Ｉ／Ｆ１３０６は、画像処理装置１０４の装置内有線Ｉ／Ｆ１２０４との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信と、表示部３２４で表示するための左表示画像の受信、その他制御信号の送受信を行う。
【0162】
装置側表示画像処理部３１６は、ＣＧ描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側表示画像処理部３２３と同様に、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部３１６と、ＨＭＤ側表示画像処理部３２３との間で実行する画像処理をそれぞれ分散させてもよい。
【0163】
装置側間引処理部３１７は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0164】
装置側表示画像制御部３１８は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部３１９へ送る制御を行う。
【0165】
装置側共通表示画像処理部３１９は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、ＨＭＤ側共通表示画像処理部３２０と同様に、ＨＭＤ側無線ボックス１３０１、及び装置側無線ボックス１３０２に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部３１９と、ＨＭＤ側共通表示画像処理部３２０との間で実行する画像処理をそれぞれ分散させてもよい。
【0166】
画像処理装置１０４の装置内有線Ｉ／Ｆ１２０４は、装置側無線ボックス１３０２の装置側有線Ｉ／Ｆ１３０６との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0167】
以上の構成を有することにより、本実施の形態における画像処理システムは、ＨＭＤ１０１と画像処理装置１０４間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能となる。無線接続では、ＨＭＤ１０１、画像処理装置１０４間を直接接続するケーブルが不要となり、ＨＭＤ装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なＭＲ画像を提供することができるというメリットがある。
【0168】
［第４の実施形態］
本発明を実現するのに好適な第４の実施の形態を図に従って説明する。なお、第１～第３の実施形態と重複する部分については説明を省略する。
本発明を実現するのに好適な第４の実施の形態を図に従って説明する。なお、第１～第３の実施形態と重複する部分については説明を省略する。
【0169】
第１～第３の実施形態ではＨＭＤ１０１の左目用撮像部３０１Ｌ、右目用撮像部３０１Ｒで取得される撮像画像の間引処理を行う構成について説明を行った。本実施形態では、ＨＭＤ１０１に追加でオプション撮像部を有しており、左目用撮像部、右目用撮像部、オプション撮像部で取得される３つの撮像画像の間引処理行う構成について説明する。
【0170】
図１４は、本発明の第４の実施形態における画像処理システムの構成の一例を示す図である。
【0171】
本発明の第４の実施形態における画像処理システムは、以下の構成を有するＨＭＤ１０１、及び画像処理装置１０４で構成される。ＨＭＤ１０１は、撮像部３０１、位置姿勢センサ３０２、ＨＭＤ側撮像画像処理部３０３、ＨＭＤ側間引処理部３０４、ＨＭＤ側撮像画像制御部３０５、ＨＭＤ側共通撮像画像処理部３０６を有する。また、ＨＭＤ側Ｉ／Ｆ（インタフェース）３０７、ＨＭＤ側共通表示画像処理部３２０、ＨＭＤ側表示画像制御部３２１、表示フレームメモリ３２２、ＨＭＤ側表示画像処理部３２３、表示部３２４を有する。また、オプション撮像部１４０１、オプション用ＨＭＤ側撮像画像処理部１４０２、オプション用ＨＭＤ側間引処理部１４０３を有する。
【0172】
画像処理装置１０４は、装置側Ｉ／Ｆ３０８、装置側共有撮像画像処理部３０９、装置側撮像画像制御部３１０、撮像フレームメモリ３１１、装置側撮像画像処理部３１２、位置姿勢情報生成部３１３、コンテンツＤＢ（データベース）３１４を有する。また、ＣＧ描画合成部３１５、装置側表示画像処理部３１６、装置側間引処理部３１７、装置側表示画像制御部３１８、装置側共通表示画像処理部３１９、オプション用撮像フレームメモリ１４０４、オプション用装置側撮像画像処理部１４０５を有する。
【0173】
ＨＭＤ側Ｉ／Ｆ３０７及び装置側Ｉ／Ｆ３０８は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のＬ、ＲまたはＯＰの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理、オプション撮像部用動画像データの処理を行うことを意味する。
【0174】
ＨＭＤ１０１のオプション撮像部１４０１は、左目用撮像部３０１Ｌ、右目用撮像部３０１Ｒで撮像される現実空間上の範囲とは異なる範囲のオプション撮像画像を取得する。オプション撮像部１４０１は、左目用、右目用撮像部３０１と同じ撮像デバイス、撮像光学系を用いてもよく、また、左目用、右目用撮像部３０１と解像度や撮像範囲等を異ならせるために異なる撮像デバイス、撮像光学系を用いてもよい。また、オプション撮像部１４０１で撮像される現実空間上の範囲は、左目用撮像部３０１Ｌ、右目用撮像部３０１Ｒで撮像される範囲の一部、あるいは全部を含んでいてもよい。さらには、オプション撮像部１４０１は、ＨＭＤ１０１に内蔵してもよいし、ＨＭＤ１０１に外付けで取り付けることが可能な構成としてもよい。
【0175】
オプション用ＨＭＤ側撮像画像処理部１４０２は、オプション撮像部１４０１で取得されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、左目用、右目用の撮像画像やオプション撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
【0176】
オプション用ＨＭＤ側間引処理部１４０３は、オプション撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0177】
ＨＭＤ側撮像画像制御部３０５は、ＨＭＤ側間引処理部３０４、オプション用ＨＭＤ側間引処理部１４０３によるフレーム間引処理の間隔、タイミングの制御を行う。また、フレーム間引処理後の各撮像画像を、時分割で後段のＨＭＤ側共通撮像画像処理部へ送る制御を行う。撮像画像のフレーム間引処理制御の例としては、第１の実施形態と同様にそれぞれ異なる時刻のフレームを順次間引いて出力する方法や、第２の実施形態と同様に同じ時刻のフレームを間引いて、フレームメモリを利用して時分割で出力する方法等が挙げられる。また、フレーム間引処理制御は上記に限られるものではなく、左目用撮像画像、右目用撮像画像、オプション撮像画像の用途、必要とされるフレーム数等を考慮し、優先度に応じて間引処理の間隔を異ならせてもよい。
【0178】
ＨＭＤ側共通撮像画像処理部３０６は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0179】
ＨＭＤ側Ｉ／Ｆ３０７は、画像処理装置１０４の装置側Ｉ／Ｆ３０８との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の送信と、表示部３２４で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0180】
画像処理装置１０４の装置側Ｉ／Ｆ３０８は、ＨＭＤ１０１のＨＭＤ側Ｉ／Ｆ３０７との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の受信、表示部３２４で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0181】
装置側共通撮像画像処理部３０９は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0182】
装置側撮像画像制御部３１０は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ３１１、オプション用撮像フレームメモリ１４０４に分配して格納する。また、表示部３２４において表示可能なフレームレートに合わせて、撮像フレームメモリ３１１、オプション用フレームメモリ１４０４から撮像画像を出力する制御を行う。
【0183】
オプション用撮像フレームメモリ１４０４は、オプション撮像画像を格納し、装置側撮像画像制御部３１０の制御に基づき、オプション用装置側撮像画像処理部１４０５に撮像画像を出力する。
【0184】
オプション用装置側撮像画像処理部１４０５は、オプション用撮像フレームメモリ１４０４から出力されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、オプション用ＨＭＤ側撮像画像処理部１４０２と同様に、左目用、右目用の撮像画像とオプション撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、オプション用装置側撮像画像処理部１４０５と、オプション用ＨＭＤ側撮像画像処理部１４０２との間で実行する画像処理をそれぞれ分散させてもよい。
【0185】
位置姿勢情報生成部３１３は、位置姿勢センサ３０２で取得したセンサ情報や、撮像部３０１、オプション撮像部１４０１で取得した各撮像画像情報、あるいはその両方の情報からＨＭＤ１０１の三次元位置姿勢情報を算出する。
【0186】
以上の構成を有することにより、本実施の形態における画像処理システムは、画像処理装置１０４の位置姿勢情報生成部３１３において、ＨＭＤ１０１のオプション撮像部１４０１で取得されたオプション撮像画像を用いることが可能となる。これにより、ＨＭＤ装着者の視界の範囲外、すなわち左目用撮像部３０１Ｌ、右目用撮像部３０２Ｒの撮像範囲外に存在するマーカー等の情報も位置姿勢情報の生成に利用することができ、位置姿勢情報の精度、及びマーカー等の設置の自由度が向上する。
【0187】
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【0188】
１０１ ＨＭＤ
３０１ 撮像部
３０２ 位置姿勢センサ
３０３ ＨＭＤ側撮像画像処理部
３０４ ＨＭＤ側間引処理部
３０５ ＨＭＤ側撮像画像制御部
３０６ ＨＭＤ側共通撮像画像処理部
３０７ ＨＭＤ側Ｉ／Ｆ
３２０ ＨＭＤ側共通表示画像処理部
３２１ ＨＭＤ側表示画像制御部
３２２ 表示フレームメモリ
３２３ ＨＭＤ側表示画像処理部
３２４ 表示部
１０４ 画像処理装置
３０８ 装置側Ｉ／Ｆ
３０９ 装置側共有撮像画像処理部
３１０ 装置側撮像画像制御部
３１１ 撮像フレームメモリ
３１２ 装置側撮像画像処理部
３１３ 位置姿勢情報生成部
３１４ コンテンツＤＢ
３１５ ＣＧ描画合成部
３１６ 装置側表示画像処理部
３１７ 装置側間引処理部
３１８ 装置側表示画像制御部
３１９ 装置側共通表示画像処理部
３０１ 撮像部
３０２ 位置姿勢センサ
３０３ ＨＭＤ側撮像画像処理部
３０４ ＨＭＤ側間引処理部
３０５ ＨＭＤ側撮像画像制御部
３０６ ＨＭＤ側共通撮像画像処理部
３０７ ＨＭＤ側Ｉ／Ｆ
３２０ ＨＭＤ側共通表示画像処理部
３２１ ＨＭＤ側表示画像制御部
３２２ 表示フレームメモリ
３２３ ＨＭＤ側表示画像処理部
３２４ 表示部
１０４ 画像処理装置
３０８ 装置側Ｉ／Ｆ
３０９ 装置側共有撮像画像処理部
３１０ 装置側撮像画像制御部
３１１ 撮像フレームメモリ
３１２ 装置側撮像画像処理部
３１３ 位置姿勢情報生成部
３１４ コンテンツＤＢ
３１５ ＣＧ描画合成部
３１６ 装置側表示画像処理部
３１７ 装置側間引処理部
３１８ 装置側表示画像制御部
３１９ 装置側共通表示画像処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】