IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧
特許7091043画像処理装置、画像処理システム、および画像処理方法
<>
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図1
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図2
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図3
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図4
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図5
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図6
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図7
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図8
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図9
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図10
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図11
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図12
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図13
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図14
  • 特許-画像処理装置、画像処理システム、および画像処理方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】画像処理装置、画像処理システム、および画像処理方法
(51)【国際特許分類】
   H04N 13/106 20180101AFI20220620BHJP
   H04N 13/194 20180101ALI20220620BHJP
   H04N 13/344 20180101ALI20220620BHJP
   H04N 7/01 20060101ALI20220620BHJP
   G09G 5/00 20060101ALI20220620BHJP
   G09G 5/36 20060101ALI20220620BHJP
【FI】
H04N13/106
H04N13/194
H04N13/344
H04N7/01 270
G09G5/00 550H
G09G5/36 510M
G09G5/36 510V
【請求項の数】 7
(21)【出願番号】P 2017185468
(22)【出願日】2017-09-26
(65)【公開番号】P2019062397
(43)【公開日】2019-04-18
【審査請求日】2020-09-25
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】梶田 佳樹
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開平07-284127(JP,A)
【文献】特開2013-042216(JP,A)
【文献】国際公開第2012/063542(WO,A1)
【文献】特開2014-082686(JP,A)
【文献】特開2016-010082(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00
H04N 7/01
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
画像処理装置であって、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第1の撮像画像処理手段と、
前記第1の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに1フレームおきにフレーム間引き処理を行う間引き手段と、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第2の撮像画像処理手段と、
前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにCGが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第1の表示用画像処理手段と、
前記第1の表示用画像処理手段によって画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第2の表示用画像処理手段とを有することを特徴とする画像処理装置。
【請求項2】
前記間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、の動画像データにおいて、左の動画像データで間引きされる一方のフレームとは異なるもう一方フレームを間引きする間引き処理を行うことを特徴とする請求項に記載の画像処理装置。
【請求項3】
前記間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、の動画像データにおいて、左の動画像データで間引きされる一方のフレームと同じ一方のフレームを間引きする間引き処理を行うことを特徴とする請求項に記載の画像処理装置。
【請求項4】
第1の画像処理装置と第2の画像処理装置とを有する画像処理システムであって、
前記第1の画像処理装置は、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第1の撮像画像処理手段と、
前記第1の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに1フレームおきにフレーム間引き処理を行う第1の間引き手段と、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第2の撮像画像処理手段と、を有し
前記第2の画像処理装置は、
前記第1の画像処理装置より送信された左右の動画像データに対して、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第3の撮像画像処理手段と、
前記第3の撮像画像処理手段によって撮像画像処理が行われた動画像データを左右に分配し、当該分配された左右の動画像データを前記所定のフレームレートで2回続けて読み出して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第4の撮像画像処理手段と、
前記第4の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれにCGを合成して左右の表示用動画像データを生成する生成手段と、
前記生成手段によって生成された左右の表示用動画像データに対して、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第1の表示用画像処理手段と、
前記第1の表示用画像処理手段によって表示用画像処理が行われた左右の表示用動画像データのそれぞれに対して、フレームの周期を変更せずに1フレームおきにフレームの間引き処理を行う第2の間引き手段と、
前記第2の間引き手段により間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して前記第1の画像処理装置に送信する第2の表示用画像処理手段とを有し
前記第1の画像処理装置はさらに、
前記第2の画像処理装置から送信された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第3の表示用画像処理手段と、
前記第3の表示用画像処理手段によって表示用画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第4の表示用画像処理手段とを有することを特徴とする画像処理システム。
【請求項5】
前記第1の間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、の動画像データにおいて、左の動画像データで間引きされる一方のフレームとは異なるもう一方フレームを間引きする間引き処理を行うことを特徴とする請求項に記載の画像処理システム。
【請求項6】
前記第1の間引き手段は、前記左右の動画像データのうち、左の動画像データにおいて、奇数フレームまたは偶数フレームのいずれか一方を間引きする間引き処理を行い、の動画像データにおいて、左の動画像データで間引きされる一方のフレームと同じ一方のフレームを間引きする間引き処理を行うことを特徴とする請求項に記載の画像処理システム。
【請求項7】
画像処理装置による画像処理方法であって、
左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第1の撮像画像処理ステップと、
前記第1の撮像画像処理ステップにおいて撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに1フレームおきにフレーム間引き処理を行う間引きステップと、
前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第2の撮像画像処理ステップと、
前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにCGが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第1の表示用画像処理ステップと、
前記第1の表示用画像処理ステップにおいて画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第2の表示用画像処理ステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像データの伝送量削減を行う技術に関する。
【背景技術】
【0002】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるMR(Mixed Reality)技術が知られている。MR技術の一つに、ビデオシースルー型HMD(Head Mounted Display:以下、「HMD」と称する)を利用するものがある。このシステムでは、HMD装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にCG(Computer Graphics)を重畳表示した画像をHMD装着者が観察できる。
【0003】
図15は、ビデオシースルー型HMDを利用した一般的な複合現実感システム(以降、MRシステム)の機能ブロック図である。この図を使用して概要を説明する。
【0004】
ビデオシースルー型HMD1501は、撮像部1503、表示部1504、位置姿勢センサ1505、HMD側インタフェース1506から構成される。画像処理装置1502は、装置側インタフェース1507、位置姿勢情報生成部1508、コンテンツDB(データベース)1509、CG描画合成部1510から構成される。画像処理装置1502は、HMD1501から受け取った撮像画像及び三次元位置姿勢情報に基づきCGを描画し、撮像画像との合成処理を行う。一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。
【0005】
HMD1501の撮像部1503は、HMD装着者の視線位置と略一致する外界の観察画像を撮像する。一般にはステレオ画像を生成するために右目用、左目用の二つの撮像素子と光学系及び後段の画像処理を行うためのDSP(Digital Signal Processor)から構成される。
【0006】
表示部1504は、合成されたMR画像の表示を行う。こちらも右目用、左目用の二つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやMEMSによる網膜スキャンタイプのデバイスが使用される。
【0007】
位置姿勢センサ1505は、HMD装着者の位置姿勢情報を得るためのセンサ情報を取得する。位置姿勢センサとしては、磁気センサやジャイロセンサ(加速度、角速度)等が使用される。
【0008】
HMD側インタフェース1506は、撮像部1503で撮像された画像や位置姿勢センサ1505で取得された位置姿勢センサ情報の画像処理装置1502への伝送、及び合成されたMR画像のHMD1501への伝送を行う。
【0009】
装置側インタフェース1507は、画像処理装置側のインタフェースであり、HMD側インタフェース1506とのデータ伝送を行う。
【0010】
位置姿勢情報生成部1508は、受け取った撮像画像や位置姿勢センサ情報をもとにHMD装着者の位置姿勢情報を生成する。
【0011】
コンテンツDB1509は、仮想画像のコンテンツを格納しているデータベースである。
【0012】
CG描画合成1510は、位置姿勢情報とコンテンツDBの情報によりCGを描画し、撮像画像と合成する。ここで得られたMR画像を装置側インタフェース1507、HMD側インタフェース1506を介してHMD1501に送り、表示部1504で表示させる。
【0013】
一般的に、HMD側インタフェース1506、装置側インタフェース1507間の伝送には、MRシステムに求められるリアルタイム性、かつ大容量のデータ伝送を実現するため、メタル線や光ファイバ等を用いた多芯ケーブルによる有線接続が用いられる。HMD装着者がケーブルによる動きの制約を受けることなく、より自由にMR空間を体験できるようにするためは、HMD側インタフェース、装置側インタフェース間のデータ伝送に用いるケーブルの細線化や、伝送の無線化が望まれる。例えば、画像符号化やフレームレート変換等のデータ量削減手法を組み合わせることにより、ケーブルの細線化が可能であり、また、近年の無線伝送技術の向上もあって、同様の方法を用いることで無線伝送を行うことも可能となってきている。
【0014】
ディスプレイのフレームレートの1/2のフレームレートを有する動画像データから左目用画像データと右目用画像データとを生成し、左目用画像データと右目用画像データとを時分割に出力する手法が以下の特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0015】
【文献】特開2015-39076号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかし、特許文献1の手法では、ディスプレイのフレームレートの1/2のフレームレートの動画像データを使用することにより、動画像データに対して複数の画像処理を実施する際の処理遅延の蓄積が膨大になる。例えば、ディスプレイのフレームレートを60fpsとした場合、1フレームあたりの伝送時間は1/60秒となるが、1/2のフレームレートである30fpsの動画像データでは、1フレームあたりの伝送時間が1/30秒となる。すなわち、フレームメモリを使用する画像処理を行う際に、1フレーム分のデータがフレームメモリにたまるまでの時間の差は1/60秒となり、これはそのまま最終的にディスプレイに表示されるまでの処理遅延として現れることとなる。したがって、フレームメモリ、ラインメモリ等を利用する画像処理を多用するほど、60fpsの動画像データと、30fpsの動画像データとの画像処理における処理遅延の差は大きくなる。
【0017】
そこで、本発明は、動画像データのフレーム間引処理を行うことにより、各種画像処理における処理遅延を増加させることなく、データ量の削減を実現することを目的とする。
【課題を解決するための手段】
【0018】
上記課題を解決するために、本発明は、画像処理装置に、左右に視差を有するステレオ画像として所定のフレームレートで撮像された左右の動画像データに対して、左右で独立なパラメータを用いた撮像画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行する第1の撮像画像処理手段と、前記第1の撮像画像処理手段によって撮像画像処理が行われた左右の動画像データのそれぞれに対して、フレームの周期を変更せずに1フレームおきにフレーム間引き処理を行う間引き手段と、前記間引き処理が行われた左右の動画像データを交互に対象として、左右で同一のパラメータを用いた撮像画像処理を共通の画像処理回路によって前記所定のフレームレートで実行して他の画像処理装置に送信する第2の撮像画像処理手段と、前記他の画像処理装置から前記送信した左右の動画像データのそれぞれにCGが合成された左右の表示用動画像データを交互に含む表示用動画像データを受信して、左右で同一のパラメータを用いた表示用画像処理を共通の画像処理回路によって前記所定のフレームレートで実行する第1の表示用画像処理手段と、前記第1の表示用画像処理手段によって画像処理が行われた表示用動画像データを左右に分配し、左右で独立なパラメータを用いた表示用画像処理を左右それぞれで異なる画像処理回路によって前記所定のフレームレートで並列に実行して左右それぞれの表示部に出力する第2の表示用画像処理手段とを備えることを特徴とする。
【発明の効果】
【0019】
以上の構成によれば、本発明は、動画像データのフレーム間引処理を行うことにより、各種画像処理における処理遅延を増加させることなく、データ量の削減を実現することが可能となる。
【図面の簡単な説明】
【0020】
図1】撮像機能付表示装置を利用したMRシステムの装置構成を示す図である。
図2】MRシステムにおける画像合成について説明する図である。
図3】本発明の第1の実施形態における画像処理システムの構成の一例を示す図である。
図4】フレームレートの異なる動画像データに対する画像処理における遅延の蓄積について説明する図である。
図5】本発明の第1の実施形態における画像処理システムの撮像部から位置姿勢情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
図6】本発明の第1の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
図7】本発明の第2の実施形態における画像処理システムの構成の一例を示す図である。
図8】奥行情報を考慮した画像合成について説明する図である。
図9】左目用、右目用の撮像画像中に含まれる任意の被写体の奥行情報生成を説明する図である。
図10】本発明の第2の実施形態における画像処理システムの撮像部から奥行情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
図11】本発明の第2の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
図12】本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をケーブルを用いた有線伝送で行う構成について説明する図である。
図13】本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をHMD側無線ボックス、装置側無線ボックス介しての無線伝送で行う構成について説明する図である。
図14】本発明の第4の実施形態における画像処理システムの構成の一例を示す図である。
図15】ビデオシースルー型HMDを利用した一般的なMRシステムの機能ブロック図である。
【発明を実施するための形態】
【0021】
[第1の実施形態]
以下、本発明の第1の実施形態について、図面を参照しながら説明する。図1は、撮像機能付表示装置を利用したMRシステムの装置構成を示す図である。
【0022】
撮像機能付表示装置を利用したMRシステムは、HMD(Head Mounted Display)101、コントローラ102、PC103から構成される。HMD101は、使用者の観察している視界の現実空間の撮像画像を取得するための撮像部を有する。また、撮像画像やPC103からの入力画像、または撮像画像にPC103で生成したCG画像を重畳した合成画像などの表示用画像を装着者に提供するための表示部を有する。図1では、HMD101とコントローラ102間を有線接続としているが、これは無線接続でもよい。HMD101は、コントローラ102からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。HMD101、コントローラ102、PC103のいずれかには、HMD装着者の三次元位置姿勢情報を生成するための位置姿勢情報生成部を有する。三次元位置姿勢情報は、HMDの撮像部、あるいは別途設置した客観カメラで取得した画像情報や、加速度センサやジャイロセンサ、磁気センサ等の各種センサ情報を用いて生成する。コントローラ102と接続されたPC103は、三次元位置姿勢情報に基づき、HMD装着者の視点から観察されるCG画像の描画、合成を行うCG描画合成部を有する。コントローラ102は、画像の解像度変換、色空間変換、光学系の歪み補正、画像符号化等の各種画像処理機能、及び伝送機能を備えている。図1では、コントローラ102とPC103を別々のハードウェア構成としているが、コントローラ102とPC103がそれぞれ有する機能を集め、専用の画像処理装置104として構成することも可能である。以降の説明では機能的な観点から、コントローラ102とPC103がそれぞれ有する機能を組み合わせたものを画像処理装置104として表記して説明する。
【0023】
図2は、MRシステムにおける画像合成について説明する図である。撮像画像201はHMDの撮像部で現実空間を撮像した画像である。MRシステム用のHMDにおいては、撮像部の撮像範囲の中心光軸が、HMD装着者の視線方向に略一致するように配置されることが好ましい。撮像画像中のマーカー202は、HMD装着者の位置姿勢を算出するために用いられる指標である。CG画像203は、画像処理装置内のCG描画合成部で位置姿勢情報に基づいて描画された画像であり、仮想空間のCGオブジェクト204が描画されている。CG描画合成部において、撮像画像201にCG画像203を重畳して、MR画像205を生成し、HMDの表示部で表示することにより、HMD装着者にMR空間を提供することができる。画像合成の際に、三次元空間上の奥行きに関する情報を利用することにより、CG画像を透過させた半透明合成画像を生成することも可能である。
【0024】
図3は、本発明の第1の実施形態における画像処理システムの構成の一例を示す図である。本発明の第1の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
【0025】
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310を有する。また、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313、コンテンツDB(データベース)314、CG描画合成部315、装置側表示画像処理部316を有する。また、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
【0026】
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0027】
HMD101の撮像部301は、HMD装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。撮像部は撮像デバイスと撮像光学系から構成され、撮像デバイスとしては、例えば、CMOSイメージセンサ、CCDイメージセンサなどが使用される。
【0028】
位置姿勢センサ302は、HMD装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。この位置姿勢センサ503としては、例えば、客観カメラや、磁気センサ、加速度センサ、角速度センサ等が使用される。位置姿勢センサ503は、必ずしもHMD101内に有している必要はなく、例えば、HMD装着者の周囲に設置した客観カメラの撮像画像から必要な情報を得る構成でもよい。
【0029】
HMD側撮像画像処理部303は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
【0030】
HMD側間引処理部304は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。フレーム間引処理は、いわゆるフレームレート変換のようなデータ量削減と同時にフレームの周期自体が変更されるものではなく、フレーム周期は入出力間で変更せずに、後段へ送るフレーム数を削減することにより動画像データ量を削減するものである。
【0031】
HMD側撮像画像制御部305は、HMD側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のHMD側共通撮像画像処理部306へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の撮像画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及びHMD側I/F307で送信可能なフレーム数に収まるように制御される。
【0032】
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0033】
HMD側I/F307は、画像処理装置104の装置側I/F308との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信も行う。
【0034】
HMD側共通表示画像処理部320は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。
【0035】
HMD側表示画像制御部321は、フレーム間引処理後の左目用、右目用の表示画像から、表示部324において表示可能なフレームレートを有する左目用、右目用の表示画像の再構成を行う。具体的には、フレーム間引処理後の左目用、右目用の表示画像を、それぞれ左目用、右目用の表示フレームメモリ322に分配、格納し、表示部324でのフレームレートに合わせて、最新の表示画像を表示フレームメモリから出力する制御を行う。
【0036】
表示フレームメモリ322は、左目用表示画像、右目用表示画像をそれぞれ格納し、HMD側表示画像制御部321の制御に基づき、HMD側表示画像処理部323に表示画像を出力する。
【0037】
HMD側表示画像処理部323は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。例えば、オフセット調整やゲイン調整、あるいは表示光学系の歪み補正といった表示デバイスや表示光学系の個体バラツキを補正する処理が挙げられる。
【0038】
表示部324は、CGが重畳されたMR画像をHMD装着者の左目、右目にそれぞれ表示するものである。図3では省略しているが、表示部324は、表示デバイスと表示光学系から構成される。この表示デバイスとしては、例えば、小型の液晶ディスプレイや有機ELディスプレイ、MEMSによる網膜スキャンタイプのデバイスなどが使用される。
【0039】
画像処理装置104の装置側I/F308は、HMD101のHMD側I/F307との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0040】
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0041】
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311に分配する。そして、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311から撮像画像を出力する制御を行う。
【0042】
撮像フレームメモリ311は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部310の制御に基づき、装置側撮像画像処理部312に撮像画像を出力する。
【0043】
装置側撮像画像処理部312は、撮像フレームメモリ311から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、HMD側撮像画像処理部303と同様に、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部312と、HMD側撮像画像処理部303との間で実行する画像処理をそれぞれ分散させてもよい。
【0044】
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301で取得した撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
【0045】
コンテンツDB314は、CG描画用のコンテンツを格納するデータベースである。CG描画合成部315は、三次元位置姿勢情報に基づいて、CG画像の描画、及び撮像画像とCG画像の合成を実行し、MR体験用の表示画像を生成する。
【0046】
装置側表示画像処理部316は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、HMD側表示画像処理部323と同様に、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部316と、HMD側表示画像処理部323との間で実行する画像処理をそれぞれ分散させてもよい。
【0047】
装置側間引処理部317は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0048】
装置側表示画像制御部318は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部319へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の表示画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及び装置側I/F308で送信可能なフレーム数に収まるように制御される。
【0049】
装置側共通表示画像処理部319は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側共通表示画像処理部320と同様に、左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部319と、HMD側共通表示画像処理部320との間で実行する画像処理をそれぞれ分散させてもよい。
【0050】
以上の構成により、HMD101の装着者は、撮像画像とCG画像が合成された臨場感の高いMR画像を体験することが可能となる。
【0051】
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0052】
図4は、フレームレートの異なる動画像データに対する画像処理における遅延の蓄積について説明する図である。
【0053】
図4では、撮像部で取得された撮像画像に対して、画像処理A、画像処理B、伝送、画像処理Cを介して、表示部で表示する処理が行われた場合について説明を行う。
【0054】
図4(a)はフレームレート60fpsの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像Cの撮像の開始時刻を0とした場合、撮像画像Cの取得の完了時刻は1/60秒後となる。続く、画像処理Aは画像1面分のフレームメモリを必要とする画像処理とした場合、画像処理Aが開始される、すなわち処理画像PAが出力されるのは撮像画像Cの取得完了後からとなる。画像処理Bは画像1/3面分のラインメモリを必要とする処理とした場合、画像処理Bによる処理画像PBが出力されるのは、処理画像PAを1/3面分出力後からとなる。同様に伝送、画像処理C、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、それぞれの処理遅延を蓄積していった場合、撮像画像Cが、最終的に表示部で表示画像Dとして表示開始される時刻はT1となる。
【0055】
図4(b)はフレームレート30fpsの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像Cの撮像の開始時刻を0とした場合、撮像画像Cの取得の完了時刻は1/30秒後となる。続く、画像処理Aでは、上述したように画像1面分のフレームメモリを必要とするため、処理画像PAが出力されるのは1/30以降となる。60fpsの場合と同様に画像処理B、伝送、画像処理C、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、各処理遅延を蓄積していった場合、撮像画像Cが、最終的に表示部で表示画像Dとして表示開始される時刻はT2となる。
【0056】
以上のように、フレームレートが異なる動画像データに対して各種画像処理を行うことで、T2とT1の差分ΔTが生じることが確認できる。また、図4では省略して図示を行っているが、実際には、各処理ごとに必要となるメモリ分の遅延に加えて、各処理でかかる処理時間も遅延時間として蓄積される。例えば、各画像処理において動画像データのピクセルクロックを用いて処理が行われ、ピクセルクロック単位での処理遅延が生じるような場合には、ΔTの値はさらに大きくなる。
【0057】
図5は、本発明の第1の実施形態における画像処理システムの撮像部から位置姿勢情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0058】
本実施の形態における画像処理システムは、HMD101の撮像部301のフレームレート、及び表示部324のフレームレートを60fpsとして説明を行う。
【0059】
撮像部301では左目用撮像画像CL、右目用撮像画像CR(nは1以上の整数)の撮像が行われる。1枚目の左目用撮像画像CL、1枚目の右目用撮像画像CRの撮像開始時刻を0とした場合、撮像画像CL、CRの取得の完了時刻は1/60秒後となる。
【0060】
続く、HMD側撮像画像処理部303で左目用、右目用の撮像画像処理が並行して行われ、処理画像P、P(nは1以上の整数)が生成される。
【0061】
HMD側間引処理部304では、HMD101から画像処理装置104への撮像画像の伝送データ量を削減するために左目用処理画像Pから偶数フレームを、右目用処理画像Pから奇数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P(2n-1)、P2n(nは1以上の整数)は後段の処理ブロックに時分割で出力される。ここでは、データ量を1/2に削減するために左右で偶数、奇数フレームをそれぞれ間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
【0062】
HMD側共通撮像画像処理部306では、時分割出力される左目用撮像画像、右目用撮像画像に対して、共通の画像処理が実行され、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
【0063】
続いて、HMD側インタフェース307、装置側インタフェース308を介して、伝送画像T(2n-1)、T2n(nは1以上の整数)の伝送が行われる。
【0064】
装置側共通撮像画像処理部309では、HMD側共通撮像画像処理部306と同様に時分割で伝送されるT(2n-1)、T2n(nは1以上の整数)に対して、共通の画像処理が実行される。それにより、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0065】
続く、撮像フレームメモリ311Lには左目用処理画像P(2n-1)が、撮像フレームメモリ311Rには右目用処理画像P2nがそれぞれ格納される。撮像フレームメモリ311からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
【0066】
装置側撮像画像処理部312では、HMD側撮像画像処理部303と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0067】
位置姿勢情報生成部313では、処理画像P(2n-1)、P2n、及び位置姿勢センサ302で取得されたセンサ情報を用いてHMD101の三次元位置姿勢情報を算出する。そして、処理画像P(2n-1)、P2n(nは1以上の整数)が後段へ出力される。
【0068】
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像CLの取得が開始されてから、位置姿勢情報生成部で位置姿勢情報と対応づけられた処理画像Pの出力が開始されるまでの処置遅延はTとなる。
【0069】
図6は、本発明の第1の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0070】
CG描画合成部315では、三次元位置姿勢情報に基づいたCG画像の描画と、左目用、右目用処理画像P(2n-1)、P2nとの合成処理を行い、左目用MR画像MRL(2n-1)、右目用MR画像MRR2n(nは1以上の整数)を生成する。
【0071】
装置側表示画像処理部316では、左目用、右目用の表示画像処理が並行して行われ、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0072】
装置側間引処理部317では、画像処理装置104からHMD101への表示画像の伝送データ量を削減するために左目用処理画像P(2n-1)、右目用処理画像P2nから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P(2n-1)、P2nは後段の処理ブロックに時分割で出力される。
【0073】
装置側共通表示画像処理部319では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0074】
続いて、装置側インタフェース308、HMD側インタフェース307を介して、伝送画像T(2n-1)、T2n(nは1以上の整数)の伝送が行われる。
【0075】
HMD側共通表示画像処理部320では、装置側共通表示画像処理部319と同様に時分割で伝送されるT(2n-1)、T2nに対して、共通の画像処理が実行され、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0076】
続く、表示フレームメモリ322Lには左目用処理画像P(2n-1)が、表示フレームメモリ322Rには右目用処理画像P2nがそれぞれ格納される。表示フレームメモリ322からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
【0077】
HMD側表示画像処理部323では、装置側表示画像処理部316と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像P(2n-1)、P2n(nは1以上の整数)が生成される。
【0078】
表示部324では、処理画像P(2n-1)、P2nが、それぞれ左目用表示画像DL(2n-1)、右目用表示画像DR2n(nは1以上の整数)として表示される。
【0079】
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像CLの取得が開始されてから、最終的に表示部において表示画像DLとして表示が開始されるまでの処置遅延はTとなる。
【0080】
ここで注目するべきは、HMD101と画像処理装置104間で伝送される画像データ量は撮像画像、表示画像ともに30fpsと同等に落とされているということである。しかしながら、撮像から表示に至るまでの全ての処理は60fpsで実行されているため、フレームレート変換後に30fpsで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積を抑えることが可能となっている。
【0081】
以上の構成を有することにより、本実施の形態における画像処理システムは、左目用、右目用画像間でのフレーム間引処理、及び時分割出力を行い、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。
【0082】
[第2の実施形態]
本発明を実現するのに好適な第2の実施の形態を図に従って説明する。第1の実施形態では、左目用画像データの偶数フレーム、右目用画像データの奇数フレームをそれぞれ間引処理していた。しかし、第1の実施形態では、位置姿勢情報生成部において三次元位置姿勢情報算出に用いられる左目用撮像画像と右目用撮像画像、及び表示部において表示される左目用表示画像と、右目用表示画像の生成時刻にズレが生じるという問題がある。これを解決する手段として、本実施形態では、間引処理のタイミングを左目用画像と右目用画像で同期させる例を説明する。なお、第1の実施形態と重複する部分については説明を省略する。
【0083】
図7は、本発明の第2の実施形態における画像処理システムの構成の一例を示す図である。本発明の第2の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
【0084】
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313を有する。また、奥行情報生成部701、コンテンツDB(データベース)314、CG描画合成部315、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
【0085】
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0086】
本実施の形態における画像処理システムは、画像処理装置104に奥行情報生成部701を有しており、奥行情報を考慮して撮像画像とCG画像の合成を行うことを特徴としている。以下、この点に関して説明する。
【0087】
画像処理装置104の位置姿勢情報生成部313は、HMD101の位置姿勢センサ302で取得したセンサ情報、撮像部301で取得した撮像画像、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
【0088】
奥行情報生成部701は、左目用、右目用の撮像画像の中から奥行検出対象となる任意の被写体を抽出し、三角測量の原理を用いたステレオ法により被写体の奥行情報を算出する。撮像画像の中から被写体を検出する方法としては、マーカー形状や特徴点等を検出して用いる方法や、カラーマーカーや衣服、肌色等の色情報を検出して用いる方法などがあり、それらを組み合わせて検出精度をより向上させることも可能である。
【0089】
CG描画合成部315は、三次元位置姿勢情報と奥行情報に基づいてCG画像の描画、撮像画像との合成を実行し、MR体験用の表示画像を生成する。
【0090】
以上の構成により、HMD101の装着者は、撮像画像中の任意の被写体とCG画像との奥行関係を考慮して合成された臨場感の高いMR画像を体験することが可能となる。
【0091】
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0092】
図8は、奥行情報を考慮した画像合成について説明する図である。図8(a)は、MR体験の対象となるシーンを模式的に示した図である。体験者が手801を動かしてCGオブジェクト802とインタクラクションしているところをHMD101の撮像部で撮像している。なお、以下では、CGオブジェクト802とのインタラクションを行う被写体が手801だとして説明を行うが、本発明はこれに限定されず、任意の被写体に適用可能である。
【0093】
図8(b)、及び図8(c)は、MR体験においてHMD101の表示部に表示される映像を模式的に示す図である。MR体験において、体験者が実際にCGオブジェクト802が存在しているように感じるには、手801とCGオブジェクト802との前後関係を考慮した上で、CGオブジェクト802のCG画像を描画、合成する必要がある。つまり、HMD101から見て、手801がCGオブジェクト802よりも手前にある場合は、図2(b)のように手801でCGオブジェクト802を隠して表示する必要がある。一方で、手801がCGオブジェクト802よりも奥にある場合には、図2(c)のようにCGオブジェクト802で手801を隠して表示する必要がある。本発明では、このような表示を行うためにHMD101の撮像部で取得された撮像画像の中から手801の領域を抽出し、その領域の奥行情報に応じて、その領域にCGオブジェクト802のCG画像を上書き描画するか否かを判定する。手801の領域の抽出では、事前に手801の色領域を登録しておき、映像中に登録した色の画素が現れた時に、その画素を手801として抽出する。
【0094】
図9は、左目用、右目用の撮像画像中に含まれる任意の被写体の奥行情報生成を説明する図である。図9では、HMD101の左目用の撮像部301Lにより取得された左目用撮像画像901L、及びHMD101の右目用の撮像部301Rにより取得された右目用撮像画像901Rをそれぞれ示している。
【0095】
ここで、左目用撮像画像901Lにおける任意の被写体902の点Pl1の撮像画像面内における座標を(Xl1,Yl1)とする。同様に右目用撮像画像901Rにおける前記左目用撮像画像内の点Pl1に相当する対応点を点Pr1とし、点Pr1の撮像画像面内の座標を(Xr1,Yr1)とする。前記対応点は画像処理による各種ステレオマッチング手法を用いることで探索可能である。ここで、左目用の撮像部301Lと右目用の撮像部301R間の基線長をB、各撮像デバイスに光学像を結像している撮像光学系の焦点距離をfとする。この時、点Pl1及びPr1の奥行情報Z1は、三角測量の原理を用いたステレオ法によりZ1=B・f/|Xl1-Xr1|の関係式で求めることができる。上記の奥行情報生成を行うためには、左目用撮像画像901Lと右目用撮像画像901Rの取得タイミングが同時であることが求められる。
【0096】
図10は、本発明の第2の実施形態における画像処理システムの撮像部から奥行情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0097】
本実施の形態における画像処理システムは、第1の実施の形態と同様、HMD101の撮像部301のフレームレート、及び表示部324のフレームレートを60fpsとして説明を行う。
【0098】
撮像部301、HMD側撮像画像処理部303における処理は第1の実施の形態と同様のため説明を省略する。
【0099】
HMD側間引処理部304では、HMD101から画像処理装置104への撮像画像の伝送データ量を削減するために左目用処理画像P、右目用処理画像Pから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P(2n-1)、P(2n-1)(nは1以上の整数)は後段の処理ブロックに時分割で出力される。ここでは、左目用処理画像P(2n-1)と右目用処理画像P(2n-1)が同じタイミングで処理される。そのため、後段の処理ブロックに時分割で出力するために左目用処理画像P(2n-1)出力中に、右目用処理画像P(2n-1)を不図示のフレームメモリへ格納する処理を行う。そして、左目用処理画像P(2n-1)の出力後に、右目用処理画像P(2n-1)をフレームメモリから読み出して出力することで、左目用と右目用の処理画像の時分割出力を実施する。また、データ量を1/2に削減するために左右ともに偶数フレームを間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
【0100】
HMD側共通撮像画像処理部306では、時分割出力される左目用処理画像P(2n-1)、右目用処理画像P(2n-1)に対して、共通の画像処理が実行され、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
【0101】
続いて、HMD側インタフェース307、装置側インタフェース308を介して、伝送画像T(2n-1)、T(2n-1)(nは1以上の整数)の伝送が行われる。
【0102】
装置側共通撮像画像処理部309では、HMD側共通撮像画像処理部306と同様に時分割で伝送されるT(2n-1)、T(2n-1)(nは1以上の整数)に対して、共通の画像処理が実行される。これにより、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。
【0103】
続く、撮像フレームメモリ311Lには左目用処理画像P(2n-1)が、撮像フレームメモリ311Rには右目用処理画像P(2n-1)がそれぞれ格納される。撮像フレームメモリ311からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
【0104】
装置側撮像画像処理部312では、HMD側撮像画像処理部303と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。
【0105】
位置姿勢情報生成部313では、処理画像P(2n-1)、P(2n-1)、及び位置姿勢センサ302で取得されたセンサ情報を用いてHMD101の三次元位置姿勢情報を算出する。そして、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が後段へ出力される。
【0106】
奥行情報生成部701では、左目用、右目用の処理画像P(2n-1)、P(2n-1)を用いて、撮像画像中の任意の被写体の奥行情報を算出し、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が後段へ出力される。
【0107】
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像CLの取得が開始されてから、奥行情報生成部で奥行情報と対応づけられた処理画像Pの出力が開始されるまでの処置遅延はTとなる。
【0108】
図11は、本発明の第2の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
【0109】
CG描画合成部315では、三次元位置姿勢情報に基づいたCG画像の描画と、左目用、右目用処理画像P(2n-1)、P(2n-1)との合成処理を行う。これにより、左目用MR画像MRL(2n-1)、右目用MR画像MRR(2n-1)(nは1以上の整数)を生成する。
【0110】
装置側表示画像処理部316では、左目用、右目用の表示画像処理が並行して行われ、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。
【0111】
装置側間引処理部317では、画像処理装置104からHMD101への表示画像の伝送データ量を削減するために左目用処理画像P(2n-1)、右目用処理画像P(2n-1)から偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P(2n-1)、P(2n-1)は後段の処理ブロックに時分割で出力される。
【0112】
装置側共通表示画像処理部319では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。
【0113】
続いて、装置側インタフェース308、HMD側インタフェース307を介して、伝送画像T(2n-1)、T(2n-1)(nは1以上の整数)の伝送が行われる。
【0114】
HMD側共通表示画像処理部320では、装置側共通表示画像処理部319と同様に時分割で伝送されるT(2n-1)、T(2n-1)に対して、共通の画像処理が実行される。これにより、処理画像P(2n-1)、P(2n-1)(nは1以上の整数)が生成される。
【0115】
続く、表示フレームメモリ322Lには左目用処理画像P(2n-1)が、表示フレームメモリ322Rには右目用処理画像P(2n-1)がそれぞれ格納される。表示フレームメモリ322からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
【0116】
HMD側表示画像処理部323では、装置側表示画像処理部316と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像P10(2n-1)、P10(2n-1)(nは1以上の整数)が生成される。
【0117】
表示部324では、処理画像P10(2n-1)、P10(2n-1)が、それぞれ左目用表示画像DL(2n-1)、右目用表示画像DR(2n-1)(nは1以上の整数)として表示される。
【0118】
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像CLの取得が開始されてから、最終的に表示部において表示画像DLとして表示が開始されるまでの処置遅延はTとなる。
【0119】
ここでも、第1の実施形態における画像処理システムと同様に、HMD101と画像処理装置104間で伝送される画像データ量は撮像画像、表示画像ともに30fpsと同等に落とされている。しかしながら、撮像から表示に至るまでの全ての処理は60fpsで実行されているため、フレームレート変換後に30fpsで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積が抑えられる。
【0120】
さらに、本実施の形態における画像処理システムでは、フレーム間引処理のタイミングを左目用画像と右目用画像で同期させていることに特徴を有する。これにより、位置姿勢情報生成部、及び奥行情報生成部において情報算出に用いられる左目用と右目用の撮像画像、及び表示部において表示される左目用と右目用の表示画像の生成時刻を1/30秒の周期で一致させることができる。左目用と右目用の撮像画像の生成時刻が一致することで、撮像画像中の任意の被写体の奥行情報が算出でき、HMD101の装着者は、
以上の構成を有することにより、本実施の形態における画像処理システムは、第1の実施形態における画像処理システムと同様に、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。さらに、左目用と右目用の画像データの生成タイミングが一致するように、フレーム間引処理のタイミング制御を行うことで、被写体とCGオブジェクトとの奥行関係が考慮された臨場感の高いMR画像を体験することが可能となる。
【0121】
[第3の実施形態]
本発明を実現するのに好適な第3の実施の形態を図に従って説明する。なお、第1、第2の実施形態と重複する部分については説明を省略する。
【0122】
第1、第2の実施形態ではHMD101と画像処理装置104間のデータ伝送に関して、有線、無線の接続方式を問わず、伝送データ量を削減するためにHMD101、画像処理装置104内でそれぞれフレーム間引処理を行う構成について説明を行った。本実施形態では、HMD101と画像処理装置104間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能な構成について説明する。無線接続では、HMD101、画像処理装置104間を直接接続するケーブルが不要となり、HMD装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なMR画像を提供することができるというメリットがある。
【0123】
図12、13は、本発明の第3の実施形態における画像処理システムの構成の一例を示す図である。
【0124】
本発明の第3の実施形態における画像処理システムは、HMD101とHMD側無線ボックス1301、装置側無線ボックス1302、画像処理装置104で構成される。HMD101、HMD側無線ボックス1301、装置側無線ボックス1302、画像処理装置104は、それぞれ以下の構成を有する。
【0125】
HMD101は、撮像部301、位置姿勢センサ302、HMD内撮像画像処理部1201、HMD内有線I/F1202、HMD内表示画像処理部1203、表示部324を有する。
【0126】
HMD側無線ボックス1301は、HMD側有線I/F1303、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側無線I/F1304、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
【0127】
装置側無線ボックス1302は、装置側無線I/F1305、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、装置側有線I/F1306を有する。また、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
【0128】
画像処理装置104は、装置内有線I/F1204、装置内撮像画像処理部1205、位置姿勢情報生成部313、コンテンツDB314、CG描画合成部315、装置内表示画像処理部1206を有する。
【0129】
HMD内有線I/F1202、装置内有線I/F1204、HMD側有線I/F1303、HMD側無線I/F1304、装置側無線I/F1305、装置側有線I/F1306は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
【0130】
図12は、本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をケーブルを用いた有線伝送で行う構成について説明する図である。
【0131】
HMD101の撮像部301は、HMD装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。
【0132】
位置姿勢センサ302は、HMD装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。
【0133】
HMD内撮像画像処理部1201は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。
【0134】
HMD内有線I/F1202は、画像処理装置104の装置内有線I/F1204との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0135】
HMD内表示画像処理部1203は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。
【0136】
表示部324は、CGが重畳されたMR画像をHMD装着者の左目、右目にそれぞれ表示するものである。
【0137】
画像処理装置104の装置内有線I/F1204は、HMD101のHMD内有線I/F1202との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信と、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0138】
装置内撮像画像処理部1205は、左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。装置内撮像画像処理部1205と、HMD内撮像画像処理部1201とで実行する画像処理は、処理負荷や処理順序を鑑みて、それぞれに分散させることが望ましい。
【0139】
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301で取得した撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
【0140】
コンテンツDB314は、CG描画用のコンテンツを格納するデータベースである。CG描画合成部315は、三次元位置姿勢情報に基づいて、CG画像の描画、及び撮像画像とCG画像の合成を実行し、MR体験用の表示画像を生成する。
【0141】
装置内表示画像処理部1206は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。装置内表示画像処理部1206と、HMD内表示画像処理部1203との間で実行する画像処理は、処理負荷や処理順序を鑑みて、をそれぞれ分散させることが望ましい。
【0142】
以上の構成により、HMD101と画像処理装置104間のデータ伝送をケーブルを用いた広帯域な有線伝送で実現することが可能となる。これにより、例えば、60fpsのフレームレートを有する撮像画像、及び表示画像のフレームレートを低下させることなく伝送することが可能となり、HMD101の装着者は、より臨場感の高いMR画像を体験することが可能となる。
【0143】
なお、本実施の形態における画像処理システムは、第2の実施の形態における画像処理システムと同様に、画像処理装置104に奥行情報生成部を有する構成としてもよい。また、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【0144】
図13は、本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をHMD側無線ボックス、装置側無線ボックス介しての無線伝送で行う構成について説明する図である。なお、HMD101、画像処理装置104に関して、図12の構成と同様の説明については省略する。
【0145】
HMD101のHMD内有線I/F1202は、HMD側無線ボックス1301のHMD側有線I/F1303との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0146】
HMD側無線ボックス1301のHMD側有線I/F1303は、HMD101のHMD内有線I/F1202との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0147】
HMD側撮像画像処理部303は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。
【0148】
HMD側間引処理部304は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0149】
HMD側撮像画像制御部305は、HMD側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のHMD側共通撮像画像処理部306へ送る制御を行う。
【0150】
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像符号化などのような処理が挙げられる。
【0151】
HMD側無線I/F1304は、装置側無線ボックス1302の装置側無線I/F1305との無線通信により、左目用撮像画像、右目用撮像画像、及びセンサ情報の送信と、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0152】
HMD側共通表示画像処理部320は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像復号化などのような処理が挙げられる。
【0153】
HMD側表示画像制御部321は、フレーム間引処理後の左目用、右目用の表示画像をそれぞれ左目用、右目用の表示フレームメモリ322に分配する。そして、表示部324において表示可能なフレームレートに合わせて、表示フレームメモリから表示画像を出力する制御を行う。
【0154】
表示フレームメモリ322は、左目用表示画像、右目用表示画像をそれぞれ格納し、HMD側表示画像制御部321の制御に基づき、HMD側表示画像処理部323に表示画像を出力する。
【0155】
HMD側表示画像処理部323は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。
【0156】
装置側無線ボックス1302の装置側無線I/F1305は、HMD側無線ボックス1301のHMD側無線I/F1304との無線通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0157】
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0158】
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311に分配する。そして、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311から撮像画像を出力する制御を行う。
【0159】
撮像フレームメモリ311は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部310の制御に基づき、装置側撮像画像処理部312に撮像画像を出力する。
【0160】
装置側撮像画像処理部312は、撮像フレームメモリ311から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側撮像画像処理部303と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部312と、HMD側撮像画像処理部303との間で実行する画像処理をそれぞれ分散させてもよい。
【0161】
装置側有線I/F1306は、画像処理装置104の装置内有線I/F1204との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信と、表示部324で表示するための左表示画像の受信、その他制御信号の送受信を行う。
【0162】
装置側表示画像処理部316は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側表示画像処理部323と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部316と、HMD側表示画像処理部323との間で実行する画像処理をそれぞれ分散させてもよい。
【0163】
装置側間引処理部317は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0164】
装置側表示画像制御部318は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部319へ送る制御を行う。
【0165】
装置側共通表示画像処理部319は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側共通表示画像処理部320と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部319と、HMD側共通表示画像処理部320との間で実行する画像処理をそれぞれ分散させてもよい。
【0166】
画像処理装置104の装置内有線I/F1204は、装置側無線ボックス1302の装置側有線I/F1306との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0167】
以上の構成を有することにより、本実施の形態における画像処理システムは、HMD101と画像処理装置104間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能となる。無線接続では、HMD101、画像処理装置104間を直接接続するケーブルが不要となり、HMD装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なMR画像を提供することができるというメリットがある。
【0168】
[第4の実施形態]
本発明を実現するのに好適な第4の実施の形態を図に従って説明する。なお、第1~第3の実施形態と重複する部分については説明を省略する。
【0169】
第1~第3の実施形態ではHMD101の左目用撮像部301L、右目用撮像部301Rで取得される撮像画像の間引処理を行う構成について説明を行った。本実施形態では、HMD101に追加でオプション撮像部を有しており、左目用撮像部、右目用撮像部、オプション撮像部で取得される3つの撮像画像の間引処理行う構成について説明する。
【0170】
図14は、本発明の第4の実施形態における画像処理システムの構成の一例を示す図である。
【0171】
本発明の第4の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。また、オプション撮像部1401、オプション用HMD側撮像画像処理部1402、オプション用HMD側間引処理部1403を有する。
【0172】
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313、コンテンツDB(データベース)314を有する。また、CG描画合成部315、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319、オプション用撮像フレームメモリ1404、オプション用装置側撮像画像処理部1405を有する。
【0173】
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、RまたはOPの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理、オプション撮像部用動画像データの処理を行うことを意味する。
【0174】
HMD101のオプション撮像部1401は、左目用撮像部301L、右目用撮像部301Rで撮像される現実空間上の範囲とは異なる範囲のオプション撮像画像を取得する。オプション撮像部1401は、左目用、右目用撮像部301と同じ撮像デバイス、撮像光学系を用いてもよく、また、左目用、右目用撮像部301と解像度や撮像範囲等を異ならせるために異なる撮像デバイス、撮像光学系を用いてもよい。また、オプション撮像部1401で撮像される現実空間上の範囲は、左目用撮像部301L、右目用撮像部301Rで撮像される範囲の一部、あるいは全部を含んでいてもよい。さらには、オプション撮像部1401は、HMD101に内蔵してもよいし、HMD101に外付けで取り付けることが可能な構成としてもよい。
【0175】
オプション用HMD側撮像画像処理部1402は、オプション撮像部1401で取得されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、左目用、右目用の撮像画像やオプション撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
【0176】
オプション用HMD側間引処理部1403は、オプション撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
【0177】
HMD側撮像画像制御部305は、HMD側間引処理部304、オプション用HMD側間引処理部1403によるフレーム間引処理の間隔、タイミングの制御を行う。また、フレーム間引処理後の各撮像画像を、時分割で後段のHMD側共通撮像画像処理部へ送る制御を行う。撮像画像のフレーム間引処理制御の例としては、第1の実施形態と同様にそれぞれ異なる時刻のフレームを順次間引いて出力する方法や、第2の実施形態と同様に同じ時刻のフレームを間引いて、フレームメモリを利用して時分割で出力する方法等が挙げられる。また、フレーム間引処理制御は上記に限られるものではなく、左目用撮像画像、右目用撮像画像、オプション撮像画像の用途、必要とされるフレーム数等を考慮し、優先度に応じて間引処理の間隔を異ならせてもよい。
【0178】
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0179】
HMD側I/F307は、画像処理装置104の装置側I/F308との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の送信と、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
【0180】
画像処理装置104の装置側I/F308は、HMD101のHMD側I/F307との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の受信、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
【0181】
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
【0182】
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311、オプション用撮像フレームメモリ1404に分配して格納する。また、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311、オプション用フレームメモリ1404から撮像画像を出力する制御を行う。
【0183】
オプション用撮像フレームメモリ1404は、オプション撮像画像を格納し、装置側撮像画像制御部310の制御に基づき、オプション用装置側撮像画像処理部1405に撮像画像を出力する。
【0184】
オプション用装置側撮像画像処理部1405は、オプション用撮像フレームメモリ1404から出力されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、オプション用HMD側撮像画像処理部1402と同様に、左目用、右目用の撮像画像とオプション撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、オプション用装置側撮像画像処理部1405と、オプション用HMD側撮像画像処理部1402との間で実行する画像処理をそれぞれ分散させてもよい。
【0185】
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301、オプション撮像部1401で取得した各撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
【0186】
以上の構成を有することにより、本実施の形態における画像処理システムは、画像処理装置104の位置姿勢情報生成部313において、HMD101のオプション撮像部1401で取得されたオプション撮像画像を用いることが可能となる。これにより、HMD装着者の視界の範囲外、すなわち左目用撮像部301L、右目用撮像部302Rの撮像範囲外に存在するマーカー等の情報も位置姿勢情報の生成に利用することができ、位置姿勢情報の精度、及びマーカー等の設置の自由度が向上する。
【0187】
[その他の実施形態]
また、本発明は、上記実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPUやMPU等)がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【0188】
101 HMD
301 撮像部
302 位置姿勢センサ
303 HMD側撮像画像処理部
304 HMD側間引処理部
305 HMD側撮像画像制御部
306 HMD側共通撮像画像処理部
307 HMD側I/F
320 HMD側共通表示画像処理部
321 HMD側表示画像制御部
322 表示フレームメモリ
323 HMD側表示画像処理部
324 表示部
104 画像処理装置
308 装置側I/F
309 装置側共有撮像画像処理部
310 装置側撮像画像制御部
311 撮像フレームメモリ
312 装置側撮像画像処理部
313 位置姿勢情報生成部
314 コンテンツDB
315 CG描画合成部
316 装置側表示画像処理部
317 装置側間引処理部
318 装置側表示画像制御部
319 装置側共通表示画像処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15