特許 6949475 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6949475

(24)【登録日】2021年9月27日

(45)【発行日】2021年10月13日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20210930BHJP

   G06T 13/80 20110101ALI20210930BHJP

   G06T 19/00 20110101ALI20210930BHJP

   G09G 5/36 20060101ALI20210930BHJP

   G09G 5/377 20060101ALI20210930BHJP

   H04N 13/279 20180101ALI20210930BHJP

   H04N 13/344 20180101ALI20210930BHJP

   H04N 13/361 20180101ALI20210930BHJP

【ＦＩ】

   G09G5/00 510A

   G06T13/80 C

   G06T19/00 600

   G09G5/00 530H

   G09G5/00 530T

   G09G5/00 550C

   G09G5/00 555G

   G09G5/36 510C

   G09G5/36 510M

   G09G5/36 520D

   G09G5/36 520L

   H04N13/279

   H04N13/344

   H04N13/361

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2016-229985(P2016-229985)

(22)【出願日】2016年11月28日

(65)【公開番号】特開2018-87849(P2018-87849A)

(43)【公開日】2018年6月7日

【審査請求日】2019年11月18日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】岡▲崎▼ 大

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２０１８−０４１３３１（ＪＰ，Ａ）

【文献】 特開２００８−３００９８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００４９１１５（ＵＳ，Ａ１）

【文献】 特開２００８−３０６６０２（ＪＰ，Ａ）

【文献】 特開２０１２−０７０１８６（ＪＰ，Ａ）

【文献】 米国特許第０６０４６７１２（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ １３／８０

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

Ｈ０４Ｎ １３／２７９

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／３６１

(57)【特許請求の範囲】

【請求項1】

表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、
前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、
前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、
前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記表示制御手段により注目フレームの合成画像を前記表示部に表示させるタイミングよりも前に、注目フレームの前記第二のＣＧ画像の生成を完了することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記取得手段により取得された前記第一のＣＧ画像を時間情報と共に格納する格納手段をさらに備え、
前記生成手段は、
前記格納手段に格納された前記第一のＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新の前記第一のＣＧ画像を、前記補正対象とすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記判定手段は、
前記取得手段による前記第一のＣＧ画像の取得が同期信号に対して遅延している場合、前記異常が発生していると判定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記判定手段は、
前記表示制御手段により注目フレームの合成画像を前記表示部に表示させるタイミングにおいて、前記格納手段に注目フレームの前記第一のＣＧ画像が格納されていない場合、前記異常が発生していると判定することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記表示部の視点の位置姿勢に対応した実写画像は、当該視点から現実空間を撮像した実写画像であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記実写画像は、ビデオ映像であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記実写画像は、その一部または全体を透過させて表示するための透過情報を含むことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

画像処理装置と、
第一のＣＧ画像を生成し、前記画像処理装置に送信可能な画像生成装置と、を備え、
前記画像処理装置は、
表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、
前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、
前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、
前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を前記表示部に表示させる表示制御手段と、
を備え、
前記画像生成装置は、
前記表示部の視点の位置姿勢の動き量を検出する第二の検出手段と、
前記表示部の視点の位置姿勢に基づいて、前記第一のＣＧ画像を生成する画像生成手段と、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一のＣＧ画像とを前記画像処理装置に送信する送信手段と、
を備えることを特徴とする画像処理システム。

【請求項11】

前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一のＣＧ画像とのうち、前記位置姿勢の動き量に関する情報を先行して前記画像処理装置に送信することを特徴とする請求項１０に記載の画像処理システム。

【請求項12】

前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報を、前記画像生成手段により生成された前記第一のＣＧ画像よりも信頼度の高い通信手段により前記画像処理装置に送信することを特徴とする請求項１０または１１に記載の画像処理システム。

【請求項13】

前記画像処理装置は、
前記第二の検出手段よりも簡易的に前記位置姿勢の動き量を検出し、検出した前記位置姿勢の動き量に関する情報を、前記生成手段に対して通信インターフェースを介さずに出力する簡易検出手段をさらに備え、
前記生成手段は、
注目フレームの前記第二のＣＧ画像を生成するタイミングにおいて、前記送信手段から前記第二の検出手段により検出された注目フレームに対応する前記位置姿勢の動き量に関する情報を受信していない場合、前記簡易検出手段により簡易的に検出された前記位置姿勢の動き量に関する情報を用いて前記第二のＣＧ画像を生成することを特徴とする請求項１０から１２のいずれか１項に記載の画像処理システム。

【請求項14】

表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力するステップと、
入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出するステップと、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得するステップと、
注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成するステップと、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定するステップと、
前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させるステップと、を含むことを特徴とする画像処理方法。

【請求項15】

コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、現実空間と仮想空間とをリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術においては、使用者（視聴者）の頭部に装着された頭部装着型表示装置を利用して、使用者にＭＲ空間を体験させることができる。頭部装着型表示装置は、自装置に実装された撮像ユニットが撮像した、若しくは外部装置から入力された現実空間の画像上に、ＣＧ（コンピュータグラフィックス）により描画された仮想空間の画像を合成した合成画像を、表示ユニットに表示する。

【0003】

従来、動画像データにエラーが発生した場合、エラーが発生している画像を補間画像で置き換えて補間する方法が提案されている。特許文献１には、画像にエラーが発生した場合、エラーが発生した画像の全体または画像内のエラー箇所を、過去の画像で置き換えて補間する点が開示されている。また、特許文献２には、ＭＲシステムにおいて、合成画像にエラーが発生し、前後のフレーム間で画像の内容に大きな動きがない場合、エラーが発生した合成画像の全体または画像内のエラー箇所を、直前のフレームの合成画像で置き換える点が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３３３２５７５号公報

【特許文献2】特開２００８−３０６６０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＭＲシステムにおいては、広い空間に置かれた使用者がＭＲ空間を体験するために、頭部装着型表示装置とＣＧ画像を生成するＣＧ画像生成装置とを別々の筐体で構成し、装置間で無線通信を行う場合がある。しかしながら、無線通信を介在させた場合、ＣＧ画像の伝送の遅延やエラーが起きる可能性が高くなる。
ＭＲシステムにおいて、背景画像に重畳させるＣＧ画像にエラーが発生した際に、背景画像も一緒に補間画像に置き換えた場合、使用者の頭部の動きに対して画面全体が補間領域となる。このように画面内の補間領域が増えると、使用者に違和感を与えやすい。
また、ＭＲシステムにおいて、合成画像にエラーが発生した際に、過去の合成画像をそのまま補間画像として代用した場合、補間画像と本来表示すべき合成画像と間には内容の差が生じるため、使用者に違和感を与えるおそれがある。
そこで、本発明は、表示すべき画像にエラーが発生した場合であっても、違和感が低減されたＭＲ空間を提示可能とすることを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置の一態様は、表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させる表示制御手段と、を備える。

【発明の効果】

【0007】

本発明によれば、表示すべき画像にエラーが発生した場合であっても、違和感のないＭＲ空間を提示可能とすることができる。

【図面の簡単な説明】

【0008】

【図1】第一の実施形態における複合現実感システムの構成例を示す図である。

【図2】画像処理装置のハードウェア構成図である。

【図3】第一の実施形態の各装置の処理の流れを示すフローチャートである。

【図4】第一の実施形態の処理タイミングを示す図である。

【図5】第一の実施形態の処理タイミングを示す図である。

【図6】第一の実施形態の処理タイミングを示す図である。

【図7】第二の実施形態における複合現実感システムの構成例を示す図である。

【図8】第二の実施形態における複合現実感システムの変形例を示す図である。

【図9】第三の実施形態における複合現実感システムの構成例を示す図である。

【図10】第四の実施形態における複合現実感システムの構成例を示す図である。

【図11】第四の実施形態の各装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における複合現実感システム（ＭＲシステム）１０の構成例を示す図である。本実施形態におけるＭＲシステム１０は、現実空間と仮想空間とを融合した複合現実空間（ＭＲ空間）を使用者（視聴者）に提示するための画像処理システムである。
本実施形態では、ＭＲ空間を体感する使用者の頭部に装着される頭部装着型表示装置（ＨＭＤ）２０を利用して、使用者にＭＲ空間を提示する場合について説明する。本実施形態において、ＨＭＤ２０は、現実空間の画像（実写画像）とコンピュータグラフィックス（ＣＧ）により描画される仮想空間の画像（ＣＧ画像）とを合成した合成画像を使用者に提示可能なビデオシースルー型ＨＭＤである。ＨＭＤ２０は、実写画像とＣＧ画像とを合成して合成画像を生成する画像処理装置３０と、画像処理装置３０により生成された合成画像を表示する表示部４０と、を備える。

【0010】

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像を生成するＣＧ画像生成装置５０と、を備える。ＨＭＤ２０とＣＧ画像生成装置５０とは、ネットワークを介して互いにデータを送信可能に接続されている。ネットワークは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、インターネットなどである。なお、ネットワークへの物理的な接続形態は、有線であってもよいし、無線であってもよい。但し、広い空間に置かれた使用者がＭＲ空間を体感するためには、ＨＭＤ２０からネットワークへの接続形態は無線であることが望ましい。
ＨＭＤ２０の画像処理装置３０は、画像取得部３１と、第一のバッファ３２と、第二のバッファ３３と、画像合成部３４と、表示制御部３５と、補間画像生成部３６と、を備える。また、ＣＧ画像生成装置５０は、ＧＭＶ検出部５１と、描画位置算出部５２と、ＣＧ生成部５３と、を備える。

【0011】

画像取得部３１は、使用者の視点に対応するＨＭＤ２０の視点の位置姿勢に対応した画像を時系列上連続して入力する。本実施形態では、画像取得部３１は、使用者の右目、左目それぞれに対応する位置から現実空間を撮像した実写画像を一定周期で入力する。例えば、画像取得部３１は、現実空間を撮像したビデオ映像を１フレームごとにキャプチャし、実写画像として取得することができる。画像取得部３１は、取得した実写画像に、画像の時間情報（同期情報）としてフレーム番号を付加し、ＣＧ画像生成装置５０のＧＭＶ検出部５１に送信する（Ｄ１）。また、画像取得部３１は、フレーム番号を付加した実写画像を、第一のバッファ３２に保存する。
なお、画像取得部３１が実写画像をどこから取得するかについては、特に限定されるものではない。例えば、画像取得部３１は、ＨＭＤ２０に実装された撮像装置や、ネットワークに接続されたサーバ装置、記憶媒体から情報を読み取る装置、ハードディスク装置などから取得することができる。また、画像取得部３１が取得する画像は、ＨＭＤ２０の視点の位置姿勢に対応した画像であれよく、実写画像に限定されない。

【0012】

第一のバッファ３２は、画像取得部３１により取得された実写画像を、フレーム番号と共に一時的に保存（格納）する。第二のバッファ３３は、ＣＧ画像生成装置５０のＧＭＶ検出部５１により送信されたＧＭＶ（グローバルモーションベクトル）を保存する。ここで、ＧＭＶは、ＨＭＤ２０の視点の位置姿勢の動き量（変化量）を示す情報である。第二のバッファ３３は、フレーム番号と共にＧＭＶを一時的に保存する。また、第二のバッファ３３は、ＣＧ画像生成装置５０のＣＧ生成部５３により生成されたＣＧ画像をフレーム番号と共に一時的に保存する。

【0013】

画像合成部３４は、実写画像とＣＧ画像とを合成した合成画像（ＭＲ画像）を生成する。本実施形態では、画像合成部３４は、注目フレームの合成画像を生成する際に、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。ここで、ＣＧ画像に異常が発生している状態とは、注目フレームの合成画像を生成するタイミングにおいて、注目フレームのＣＧ画像が合成画像の生成に使用できない状態である。例えば、ＣＧ画像に異常が発生している状態は、ＣＧ画像の取得が同期信号に対して遅延している場合や、ＣＧ画像自体にエラーが発生している場合を含む。

【0014】

本実施形態では、ＣＧ画像の取得が同期信号に対して遅延している場合に、ＣＧ画像に異常が発生していると判定する例について説明する。具体的には、画像合成部３４は、注目フレームの合成画像を生成するタイミングにおいて、注目フレームのＣＧ画像が第二のバッファ３３に保持されているか否かを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。
そして、注目フレームのＣＧ画像が保存されている場合は、第一のバッファ３２に保存された注目フレームの実写画像と、第二のバッファ３３に保存された注目フレームのＣＧ画像とを合成し、合成画像を生成する。一方、注目フレームのＣＧ画像が保存されていない場合は、第一のバッファ３２に保存された注目フレームの実写画像と、補間画像生成部３６により生成された、注目フレームのＣＧ画像を補間するための補間画像とを合成し、合成画像を生成する。

【0015】

表示制御部３５は、画像合成部３４により生成された合成画像を表示部４０に表示させる表示制御を行う。
補間画像生成部３６は、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象として補正し、注目フレームのＣＧ画像を補間するための補間画像を生成する。具体的には、補間画像生成部３６は、補正対象のＣＧ画像を、当該補正対象のＣＧ画像のフレーム番号に相当する実写画像から注目フレームの実写画像までの間のＧＭＶを加味して幾何変換し、補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含む。
また、補間画像の生成を完了するタイミングは、表示制御部３５により注目フレームの合成画像を表示部４０に表示させるタイミングよりも前、具体的には、画像合成部３４において注目フレームの合成画像を生成するタイミングに間に合うタイミングとする。

【0016】

ＧＭＶ検出部５１は、画像取得部３１から送信された実写画像をもとにＧＭＶを検出し、フレーム番号と共にＨＭＤ２０の画像処理装置３０に送信する（Ｄ２）。また、ＧＭＶ検出部５１は、検出したＧＭＶを描画位置算出部５２に送信する。描画位置算出部５２は、ＧＭＶに基づいてＣＧの描画位置を算出し、算出結果をＣＧ生成部５３に送信する。ＣＧ生成部５３は、ＧＭＶを加味した左右両目用のＣＧ画像をそれぞれ生成し、フレーム番号、描画位置と共にＨＭＤ２０の画像処理装置３０に送信する（Ｄ３）。なお、ＣＧ生成部５３は、ＧＭＶに加えて、光源やその他の環境を考慮してＣＧ画像を生成してもよい。
表示部４０は、画像処理装置３０から送信された合成画像を表示するディスプレイを備える。ここで、上記ディスプレイは、使用者の左右の目にそれぞれ対応して配置することができる。この場合、使用者の左目に対応するディスプレイには左目用の合成画像が表示され、使用者の右目に対応するディスプレイには右目用の合成画像が表示される。また、表示部４０は、ディスプレイ上の画像を眼球に導くための光学系を備えていてもよい。

【0017】

図２は、画像処理装置３０のハードウェア構成の一例を示す図である。
画像処理装置３０は、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３と、記憶装置３０４と、記憶媒体ドライブ３０５と、インターフェース（Ｉ／Ｆ）３０６と、システムバス３０７と、を備える。
ＣＰＵ３０１は、画像処理装置３０における動作を統括的に制御するプロセッサであり、システムバス３０７を介して、各構成部（３０２〜３０６）を制御する。ＲＡＭ３０２は、記憶装置３０４や記憶媒体ドライブ３０５からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ３０２は、Ｉ／Ｆ３０６を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ３０２は、ＣＰＵ３０１が各処理を実行する際に用いるワークエリアも有する。例えば、ＲＡＭ３０２は、図１の第一のバッファ３２および第二のバッファ３３として機能することができる。

【0018】

ＲＯＭ３０３は、コンピュータの設定データやブートプログラムなどを格納する。記憶装置３０４は、画像処理装置３０が行うものとして説明した上述の各処理をＣＰＵ３０１に実行させるためのプログラムやデータを記憶している。記憶装置３０４に記憶されているプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされる。ＣＰＵ３０１は、このロードされたプログラムやデータを用いて処理を実行することで、図１に示す画像処理装置３０の各部の機能を実現することができる。
記憶媒体ドライブ３０５は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりすることができる。なお、上記において、記憶装置３０４に保存されているものとして説明したプログラムやデータの一部若しくは全部を、この記憶媒体に記録しておいてもよい。記憶媒体ドライブ３０５が記憶媒体から読み出したプログラムやデータは、記憶装置３０４やＲＡＭ３０２に対して出力される。

【0019】

Ｉ／Ｆ３０６は、外部装置と通信するためのインターフェースである。Ｉ／Ｆ３０６を介して受信したデータは、ＲＡＭ３０２や記憶装置３０４に入力される。
上述したように、図１に示す画像処理装置３０の各部の機能は、ＣＰＵ３０１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置３０の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。

【0020】

なお、ＣＧ画像生成装置５０についても、図２の構成と同様のハードウェア構成を有することができる。この場合、図１に示すＣＧ画像生成装置５０の各部の機能は、ＣＧ画像生成装置５０のＣＰＵがプログラムを実行することで実現することができる。ただし、図１に示すＣＧ画像生成装置５０の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＧ画像生成装置５０のＣＰＵの制御に基づいて動作する。
つまり、図１に示すＨＭＤ２０およびＣＧ画像生成装置５０を構成するそれぞれのブロックは、目標とする処理速度が得られる範囲であれば、ハードウェア、ソフトウェアどちらによって実現されてもよい。

【0021】

以下、画像処理装置３０およびＣＧ画像生成装置５０において実行される処理の手順について、図３を参照しながら説明する。図３に示す処理は、例えば使用者による指示入力に応じて開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。
画像処理装置３０およびＣＧ画像生成装置５０は、それぞれＣＰＵが必要なプログラムを読み出して実行することにより、図３に示す処理を実現することができる。ただし、上述したように、図１に示す画像処理装置３０およびＣＧ画像生成装置５０の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、各装置のＣＰＵの制御に基づいて動作する。なお、以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

【0022】

まず、ＣＧ画像生成装置５０の処理の流れについて説明する。
Ｓ１において、ＧＭＶ検出部５１は、画像処理装置３０の画像取得部３１から実写画像（Ｄ１）を受信したか否かを判定する。そして、ＧＭＶ検出部５１は、実写画像を受信していないと判定した場合は、実写画像を受信するまで待機し、実写画像を受信するとＳ２に移行する。Ｓ２では、ＧＭＶ検出部５１は、Ｓ１において取得した実写画像を注目フレームの実写画像とし、注目フレームの１つ前のフレームの実写画像と比較して、ＨＭＤの視点の位置姿勢の動き量を検出し、注目フレームのＧＭＶを生成する。ここで、ＨＭＤの視点の位置姿勢の動き量は、画像中の特徴点を検出し、検出した特徴点の移動をフレームにまたがって追跡することにより検出することができる。

【0023】

Ｓ３では、ＧＭＶ検出部５１は、Ｓ２において生成されたＧＭＶを、注目フレームのフレーム番号と共に画像処理装置３０に送信する（Ｄ２）。画像処理装置３０に送信されたＧＭＶは、フレーム番号と共に第二のバッファ３３に保存される。次にＳ４では、描画位置算出部５２は、Ｓ２において生成されたＧＭＶに基づいてＣＧの描画位置を算出し、ＣＧ生成部５３は、Ｓ２において生成されたＧＭＶに基づいてＣＧ画像を生成する。そして、Ｓ５では、ＣＧ生成部５３は、Ｓ４において生成されたＣＧ画像を、注目フレームのフレーム番号やＣＧの描画位置と共に画像処理装置３０に送信する（Ｄ３）。画像処理装置３０に送信されたＣＧ画像は、フレーム番号やＣＧの描画位置と共に第二のバッファ３３に保存される。
このように、ＣＧ画像生成装置５０は、注目フレームのＧＭＶを検出した後、注目フレームのＣＧ画像を生成し、注目フレームのＧＭＶを先行して注目フレームのＣＧ画像の生成を待たずに画像処理装置３０へ送信する。

【0024】

次に、画像処理装置３０の処理の流れについて説明する。
まずＳ１１において、画像取得部３１は、実写画像を取得（キャプチャ）する。次にＳ１２において、画像取得部３１は、Ｓ１１において取得された実写画像をフレーム番号と共にＣＧ画像生成装置５０に送信する（Ｄ１）。また、画像取得部３１は、Ｓ１１において取得された実写画像をフレーム番号と共に第一のバッファ３２に保存する。
Ｓ１３では、補間画像生成部３６は、ＣＧ画像生成装置５０から注目フレームに対応するＧＭＶを受信すると（Ｄ２）、第二のバッファ３３に保存されたＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象として読み出す。そして、読み出したＣＧ画像を、ＧＭＶに基づいて幾何変換して補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことができる。

【0025】

ＣＧ画像生成装置５０から画像処理装置３０へのデータの伝送エラー等がなく、正常にＣＧ画像が送信されている限り、上記補正対象は注目フレームの直前のフレームのＣＧ画像である。しかしながら、ＭＲシステム１０においては、ＣＧ画像生成装置５０におけるＣＧ画像の生成処理の遅延や、ＣＧ画像生成装置５０から画像処理装置３０へのデータ伝送の遅延、データ伝送のエラーといったＣＧ画像の異常が発生し得る。つまり、画像処理装置３０においては、ＣＧ画像の受信が同期信号に対して遅れたり、ＣＧ画像を受信できなかったりするフレームが存在する場合がある。

【0026】

上述したような異常により注目フレームの直前のフレームのＣＧ画像が第二のバッファ３３に保存されていない場合には、Ｓ１３において補間画像生成部３６は、直前のフレームよりもさらに前のＣＧ画像を補正対象として補間画像を生成する。その場合、補間画像生成部３６は、注目フレームの実写画像のＧＭＶだけでなく、補正対象のＣＧ画像のフレーム番号に対応する実写画像から注目フレームの実写画像までの間のＧＭＶを加味して補間画像を生成する。
なお、本実施形態では、ＧＭＶについては、ＣＧ画像生成装置５０から画像処理装置３０へのデータの伝送エラー等がなく、正常にＧＭＶが送信されているものとして説明する。

【0027】

次に、Ｓ１４では、画像合成部３４は、合成画像を生成するタイミング（画像合成タイミング）となったか否かを判定する。ここで、画像合成部３４は、実写画像をキャプチャする周期でタイマを動作させ、タイマ終了を検出することで画像合成タイミングを検出することができる。画像合成部３４は、画像合成タイミングではないと判定した場合には、画像合成タイミングとなるまで待機し、画像合成タイミングとなったことを検出するとＳ１５に移行する。
Ｓ１５では、画像合成部３４は、注目フレーム番号のＣＧ画像が第二のバッファ３３に保存されているか否かを判定する。注目フレーム番号のＣＧ画像（Ｄ３）は、ＣＧ画像の異常が発生していない場合、画像合成タイミングの前に受信され（図３の左向きの点線矢印）、第二のバッファ３３に保存される。しかしながら、ＣＧ画像の異常が発生している場合、注目フレーム番号のＣＧ画像は画像合成タイミングの時点で第二のバッファ３３に保存されていない場合がある（図３の下向きの点線矢印）。なお、画像合成タイミングに遅れて受信したＣＧ画像は、次フレームの補間画像の生成処理（Ｓ１３の処理）において利用可能とするために、第二のバッファ３３に保存される。

【0028】

そこで、画像合成部３４は、Ｓ１５において、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されているか否かを判定することで、ＣＧ画像に異常が発生しているか否かを判定する。ここでは、ＣＧ画像の取得が、画像合成タイミングを示す同期信号に対して遅延しているか否かを判定することができる。そして、画像合成部３４は、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されている（ＣＧ画像に異常が発生していない）と判定した場合にはＳ１６に移行する。Ｓ１６では、画像合成部３４は、Ｓ１１において取得された注目フレームの実写画像と、第二のバッファ３３に保存されている注目フレーム番号のＣＧ画像とを合成し、Ｓ１８に移行する。
一方、Ｓ１５において、画像合成部３４が、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されていない（ＣＧ画像に異常が発生している）と判定した場合、Ｓ１７に移行する。そして、Ｓ１７では、画像合成部３４は、Ｓ１１において取得された注目フレームの実写画像と、Ｓ１３において生成された補間画像とを合成し、Ｓ１８に移行する。
Ｓ１８では、表示制御部３５は、Ｓ１６またはＳ１７において生成された合成画像を表示部４０に表示する表示制御を行う。

【0029】

以下、図１の各ブロックでの処理タイミングについて、図４〜図６を用いて説明する。図４〜図６は、横軸方向に時間Ｔをとり、上段から順に、画像取得部３１、ＣＧ生成部５３、第二のバッファ３３、画像合成部３４、補間画像生成部３６の処理タイミングを表している。つまり、上段から実写画像（撮像画像）の取得、ＣＧ画像の生成、ＣＧ画像の保存、合成画像の生成、補間画像の生成のタイミングを示している。
これら図４〜図６において、実写画像Ｆ、ＣＧ画像Ｃおよび合成画像Ｓｙの添え字の数字は、フレーム番号に相当している。例えば、図４の点線で囲まれた処理の添え字は「２」である。この点線領域では、フレーム番号＝２の実写画像Ｆ２を用いてＣＧ画像Ｃ２を生成し、実写画像Ｆ２とＣＧ画像Ｃ２とを合成して合成画像Ｓｙ２を生成することを示している。また、ＣＧ画像Ｃ２を補正して生成された補間画像が、補間画像Ｃ２´であることを示している。

【0030】

図４は、データ伝送の遅延により、ＣＧ画像Ｃ３およびＣ４が第二のバッファ３３に保存されるタイミングが、それぞれ合成画像Ｓｙ３およびＳｙ４を生成するタイミングよりも僅かに遅れた場合の処理タイミングを示している。なお、ＣＧ画像Ｃ３およびＣ４は、それぞれ合成画像Ｓｙ４およびＳｙ５を生成するタイミングよりは前に第二のバッファ３３に保存されているものとする。
画像取得部３１は、実写画像Ｆ２をキャプチャすると、キャプチャした実写画像Ｆ２をＧＭＶ検出部５１に送信する。すると、ＧＭＶ検出部５１は、実写画像Ｆ２をもとにＧＭＶを検出し、検出したＧＭＶを画像処理装置３０に送信する。実写画像Ｆ２のＧＭＶを受信した画像処理装置３０は、補間画像生成部３６において、受信したＧＭＶをもとに、第二のバッファ３３に保存されている最新のＣＧ画像を補正し、補間画像を生成する。このとき、第二のバッファ３３にはＣＧ画像Ｃ１が保存されているため、補間画像生成部３６は、ＣＧ画像Ｃ１を補正して補間画像Ｃ１´を生成する。そして、画像合成部３４は、合成画像Ｓｙ２の画像合成タイミングとなるまで待機する。

【0031】

その間、ＣＧ画像生成装置５０は、ＣＧ生成部５３において、実写画像Ｆ２のＧＭＶに基づいてＣＧ画像Ｃ２を生成し、生成したＣＧ画像Ｃ２を画像処理装置３０へ送信する。異常が発生していない場合、画像処理装置３０は、合成画像Ｓｙ２の画像合成タイミングよりも前にＣＧ画像Ｃ２を受信し、第二のバッファ３３にＣＧ画像Ｃ２が保存される。
したがって、合成画像Ｓｙ２の画像合成タイミングでは、画像合成部３４は、実写画像Ｆ２とＣＧ画像Ｃ２とを合成して合成画像Ｓｙ２を生成する。そして、表示制御部３５は、実写画像Ｆ２とＣＧ画像Ｃ２とを合成した合成画像Ｓｙ２を表示部４０に表示させる。このように、画像処理装置３０は、ＨＭＤの視点の位置姿勢に基づいて生成されたＣＧ画像をリアルタイム合成して表示させるので、使用者に違和感のないＭＲ空間を提示することができる。

【0032】

その後、実写画像Ｆ２をキャプチャしてから一定時間が経過すると、画像取得部３１は、実写画像Ｆ３をキャプチャする。そして、同様に、ＧＭＶ検出部５１は実写画像Ｆ３をもとにＧＭＶを検出し、補間画像生成部３６は、実写画像Ｆ３のＧＭＶをもとにＣＧ画像Ｃ２を補正し、補間画像Ｃ２´を生成する。そして、画像合成部３４は、合成画像Ｓｙ３の画像合成タイミングとなるまで待機する。
このとき、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ３の画像合成タイミングよりも僅かに遅れたものとする。その場合、合成画像Ｓｙ３の画像合成タイミングでは、第二のバッファ３３にＣＧ画像Ｃ３が保存されていないため、画像合成部３４は、実写画像Ｆ３と過去のＣＧ画像Ｃ２を補正して生成された補間画像Ｃ２´とを合成し、合成画像Ｓｙ３を生成する。

【0033】

合成画像Ｓｙ３を生成するタイミングよりも僅かに遅れて受信されたＣＧ画像Ｃ３は、第二のバッファ３３に保存される。第二のバッファ３３に保存されたＣＧ画像Ｃ３は、補間画像生成部３６により実写画像Ｆ４のＧＭＶをもとに補正され、補間画像Ｃ３´が生成される。そして、ＣＧ画像Ｃ３と同様のデータ伝送の遅延により、合成画像Ｓｙ４を生成するタイミングにおいて、第二のバッファ３３にＣＧ画像Ｃ４が保存されていない場合、画像合成部３４は、実写画像Ｆ４と補間画像Ｃ３´とを合成して合成画像Ｓｙ４を生成する。

【0034】

その後、データ伝送の遅延が解消し、合成画像Ｓｙ５を生成するタイミングにおいて、第二のバッファ３３に正常にＣＧ画像Ｃ５が保存されている場合、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。
以上のように、データ伝送の遅延により、画像処理装置３０がＣＧ画像生成装置５０から正常なタイミングでＣＧ画像を取得できない場合には、過去に取得済みの最新のＣＧ画像をＧＭＶに基づいて補正した補間画像を代用する。したがって、本来表示すべきＣＧ画像と内容に差がない補間画像を合成表示することができ、違和感のないＭＲ空間を提示することができる。

【0035】

図５は、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ４を生成するタイミングよりも後になる場合の処理タイミングを示している。
合成画像Ｓｙ３は、図４の例と同様に、実写画像Ｆ３と補間画像Ｃ２´とを合成して生成される。
次に、実写画像Ｆ４がキャプチャされ、実写画像Ｆ４のＧＭＶが検出されると、補間画像生成部３６は、合成画像Ｓｙ４を生成するタイミングよりも前に、補間画像を生成する。このとき、第二のバッファ３３にＣＧ画像Ｃ３は保存されていないため、補間画像生成部３６が生成する補間画像は、ＣＧ画像Ｃ２を、実写画像Ｆ２からＦ４までの間のＧＭＶを加味して補正された補間画像Ｃ２”となる。そして、合成画像Ｓｙ４の画像合成タイミングでは、画像合成部３４は、実写画像Ｆ４と補間画像Ｃ２”とを合成して合成画像Ｓｙ４を生成する。

【0036】

その後、合成画像Ｓｙ４の画像合成タイミングよりも僅かに遅れてＣＧ画像Ｃ３およびＣ４が第二のバッファ３３に保存されたものとする。この場合、実写画像Ｆ５がキャプチャされ、画像処理装置３０がＧＭＶ検出部５１から実写画像Ｆ５のＧＭＶを受信した際には、補間画像生成部３６は、ＣＧ画像Ｃ４を実写画像Ｆ５のＧＭＶに基づいて補正し、補間画像Ｃ４´を生成する。つまり、ＣＧ画像Ｃ３を補正した補間画像Ｃ３´は生成されない。
その後、データ伝送の遅延が解消し、合成画像Ｓｙ５を生成するタイミングよりも前に、第二のバッファ３３に正常にＣＧ画像Ｃ５が保存された場合、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。以降の処理は、図４と同様である。

【0037】

図６は、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ３を生成するタイミングよりも僅かに遅れ、さらに、データ伝送のエラーにより、ＣＧ画像Ｃ４が消失した場合の処理タイミングを示している。
合成画像Ｓｙ３は、図４の例と同様に、実写画像Ｆ３と補間画像Ｃ２´とを合成して生成される。また、合成画像Ｓｙ４は、図４の例と同様に、実写画像Ｆ４と補間画像Ｃ３´とを合成して生成される。
次に、実写画像Ｆ５がキャプチャされ、実写画像Ｆ５のＧＭＶが検出されると、補間画像生成部３６は、合成画像Ｓｙ５を生成するタイミングよりも前に、補間画像を生成する。このとき、ＣＧ画像Ｃ４は第二のバッファ３３に保存されていないため、補間画像生成部３６が生成する補間画像は、ＣＧ画像Ｃ３を実写画像Ｆ３からＦ５までの間のＧＭＶを加味して補正された補間画像Ｃ３”となる。

【0038】

そして、合成画像Ｓｙ５の画像合成タイミングにおいて、ＣＧ画像Ｃ５が第二のバッファ３３に保存されていない場合には、画像合成部３４は、実写画像Ｆ５と補間画像Ｃ３”とを合成して合成画像Ｓｙ５を生成することになる。図６の例では、合成画像Ｓｙ５の画像合成タイミングにおいて、ＣＧ画像Ｃ５が第二のバッファ３３に保存されているため、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。つまり、補間画像Ｃ３”は、このタイミングでは使用されない。以降の処理は、図４と同様である。

【0039】

以上説明したように、本実施形態における画像処理装置３０は、ＨＭＤ２０の視点の位置姿勢に基づき時系列上連続して生成された、ＨＭＤ２０に表示されるべきＣＧ画像をＣＧ画像生成装置５０から入力する。入力されたＣＧ画像は、時間情報と共に第二のバッファ３３に一時的に保存（格納）される。また、画像処理装置３０は、注目フレームよりも時間的に前のフレームのＣＧ画像を補正対象として、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）に基づいて幾何変換し、注目フレームの補間画像を生成する。

【0040】

さらに、画像処理装置３０は、注目フレームのＣＧ画像に、生成処理の遅延やデータ伝送の遅延、データ伝送のエラーといった異常が発生しているか否かを判定する。そして、画像処理装置３０は、上記異常の判定結果に基づいて、表示部４０に表示させるＣＧ画像を選択する。具体的には、画像処理装置３０は、異常が発生していないと判定された場合、注目フレームのＣＧ画像を表示部４０に表示させ、異常が発生していると判定された場合、注目フレームの補間画像を表示部４０に表示させる。本実施形態では、画像処理装置３０は、現実空間を撮像した実写画像といったＨＭＤ２０の視点の位置姿勢に対応した画像に、上記異常の判定結果に基づいて選択されたＣＧ画像または補間画像を合成して表示部４０に表示させる。

【0041】

つまり、何らかの異常により、画像合成タイミングにおいて注目フレームのＣＧ画像が第二のバッファ３３に保存されていない場合、補間画像を代用して実写画像との合成画像を生成する。ここで、補間画像は、過去に正常に取得したＣＧ画像を、ＨＭＤ２０の視点の位置姿勢の動き量に基づいて幾何変換して補正したＣＧ画像である。また、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことができる。
以上のように、画像処理装置３０は、ＣＧ画像に異常が発生した場合、背景画像は実写画像を用い、ＣＧ画像のみ補間画像を用いてＭＲ画像を表示させることができる。つまり、画面内の補間領域をＣＧ画像の表示領域に止めることができる。このように、画面内の補間領域が増えることを抑制することができるので、使用者に与える違和感を抑制することができる。また、上記補間画像は、過去のＣＧ画像をＧＭＶに基づいて補正した、ＨＭＤ２０の視点の位置姿勢に合ったＣＧ画像であり、本来表示すべきＣＧ画像との間に内容の差がないＣＧ画像とすることができる。そのため、補間画像を表示した際の使用者の違和感も抑制することができる。
したがって、通信品質の低い環境や、ＣＧ画像の生成に時間がかかったり処理時間がばらついたりするシステムであっても、使用者に違和感のないＣＧ画像およびＭＲ画像を提供することが可能となる。さらに、合成画像を左目用画像、右目用画像として別系統で生成し、それぞれ左目用表示ユニット、右目用表示ユニットに表示して使用者にステレオ動画像を提供するＭＲシステムにおいては、ステレオ感が損なわれることを防止することもできる。

【0042】

また、画像処理装置３０は、補間画像の生成に際し、第二のバッファ３３に格納されたＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象とすることができる。このように、過去の最新のＣＧ画像を補正対象として補間画像を生成すれば、精度良く補間画像を生成することができ、より違和感のないＭＲ空間を提示することができる。
さらに、画像処理装置３０は、補間画像の生成に際し、注目フレームの合成画像を表示部４０に表示させるタイミングよりも前、具体的には、注目フレームの合成画像を生成するタイミング（画像合成タイミング）に間に合うように補間画像の生成を完了させる。これにより、適切にＭＲ画像を提示することができる。

【0043】

また、画像処理装置３０は、注目フレームの画像合成タイミングにおいて、第二のバッファ３３に注目フレームのＣＧ画像が格納されていない場合、ＣＧ画像に異常が発生していると判定する。このように、ＣＧ画像が第二のバッファ３３に保存されているか否かを判定することで、ＣＧ画像の取得が同期信号に対して遅延しているか否かを判定することができる。したがって、ＣＧ画像生成装置５０においてＣＧ画像の生成処理に遅延が生じた場合や、ＣＧ画像生成装置５０からのＣＧ画像の伝送に遅延が生じた場合、さらにＣＧ画像の伝送にエラーが生じた場合には、容易かつ適切に上記異常を判定することができる。

【0044】

さらにまた、本実施形態におけるＭＲシステム１０においては、ＣＧ画像生成装置５０が、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）を検出するＧＭＶ検出部５１と、ＨＭＤ２０の視点の位置姿勢に基づいてＣＧ画像を生成するＣＧ生成部５３と、を備える。そして、ＣＧ画像生成装置５０が、ＧＭＶ検出部５１により検出されたＧＭＶに関する情報と、ＣＧ生成部５３により生成されたＣＧ画像とを画像処理装置３０に対して送信する。
このとき、ＣＧ画像生成装置５０は、ＧＭＶに関する情報とＣＧ画像とのうち、ＧＭＶに関する情報を先行して画像処理装置３０に送信する。したがって、画像処理装置３０は、注目フレームの画像合成タイミングに間に合うように、注目フレームのＧＭＶを受信して、適切に注目フレームの補間画像を生成することができる。

【0045】

なお、上記実施形態において、ＧＭＶについては、ＣＧ画像生成装置５０から画像処理装置３０への伝送エラー等がなく、正常に送信されているものとして説明した。しかしながら、ＧＭＶを、確実にＣＧ画像生成装置５０からＨＭＤ２０の画像処理装置３０に伝送するために、データ保証のある（信頼度の高い）プロトコルで通信を行ってもよい。信頼度の高い通信としては、例えばＴＣＰ（Transmission Control Protocol）がある。また、ＣＧ画像の伝送は高速性を要するため、データ保証よりも通信速度を優先させたプロトコルを用いて通信を行ってもよい。通信速度を優先させたプロトコルには、例えばＵＤＰ（User Datagram Protocol）がある。

【0046】

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、ＣＧ画像生成装置５０においてＧＭＶを検出する場合について説明した。この第二の実施形態では、ＨＭＤ２０においてＧＭＶを検出する場合について説明する。
図７は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図７において、図１と同様の構成を有する部分には図１と同一符号を付し、以下、構成の異なる部分を中心に説明する。

【0047】

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０Ａとを備える。ＨＭＤ２０は、画像処理装置３０Ａと、表示部４０と、を備える。画像処理装置３０Ａは、図１の画像処理装置３０に対し、ＧＭＶ検出部３７が追加された構成を有する。また、第一のバッファ３２ａおよび第二のバッファ３３ａは、図１の第一のバッファ３２および第二のバッファ３３とは保存する情報が異なる。ＣＧ画像生成装置５０Ａは、図１のＣＧ画像生成装置５０におけるＧＭＶ検出部５１を除いた構成を有する。

【0048】

画像取得部３１により取得された実写画像は、ＧＭＶ検出部３７に送信される。ＧＭＶ検出部３７は、画像取得部３１から入力された実写画像に基づいてＧＭＶを検出する。ＧＭＶの検出方法については、図１のＧＭＶ検出部５１と同様である。そして、ＧＭＶ検出部３７は、実写画像とＧＭＶとをフレーム番号と共に第一のバッファ３２ａに送信する。また、ＧＭＶ検出部３７は、検出したＧＭＶを描画位置算出部５２に送信する。第一のバッファ３２ａは、実写画像とＧＭＶとをフレーム番号と対応付けて保存し、第二のバッファ３３ａは、ＣＧ生成部５３により生成されたＣＧ画像を、フレーム番号および描画位置と共に保存する。

【0049】

以上のように、本実施形態における画像処理装置３０Ａは、ＨＭＤ２０の視点の位置姿勢に対応した実写画像を時系列上連続して入力し、入力された実写画像に基づいて、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）を検出する。ＧＭＶのデータ量は、実写画像のデータ量と比べてはるかに小さい。したがって、ＧＭＶ検出が十分高速に行える場合は、本実施形態のようにＨＭＤ２０にＧＭＶ検出部３７を配置する方が、ＨＭＤ２０からＣＧ画像生成装置５０Ａに伝送するデータのサイズが小さくなる。これにより、実写画像の伝送エラーに起因する画像処理装置３０ＡでのＣＧ画像の取得エラーの発生確率を下げることができ、ＣＧ画像を補間画像で代用する頻度を下げることができる。

【0050】

なお、上記実施形態において、ＧＭＶ検出部３７は、画像からＧＭＶを検出する場合について説明したが、ジャイロセンサや加速度センサを用いてＨＭＤ２０の位置姿勢の動き量を検出してもよい。この場合のＭＲシステム１０は、図８に示すような構成となる。
画像処理装置３０Ｂは、図７の画像処理装置３０ＡにおけるＧＭＶ検出部３７の代わりに、画像取得部３１からの入力を持たないＧＭＶ検出部３７ａを備える構成を有する。ＧＭＶ検出部３７ａは、ＧＭＶを検出するタイミングに同期して、ジャイロセンサや加速度センサによりＧＭＶを検出し、ＧＭＶをフレーム番号と共にＣＧ画像生成装置５０Ａと第一のバッファ３２ａとに送信する。また、画像取得部３１は、取得した実写画像をフレーム番号と共に第一のバッファ３２ａに送信する。その他の構成および動作については、図７と同様であるため、説明は割愛する。

【0051】

（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
上述した第一および第二の実施形態では、ＨＭＤ２０がビデオシースルー型ＨＭＤであり、実写画像とＣＧ画像とを合成した合成画像を表示する場合について説明した。第三の実施形態では、ＨＭＤ２０が光学シースルー型ＨＭＤであり、透明な画像投影面に、ＣＧ画像のみを投影する場合について説明する。
図９は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図９において、図８と同様の構成を有する部分には図８と同一符号を付し、以下、構成の異なる部分を中心に説明する。

【0052】

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０Ａとを備える。ＨＭＤ２０は、画像処理装置３０Ｃと、表示部４０と、を備える。本実施形態においては、ＨＭＤ２０は、実写画像をキャプチャする必要がなく、画像処理装置３０Ｃは、図８の画像処理装置３０Ｂが備える画像取得部３１を備えていない。また、画像処理装置３０Ｃは、図８の画像合成部３４の代わりに、表示画像選択部３８を備える。さらに、第一のバッファ３２ｂは、図８の第一のバッファ３２ａとは保存する情報が異なる。第一のバッファ３２ｂは、実写画像を保存する必要がなく、ＧＭＶ検出部３７ａにより検出されたＧＭＶを時間情報と共に保存する。

【0053】

表示画像選択部３８は、表示部４０に表示するＣＧ画像を選択する。表示画像選択部３８は、注目フレームのＣＧ画像の表示を行うタイミングに同期して、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。具体的には、表示画像選択部３８は、注目フレームのＣＧ画像を表示するタイミングにおいて、注目フレームに相当するＣＧ画像が第二のバッファ３３ａに保存されているか否かを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。
そして、注目フレームのＣＧ画像が保存されている場合は、第二のバッファ３３ａに保存された注目フレームのＣＧ画像を表示画像として選択する。一方、注目フレームのＣＧ画像が保存されていない場合は、補間画像生成部３６により生成された、注目フレームのＣＧ画像を補間する補間画像を表示画像として選択する。

【0054】

なお、本実施形態においては、ＣＧ画像に透過情報を含めておき、画像投影面に投影されるＣＧに、透過情報が画像として反映されるようにすることもできる。また、実写画像に透過情報を含め、外界において実写画像にＣＧ画像を重畳し、使用者に提示するようにしてもよい。
以上により、頭部装着型表示装置の画像投影面が透明で、ＣＧ画像のみを投影する構成のＭＲシステムにおいて、本来表示すべきＣＧ画像に異常が発生した場合であっても、違和感のないＭＲ空間を提示することができる。

【0055】

（第四の実施形態）
次に、本発明の第四の実施形態について説明する。
上述した第一の実施形態では、ＣＧ画像生成装置５０において検出されたＧＭＶをＨＭＤ２０の画像処理装置３０に送信し、画像処理装置３０における補間画像の生成に用いる場合について説明した。第四の実施形態では、ＣＧ画像生成装置５０におけるＧＭＶ検出とは別に、ＨＭＤ２０において簡易的なＧＭＶを検出する場合について説明する。
図１０は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図１０において、図１と同様の構成を有する部分には図１と同一符号を付し、以下、構成の異なる部分を中心に説明する。

【0056】

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０とを備える。ＨＭＤ２０は、画像処理装置３０Ｄと、表示部４０と、を備える。画像処理装置３０Ｄは、図１の画像処理装置３０に対し、簡易ＧＭＶ検出部３９が追加された構成を有する。また、第一のバッファ３２ｂは、図１の第一のバッファ３２とは保存する情報が異なる。さらに、補間画像生成部３６ａは、図１の補間画像生成部３６とは補間画像の生成方法が異なる。
簡易ＧＭＶ検出部３９は、画像取得部３１によって取得された実写画像をもとに、簡易的にＨＭＤ２０の位置姿勢の動き量を検出する。本実施形態では、簡易ＧＭＶ検出部３９は、ＨＭＤ２０の視点の上下左右のような２次元方向の動きを簡易検出する。この簡易ＧＭＶ検出部３９は、ＨＭＤ２０に十分搭載可能な程度に処理が軽い検出手段である。一方、ＧＭＶ検出部５１は、ＨＭＤ２０の視点の上下左右だけでなく、面内回転、前後の動きを検出する比較的高度な処理を要する検出手段である。

【0057】

簡易ＧＭＶ検出部３９は、検出した簡易的なＧＭＶをフレーム番号と共に第一のバッファ３２ｃに送信する。第一のバッファ３２ｃは、実写画像と簡易的なＧＭＶとをフレーム番号と対応付けて保存する。
補間画像生成部３６ａは、補間画像の生成タイミングにおいて、第二のバッファ３３に注目フレームのＧＭＶが保存されているか否かを判定する。そして、注目フレームのＧＭＶが保存されている場合は、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、注目フレームのＧＭＶを用いて補正し、補間画像を生成する。一方、注目フレームのＧＭＶが保存されていない場合、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第一のバッファ３２ｃに保存された注目フレームの簡易的なＧＭＶを用いて補正し、補間画像を生成する。

【0058】

図１１は、画像処理装置３０ＤおよびＣＧ画像生成装置５０において実行される処理の手順を示すフローチャートである。この図１１において、図３と同一処理を行うステップには図３と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
本実施形態において、ＣＧ画像生成装置５０の処理は、図３と同様である。
画像処理装置３０Ｄの処理は、図３のＳ１２の後にＳ２１〜Ｓ２５の処理が追加され、Ｓ１３の処理が削除されていることを除いては、図３と同様である。

【0059】

Ｓ２１では、簡易ＧＭＶ検出部３９は、簡易的なＧＭＶを生成する。簡易ＧＭＶ検出部３９は、Ｓ２におけるＧＭＶ検出部５１によるＧＭＶの生成に比べて演算量の少ない手法でＧＭＶを検出する簡易検出を行う。なお、簡易ＧＭＶ検出部３９による簡易検出の手法は、ＧＭＶ検出部５１によるＧＭＶの検出手法に比べて精度が劣る手法であってもよい。
次に、補正画像生成部３６ａは、Ｓ２２において、補間画像を生成するタイミングとなったか否かを判定する。ここで、補間画像生成部３６ａは、実写画像をキャプチャする周期でタイマを動作させ、タイマ終了を検出することで補間画像生成タイミングを検出することができる。補間画像生成部３６ａは、補間画像生成タイミングではないと判定した場合には、補間画像生成タイミングとなるまで待機し、補間画像生成タイミングとなったことを検出するとＳ２３に移行する。

【0060】

Ｓ２３では、補間画像生成部３６ａは、注目フレームに該当するＧＭＶをＣＧ画像生成装置５０から受信したか否かを判定する。注目フレームのＧＭＶ（Ｄ２）は、データ伝送等の異常が発生していない場合、補間画像生成タイミングの前に受信され（図３の左向きの点線矢印）、第二のバッファ３３に保存される。しかしながら、何らかの異常が発生している場合、注目フレームのＧＭＶは補間画像生成タイミングの時点で第二のバッファ３３に保存されていない場合がある（図３の下向きの点線矢印）。
そこで、補間画像生成部３６ａは、Ｓ２３において、第二のバッファ３３に注目フレームのＧＭＶが保存されているか否かを判定することで、注目フレームのＧＭＶを受信したか否かを判定する。そして、補間画像生成部３６ａは、ＧＭＶを受信していると判定した場合にはＳ２４に移行し、ＧＭＶを受信していない場合にはＳ２５に移行する。

【0061】

Ｓ２４では、補間画像生成部３６ａは、第二のバッファ３３に保存されているＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第二のバッファ３３に保存された注目フレームのＧＭＶを加味して補正した補間画像を生成する。これに対して、Ｓ２５では、補間画像生成部３６ａは、第二のバッファ３３に保存されているＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第一のバッファ３２ｃに保存された簡易的なＧＭＶを加味して補正した補間画像を生成する。

【0062】

以上のように、本実施形態における画像処理装置３０Ｄは、ＧＭＶ検出部５１よりも簡易的にＧＭＶを検出し、検出した簡易ＧＭＶを、補間画像生成部３６ａに対して通信インターフェースを介さずに出力する簡易ＧＭＶ検出部３９を備える。これにより、伝送エラーによってＣＧ画像生成装置５０において検出されたＧＭＶをＨＭＤ２０が受信できない場合であっても、簡易ＧＭＶを代用して補間画像を生成することができる。つまり、伝送エラーが発生しても、使用者の動きに追従した補間画像を作り続けることができる。したがって、通信環境の劣る環境においても、使用者に違和感のないＣＧ画像およびＭＲ画像を提示することが可能となる。

【0063】

（変形例）
なお、上記各実施形態では、画像の時間情報としてフレーム番号を用いる場合について説明したが、フレーム番号の代わりにタイムスタンプ情報を用いてもよい。
また、上記各実施形態において、ＣＧ画像の生成処理にｎ（ｎは自然数）フレーム以上のレイテンシが存在する場合、画像処理装置３０における補間画像の生成処理や合成画像の生成処理では、ｎフレーム前のフレーム番号の画像を処理してもよい。
さらに、上記各実施形態において、ＣＧ画像を重畳する画像を実写画像として説明したが、実写画像ではなく、ビデオ映像とＣＧ画像とを重畳してもよい。上記第三の実施形態のように頭部装着型表示装置（ＨＭＤ）の画像投影面が透明で、ＣＧ画像のみを投影する構成のＭＲシステムでは、ビデオ映像に透過情報を含め、外界においてビデオ画像にＣＧ画像を重畳し、使用者に提示するようにしてもよい。

【0064】

また、上記各実施形態においては、ＣＧ画像を表示する表示装置であるＨＭＤと、ＣＧ画像を生成するＣＧ画像生成装置とが別々の筐体で構成され、装置間がネットワークを介して通信可能に接続されている場合について説明した。しかしながら、ＣＧ画像を表示させる画像処理装置とＣＧ画像生成装置とが１つの筐体により構成されたＭＲシステムにも適用可能である。この場合、ＣＧ画像生成装置から画像処理装置へのデータ伝送の遅延やエラーといった異常は発生しない。しかしながら、ＣＧ画像の生成処理の遅延が発生した場合には、上記各実施形態と同様に、補間画像の違和感を低減してＭＲ空間を提示することができるという効果が得られる。

【0065】

さらに、上記各実施形態においては、画像処理装置３０は、ＣＧ画像生成装置により生成されたＣＧ画像を時系列上連続して取得する場合について説明した。しかしながら、画像処理装置３０は、ＣＧ画像生成装置により生成された複数フレームのＣＧ画像が記憶された記憶媒体から、連続的にＣＧ画像を読み出す構成であってもよい。この場合、記憶媒体からＣＧ画像を読み出す際のエラーや、ＣＧ画像を復号する際のエラー、ＣＧ画像自体のノイズ付加などのエラーを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定してもよい。
さらに、表示装置は頭部装着型表示装置（ＨＭＤ）に限定されるものではなく、ハンドヘルドディスプレイ（ＨＨＤ）を用いてもよい。ＨＨＤは、手持ちのディスプレイである。つまり、使用者が手にとり、双眼鏡のように覗き込むことで画像を観察するディスプレイであってもよい。さらに、表示装置は、タブレットやスマートフォン等の表示端末であってもよい。

【0066】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0067】

１０…複合現実感システム、２０…頭部装着型表示装置、３０…画像処理装置、３１…画像取得部、３２…第一のバッファ、３３…第二のバッファ、３４…画像合成部、３５…表示制御部、３６…補間画像生成部、４０…表示部、５０…ＣＧ画像生成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】