▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-20
(45)【発行日】2023-07-28
(54)【発明の名称】画像生成装置および画像生成方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230721BHJP
G06F 3/04815 20220101ALI20230721BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
【請求項の数】
9
(21)【出願番号】P 2020537981
(86)(22)【出願日】2018-08-23
(86)【国際出願番号】 JP2018031252
(87)【国際公開番号】W WO2020039568
(87)【国際公開日】2020-02-27
【審査請求日】2021-08-11
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】大橋 良徳
(72)【発明者】
【氏名】西舘 正臣
(72)【発明者】
【氏名】永井 規浩
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】特開２０１１－００８３５０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１０８１７９（ＵＳ，Ａ１）
【文献】特開２０１６－１９２１３７（ＪＰ，Ａ）
【文献】特開２０１６－０４５８１５（ＪＰ，Ａ）
【文献】特開２０１５－２２８２５６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００９５６１６（ＵＳ，Ａ１）
【文献】特開２０１５－２０３８８９（ＪＰ，Ａ）
【文献】特開２０１８－１０９８３５（ＪＰ，Ａ）
【文献】特表２０１３－５２０７２９（ＪＰ，Ａ）
【文献】特開２０１２－０８８７７６（ＪＰ，Ａ）
【文献】特表２０１９－５３６１３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
３／０４８ー３／０４８９５
(57)【特許請求の範囲】
【請求項1】
ユーザの身体部位の位置および姿勢を取得する取得部と、
前記身体部位の位置をオフセットすることにより計算される前記身体部位が有する仮想オブジェクトの位置および前記身体部位の姿勢にもとづいて、前記身体部位が有する前記仮想オブジェクトと現実世界の物体の接触の有無を判定する接触判定部と、
前記身体部位が有する前記仮想オブジェクトが接触した前記現実世界の物体の箇所を含む部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する拡張現実領域判定部と、
前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成部とを含み、
前記拡張現実生成部は、前記拡張現実領域に前記ユーザの現実の姿または前記ユーザの身体を仮想的に表すキャラクタを描画することにより、前記拡張現実領域に拡張現実画像を生成することを特徴とする画像生成装置。
【請求項2】
前記取得部は、前記ユーザの身体に設けられたトラッカによって検出された前記身体部位の位置および姿勢を取得することを特徴とする請求項１に記載の画像生成装置。
【請求項3】
前記トラッカによって検出された前記身体部位の位置および姿勢を前記ユーザの視点位置および視線方向の取得時点に合うように変換するタイムワープ部をさらに含むことを特徴とする請求項２に記載の画像生成装置。
【請求項4】
前記取得部は、前記撮影画像から画像認識によって検出された前記身体部位の位置および姿勢を取得することを特徴とする請求項１に記載の画像生成装置。
【請求項5】
前記撮影画像を前記ユーザの視点位置および視線方向の取得時点に合うように変換するタイムワープ部をさらに含むことを特徴とする請求項４に記載の画像生成装置。
【請求項6】
前記拡張現実生成部は、前記現実世界の形状に応じて前記拡張現実画像を生成することを特徴とする請求項１から５のいずれかに記載の画像生成装置。
【請求項7】
前記拡張現実生成部は、前記拡張現実領域にコンピュータグラフィックス画像を重畳するとともに、あるいは、前記拡張現実領域にコンピュータグラフィックス画像を重畳することに代えて、前記拡張現実領域内の撮影画像にエフェクトを施すことを特徴とする請求項１から６のいずれかに記載の画像生成装置。
【請求項8】
ユーザの身体部位の位置および姿勢を取得する取得ステップと、
前記身体部位の位置をオフセットすることにより計算される前記身体部位が有する仮想オブジェクトの位置および前記身体部位の姿勢にもとづいて、前記身体部位が有する前記仮想オブジェクトと現実世界の物体の接触の有無を判定する接触判定ステップと、
前記身体部位が有する前記仮想オブジェクトが接触した前記現実世界の物体の箇所を含む部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する拡張現実領域判定ステップと、
前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成ステップとを含み、
前記拡張現実生成ステップは、前記拡張現実領域に前記ユーザの現実の姿または前記ユーザの身体を仮想的に表すキャラクタを描画することにより、前記拡張現実領域に拡張現実画像を生成することを特徴とする画像生成方法。
【請求項9】
ユーザの身体部位の位置および姿勢を取得する取得機能と、
前記身体部位の位置をオフセットすることにより計算される前記身体部位が有する仮想オブジェクトの位置および前記身体部位の姿勢にもとづいて、前記身体部位が有する前記仮想オブジェクトと現実世界の物体の接触の有無を判定する接触判定機能と、
前記身体部位が有する前記仮想オブジェクトが接触した前記現実世界の物体の箇所を含む部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する拡張現実領域判定機能と、
前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成機能とをコンピュータに実現させ、
前記拡張現実生成機能は、前記拡張現実領域に前記ユーザの現実の姿または前記ユーザの身体を仮想的に表すキャラクタを描画することにより、前記拡張現実領域に拡張現実画像を生成することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像を生成する装置および方法に関する。
【背景技術】
【0002】
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
【0003】
また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
拡張現実の映像をヘッドマウントディスプレイに表示する際、ヘッドマウントディスプレイに搭載されたカメラで撮影される外界の映像に対して、ＣＧによって生成された仮想世界のオブジェクトをいきなり重畳させると、実世界と仮想世界が非連続に結合するため、ユーザは違和感を感じることがある。
【0005】
本発明はこうした課題に鑑みてなされたものであり、その目的は、拡張現実の映像の違和感を軽減することのできる画像生成装置および画像生成方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の画像生成装置は、ユーザの身体部位と現実世界の物体の接触の有無を判定する接触判定部と、前記身体部位が接触した前記現実世界の物体の箇所を含む部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する拡張現実領域判定部と、前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成部とを含む。
【0007】
本発明の別の態様は、画像生成方法である。この方法は、ユーザの身体部位と現実世界の物体の接触の有無を判定する接触判定ステップと、前記身体部位が接触した前記現実世界の物体の箇所を含む部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する拡張現実領域判定ステップと、前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成ステップとを含む。
【0008】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0009】
本発明によれば、拡張現実の映像の違和感を軽減することができる。
【図面の簡単な説明】
【0010】
【図1】ヘッドマウントディスプレイの外観図である。
【図2】本実施の形態に係る画像生成システムの構成図である。
【図3】ヘッドマウントディスプレイの機能構成図である。
【図4】本実施の形態に係る画像生成装置の機能構成図である。
【図5A】本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。
【図5B】本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。
【図6A】本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。
【図6B】本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。
【図6C】本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。
【図7A】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図7B】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図7C】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図8A】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図8B】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図9】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図10A】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【図10B】本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【発明を実施するための形態】
【0011】
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
【0012】
ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
【0013】
ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。
【0014】
ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
【0015】
図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。
【0016】
画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。
【0017】
画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。
【0018】
ユーザの身体部位が現実世界の物体と接触した箇所を少なくとも含む部分空間をユーザの視点から見た場合の領域に拡張現実領域が生成されて表示される。この拡張現実画像が表示される領域を「ＡＲ領域」と呼ぶ。たとえばユーザの手が現実世界のテーブルの上面の一部に接触した場合、テーブルの表面全体を部分空間とし、テーブルの表面をユーザの視点から見た場合の領域をＡＲ領域とする。ＡＲ領域には、カメラによる撮影画像に所定のエフェクトや仮想オブジェクトの画像を重畳することで拡張現実画像を生成して表示してもよく、あるいは、カメラによる撮影画像の代わりにそれとは別のＣＧ画像を生成して表示してもよい。
【0019】
ある実施例では、ユーザの身体部位にはトラッカ５００が付けられる。トラッカ５００は、慣性センサ、地磁気センサ、加速度センサ、モーションセンサなどのセンサを備え、ユーザの身体部位の位置や姿勢を検出することができる。ここでは、ユーザの手にトラッカ５００を装着した例を説明するが、胴体や足など他の身体部位にトラッカ５００を装着してもよい。ユーザの身体部位の位置および姿勢にもとづいて、ユーザの身体部位と現実世界の物体の接触の有無と、身体部位が接触した物体の箇所が決定される。トラッカ５００は、ユーザの身体部位の位置および姿勢を画像生成装置２００に送信する。
【0020】
別の実施例では、画像生成装置２００は、カメラ画像においてユーザの身体部位を画像認識することによってユーザの身体部位の位置や姿勢を検出し、ユーザの身体部位と現実世界の物体の接触の有無と、身体部位が接触した物体の箇所を決定する。
【0021】
図３は、ヘッドマウントディスプレイ１００の機能構成図である。
【0022】
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
【0023】
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
【0024】
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【0025】
姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
【0026】
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
【0027】
カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。
【0028】
ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、カメラユニット８０により撮影された外界の映像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。
【0029】
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
【0030】
姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。
【0031】
図４は、本実施の形態に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【0032】
画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
【0033】
ＨＭＤ位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。ＨＭＤ位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の姿勢センサ６４などの慣性計測ユニット（ＩＭＵ(Inertial Measurement Unit)）から、ヘッドマウントディスプレイ１００の現在の姿勢情報を示すＩＭＵデータを取得し、カメラ画像およびＩＭＵデータを用いて、自己位置推定と環境地図作成を同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）処理を実行し、ヘッドマウントディスプレイ１００を装着したユーザの姿勢を推定してもよい。
【0034】
視点・視線設定部２２０は、ＨＭＤ位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
【0035】
身体位置・姿勢取得部２４４は、ユーザの身体部位の位置・姿勢を取得し、タイムワープ部２４６と接触判定部２４７に供給する。ある実施例では、身体位置・姿勢取得部２４４は、トラッカ５００が検出する身体部位の位置・姿勢を取得する。別の実施例では、身体位置・姿勢取得部２４４は、撮影画像において身体部位を画像認識することによって、身体部位の位置・姿勢を取得する。
【0036】
タイムワープ部２４６は、トラッカ５００の位置・姿勢取得時点のタイムスタンプと、ヘッドマウントディスプレイ１００の位置・姿勢推定時点のタイムスタンプの差分にもとづいて、身体部位の位置・姿勢を、ヘッドマウントディスプレイ１００の位置・姿勢推定時点のタイムスタンプに合うように変換する。
【0037】
ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像を受信し、画像信号処理部２５０に供給する。
【0038】
画像信号処理部２５０は、ヘッドマウントディスプレイ１００のカメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部２５０は画像信号処理および歪み補正処理が施されたＲＧＢ画像を画像生成部２３０に供給する。
【0039】
画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、画像信号処理部２５０から提供される現実空間のカメラ画像に重畳するまたはカメラ画像に代えて描画することで拡張現実画像を生成し、画像記憶部２６０に出力する。
【0040】
画像生成部２３０は、接触判定部２４７と、ＡＲ領域判定部２４８と、レンダリング部２３２と、ＡＲ生成部２３４と、ポストプロセス部２３６と、タイムワープ部２３８と、リプロジェクション部２４０と、歪み処理部２４２とを含む。
【0041】
接触判定部２４７は、ユーザの身体部位と現実世界の物体の接触の有無を判定する。身体部位の位置・姿勢と現実世界の物体の形状情報・奥行き情報を比較することにより、接触判定を行うことができる。接触条件を満たした場合、接触判定部２４７は、身体部位が接触した現実世界の物体の箇所をＡＲ領域判定部２４８に通知する。
【0042】
現実世界の物体の形状情報や奥行き情報は、現実世界の空間を３Ｄスキャンすることで得られる。たとえば、赤外線パターン、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ、ＴＯＦ（Time Of Flight）などの方式のデプスセンサを用いて現実空間の奥行き情報を取得したり、ステレオカメラの視差情報から現実空間の奥行き情報を取得することができる。
【0043】
ＡＲ領域判定部２４８は、視点・視線設定部２２０からユーザの視点位置および視線方向を取得し、接触判定部２４７から身体部位が接触した現実世界の物体の箇所を示す情報を取得する。ＡＲ領域判定部２４８は、身体部位が接触した現実世界の物体の箇所を少なくとも含む部分空間をユーザの視点位置および視線方向から見た場合の領域をＡＲ領域として判定し、ＡＲ領域を示す情報をＡＲ生成部２３４とポストプロセス部２３６に供給する。
【0044】
ＡＲ領域判定部２４８は、身体部位が接触した現実世界の物体の箇所を含む一定の部分空間をユーザの視点位置および視線方向から見た場合の領域をＡＲ領域として判定する。接触箇所を含む部分空間として、接触箇所から所定の距離範囲の部分空間を選択してもよく、接触した物体の面全体を部分空間としてもよい。この部分空間に対するユーザの視点位置および視線方向によって、ＡＲ領域の位置や大きさが変化する。
【0045】
レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングし、ＡＲ生成部２３４に与える。
【0046】
また、レンダリング部２３２は、カメラ映像に写り込んだユーザの手などの身体部位にエフェクトを施したり、当該身体部位を仮想モデルに置き換えてもよい。
【0047】
ＡＲ生成部２３４は、画像信号処理部２５０から供給されるカメラ画像の内、ＡＲ領域判定部２４８によって指定されたＡＲ領域にレンダリング部２３２により生成されたＣＧ画像をカメラ画像に重畳するまたはカメラ画像に代えて描画することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
【0048】
ポストプロセス部２３６は、拡張現実画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、現実空間の画像に仮想オブジェクトが重畳された拡張現実画像が自然で滑らかに見えるように後処理する。また、ポストプロセス部２３６は、ＡＲ領域判定部２４８によって指定されたＡＲ領域に各種のエフェクトを施してもよい。ＡＲ生成部２３４がＡＲ領域内にＣＧ画像を重畳または置き換え描画することなく、ポストプロセス部２３６がＡＲ領域内のカメラ画像に単にエフェクトを施すだけでもよい。
【0049】
リプロジェクション部２４０は、ＨＭＤ位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された拡張現実画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【0050】
ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
【0051】
このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
【0052】
そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
【0053】
歪み処理部２４２は、リプロジェクション処理が施された拡張現実画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。
【0054】
ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された拡張現実画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
【0055】
タイムワープ部２３８は、カメラの撮影時点のタイムスタンプと、ヘッドマウントディスプレイ１００の位置・姿勢取得時点のタイムスタンプの差分にもとづいて、画像信号処理部２５０から供給されるカメラ画像をヘッドマウントディスプレイ１００の位置・姿勢取得時点のタイムスタンプに合うように変換し、ＡＲ生成部２３４に与える。このタイムワープ処理は画像認識によって身体部位の位置および姿勢を検出する場合に特に有効である。ＡＲ生成部２３４は、タイムワープ処理されたカメラ画像にレンダリング部２３２により生成されたＣＧ画像を重畳または置き換え描画することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
【0056】
【0057】
図５Ａは、ヘッドマウントディスプレイ１００のディスプレイパネル３２に表示される画面を説明する図である。ここでヘッドマウントディスプレイ１００はビデオ透過型であり、ヘッドマウントディスプレイ１００に搭載されたカメラにより撮影された外界の映像が表示されている。
【0058】
外界の映像からわかるように、ユーザは部屋の中におり、自分の前にテーブル５３０と椅子があり、テーブル５３０の上にはコーヒーカップ５１０が置かれている。壁際には洋服スタンドがある。また正面の壁にポスター５２０が貼られている。
【0059】
図５Ｂは、ユーザの手が図５Ａのテーブル５３０に触れたときにディスプレイパネル３２に表示される画面である。ユーザの手が図５Ａのテーブル５３０の上面に接触すると、その接触箇所を含むテーブル５３０の表面全体が部分空間として指定され、その部分空間をユーザの視点から見た領域がＡＲ領域となる。ここではＡＲ領域であるテーブル５３０の表面にＣＧのテクスチャが貼り付けられ、画面では図５Ｂに示すようなＡＲテーブル５３２に変化する。画面のそれ以外の領域はカメラ画像のままである。
【0060】
このように、ユーザの身体部位が接触した現実空間の箇所を含む部分空間だけが画面上で拡張現実画像となることから、カメラ画像から拡張現実画像へ移行する際の非連続感や違和感が軽減され、また、ユーザは身体的臨場感をもつことができる。
【0061】
現実空間の物体と接触するのはユーザの身体部位そのものには限定されない。ゲームで利用する銃、剣、杖、盾などの仮想オブジェクトをユーザが手にして、仮想オブジェクトが接触する現実空間の物体の箇所を含む部分空間を視点から見た場合のＡＲ領域を決定してもよい。
【0062】
【0063】
図６Ａは、テーブル５３０上のコーヒーカップ５１０にユーザが手を伸ばしてコーヒーカップ５１０を取ろうとしている様子を示す。ユーザの手はまだコーヒーカップ５１０には触れていないため、画面には現実世界のコーヒーカップ５１０がそのまま見えている。
【0064】
図６Ｂは、ユーザの手が図６Ａのコーヒーカップ５１０に触れたときの画面例を示す。ユーザの手がコーヒーカップ５１０に接触したことにより、コーヒーカップ５１０全体が部分空間として指定され、コーヒーカップ５１０をユーザの視点から見た領域がＡＲ領域となる。ＡＲ生成部２３４は、コーヒーカップ５１０を仮想オブジェクト５１２に置き換えて描画する。
【0065】
図６Ｃは、ユーザが仮想オブジェクト５１２を持ち上げたときの画面例を示す。ユーザは現実にはコーヒーカップ５１０を持ち上げているが、画面上では仮想オブジェクト５１２を持ち上げているように見える。また、仮想オブジェクト５１２にはエフェクトが加わり、この例では仮想オブジェクト５１２から炎５１４が飛び出している。
【0066】
上記の例では、ＡＲ領域をＣＧ画像にすることでＡＲ効果を与えたが、ＡＲ領域内は、視覚エフェクトのフィルタを適用したビデオシースルー画像を表示してもよい。あるいは、ＡＲ領域内は、完全なＶＲ画像または実世界の構造を活かしたＶＲ画像を表示してもよい。
【0067】
エフェクトについてもいろいろなバリエーションが考えられる。パーティクルの生成、視覚効果フィルタの適用、輝度や色の変更、レンズ効果、拡大・縮小表示、効果音の生成、バックグラウンドミュージックや効果音の音量の変化などがある。
【0068】
また、ボディトラッキングの技術を用いてユーザの身体の位置・姿勢を推定し、カメラ画像に写り込んだユーザの身体を別の仮想モデルに置き換えたり、カメラ画像に写り込んだユーザの身体からたとえば光が出ているようなエフェクトを加えてもよい。
【0069】
【0070】
【0071】
図７Ｂに示すように、ユーザの手が部屋の正面の壁に触れると、手が触れた壁の箇所５４０がＡＲ領域となり、手が触れた箇所５４０に穴が空いたように見え、部屋の外の仮想空間が描画される。ここでは、壁の穴に図７Ａの仮想空間の恐竜の姿が見えている。
【0072】
図７Ｃに示すように、ユーザの手が壁の別の箇所５４２を触れると、手が触れた壁の別の箇所５４２がＡＲ領域となり、穴が空き、そこから仮想空間を覗き見ることができる。ここでは、壁の穴に図７Ａの仮想空間の木の一部が見えている。
【0073】
このように、ユーザの身体部位が接触した箇所以外では現実空間のシースルー映像が見えているが、身体部位が接触した箇所では現実世界の向こう側にある外部の仮想世界が見える。
【0074】
ユーザが手で触れた箇所を鏡面にしてユーザの現実の姿やユーザの身体を仮想的に表すキャラクタを鏡面に描画してもよい。これにより、ユーザが手で触れた箇所だけを仮想的な鏡にすることができる。
【0075】
【0076】
図８Ａは、ユーザが両手を叩いたときの画面例を示す。ユーザは両手にトラッカ５００を装着しており、右手のトラッカ５００が検出する右手の位置と左手のトラッカ５００が検出する左手の位置が所定の距離以下まで近づいたときに、接触判定部２４７は、両手が接触したと判定し、両手が接触した位置にエフェクト５５０が加わり、両手が接触した位置から仮想オブジェクト５５２が飛び出す。このようにＡＲ領域判定部２４８は、ユーザの身体部位同士が接触した領域をＡＲ領域に決定し、ＡＲ生成部２３４がＡＲ領域に仮想現実画像を生成してもよい。
【0077】
図８Ｂは、ユーザが足で床を叩いたときの画面例を示す。ユーザは足首にトラッカ５００を装着しており、接触判定部２４７は、トラッカ５００が検出する足の位置と床の位置の間の距離によって足が床に接触しているかどうかを判定し、足が床を叩いたことを検出する。足が床を叩いたとき、足が叩いた床の箇所がＡＲ領域となり、エフェクト５５４が加わる。
【0078】
【0079】
図９は、本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
【0080】
図９は、ユーザが手にした仮想オブジェクトである剣５６０が図５Ａのコーヒーカップ５１０に接触したときの画面例を示す。ユーザの手に装着されたトラッカ５００が検出するユーザの手の位置情報をオフセットすることでユーザが手にした仮想的な剣５６０の位置を計算することできる。接触判定部２４７は、剣５６０の位置とコーヒーカップ５１０の位置が所定の距離以内まで近づいたとき、剣５６０がコーヒーカップ５１０に接触したと判定し、ＡＲ領域判定部２４８は、剣が接触したコーヒーカップ５１０をＡＲ領域と判定する。ＡＲ生成部２３４は、コーヒーカップ５１０の領域に二つに割れた仮想的なコーヒーカップ５１４の画像を重畳する。
【0081】
【0082】
図１０Ａに示すように、ユーザが手で部屋の壁を叩くと、壁全体がＡＲ領域となり、現実世界の壁の形状に合わせて生成された仮想的なブロック塀がＣＧで部屋の壁全体に描画される。また、ユーザの手が触れた壁の箇所にはブロック塀が壊れて穴が空いたような画像が描画される。
【0083】
ユーザが壁をさらに押したり叩いたりすると、図１０Ｂに示すように、仮想的なブロック塀が部屋の壁の向こう側に倒れて、壁の向こう側にある仮想世界が表示されるような仮想的な演出を加えることもできる。
【0084】
以上述べたように、本実施の形態の画像生成装置２００によれば、ユーザの身体部位が接触した現実空間の箇所を拡張現実画像が生成されるＡＲ領域として指定することができる。ユーザは身体部位を自由に動かして現実空間に触れることにより、ＡＲ領域を自由に指定することができる。これにより、カメラ画像に突如としてＡＲ効果が加わるのではなく、ユーザの身体部位が接触した領域にＡＲ効果が加わるので、現実映像から拡張現実映像へ移行する際の違和感が軽減するとともに、身体的な臨場感をもつことができる。
【0085】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0086】
１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ ディスプレイパネル、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６４ 姿勢センサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８０ カメラユニット、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２１０ ＨＭＤ位置・姿勢取得部、 ２２０ 視点・視線設定部、 ２３０ 画像生成部、 ２３２ レンダリング部、 ２３４ ＡＲ生成部、 ２３６ ポストプロセス部、 ２３８ タイムワープ部、 ２４０ リプロジェクション部、 ２４２ 歪み処理部、 ２４４ 身体位置・姿勢取得部、 ２４６ タイムワープ部、 ２４７ 接触判定部、 ２４８ ＡＲ領域判定部、 ２５０ 画像信号処理部、 ２６０ 画像記憶部、 ２８０ ＨＤＭＩ送受信部、 ３００ インタフェース、 ５００ トラッカ。
【産業上の利用可能性】
【0087】
この発明は、画像生成技術に利用できる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】