特許 6517255 キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6517255

(24)【登録日】2019年4月26日

(45)【発行日】2019年5月22日

(54)【発明の名称】キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190513BHJP

   A63F 13/60 20140101ALI20190513BHJP

【ＦＩ】

   G06T19/00 600

   A63F13/60

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2017-34845(P2017-34845)

(22)【出願日】2017年2月27日

(65)【公開番号】特開2018-142090(P2018-142090A)

(43)【公開日】2018年9月13日

【審査請求日】2017年9月5日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(74)【代理人】

【識別番号】100170667

【弁理士】

【氏名又は名称】前田 浩次

(72)【発明者】

【氏名】横田 健治

(72)【発明者】

【氏名】水田 修

(72)【発明者】

【氏名】伊藤 義浩

(72)【発明者】

【氏名】大川 祥一

(72)【発明者】

【氏名】増崎 和彦

(72)【発明者】

【氏名】山崎 あかり

【審査官】 松田 直也

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０１９３９８６（ＵＳ，Ａ１）

【文献】 特開２０１３−００８２９７（ＪＰ，Ａ）

【文献】 特開２００７−０１８１７３（ＪＰ，Ａ）

【文献】 特開２０１５−０８４１５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ａ６３Ｆ １３／６０

(57)【特許請求の範囲】

【請求項1】

実空間を撮像した撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に基づいて、前記実空間に存在する実オブジェクトの配置を含む空間情報を構成する構成手段と、
前記実オブジェクトの特性を取得する第２の取得手段と、
前記実空間に対応して構築される３次元空間を、前記撮像画像を撮像した撮像装置と対応する視点について描画する描画手段であって、前記実オブジェクトの配置及び特性に応じた表示態様で、前記３次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画手段と、を有するキャラクタ画像生成装置であって、
前記実オブジェクトは、稼動状態が変化する機器であり、
前記キャラクタ画像生成装置は、前記実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて前記実オブジェクトの特性を変更する変更手段をさらに有し、
前記描画手段は、前記実オブジェクトの前記変更手段により変更された特性と、該実オブジェクトの配置とに応じた表示態様で、前記仮想キャラクタを描画したキャラクタ画像を生成する
ことを特徴とするキャラクタ画像生成装置。

【請求項2】

前記撮像画像を解析し、該撮像画像中の実オブジェクトの特性を特定する特定手段をさらに有し、
前記第２の取得手段は、前記特定手段による特定結果として、前記実オブジェクトの特性を取得することを特徴とする請求項１に記載のキャラクタ画像生成装置。

【請求項3】

前記撮像画像を外部機器に送信し、送信した前記撮像画像の解析に基づく、該撮像画像中の実オブジェクトの特性を示す情報を、前記外部機器より受信する通信手段をさらに有し、
前記第２の取得手段は、前記通信手段により受信された情報に基づき、前記実オブジェクトの特性を取得することを特徴とする請求項１に記載のキャラクタ画像生成装置。

【請求項4】

前記実オブジェクトの配置及び特性に基づき、前記３次元空間における前記仮想キャラクタの動作を制御する制御手段をさらに有し、
前記制御手段は、前記変更手段により変更された特性に応じて、前記仮想キャラクタの動作を異ならせるよう制御することを特徴とする請求項１乃至３のいずれか１項に記載のキャラクタ画像生成装置。

【請求項5】

前記仮想キャラクタを介して提示する付加情報を受信する受信手段をさらに有し、
前記制御手段は、前記実空間に存在する前記実オブジェクトの特性に関連する前記付加情報が受信された場合に、前記３次元空間中の該実オブジェクトと対応する位置において、前記仮想キャラクタに前記付加情報について予め定められた行動を行わせるよう制御することを特徴とする請求項４に記載のキャラクタ画像生成装置。

【請求項6】

前記描画手段は、前記実空間に存在する前記実オブジェクトが、他の実オブジェクトに影響を与える特性を有する場合に、該影響を前記仮想キャラクタに反映させた状態で前記キャラクタ画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載のキャラクタ画像生成装置。

【請求項7】

前記実空間に存在する前記実オブジェクトが光源である場合に、
前記第２の取得手段は、該光源の輝度、照射方向、光源種類の少なくともいずれかを特性として取得し、
前記描画手段は、該光源に基づく輝度変化または陰影変化を前記仮想キャラクタに反映させた状態で前記キャラクタ画像を生成する
ことを特徴とする請求項６に記載のキャラクタ画像生成装置。

【請求項8】

前記描画手段により生成された前記キャラクタ画像と前記撮像画像とを合成した提示用画像を生成する合成手段と、
前記合成手段により生成された前記提示用画像を提示するディスプレイをさらに有することを特徴とする請求項１乃至７のいずれか１項に記載のキャラクタ画像生成装置。

【請求項9】

前記描画手段により生成された前記キャラクタ画像を光学透過方式で提示する提示手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載のキャラクタ画像生成装置。

【請求項10】

実空間を撮像した撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に基づいて、前記実空間に存在する実オブジェクトの配置を含む空間情報を構成する構成手段と、
前記実オブジェクトの特性を取得する第２の取得手段と、
前記実空間に対応して構築される３次元空間を、提示を行う視点について描画する描画手段であって、前記実オブジェクトの配置及び特性に応じた表示態様で、前記３次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画手段と、を有するキャラクタ画像生成装置であって、
前記実オブジェクトは、稼動状態が変化する機器であり、
前記キャラクタ画像生成装置は、前記実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて前記実オブジェクトの特性を変更する変更手段をさらに有し、
前記描画手段は、前記実オブジェクトの前記変更手段により変更された特性と、該実オブジェクトの配置とに応じた表示態様で、前記仮想キャラクタを描画したキャラクタ画像を生成する
ことを特徴とするキャラクタ画像生成装置。

【請求項11】

実空間を撮像した撮像画像を取得する第１の取得工程と、
前記第１の取得工程において取得された前記撮像画像に基づいて、前記実空間に存在する実オブジェクトの配置を含む空間情報を構成する構成工程と、
前記実オブジェクトの特性を取得する第２の取得工程と、
前記実空間に対応して構築される３次元空間を、前記撮像画像を撮像した撮像装置と対応する視点について描画する描画工程であって、前記実オブジェクトの配置及び特性に応じた表示態様で、前記３次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画工程と、を有するキャラクタ画像生成方法であって、
前記実オブジェクトは、稼動状態が変化する機器であり、
前記キャラクタ画像生成方法は、前記実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて前記実オブジェクトの特性を変更する変更工程をさらに有し、
前記描画工程において、前記実オブジェクトの前記変更工程において変更された特性と、該実オブジェクトの配置とに応じた表示態様で、前記仮想キャラクタを描画したキャラクタ画像が生成される
ことを特徴とするキャラクタ画像生成方法。

【請求項12】

コンピュータを、請求項１乃至１０のいずれか１項に記載のキャラクタ画像生成装置の各手段として機能させるためのプログラム。

【請求項13】

請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項14】

実空間を撮像した撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に基づいて、前記実空間に存在する実オブジェクトの配置を含む空間情報を構成する構成手段と、
前記撮像画像を解析し、該撮像画像中の実オブジェクトの特性を特定する特定手段と、
前記実空間に対応して構築される３次元空間を、前記撮像画像を撮像した撮像装置と対応する視点について描画する描画手段であって、前記実オブジェクトの配置及び特性に応じた表示態様で、前記３次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画手段と、を有するキャラクタ画像生成システムであって、
前記実オブジェクトは、稼動状態が変化する機器であり、
前記キャラクタ画像生成システムは、前記実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて前記実オブジェクトの特性を変更する変更手段をさらに有し、
前記描画手段は、前記実オブジェクトの前記変更手段により変更された特性と、該実オブジェクトの配置とに応じた表示態様で、前記仮想キャラクタを描画したキャラクタ画像を生成する
ことを特徴とするキャラクタ画像生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システムに関し、特に実空間を認識して複合現実感提示を行う技術に関する。

【背景技術】

【0002】

実空間に配置された特定のマーカを撮像することにより装置の位置及び姿勢を推定し、撮像画像中に３ＤＣＧのキャラクタ等を重畳表示することで、あたかも該マーカを基準に定まる平面上にキャラクタが存在するかの如く複合現実感提示を行うものがあった（特許文献１）。

【0003】

一方、特許文献１に記載の技術では実空間に異質なマーカを配置することになるため、好適な現実感が提示できない可能性があった。故に、近年では、マーカを配置することなく撮像画像中の平面を認識し、該平面について複合現実感提示を行う手法が採用されつつある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５４６９４０９号公報

【非特許文献】

【0005】

【非特許文献1】Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、撮像画像によっては必ずしも所望の面がキャラクタの配置される平面として認識されず、例えば床面ではなくテーブル上にキャラクタが立っている等、現実感の欠如した提示がなされる場合がある。

【0007】

本発明は、上述の問題点に鑑みてなされたものであり、実空間に存在する実オブジェクトの特性を考慮した、好適な複合現実感提示を行うキャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

前述の目的を達成するために、本発明のキャラクタ画像生成装置は、実空間を撮像した撮像画像を取得する第１の取得手段と、第１の取得手段により取得された撮像画像に基づいて、実空間に存在する実オブジェクトの配置を含む空間情報を構成する構成手段と、実オブジェクトの特性を取得する第２の取得手段と、実空間に対応して構築される３次元空間を、撮像画像を撮像した撮像装置と対応する視点について描画する描画手段であって、実オブジェクトの配置及び特性に応じた表示態様で、３次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画手段と、を有するキャラクタ画像生成装置であって、実オブジェクトは、稼動状態が変化する機器であり、キャラクタ画像生成装置は、実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて実オブジェクトの特性を変更する変更手段をさらに有し、描画手段は、実オブジェクトの変更手段により変更された特性と、該実オブジェクトの配置とに応じた表示態様で、仮想キャラクタを描画したキャラクタ画像を生成することを特徴とする。

【発明の効果】

【0009】

このような構成により本発明によれば、実空間に存在する実オブジェクトの特性を考慮した、好適な複合現実感提示を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態及び変形例に係るキャラクタ画像生成システムの構成を示したシステム図

【図2】本発明の実施形態及び変形例に係る端末装置１０のハードウェア構成図

【図3】本発明の実施形態及び変形例に係る端末装置１０のソフトウェア構成図

【図4】本発明の実施形態及び変形例に係るサーバ２０のソフトウェア構成図

【図5】本発明の実施形態及び変形例に係り生成される各種画像を説明するための図

【図6】本発明の実施形態及び変形例１に係る端末装置１０で実行される、表示処理を例示したフローチャート

【図7】本発明の実施形態及び変形例に係り生成される各種画像を説明するための別の図

【発明を実施するための形態】

【0011】

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、キャラクタ画像生成装置の一例としての、撮像画像に基づく実空間計測が可能な端末装置に、本発明を適用した例を説明する。しかし、本発明は、実空間に存在する実オブジェクトの特性に応じた表示態様のキャラクタ画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「場所記述情報」とは、任意の位置で撮像された画像における特徴点の分布をスクリーン座標として記録した情報を指し、また「３次元空間情報（あるいは単に空間情報）」とは、端末装置の移動や姿勢変化と、これに伴い撮像された撮像画像とに基づいて構築された、実空間中の特徴点とその位置（空間座標）を示す情報の集合を指すものとする。

【0012】

《システム構成》
図１は、本発明の実施形態に係るキャラクタ画像生成システムの構成を示したシステム図である。図１に示されるように、本実施形態のキャラクタ画像生成システムは、ユーザへのキャラクタ画像の提示を行う端末装置１０、後述の実オブジェクトの特性把握に係る解析を行うサーバ２０、及びこれら装置間での通信接続と情報通信とを実現する、移動通信網や無線ＬＡＮ等であってよいネットワーク３０で構成される。図１の例では、１つのサーバ２０に対し、１つの端末装置１０が接続される構成を示しているが、本発明の実施はこれに限られるものではなく、複数の端末装置１０が１つのサーバ２０に接続可能に構成されるものであってよいことは言うまでもない。

【0013】

〈端末装置１０のハードウェア構成〉
図２は、本実施形態による端末装置１０の概略的なハードウェア構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信端末である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し、画像情報を取得して制御部１００に出力する。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮであってよいネットワーク３０を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の向きを示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

【0014】

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

【0015】

〈端末装置１０のソフトウェア構成〉
図３は、本発明の実施形態に係る端末装置１０において実現される機能構成モジュールを示したソフトウェア構成図である。これら機能構成モジュールは、制御部１００により対応するプログラムがメモリ展開されて実行されることにより実現される。
場所記述情報生成モジュール１１１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部１０３が撮像している画像から端末装置の３次元空間位置と撮像部１０３の撮像方向を判定するための情報である。まず、非特許文献１に記載された場所記述情報の生成について説明する。端末装置１０のユーザは、場所記述情報の取得を開始すると、撮像部１０３により画像を撮像しながら、その位置や、撮像方向を変化させる。場所記述情報生成モジュール１１１は、場所記述情報の取得の間、その開始時の位置を原点とし、加速度情報及び角速度情報に基づき、（暫定的な）端末装置の位置や撮像方向の向き（姿勢）を判定し続ける。また、場所記述情報生成モジュール１１１は、撮像部１０３が撮像している画像内の特徴点を求める。このとき、場所記述情報生成モジュール１１１は、３次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、場所記述情報生成モジュール１１１は、３次元空間内の各位置及び各撮像方向において、撮像部１０３が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、場所記述情報生成モジュール１１１は、既に生成した場所記述情報と、撮像部１０３が撮像している画像の特徴点とを比較することで、そのときの（最終的な）端末装置の３次元空間位置と撮像部１０３の撮像方向を判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置であるものとする。また、場所記述情報生成モジュール１１１は、既に保存している場所記述情報と、撮像部１０３が撮像している画像の特徴点との比較により端末装置の３次元空間位置と撮像部１０３の撮像方向を判定すると同時に、撮像部１０３が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

【0016】

上述した様に、場所記述情報は、端末装置の位置及び撮像方向と、撮像部１０３が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。本実施形態では構成モジュール１１２が、場所記述情報に基づき、実空間に存在する特徴点の３次元位置を示す３次元空間情報を構成する。３次元空間情報は、特徴点の空間座標の分布を示す点群データであってよく、各点について３次元座標、あるいはこれに加えて色情報等を管理するものであってよい。

【0017】

なお、３次元空間情報に係る空間位置の原点は、例えば、場所記述情報生成モジュール１１１が場所記述情報の生成を開始したときの端末装置１０の位置と同一であってよい。構成する３次元空間情報の座標系は、その縦方向（ｙ軸）が、地磁気センサ１０８により判明する鉛直方向と平行になるように定められることが好ましい。また、構成モジュール１１２は、場所空間情報の更新と同期して、既に保存している３次元空間情報の対応する特徴点の３次元位置の情報を更新する。

【0018】

ここで、３次元空間情報は、実測値である加速度情報及び角速度情報に基づき、実空間と略同一のスケールを示す態様にて構成され、実空間内に存在する実オブジェクトの寸法等を取得可能に構成されるものとして説明するが、所定の縮尺で構成されるものであってもよいことは容易に理解されよう。また、本実施形態の端末装置１０は加速度センサ１０９及びジャイロセンサ１１０を有しているため、３次元空間情報から実オブジェクトの寸法を取得可能であるが、本発明の実施はこれらのセンサを有することを要件とするものではない。即ち、撮像画像１０３が撮像した画像情報に対応する画像内の特徴点のそれぞれにつき、深さセンサ１０６から取得された深さ情報に基づいても、該特徴点までの奥行き方向の距離を取得できるため、異なる姿勢位置にて撮像された複数の画像情報に対応する画像間の相関関係と、深さ情報とを考慮することでも、実空間と同一とみなすスケールの３次元空間情報を構成することは可能である。

【0019】

キャラクタ制御モジュール１１３は、複合現実感の提示の一例としてディスプレイ１０５に表示される仮想キャラクタについて、その動作制御を行う。仮想キャラクタは、その外観を示す３次元モデルが予め保存されており、該３次元モデル用に、あるいは汎用的に設けられたモーションデータに基づき、その動作を制御することができる。また仮想キャラクタの制御は、視覚的に提示される動作に限られるものではなく、例えば音声提示、意思決定等に係る制御を含むものであってよい。なお、本実施形態では仮想キャラクタは、実空間に対応して設けられた所定の３次元空間（以下、ワールドとして識別する）に配置し、描画することでキャラクタ画像として視覚化することができる。該ワールドは、３次元空間情報により把握される実空間とも対応するが、点群データで構成される３次元空間情報とは別に構築され、描画用に設けられるものである。無論、３次元空間情報から把握される障害物の形状や配置の情報は、ワールドにも反映され、仮想キャラクタの行動や表示制限に考慮される。ワールドの座標系原点は、３次元空間情報と対応する位置に設けられるものであってもよいし、３次元空間情報の座標系とワールド座標系の相対関係（あるいは座標変換マトリクス）が規定される場合には異なっていてもよい。

【0020】

視点決定モジュール１１４は、場所記述情報生成モジュール１１１により判定された端末装置１０の位置及び姿勢の情報に基づき、ワールドを描画する視点を決定する。ワールドを描画する視点は、実空間における端末装置１０の位置と対応するワールド中の位置に、端末装置１０の姿勢と対応する視線方向を有するよう決定される。ここで、視点に係る視野角の情報は、撮像部１０３の画角に対応するよう定められるものであってよい。

【0021】

描画モジュール１１５は、ワールドに配置され、場所記述情報生成モジュール１１１による動作制御がなされた仮想キャラクタを、視点決定モジュール１１４により決定された視点について描画し、キャラクタ画像を生成する。具体的には描画モジュール１１５は、図５（ａ）に示すような、最終的にディスプレイ１０５に表示される画像のうちの仮想キャラクタに係る領域の画像を描画する。

【0022】

合成モジュール１１６は、撮像部１０３により取得された画像情報に対応する撮像画像に対し、該撮像画像に対応して描画モジュール１１５により生成されたキャラクタ画像を合成し、複合現実感提示に係る提示用画像を生成する。該合成により、図５（ｂ）のように実空間を示す撮像画像が、仮想キャラクタが実空間内に存在する状態の提示用画像（図５（ｃ））となり、ディスプレイ１０５を介してユーザに提示される。

【0023】

このように本実施形態では、撮像部１０３により取得された画像情報に対応する撮像画像と描画モジュール１１５に生成されたキャラクタ画像とを合成することで、提示用画像を生成する。故に、キャラクタ画像の描画において、実空間に存在する実オブジェクトによって仮想キャラクタが遮蔽される領域については、キャラクタ画像上に現わされなくてよい。具体的には、深さ情報もしくは３次元空間情報により、仮想オブジェクトの手前に実オブジェクトが存在すると判断可能である場合には、該実オブジェクトに相当する仮想オブジェクトをワールドに配置し、描画モジュール１１５は該仮想オブジェクトの描画は行わず、かつ仮想キャラクタのうちの該仮想オブジェクトにより遮蔽される部分については仮想キャラクタの描画を行わない制御を行う（例えば図７（ａ））。このようにすることで、撮像画像と合成した際に、実オブジェクトと仮想キャラクタとの前後関係が整合した、現実感のある画像提示（図７（ｂ））が可能となる。

【0024】

〈サーバ２０のソフトウェア構成〉
本実施形態のサーバ２０のハードウェア構成は、端末装置１０との通信及び所定の処理を実行可能に構成されるものであればよいため、省略する。以下、本実施形態のサーバ２０において実現される機能構成モジュールを示したソフトウェア構成について、図４を用いて説明する。これら機能構成モジュールは、端末装置１０と同様に、不図示のサーバ２０が有する制御部、フラッシュメモリ、ＲＡＭ等により実現されるものとする。

【0025】

解析モジュール２０１は、端末装置１０において撮像された１以上の撮像画像に基づき、撮像範囲に存在する実オブジェクトに係る解析を行う。本実施形態では解析モジュール２０１は、実オブジェクトがいずれであるかの特定を行う特定モジュール２０２と、実オブジェクトの特性を把握し、特性情報を出力する特性把握モジュール２０３とを有する。ここで、実オブジェクトの特性には、例えば椅子やテーブルのように、種別や形状から把握される通常の用途を示す情報（所謂アフォーダンス）が含まれる。またこの他、例えば照明器具や送風機等、その機能が実施されることで他の実オブジェクトに影響を与え得る実オブジェクトである場合には、特性には該影響を仮想キャラクタに生じさせるために必要となる各種のパラメータが含まれるものであってよい。

【0026】

また特定モジュール２０２により行われる実オブジェクトがいずれであるかの特定は、寸法・形状・色情報等に基づく、予め３次元形状やテクスチャパターン等が登録されたデータベースとの対比、あるいは種々の学習を経て構築されるニューラルネットワークに基づく解析を含むものであってよい。

【0027】

また、解析モジュール２０１により参照される、実オブジェクトの情報及び実オブジェクトの特性情報は、その全てが予めサーバ２０に保持されているものである必要はなく、例えばユーザが端末装置１０において、撮像された画像中の所望の実オブジェクトの領域を指定し、いずれの実オブジェクトであるか、あるいは実オブジェクトの特性がいずれであるかを入力し、これがサーバ２０に伝送され、解析において使用可能に保持されるものとしてもよい。

【0028】

例えば実オブジェクトが椅子である場合、特定モジュール２０２は撮像画像中の実オブジェクトと推定される領域の特定と、該領域の画像情報に基づき、実オブジェクトの種別が椅子であること、あるいはいずれの椅子（商品）であるかを特定する。そして特性把握モジュール２０３は、特定結果も考慮し、特性情報として、「該オブジェクトに対して仮想キャラクタの着座が可能であること（加えて、いずれの面が座面であるか）」や「該オブジェクト上に仮想キャラクタは登らないこと」を示す情報を出力する。

【0029】

また例えば実オブジェクトが照明器具である場合、特定モジュール２０２は撮像画像中の実オブジェクトと推定される領域の特定と、実オブジェクトの種別が照明であること、あるいはいずれの照明器具（商品）であるかを特定する。そして特性把握モジュール２０３は、特定結果も考慮し、特性情報として、「該オブジェクトがワールドにおける光源を定義すること」、「該オブジェクトにより仮想キャラクタの輝度表現または陰影表現が変更されること」、さらに、輝度変化等の影響導出に必要となる光源の輝度、照射方向、光源種類（直接照明、間接照明）の少なくともいずれかの情報を出力する。ここで、影響導出に必要となる各種情報は、例えば撮像画像中の輝度分布や周囲の色情報等に基づき解析されるものであってよい。

【0030】

なお、このように解析モジュール２０１により取得される、入力された撮像画像中の実オブジェクトの領域の情報、及び該実オブジェクトの特性情報は、サーバ２０が有する不図示の通信部により、ネットワーク３０を介して端末装置１０に解析結果として返送される。解析結果は、例えば３次元空間情報と関連付けて管理されるものであってよく、これにより、特徴点が所定の実オブジェクトの一部を構成するか、特徴点に係る実オブジェクトの特性がいずれであるかが把握可能となる。

【0031】

《表示処理》
このような構成をもつ本実施形態の端末装置１０の表示処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１００が、例えばフラッシュメモリに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより各モジュールを動作させ、実現することができる。本表示処理は、例えば複合現実感提示に係る所定のアプリケーションが起動された際に開始され、ディスプレイ１０５に表示されるフレームごとに繰り返し実行されるものとして説明する。

【0032】

Ｓ６０１で、撮像部１０３及び深さセンサ１０６は制御部１００の制御の下、表示するフレームに係る撮像及びセンシングを行い、画像情報、加速度情報、角速度情報及び深さ情報を取得する。

【0033】

以下、端末装置１０において行われる端末装置１０の場所記述情報生成、位置姿勢判定及び３次元空間情報の構成に係る処理（Ｓ６０２〜Ｓ６０４）と、サーバ２０に行わせる撮像範囲の実オブジェクトの解析に係る処理（Ｓ６０５〜Ｓ６０６）とは、並行して実行されるものとする。

【0034】

Ｓ６０２で、場所記述情報生成モジュール１１１は、既に保存されている場所記述情報が存在するか否かを判断する。場所記述情報生成モジュール１１１は、既に保存されている場所記述情報が存在すると判断する場合には、処理をＳ６０３に移す。また場所記述情報生成モジュール１１１は、保存されている場所記述情報が存在していないと判断する場合には、端末装置１０の位置及び姿勢を初期値（原点位置かつ回転なし）として定め、処理をＳ６０４に移す。

【0035】

Ｓ６０３で、場所記述情報生成モジュール１１１は、表示フレームに係り取得された画像情報、加速度情報、角速度情報、及び既に保存されている場所記述情報に基づき、端末装置１０の位置及び姿勢を判定する。なお、本実施形態では簡単のため、既に保存されている場所記述情報に、現在の撮像範囲の少なくとも一部の特徴点の情報が含まれているものとして説明する。少なくとも一部の特徴点が既に保存されている場所記述情報に含まれていない場合には、保存されている３場所記述情報が存在していない場合と同様に、位置及び姿勢を初期値として定めればよい。

【0036】

Ｓ６０４で、構成モジュール１１２は、表示フレームに係り取得された画像情報に基づき更新された場所空間情報に対応して、３次元空間情報を構成または更新する。３次元空間情報の構成は、３次元空間情報がまだ構成されていない段階ではその生成から、構成されている段階では場所空間情報の更新に対応して行われる。

【0037】

一方、サーバ２０に行わせる実オブジェクトの解析に係る処理については、制御部１００はＳ６０５で、表示フレームに係り取得された画像情報を通信部１０７を介してサーバ２０に解析要求と共に送信する。その後、制御部１００はＳ６０６で、該要求に係る解析結果が返送されるまで待機し、解析結果が受信されると処理をＳ６０７に移す。なお、解析要求と共に送信する画像情報は撮像範囲の全体を示している必要はなく、例えばユーザの要求に応じて、特定の実オブジェクトに係る行動を優先的に仮想キャラクタに生じさせるよう、該実オブジェクトに係る所望の小領域の指示入力を受け付け、該小領域の画像情報を送信するようにしてもよい。このようにすることで、解析要求に係る情報量を削減し、また解析の処理量も低減することができるため、処理の高速化が実現できる。

【0038】

Ｓ６０７で、構成モジュール１１１は、受信した解析結果（実オブジェクトの領域の情報、及び該実オブジェクトの特性情報）を３次元空間情報の対応する特徴点に関連付ける。なお、本実施形態では３次元空間情報と解析結果とを統合するものとして説明するが、本発明の実施はこれに限られるものではなく、互いの情報が関連付けられた状態となっていればよい。

【0039】

Ｓ６０８で、キャラクタ制御モジュール１１３は、表示フレームに対応する仮想キャラクタの状態を決定し、仮想キャラクタを該状態に制御してワールドに配置するための種々の処理を行う。このとき、キャラクタ制御モジュール１１３は、仮想キャラクタを配置する位置と対応する、実空間中の位置周辺に存在する実オブジェクトの特性に応じて、仮想キャラクタの挙動を制御するものであってよい。なお、仮想キャラクタの挙動制御は、例えば表示フレームの撮像範囲に含まれた全ての実オブジェクトについて、その特性に基づく挙動を同時に開始させる必要はなく、仮想キャラクタとの相対関係（仮想キャラクタの配置位置と対応する実空間の位置の距離）に応じた順序（例えば距離の近い順）や所定の優先度に応じて、順次行われるものであってよい。また、１つの実オブジェクトについて特定の動作を行う場合には、該動作が頻繁に生じぬよう、撮像範囲に含まれていたとしても所定期間は動作を生じないよう制御してもよい。

【0040】

Ｓ６０９で、描画モジュール１１５は、表示フレームに係る端末装置１０の位置及び姿勢の情報に基づき視点決定モジュール１１４により決定された視点についてワールドを描画し、キャラクタ画像を生成する。光源として特性把握がなされた実オブジェクトが撮像環境に存在する場合、ワールドには該実オブジェクトに係る特性情報に基づく光源が定義され、描画モジュール１１５は該光源に起因する輝度演算を行う。

【0041】

Ｓ６１０で、合成モジュール１１６は、表示フレームに係り取得された画像情報に対応する撮像画像に、生成されたキャラクタ画像を合成して提示用画像を生成する。

【0042】

Ｓ６１１で、制御部１００は、提示用画像をディスプレイ１０５に表示させ、表示フレームに係る表示処理を完了する。

【0043】

このように、本実施形態の表示処理ではＳ６０８及びＳ６０９の処理により、実空間に存在する実オブジェクトの特性に応じて仮想キャラクタの表示態様を制御することができる。実オブジェクトの特性に応じた仮想キャラクタの制御は、例えば次のように行われるものであってよい。

【0044】

（１）実オブジェクトのアフォーダンスに起因する制御
上述たように実オブジェクトの用途に係る特性情報が取得される場合、撮像環境に存在する実オブジェクトを単に障害物としてではなく把握することができるため、該特性情報に応じた行動をとらせるよう、仮想キャラクタを制御できる。例えば、実オブジェクトが椅子や座布団等であり、着座用途であることが把握できる場合には、仮想キャラクタを該実オブジェクト上に着座させるよう、挙動制御するものであってよい。あるいは、実オブジェクトがテーブル等であり、着座用途ではなく、物体載置用途であることが把握できる場合には、仮想キャラクタを該実オブジェクト上に配置しないがキャラクタの装着品等は配置可能とする、仮想キャラクタが該実オブジェクトを避けて歩行する等、挙動制御するものであってよい。また例えば実オブジェクトが絵画や造形物等であり、観賞用途であることが把握できる場合には、仮想キャラクタは該実オブジェクトに注視するよう挙動制御するものであってもよい。

【0045】

（２）他の実オブジェクトに影響を及ぼす特性に起因する制御
実オブジェクトが機能を果たすことによって他の実オブジェクトに影響を及ぼす特性情報が取得される場合、撮像環境に存在する実オブジェクトに起因する変化が生じるよう、仮想キャラクタの描写を制御することができる。例えば、実オブジェクトが照明器具であり、機能することにより周囲の実オブジェクトの輝度変化や陰影変化を生じさせるとの特性が把握できる場合には、該実オブジェクトの影響を受ける所定の範囲に仮想キャラクタが配置される場合において、仮想キャラクタの位置と該実オブジェクトの位置及び光源特性の情報に基づき、仮想キャラクタの輝度やキャラクタに係り発生させる陰影の状態を制御するものであってよい。また例えば、実オブジェクトが空調機器であり、機能することによりカーテン等の周囲の実オブジェクトの動き（揺れ）を生じさせるとの特性が把握できる場合には、該実オブジェクトの影響を受ける所定の範囲に仮想キャラクタが配置される場合において、毛髪や被服等の挙動を制御するものであってよい。もちろん、このように他の実オブジェクトに影響を及ぼすか否かは、照明器具や空調機器の運転状況にもよるものであるため、解析モジュール２０１は、その運転状況によって特性情報を変更する、あるいは特性情報に応じた制御を行うか否かの情報を付加することにより解析結果を送出し、端末装置１０における挙動制御は適応的に行われるものであってよい。

【0046】

なお、これら制御はあくまで例示に過ぎず、仮想キャラクタの配置位置と対応する実空間の位置あるいはその周辺に存在する実オブジェクトの特性に応じて、その他の挙動制御が行われるものであってよい。また実オブジェクトと対応する位置に仮想キャラクタを配置している状態に限らず、例えば特性が把握された実オブジェクトの特徴点が３次元空間情報に含まれる場合、これに起因して仮想キャラクタの行動を発生させるよう、挙動制御は行われるものであってよい。即ち、アプリケーションが実行された際に、端末装置１０の周囲に椅子が存在していることが既に把握されているのであれば、仮想キャラクタを該椅子方向に移動させ、着座させるよう挙動制御を行うものであってよい。

【0047】

また、例えば窓のように、種別が特定されたとしてもその物自体の特性は他の実オブジェクトに影響を与えるものではないが、外光が入射する等によって照明器具と同等の影響を他の実オブジェクトに与えている状態にある場合は、特性把握モジュール２０３は画像情報の輝度分布に基づきこれを把握し、他の実オブジェクトに照明効果を与える実オブジェクトとして、特性情報を出力するよう構成されてもよい。

【0048】

また照明器具や空調機器のように、その運転状況により他の実オブジェクトに変化を生じさせる特性を有する実オブジェクトに限らず、解析により運転状態等が判別可能な実オブジェクトについては、その状態に応じて特性情報を異ならせ、仮想キャラクタの挙動に変化が生じるよう構成してもよい。例えば、テレビ受像機であれば画面に対応する領域の画像情報に基づき、その運転状態や視聴されている番組等を解析可能であるため、仮想キャラクタに番組案内や観賞動作等の挙動を開始させるように構成してもよい。

【0049】

また本実施形態では、解析モジュール２０１が画像情報に基づいて解析を行い、実オブジェクトを特定し、その特性情報を端末装置１０に返送する態様について説明したが、本発明の実施はこれに限られるものではない。実オブジェクトの特定は、商品リストからの選択、商品名の入力等、端末装置１０においてなされたユーザ操作に基づいて行われ、該商品に係る特性情報がサーバ２０から取得可能に構成されるものであってもよい。

【0050】

また、任意の実オブジェクトについての特性情報は必ずしも一定である必要はなく、例えば時間帯、日時、あるいは所定のタイミングにおいて更新され、仮想キャラクタに異なる挙動を生じさせるよう構成されるものであってもよい。

【0051】

また、本実施形態のキャラクタ画像生成システムでは、ユーザへの複合現実感提示のために端末装置１０とサーバ２０とで機能を分離し、実オブジェクトの特性解析のみをサーバ２０に実行させるものとして説明したが、機能の分離態様はこれに限られるものではない。即ち、本発明は、３次元空間情報の構成、実オブジェクトの特性解析、キャラクタ画像の生成が１以上の機器により実行されるものであれば実現可能である。

【0052】

以上説明したように、本実施形態のキャラクタ画像生成装置によれば、実空間に存在する実オブジェクトの特性を考慮した、好適な複合現実感提示を行うことができる。

【0053】

［変形例１］
上述した実施形態では、仮想キャラクタを配置する位置と対応する、実空間中の位置周辺の実オブジェクトの特性に応じて、キャラクタ制御モジュール１１３が仮想キャラクタの挙動制御を行うものとして説明したが、本発明の実施はこれに限られるものではない。

【0054】

仮想キャラクタの挙動制御は、例えば通信部１０７を介して所定の情報取得がなされたこと、あるいはスケジューラ等のアプリケーション実行により所定の情報出力がなされたことに応じて、該情報と関連する特性を有する実オブジェクトに係る動作を行うように行われるものであってもよい。ここで、所定の情報は、仮想キャラクタを介して提示を行うものとして予め定められた種別の情報（付加情報）であり、例えば天気予報、放送番組情報、あるいは展示物の解説情報等の所定の外部機器から供給されるものや、スケジュール情報や検索結果情報等の端末装置１０で起動された他のアプリケーションから取得可能なものであってよい。また、付加情報と関連する特性は、該付加情報に付された実オブジェクトにつき把握される特性を示す情報に基づき把握されるものであってもよいし、データ構造、配信元、文字列等を解析することにより把握されるものであってもよい。この他、付加情報は、ユーザの発した音声情報を含むものであってよい。

【0055】

本変形例ではキャラクタ制御モジュール１１３は、既に３次元空間情報と関連付けられて管理されている実オブジェクトの特性と関連する付加情報が取得された場合に、仮想キャラクタを該実オブジェクトと対応する位置に移動させ、付加情報について予め定められた行動を行わせるように挙動制御を行う。例えば、実オブジェクトとしてテレビ受像機を示す特性情報が管理されている場合、付加情報として放送番組情報を受信すると、キャラクタ制御モジュール１１３は仮想キャラクタをテレビ受像機と対応するワールド中の位置に移動させ、テレビ受像機を指さしながら、「現在放送中の番組及びその情報」、「ユーザ趣向に合致する番組の開始時間の案内」等を音声を伴い提示するよう、挙動制御を行えばよい。また例えば、実オブジェクトとして所定の展示物を示す特性情報が管理されている場合、付加情報として解説情報を取得すると、キャラクタ制御モジュール１１３は、展示物と対応するワールド中の位置に仮想キャラクタを立ち止まらせ、展示物の解説を開始するよう、挙動制御を行えばよい。また例えば、実オブジェクトとして時計や玄関ドアを示す特性情報が管理されている場合、付加情報として外出予定に係るスケジュール情報を取得すると、キャラクタ制御モジュール１１３は仮想キャラクタを対応するワールド中の位置に移動させ、予定の通知や移動を促す通知を行うよう、挙動制御を行えばよい。

【0056】

このようにすることで、ただ観賞目的ではなく、ユーザの利用環境や配置されている実オブジェクトの特性に応じた、より付加価値の高い複合現実感提示を行うことができる。

【0057】

［変形例２］
上述した実施形態及び変形例では、描画モジュール１１５により生成されたキャラクタ画像と撮像画像とが合成されることにより、複合現実感を提示する提示用画像が生成されてディスプレイ１０５に表示されるものとして説明したが、キャラクタ画像の提示はこれに限られるものではない。即ち、上述した態様は、ディスプレイ１０５に表示された提示用画像を介して、仮想キャラクタが実空間に存在するとの認識を与えるものであったが、例えばＨＭＰ（Head-Mounted Projector）やグラス型デバイス等、光学透過方式を採用する機器をディスプレイ１０５に代わり使用する態様であってもよい。この場合、キャラクタ画像のキャラクタに係る画素のみを、光学透過方式でユーザに視認可能に構成すればよく、ユーザは実世界を直接観察しながら、仮想キャラクタが実空間に存在するかの如く認識することができる。換言すれば、本発明の実施においてキャラクタ画像と撮像画像との合成は必須ではなく、提示方式に従って採用される要素であることは容易に理解されよう。なお、グラス型デバイス等を用いる場合は、位置及び姿勢の判定につき、該デバイス自体、あるいは該デバイスと対応する位置に撮像部１０３が設けられていることが好ましい。

【0058】

［変形例３］
上述した実施形態及び変形例では、表示フレームに係り取得された撮像画像に基づいて実オブジェクトの特性把握がなされるものとして説明したが、ユーザの観察する空間内の存在する実オブジェクトの特性把握は、ユーザの視点や端末装置１０とは異なる位置に設けられた撮像装置により得られた撮像画像に基づいて行われるものであってよい。

【0059】

同様に、表示フレームに係り取得された画像情報、加速度情報及び角速度情報に基づいて判定された位置及び姿勢とは異なる視点について、ワールドの描画を行い、キャラクタ画像を生成するものとしてもよい。即ち、変形例２に示したように撮像画像とキャラクタ画像との合成を要件としない態様においては、観賞するユーザの眼球位置と撮像部１０３の設置位置とは必ずしも一致しないため、これらの相対的な位置関係と、推定された位置及び姿勢の情報に基づき定まる視点につき、ワールドの描画は行われるものであってよい。

【0060】

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係るキャラクタ画像生成装置は、１以上のコンピュータを該装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

【符号の説明】

【0061】

１０：端末装置、２０：サーバ、３０：ネットワーク、１００：制御部、１０１：スピーカ、１０２：マイク、１０３：撮像部、１０５：ディスプレイ、１０６：深さセンサ、１０７：通信部、１０８：地磁気センサ、１０９：加速度センサ、１１０：ジャイロセンサ、１１１：場所記述情報生成モジュール、１１２：構成モジュール、１１３：キャラクタ制御モジュール、１１４：視点決定モジュール、１１５：描画モジュール、１１６：合成モジュール、２０１：解析モジュール、２０２：特定モジュール、２０３：特性把握モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】