特許 6541701 端末装置およびその制御方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6541701

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】端末装置およびその制御方法、並びにプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190628BHJP

   G09G 5/00 20060101ALI20190628BHJP

   G09G 5/377 20060101ALI20190628BHJP

   G09G 5/38 20060101ALI20190628BHJP

   G09G 5/36 20060101ALI20190628BHJP

   H04N 7/18 20060101ALI20190628BHJP

【ＦＩ】

   G06T19/00 600

   G09G5/00 530M

   G09G5/00 550C

   G09G5/00 530H

   G09G5/36 520M

   G09G5/38 A

   G09G5/36 520E

   H04N7/18 U

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2017-40276(P2017-40276)

(22)【出願日】2017年3月3日

(65)【公開番号】特開2018-147151(P2018-147151A)

(43)【公開日】2018年9月20日

【審査請求日】2017年9月4日

【前置審査】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(74)【代理人】

【識別番号】100170667

【弁理士】

【氏名又は名称】前田 浩次

(72)【発明者】

【氏名】横田 健治

(72)【発明者】

【氏名】水田 修

(72)【発明者】

【氏名】伊藤 義浩

(72)【発明者】

【氏名】大川 祥一

(72)【発明者】

【氏名】増崎 和彦

(72)【発明者】

【氏名】山崎 あかり

【審査官】 松田 直也

(56)【参考文献】

【文献】 特開２０１３−１４９０２９（ＪＰ，Ａ）

【文献】 韓国公開特許第１０−２０１１−０１０４６８６（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置を備える端末装置であって、
実空間の三次元モデルにおける前記端末装置の位置を特定する第１の特定手段と、
前記撮像装置を介して三次元空間画像を取得する第１の取得手段と、
前記三次元モデルにおける前記端末装置の位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定手段と、
前記端末装置の環境情報を取得する第２の取得手段と、
ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記端末装置の位置関係に基づき、所定の画像を重畳して表示する表示手段と、
前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御手段と
を備え、
前記第２の特定手段により前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、
前記制御手段は、前記端末装置の変化前後の位置に応じて、前記所定の画像を変化させることを特徴とする端末装置。

【請求項2】

前記端末装置の動作情報を取得する第３の取得手段を更に備え、
前記制御手段は、前記動作情報に基づいて、前記所定の画像を変化させることを特徴とする請求項１に記載の端末装置。

【請求項3】

前記制御手段は、前記ディスプレイにて表示している画像の変化に応じて、当該変化に対応して前記所定の画像を前記ディスプレイにて表示している画像上にて移動させることを特徴とする請求項１または２に記載の端末装置。

【請求項4】

前記ディスプレイにて表示している画像上における前記所定の画像の移動距離は、前記第２の特定手段にて特定する変化後の三次元空間画像に含まれる実オブジェクトと前記端末装置の前記三次元モデルにおける位置関係に基づいて決定されることを特徴とする請求項３に記載の端末装置。

【請求項5】

前記制御手段は、現実の三次元空間と前記端末装置との間の深度情報に基づいて、前記所定の画像の前記ディスプレイにて表示している画像における位置、及び、サイズを決定することを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。

【請求項6】

前記環境情報は、前記端末装置の周辺環境における、温度、湿度、音、光、時間、経度／緯度の情報のうちの少なくとも１つを含むことを特徴とする請求項１乃至５のいずれか一項に記載の端末装置。

【請求項7】

前記音の環境情報は、前記ディスプレイにて表示している画像に対する音源の位置、および、音量を含むことを特徴とする請求項６に記載の端末装置。

【請求項8】

前記音の環境情報は、前記端末装置のユーザの声であることを特徴とする請求項６または７に記載の端末装置。

【請求項9】

前記光の環境情報は、前記表示手段にて表示している前記所定の画像に対する光源の位置、光量、色のうちの少なくとも１つを含むことを特徴とする請求項６に記載の端末装置。

【請求項10】

前記動作情報は、前記端末装置の位置、向き、内部処理、前記撮像装置の撮影条件に対する変化のうちの少なくとも１つを含むことを特徴とする請求項２に記載の端末装置。

【請求項11】

前記所定の画像は、人物、動物、オブジェクト、およびアニメーションの少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか一項に記載の端末装置。

【請求項12】

撮像装置を備える端末装置の制御方法であって、
実空間の三次元モデルにおける前記端末装置の位置を特定する第１の特定工程と、
前記撮像装置を介して三次元空間画像を取得する第１の取得工程と、
前記三次元モデルにおける前記端末装置の位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定工程と、
前記端末装置の環境情報を取得する第２の取得工程と、
ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記端末装置の位置関係に基づき、所定の画像を重畳して表示する表示工程と、
前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御工程と
を有し、
前記第２の特定工程にて前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、
前記制御工程では、前記携帯端末の変化前後の位置に応じて、前記所定の画像を変化させることを特徴とする制御方法。

【請求項13】

撮像装置を備えるコンピュータを、
実空間の三次元モデルにおける前記コンピュータの位置を特定する第１の特定手段、
前記撮像装置を介して三次元空間画像を取得する第１の取得手段、
前記三次元モデルにおける前記コンピュータの位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定手段、
前記コンピュータの環境情報を取得する第２の取得手段、
ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記コンピュータの位置関係に基づき、所定の画像を重畳して表示する表示手段、
前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御手段
として機能させ、
前記第２の特定手段により前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、
前記制御手段は、前記端末装置の変化前後の位置に応じて、前記所定の画像を変化させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置およびその制御方法、並びにプログラムに関する。特に、実空間のオブジェクトと端末装置との距離に基づいて、ディスプレイ上で実空間の画像に所定のオブジェクトを重畳して表示する技術に関する。

【背景技術】

【0002】

近年、カメラ等の撮像手段にて撮影された実空間上の空間画像をディスプレイ上に表示する際に、その空間画像に所定のオブジェクト画像を重畳して表示する、所謂ＡＲ（Augmented Reality）技術が普及してきている。また、近年の携帯端末の高機能化に伴って、携帯端末上でＡＲ技術を用いる場面が増えてきている。

【0003】

非特許文献１、２には、センサとカメラを組み合わせたシステムが開示される。このシステムは、カメラとセンサから取得した情報に基づき、端末装置の現在位置と向きを特定することができる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：https://get.google.com/tango/＞

【非特許文献2】Googleの空間認識技術「Tango」を搭載する初のスマホ「Lenovo PHAB2 Pro」によるAR体験はこんな感じになる、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：http://gigazine.net/news/20160630-snapdragon-tango-ar/＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

携帯端末を有するユーザが、携帯端末のディスプレイ上に実空間の画像と所定のオブジェクト画像とを重畳して表示する際に、実際にユーザ自身が体験している環境やその環境変化に伴って、表示している所定のオブジェクト画像を変化させたいという要望がある。

【0006】

例えば、所定のオブジェクト画像として、ユーザの好みのキャラクターを携帯端末のディスプレイ上に表示させる際に、その携帯端末（つまり、ユーザ）の周囲の環境変化に伴って、そのキャラクターに何らかのリアクションをさせたい場合や、所定の情報をそのキャラクターを介して提供させたい場合などがある。 本願発明では、ユーザが存在する実環境の情報およびその変化に伴って、そのユーザが有する携帯端末のディスプレイ上の実空間の画像に重畳表示するオブジェクト画像を動的に変化させる手法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために本願発明は以下の構成を有する。すなわち、撮像装置を備える端末装置であって、実空間の三次元モデルにおける前記端末装置の位置を特定する第１の特定手段と、前記撮像装置を介して三次元空間画像を取得する第１の取得手段と、前記三次元モデルにおける前記端末装置の位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定手段と、前記端末装置の環境情報を取得する第２の取得手段と、ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記端末装置の位置関係に基づき、所定の画像を重畳して表示する表示手段と、前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御手段とを備え、前記第２の特定手段により前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、前記制御手段は、前記端末装置の変化前後の位置に応じて、前記所定の画像を変化させる。

【0008】

また、本願発明の別の構成として、以下の構成を有する。すなわち、撮像装置を備える端末装置の制御方法であって、実空間の三次元モデルにおける前記端末装置の位置を特定する第１の特定工程と、前記撮像装置を介して三次元空間画像を取得する第１の取得工程と、前記三次元モデルにおける前記端末装置の位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定工程と、前記端末装置の環境情報を取得する第２の取得工程と、ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記端末装置の位置関係に基づき、所定の画像を重畳して表示する表示工程と、前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御工程とを有し、前記第２の特定工程にて前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、前記制御工程では、前記端末装置の変化前後の位置に応じて、前記所定の画像を変化させる。

【0009】

また、本願発明の別の構成として、以下の構成を有する。すなわち、プログラムであって、撮像装置を備えるコンピュータを、実空間の三次元モデルにおける前記コンピュータの位置を特定する第１の特定手段、前記撮像装置を介して三次元空間画像を取得する第１の取得手段、前記三次元モデルにおける前記コンピュータの位置と前記三次元空間画像に含まれる実オブジェクトとの位置関係を特定する第２の特定手段、前記コンピュータの環境情報を取得する第２の取得手段、ディスプレイにて表示している画像上において、前記三次元空間画像に含まれる実オブジェクトと前記コンピュータの位置関係に基づき、所定の画像を重畳して表示する表示手段、前記環境情報の変化に応じて、前記所定の画像の表示を変化させる制御手段として機能させ、前記第２の特定手段により前記三次元空間画像に含まれる実オブジェクトの特徴情報は記憶され、当該記憶された特徴情報と、新たに取得された三次元空間画像に含まれる実オブジェクトの特徴情報とから、前記端末装置の変化前後の位置が求められ、前記制御手段は、前記端末装置の変化前後の位置に応じて、前記所定の画像を変化させる。

【発明の効果】

【0010】

本願発明により、ユーザが存在する実環境の情報およびその変化に伴って、そのユーザが有する携帯端末のディスプレイ上の実空間の画像に重畳表示するオブジェクト画像を動的に変化させることが可能となる。

【図面の簡単な説明】

【0011】

【図1】本願発明に係る携帯端末のハードウェア構成の例を示す図。

【図2】本願発明に係る携帯端末のソフトウェア構成の例を示す図。

【図3】本願発明に係る処理フローを示すフローチャート。

【図4】本願発明に係るディスプレイ上における重畳表示の例を示す図。

【発明を実施するための形態】

【0012】

以下、図面を用いて、本願発明に係る一実地形態について説明を行う。なお、以下に示す実施形態は一例であり、これに限定するものではない。また、以下の説明では、本実施形態に係る端末装置として、スマートフォンなどの携帯端末を例に挙げて説明するが、これに限定するものではない。

【0013】

［用語の説明］
まず、本願発明の説明にて用いる用語の説明を行う。

【0014】

「環境情報」は、携帯端末の周辺環境に関する各種情報である。例えば、温度、湿度、音（音量、音源の位置）、光（光量、光源の位置）、時間（時刻）、日付、経度／緯度、高度などが該当する。

【0015】

「動作情報」は、携帯端末が備える各リソースの状態、負荷、動作モード、撮影部による撮影条件、もしくは内部処理の状態などが該当する。

【0016】

「撮影画像」は、撮影部により撮影された画像（三次元空間画像）であり、ここでは、ディスプレイにリアルタイムに表示される画像も含むものとする。

【0017】

「三次元モデル」は、携帯端末の周辺の三次元空間の特徴を示す情報を示す。各種センサにて取得された情報にて例えば、撮影部に撮影された画像から抽出される、画像内の各種物体の特徴を示す点群（特徴点）などにより構成される。

【0018】

「深度情報」は、原点から検知対象までの深さ（距離）を示す情報である。ここでの原点とは、端末装置の位置を基準として設けられるものとする。

【0019】

「表示オブジェクト」は、ディスプレイに表示するオブジェクトであり、表示オブジェクトの種類は、人物、動物、オブジェクト、およびアニメーションなどが挙げられる。表示オブジェクトは、二次元形状にて構成されたものでもよいし、三次元形状にて構成されたものでもよい。なお、以下の説明において、表示オブジェクトに対し、撮像部を介して撮影された実空間上の物質を単に「オブジェクト」と称する。

【0020】

［ハードウェア構成］
図１は、本実施形態に係る端末装置の概略的なハードウェア構成の例を示す図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信端末である。端末装置１０は、制御部１００、スピーカ１０１、マイク１０２、撮像部１０３、ＧＰＳ処理部１０４、ジャイロセンサ１０５、ディスプレイ１０６、深さセンサ１０７、通信部１０８、加速度センサ１０９、地磁気センサ１１０、および温度／湿度センサ１１１を備える。

【0021】

スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、入力された音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサ（不図示）を有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信して受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。ジャイロセンサ１０５は、端末装置１０の角度や角速度を測定して姿勢情報として制御部１００に出力する。ディスプレイ１０６は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。

【0022】

深さセンサ１０７は、オブジェクトまでの距離（深さ）を測定して測定結果を深度情報として制御部１００に出力する。深さセンサ１０７としては、例えば、赤外線カメラを用いることができる。通信部１０８は、移動通信網や無線ＬＡＮ(Local Area Network)を介した通信処理を行う。加速度センサ１０９は、端末装置１０の加速度を測定して加速度情報として制御部１００に出力する。地磁気センサ１１０は、地磁気を検出して端末の基準方向の現在の向きを示す方位情報を制御部１００に出力する。温度／湿度センサ１１１は、端末装置１０の周辺環境における温度および湿度を検知し、制御部１００に出力する。

【0023】

制御部１００は、端末装置１０全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭ(Random Access Memory)や、プロセッサが実行するオペレーティングシステム(OS)及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

【0024】

なお、上記の装置のハードウェア構成の例は一例であり、上記以外の部位を備えていてもよい。例えば、端末装置１０の周囲における環境情報や三次元モデルを取得するために、各情報に対応してセンサを設けていてもよい。

【0025】

本実施形態において、三次元モデルは、撮像部１０３で撮像した画像の特徴点の点群と撮像位置とを対応付けて保持する対応テーブルであってもよい。点群は撮像場所や角度が多少変わっても同じ物体だと認識できるように構成される。端末装置１０はその特徴点の情報を読み込み、撮像位置が分からない場合に撮像位置がどこかを判定する。すなわち、三次元モデルは風景の見え方を記憶して撮像位置がどこかを求めるためのものであり、深さセンサ１０７を使わなくても生成可能である。一方、オブジェクトを地面の上に立たせたり現実の物体の大きさを測定したりする場合には深さセンサ１０７を用いる。

【0026】

［ソフトウェア構成］
図２は、本実施形態に係る概略的なソフトウェア構成の例を示す図である。本実施形態に係る各種処理部の機能は、制御部１００が備えるメモリ部に格納されたプログラムをプロセッサが適時読み出して実行することにより実現される。

【0027】

端末装置１０は、三次元モデル取得部２０１、撮影画像取得部２０２、環境情報取得部２０３、位置情報取得部２０４、表示制御部２０５、オブジェクト制御部２０６、位置関係特定部２０７、および音声解析部２０８を備える。

【0028】

三次元モデル取得部２０１は、端末装置１０の周囲の空間に関する三次元モデルを取得する。なお、三次元モデルを取得する方法については、特に限定するものでは無いが、一例として、非特許文献１、２にて示されているＴａｎｇｏを用いることが可能である。

【0029】

ここで、三次元モデルについて説明する。三次元モデル取得部２０１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部１０３が撮像している画像から端末装置１０の三次元空間位置と撮像部１０３の撮像方向を判定するための情報である。まず、非特許文献２に記載された場所記述情報の生成について説明する。なお、三次元空間位置の原点は、場所記述情報を開始したときの端末装置１０（撮像部１０３）の位置であるものとする。

【0030】

端末装置１０のユーザは、場所記述情報の取得を開始すると、撮像部１０３により画像を撮像しながら、その位置や、撮像方向を変化させる。三次元モデル取得部２０１は、場所記述情報の取得の間、その開始時の位置を原点とし、各種センサにより取得された加速度情報及び角速度情報に基づき端末装置１０の位置や撮像方向の向きを判定し続ける。また、三次元モデル取得部２０１は、撮像部１０３が撮像している画像内の特徴点を求める。このとき、三次元モデル取得部２０１は、三次元空間における端末装置１０の位置や撮像方向と、画像内の同じ特徴点のカメラ座標における位置を判定する。これにより、三次元モデル取得部２０１は、三次元空間内の各位置及び各撮像方向において、撮像部１０３が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置１０は、生成した場所記述情報と、撮像部１０３が撮像している画像の特徴点とを比較することで、そのときの端末装置１０の三次元空間位置と撮像部１０３の撮像方向を判定することができる。

【0031】

また、三次元モデル取得部２０１は、既に保存している場所記述情報と、撮像部１０３が撮像している画像の特徴点との比較により端末装置の三次元空間位置と撮像部１０３の撮像方向を判定すると同時に、撮像部１０３が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

【0032】

上述した様に、場所記述情報は、端末装置１０の位置及び撮像方向と、撮像部１０３が撮像する画像内にある各オブジェクトの各特徴点のカメラ座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の三次元空間位置の座標を示す三次元空間情報を生成することができる。なお、特徴点の位置は、実空間を模した仮想的な三次元空間の座標（ｘ，ｙ，ｚ）で表される。

【0033】

ここで生成された場所記述情報は適時、端末装置１０の記憶部に保持されていく。このとき、既に生成済みの三次元モデルが存在する場合、新たに取得した三次元モデルと、既に保存している三次元モデルとを比較してもよい。例えば、比較の結果、所定割合以上の特徴点が一致すると、新たに取得した三次元モデルが、既に保存している三次元モデルと同じ場所で取得されていることを認識する。この場合、既に保存している三次元モデルを新たに取得した三次元モデルで更新する。

【0034】

撮影画像取得部２０２は、撮像部１０３を介して撮影した画像を取得する。この取得した画像は、リアルタイムでディスプレイ１０６に表示したり、上記の三次元モデル取得部２０１へ渡したりする。

【0035】

環境情報取得部２０３は、温度／湿度センサ１１１を介して、端末装置１０の周辺環境における温度情報や湿度情報を取得する。更に、環境情報取得部２０３は、撮像部１０３を介して撮影した画像を解析し、画像中の明るさの変化や、光源などを特定する。例えば、光源の特定に関し、端末装置１０が備える光センサ（不図示）により検知した方向に基づいて、判定することができる。更に、環境情報取得部２０３は、音声解析部２０８により解析された各種音声情報を取得する。なお、環境情報取得部２０８は、音声情報として、人などの声に限定するものではなく、音楽や所定の音などを取得するようにしてもよい。また、音声解析部２０８に解析される前の生の音声情報をそのまま環境情報として用いてもよい。また、環境情報取得部２０３は、通信部１０８を介して外部の装置（不図示）から環境情報を取得してもよい。外部から取得する情報としては、例えば、音声情報に基づいて、関連する情報（天気情報など）を取得してもよい。

【0036】

位置情報取得部２０４は、三次元モデル取得部２０１にて取得された情報に基づいて、実空間の三次元モデルにおける端末装置１０の現在位置を特定する。現在位置は三次元空間の座標（ｘ，ｙ，ｚ）にて特定される。位置情報取得部２０４は、ジャイロセンサ１０５から出力される姿勢情報と加速度センサ１０９から出力される加速度情報とを用いたモーショントラッキングにより、端末装置１０の現在位置および傾きを特定する。例えば、位置情報取得部２０４は、まず三次元モデルとして得られた特徴点によるマッチングを行い、端末装置１０が三次元モデルのどの場所にいるかを特定する。特定できた後、位置情報取得部２０４は、加速度センサ１０９、ジャイロセンサ１０５により端末装置１０が移動しても三次元モデル上の座標を特定できる。位置情報取得部２０４は、撮像部１０３が撮像して得られた画像情報に基づくエリアラーニングにより、モーショントラッキングでのずれの累積を補正してもよい。

【0037】

表示制御部２０５は、撮像部１０３を介して撮影されている画像と、オブジェクト制御部２０６により作成された表示オブジェクトを重畳して表示させる。表示制御部２０５は、ディスプレイ１０６上での表示オブジェクトの位置などを、位置情報、三次元モデル、もしくは環境情報などに基づいて決定する。例えば、表示制御部２０５は、三次元モデルにて示されるオブジェクトの座標と、端末装置１０の位置情報と、深さセンサ１０７によって得られる情報との対応関係に基づいて、表示オブジェクトのディスプレイ１０６上での位置を特定する。このとき、深さセンサ１０７から得られた情報を用いることにより、現実空間の壁や床などとの対応関係を考慮して画像の位置や表示を制御することが可能となる。

【0038】

オブジェクト制御部２０６は、ディスプレイ１０６に表示する表示オブジェクトおよびその動作を決定し、表示制御部２０５に渡す。例えば、ここでの動作とは、例えば、表示オブジェクトの動作の他、音声により情報を提供したり、文字としてディスプレイ１０６上に表示したりすることも含む。また、端末装置１０にインストールされている他のアプリケーションや、端末装置１０が備える各種ハードウェアから情報を取得し、その情報に基づいて動作を決定してもよい。

【0039】

位置関係特定部２０７は、三次元モデル取得部２０１で取得した三次元モデルと、位置情報取得部２０４にて取得した位置情報とに基づいて、端末装置１０のディスプレイ１０６で表示されている画像に含まれる各種オブジェクトと、端末装置１０との位置関係を特定する。ここで特定された位置関係に基づいて、表示制御部２０５は、ディスプレイ１０６に表示されている画像において、所定の表示オブジェクトを表示する位置を特定することとなる。

【0040】

音声解析部２０８は、マイク１０２を介して入力された音声を解析し、音の大きさや発された位置（音源）や方向などを特定する。音源の特定方法としては、例えば、端末装置が備える複数のマイクからの入力に基づき、その入力された音の時間差により、音源の位置を推定する方法がある。また、複数のマイクを用いて、音源までの距離などを推定する方法もあるが、その方法を特に限定するものではない。なお、ここでの解析には、例えば、特定のユーザの声の識別なども含まれる。例えば、特定の音（声）のみを抽出するように解析してもよい。音声解析部２０８により解析された各種音声情報は、環境情報として、環境情報取得部２０３に渡される。

【0041】

なお、図２に示す構成では、端末装置１０が各種処理を行う構成とした。しかし、端末装置１０は、各情報を取得した後、外部装置へデータを送信し、その外部装置側で処理を行わせ、その結果を取得するような構成であってもよい。

【0042】

例えば、オブジェクト制御部２０６が、三次元モデルから特定される端末装置１０の位置に基づく位置（座標）に対応付けられた表示オブジェクトの情報を外部装置であるサーバからダウンロードしてもよい。ダウンロード方法は様々あり、ユーザが端末装置１０を操作して、ダウンロードアイコンを選択するだけでなく、撮像画像又は特徴点の画像を定期的にアップロードし、サーバ側で、画像マッチングで三次元モデルの有無を判定し、該当する三次元モデルをダウンロードしてもよい。また、端末装置１０のＧＰＳ処理部１０４にて取得したＧＰＳ情報をサーバにアップロードすると、その場所に対応する三次元モデル（対応するアプリケーションが特定されている情報の表示とともに）を選択し、受信してもよい。あるいは、端末装置１０は、予め記憶・生成した三次元モデルと三次元モデルから特定される端末装置１０の位置に基づく位置（座標）に対応付けられたオブジェクト情報を予め保持していてもよい。

【0043】

また、図２に示したような各処理モジュールを統合して構成してもよいし、更に詳細に分け、プロセッサ（コンピュータ）に処理可能なプログラムとして構成してもよい。

【0044】

［処理フロー］
以下、本実施形態に係る処理フローについて、図３を用いて説明する。なお、本実施形態では、制御部１００において、プロセッサがメモリ部に格納された各種プログラムを読み出して実行する事により、以下の処理が実現される。

【0045】

Ｓ３０１にて、制御部１００は、三次元モデル取得部２０１により、端末装置１０の周囲における三次元モデルを取得する。このとき、予め作成されている三次元モデルを取得するように構成してもよいし、端末装置１０が備える撮像部１０３を起動させた上で、三次元モデルを最初から構成するようにしてもよい。なお、本処理フローの開始と共に、撮像部１０３を起動するように構成してよい。

【0046】

Ｓ３０２にて、制御部１００は、位置情報取得部２０４により、三次元モデルにおける端末装置１０の現在位置を特定する。

【0047】

Ｓ３０３にて、制御部１００は、位置関係特定部２０７により、端末装置１０の位置情報と、現実の三次元空間の情報（撮影画像内のオブジェクト）との位置関係（対応関係）を特定する。

【0048】

Ｓ３０４にて、制御部１００は、表示制御部２０５により、特定した位置関係に基づいて、ユーザ所望の表示オブジェクトの表示位置を決定する。ここで決定する表示位置は、端末装置１０の位置と、画面に表示されているオブジェクト（例えば、壁や床）との距離に基づいてもよいし、端末装置１０の位置からの相対的な場所であってもよい。また、上述したように、画面に表示されているオブジェクトとの距離（深さ）は、深さセンサ１０７により得られる深度情報を用いることができる。

【0049】

Ｓ３０５にて、制御部１００は、オブジェクト制御部２０６により、表示オブジェクトを決定する。ここでは、ユーザが予め表示オブジェクトの種類をしていてもよいし、位置情報や環境情報に基づいて表示オブジェクトを決定してもよい。また、表示オブジェクトは１つに限定するものではなく、複数の表示オブジェクトが同時に表示されるようにしてもよい。また、複数の表示オブジェクトそれぞれに対して、環境情報などに基づく表示条件および優先度を設けておき、状況に応じて表示オブジェクトの候補を特定してもよい。ここで、制御部１００は、その時点での端末装置１０の環境情報および動作情報を取得し、保持しておくものとする。更に、表示オブジェクトの決定において、ここで取得した環境情報および動作情報を用いて表示オブジェクトを決定してもよい。

【0050】

また、表示オブジェクトは、前回表示されたオブジェクトの表示設定（明るさ、影の向きなどのパラメータ設定）を保持しておき、次回の表示の際にそのままの状態で表示するようにしてもよい。更に、表示オブジェクトの表示中に、バックグランドで、表示オブジェクトのパラメータ情報と新たに取得した環境情報に基づいてパラメータを変更するか否かを判定し、変更すべきと判定すれば、表示オブジェクトの表示態様や動作を変更してもよい。このとき、表示オブジェクトの表示態様や動作パターンを複数記憶しておくことにより、環境情報に応じた適切な表示や動作パターンのオブジェクトを取得できる。なお、上記の処理は端末装置１０におけるバックグラウンドの処理として述べたが、この処理をサーバ側に要求し、その結果を用いてもよい。また、判定の結果、新たな情報をサーバから取得するようにしてもよい。

【0051】

また、プログラム起動時に、ＧＰＳ情報などに基づいて端末装置１０が位置する場所が屋内／屋外を特定したり、時刻情報や日付情報に基づいて朝・昼・夜（更には、季節など）を特定したりした上で、これらの情報のいずれかに基づいて、予め決められた表示パターンを選択してもよい。表示パターンとしては、例えば、夏の夜であれば、夏服で夜の明るさに制御したり、屋内向けの設定に制御したりしてよい。更に、その表示中にバックグランドで環境情報に基づいて表示設定等を修正してもよい。つまり、表示タイミングに基づいた情報をまずは優先するように制御することができる。この構成により、ユーザのストレスを解消できる。

【0052】

Ｓ３０６にて、制御部１００は、表示制御部２０５により、ディスプレイ１０６上において、Ｓ３０５にて決定した表示オブジェクトを、Ｓ３０４にて決定した画像内の表示位置に表示させる。なお、表示オブジェクトをディスプレイ１０６上に表示をするかの決定は、端末装置１０のアプリの起動時に事前の設定（起動時に表示・非表示）に基づいて判定してもよい。また、アプリ起動時に非表示に制御されている場合でも、端末装置１０に対する所定の操作や端末装置１０に対して入力された音声情報（例えば、表示オブジェクトに対応する名前の呼びかけ）を検知したことに応じて、表示オブジェクトをディスプレイ１０６上に表示させるように制御してもよい。

【0053】

また、ディスプレイ１０６に表示されている画像と、表示オブジェクトの特性に応じて、表示オブジェクトの表示範囲を変更してもよい。例えば、図４に示すように、ディスプレイ１０６上に表示された画面内において、地面などに対応する、表示オブジェクトを立たせる領域が含まれていたとする。この場合、表示オブジェクトがヒト型キャラクターの場合、その領域に表示オブジェクトを立たせるような表示を行わせ、一方、画面内にそのような領域がなければ（例えば、壁のみ表示）、画面内に上半身あるいは首から頭までの部分のみを表示させるようにしてもよい。

【0054】

Ｓ３０７にて、制御部１００は、環境情報取得部２０３により、端末装置１０の周囲の各種環境情報および端末装置１０の動作情報を取得する。更に制御部１００、撮像部１０３の向きの情報を取得する。つまり、撮像部１０３の向きが変わることにより、ディスプレイ１０６上に表示される画像も変更されるため、これに伴って、各種情報が変更されることを意味する。

【0055】

Ｓ３０８にて、制御部１００は、オブジェクト制御部２０６により、保持している各種情報と、Ｓ３０７にて新たに取得した各種情報とが異なるか否かを判定する。異なる場合は（Ｓ３０８にてＹＥＳ）Ｓ３０９へ進み、同じである場合は（Ｓ３０８にてＮＯ）Ｓ３０７へ戻る。

【0056】

Ｓ３０９にて、制御部１００は、オブジェクト制御部２０６により、変化後の各種情報に基づき、新たに表示する表示オブジェクトおよび表示位置を決定する。例えば、新たに表示する表示オブジェクトとしては、これまでに表示していた表示オブジェクトのサイズや向きなどを変更してもよいし、全く異なる表示オブジェクトを表示するようにしてもよい。例えば、環境情報のうち、光源の位置や光量が変化された場合、表示オブジェクトを表示する明るさや影の向きや大きさを変更するようにしてもよい。また、音声情報が新たに入力された場合には、その音声の音源となる位置を特定し、その位置の方向に応じて表示オブジェクトの表示を変更するようにしてもよい。

【0057】

また、変更する際に、連続して変化していくようにしてもよいし、表示が切り替るようにしてもよい。また、撮像部１０３の向きが変更になったことに伴い、向きの変更量に応じて、表示オブジェクトの移動距離（移動量）を決定して、移動（例えば、キャラクターであれば、歩いているように動作させる）させるようにしてもよい。

【0058】

Ｓ３１０にて、制御部１００、表示制御部２０５により、ディスプレイ１０６上において、Ｓ３０９にて決定した表示オブジェクトを、決定した表示位置に表示させる。

【0059】

Ｓ３１１にて、制御部１００、所定の表示オブジェクトの表示を終了するか否かを判定する。表示を終了すると判定した場合は（Ｓ３１１にてＹＥＳ）本処理フローを終了し、表示を継続すると判定した場合は（Ｓ３１１にてＮＯ）Ｓ３０７へ戻り、処理を継続する。なお、終了する場合とは、ユーザからの指示を受け付けた場合や、端末装置１０の電源を切った場合などが該当するが、これらに限定するものではない。

【0060】

なお、過去の表示履歴（終了時の表示設定情報）を記憶しておき、次回の表示時には、表示履歴の中で最も多い表示態様で表示オブジェクトを表示してもよい。また、表示履歴を時間帯ごとに記憶しておき、次回の表示時間帯で最も多い表示形態を選択してもよい。また、表示履歴には、その表示を行っていた際の環境情報を含めてもよい。そして、次回表示時には、表示履歴と、その時点での環境情報との比較により、表示オブジェクトの表示態様を決定するようにしてもよい。

【0061】

［表示例］
本実施形態に係る、ディスプレイ１０６におけるユーザ所望の表示オブジェクトの表示例について説明する。以下の説明では、ユーザ所望の表示オブジェクトとして、ヒト型の画像を例に挙げて説明するが、これに限定するものではない。

【0062】

図４（ａ）は、本実施形態に係るディスプレイ１０６上において、表示オブジェクトを実空間の画像に重畳して表示している例を示している。図４（ａ）の上部に示すようにユーザの位置は変わらず、撮像部１０３の向きを左右に変更したとする。この場合において、ディスプレイ上に表示されている三次元空間の画像内に表示オブジェクトが表示されるように、表示オブジェクトを移動させている。この時の表示オブジェクトは、画面の中央に位置するように表示してもよいし、三次元空間の画像内に含まれるオブジェクトとの距離（深さ）に基づいて、表示位置を前後左右に調整するようにしてもよい。

【0063】

図４（ｂ）は、光源もしくは音源に基づいて表示オブジェクトを表示する例を示している。例えば、光源の位置を特定し、その光源の位置と表示オブジェクトの位置から、表示オブジェクトの影を表示している例を示している。また、入力された音情報に基づき、その音源の位置（方向）を特定し、その音源に対して表示オブジェクトが何らかの動作を行う。例えば、音源の位置と表示オブジェクトの位置関係に基づき、表示オブジェクトが音源の方へ移動するような動作を行うように表示する。

【0064】

また、音声情報の内容に応じて、表示オブジェクトの動作を変更するように表示させてもよい。例えば、音声情報が、特定の音楽である場合や予め定義されたリズムであった場合などに、表示オブジェクトであるキャラクターが音楽（リズム）に合わせてダンスや動作を行うようにしてもよい。また、音声情報にて示される音量が所定の値を超えた場合には、表示オブジェクトであるキャラクターが驚いたり、その音に対するコメントを発したりするような動作を行うように制御してもよい。また、解析した音声情報が特定の情報である場合には、その情報に対応付けられた表示動作を行うようにしてもよい。例えば、表示オブジェクトであるキャラクターの名前が音声情報として入力された（呼ばれた）場合、その入力に応じて、表示オブジェクトが反応するように表示させてもよい。ここでの反応とは、例えば、返事を行うような動作をしたり、その表示オブジェクトがディスプレイ上に表示されていない場合には、画面内に出てくるように表示してもよい。また、所定の文言や声量に応じて、表示オブジェクトであるキャラクターが怒ったり、悲しんだりする動作を行うように表示させてもよい。更には、音源（呼ばれた方向）に反応して、移動や振り返るといった動作の表示を行うようにしてもよい。

【0065】

また、特定された光源の色（白色、暖色）や撮影部により撮像した画像の色（輝度等）に基づき、表示オブジェクトの色合いを変えるように表示してもよい。また、光源の色等の情報に応じて、表示オブジェクトがディスプレイ１０６に対する表示設定を変更するような情報を提示するようにしてもよい。

【0066】

また、環境情報には、端末装置自身の動作情報を含めてもよい。例えば、動作情報として端末装置の撮影部に対する撮影操作が挙げられる。この場合に、表示オブジェクトがディスプレイ上で表示されている際に、端末装置が備える撮像部（カメラ）に対し撮影操作を行った場合、表示オブジェクトが撮影ポーズをとるように表示を制御してもよい。また、撮影操作を連続して行う場合には、その撮影操作ごとに異なる動作（撮影ポーズ）を行うようにしてもよい。

【0067】

また、環境情報には、現時点での時刻やディスプレイ上に表示している画面が変化せずに経過した時間を含め、この情報に基づいて、表示オブジェクトの表示内容を制御してもよい。例えば、現時点での時刻が夜中である場合には、表示オブジェクトのキャラクターが寝ている動作を行ったり、夜用の服装となったりするように制御してもよい。また、朝の時刻である場合には、歯磨きを行うような時刻特有の動作を行うような表示を行ってもよい。また、ディスプレイ上に表示している画面が変化せずに経過した時間が所定の閾値を超えた場合には、表示オブジェクトを表示しないように制御したり、ユーザに対して何らかの働きかけを行うように表示オブジェクトの表示を制御したりしてもよい。

【0068】

また、環境情報に含まれる温度や湿度の情報に応じて、表示オブジェクトの動作や表示を切り替えてもよい。例えば、温度が一定の閾値を超えた場合には、薄手の服装となるような表示を行ってもよいし、ユーザに対しメッセージ（例えば、水分を取っているか）を提示するような表示を行ってもよい。また、位置情報に応じて、ユーザ（携帯端末）がいる位置を特定し、その位置に応じた表示を行ってもよい。例えば、その地域の民族衣装やその地域の気候や時期に合せた服装となるように表示を行ってもよい。

【0069】

以上、本願発明では、ユーザが有する端末装置において表示している画像上にユーザ所望の表示オブジェクトを重畳表示させ、その端末装置がある環境に応じてユーザ所望の表示オブジェクトの表示を切り替える。これにより、ユーザは、自身が体験している実環境に応じたオブジェクトの表示変更（オブジェクトによるリアクション）を、端末装置を介して得ることができる。その結果、ユーザ自身とオブジェクト（例えば、アニメのキャラクター）とが同一の環境において、同じ体験をしているといった、ユーザの満足度を向上させ、新たなエンターテイメントの提供が可能となる。

【符号の説明】

【0070】

１０…端末装置、１００…制御部、１０３…撮像部、１０４…ＧＰＳ処理部、１０５…ジャイロセンサ、１０６…ディスプレイ、１０７…深さセンサ、１０８…通信部、１０９…加速度センサ、１１０…地磁気センサ、１１１…温度／湿度センサ

【図1】

【図2】

【図3】

【図4】