特開 2022-164114 表示システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164114

(43)【公開日】2022-10-27

(54)【発明の名称】表示システム及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221020BHJP

   G06F 3/0484 20220101ALI20221020BHJP

   G06F 3/16 20060101ALI20221020BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

G06F3/16 650

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021069398

(22)【出願日】2021-04-16

(71)【出願人】

【識別番号】515048065

【氏名又は名称】株式会社ネイン

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】山本 健太郎

(72)【発明者】

【氏名】田添 拓弥

(72)【発明者】

【氏名】リュウ テツイ

(72)【発明者】

【氏名】寒河江 勇矢

(72)【発明者】

【氏名】陳 旻甫

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA06

5B050BA09

5B050BA12

5B050CA01

5B050DA01

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5E555AA24

5E555AA25

5E555AA27

5E555BA04

5E555BB04

5E555BC04

5E555BE17

5E555CA42

5E555CB64

5E555CB66

5E555CB76

5E555DA08

5E555DC09

5E555DC11

5E555DC13

5E555EA23

5E555FA00

(57)【要約】

【課題】ユーザに変身する体験を提供する。
【解決手段】ウェアラブル表示デバイス１と、ウェアラブル表示デバイス１と通信可能な情報処理装置２と、を含む表示システムにおいて、情報処理装置２は、ウェアラブル表示デバイス１を装着したユーザの身体運動のパターンを取得する身体運動取得部２１０を備え、ウェアラブル表示デバイス１は、身体運動取得部２１０が取得した身体運動のパターンに対応するＡＲ（Augmented Reality）オブジェクトをユーザの身体に重畳した画像を、ウェアラブル表示デバイス１を装着したユーザに提示する提示部１３を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ウェアラブル表示デバイスと、前記ウェアラブル表示デバイスと通信可能な情報処理装置と、を含む表示システムであって、
前記情報処理装置は、
前記ウェアラブル表示デバイスを装着したユーザの身体運動のパターンを取得する身体運動取得部を備え、
前記ウェアラブル表示デバイスは、
前記身体運動取得部が取得した前記身体運動のパターンに対応するＡＲ（Augmented Reality）オブジェクトを前記ユーザの身体に重畳した画像を、前記ウェアラブル表示デバイスを装着した前記ユーザに提示する提示部を備える、
表示システム。

【請求項2】

前記情報処理装置は、あらかじめ定められた複数の身体運動のパターンそれぞれに衣装のＡＲオブジェクトを対応づけて記憶するＡＲデータベースを参照して、前記身体運動取得部が取得した身体運動のパターンに対応するＡＲオブジェクトを読み出すデータベース管理部をさらに備える、
請求項１に記載の表示システム。

【請求項3】

前記情報処理装置は、通信中のウェアラブル表示デバイスを特定するためのデバイス特定部をさらに備え、
前記データベース管理部は、前記ＡＲオブジェクトと、当該ＡＲオブジェクトの提示を許可するウェアラブル表示デバイスを特定するためのデバイス識別子とを対応づけて格納する許可データベースを参照して、前記身体運動取得部が取得した身体運動のパターンに対応するＡＲオブジェクトであって前記デバイス特定部が特定したウェアラブル表示デバイスが提示することを許可されたＡＲオブジェクトを読み出す、
請求項２に記載の表示システム。

【請求項4】

前記情報処理装置は、前記ウェアラブル表示デバイスを装着した前記ユーザの発話パターンを認識する音声認識部をさらに備え、
前記ＡＲデータベースは、複数の発話パターンそれぞれに衣装のＡＲオブジェクトを対応づけてさらに記憶しており、
前記データベース管理部は、前記音声認識部が認識した発話パターンに対応する前記ＡＲオブジェクトを読み出す、
請求項２又は３に記載の表示システム。

【請求項5】

前記表示システムは、前記ウェアラブル表示デバイスと異なるデバイスであって前記ウェアラブル表示デバイスと通信可能な第２ウェアラブル表示デバイスをさらに含み、
前記第２ウェアラブル表示デバイスは、
前記第２ウェアラブル表示デバイスを装着した第２ユーザの視界に対応する画像を撮像する第２撮像部と、
前記第２撮像部が撮像した画像に含まれる前記ウェアラブル表示デバイスを装着した前記ユーザを検出する検出部と、
前記身体運動のパターンに対応するＡＲオブジェクトを前記ユーザの身体に重畳した画像を前記第２ユーザに提示する第２提示部と、を備える、
請求項１から４のいずれか１項に記載の表示システム。

【請求項6】

前記ウェアラブル表示デバイスの前記提示部は、所定の停止条件を満たすまでの間、前記ＡＲオブジェクトを前記ユーザの身体に重畳した画像を前記ユーザに継続して提示する、
請求項１から５のいずれか１項に記載の表示システム。

【請求項7】

コンピュータに、
ウェアラブル表示デバイスを装着したユーザを撮像した画像を解析して前記ユーザの身体運動のパターンを取得する機能と、
あらかじめ定められた複数の身体運動のパターンそれぞれに衣装のＡＲオブジェクトを対応づけて記憶するＡＲデータベースを参照して、取得した前記身体運動のパターンに対応するＡＲオブジェクトを読み出す機能と、
読み出した前記ＡＲオブジェクトを特定するための識別子を前記ウェアラブル表示デバイスに送信する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示システム及び表示システムで用いられるプログラムに関する。

【背景技術】

【0002】

近年、計算機の演算能力及び通信ネットワークが急速に発展し、人々の生活の中に種々の音声処理技術やＡＲ（Augmented Reality）技術が取り入れられるようになってきている。例えば、特許文献１には、音声変換技術を用いてユーザの発話をユーザが設定したキャラクタの音声に変換したり、ＡＲ技術を用いてユーザの撮像画像をユーザが設定したキャラクタで重畳表示したりすることにより、ユーザがキャラクタになりきる体験を提供するための技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－３９３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の技術では、ユーザの発話やユーザが被写体の撮像画像をそのユーザが設定したキャラクタの発話や外観に変換する技術であり、システムを起動すればユーザはキャラクタになりきる体験ができる。しかしながら、スーパーヒーローや変身ヒロインといったキャラクタは、通常の姿から特別なスタイルに変身することが一つの大きな特徴であり、この変身という特別な瞬間を提供しているものではない。

【0005】

本発明はこれらの点に鑑みてなされたものであり、ＡＲ技術を用いてユーザに変身する体験を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、ウェアラブル表示デバイスと、前記ウェアラブル表示デバイスと通信可能な情報処理装置と、を含む表示システムである。このシステムにおいて、前記情報処理装置は、前記ウェアラブル表示デバイスを装着したユーザの身体運動のパターンを取得する身体運動取得部を備える。また、前記ウェアラブル表示デバイスは、前記身体運動取得部が取得した前記身体運動のパターンに対応するＡＲオブジェクトを前記ユーザの身体に重畳した画像を、前記ウェアラブル表示デバイスを装着した前記ユーザに提示する提示部を備える。

【0007】

前記表示システムにおいて、前記情報処理装置は、あらかじめ定められた複数の身体運動のパターンそれぞれに衣装のＡＲオブジェクトを対応づけて記憶するＡＲデータベースを参照して、前記身体運動取得部が取得した身体運動のパターンに対応するＡＲオブジェクトを読み出すデータベース管理部をさらに備えてもよい。

【0008】

前記表示システムにおいて、前記情報処理装置は、通信中のウェアラブル表示デバイスを特定するためのデバイス特定部をさらに備えてもよく、前記データベース管理部は、前記ＡＲオブジェクトと、当該ＡＲオブジェクトの提示を許可するウェアラブル表示デバイスを特定するためのデバイス識別子とを対応づけて格納する許可データベースを参照して、前記身体運動取得部が取得した身体運動のパターンに対応するＡＲオブジェクトであって前記デバイス特定部が特定したウェアラブル表示デバイスが提示することを許可されたＡＲオブジェクトを読み出してもよい。

【0009】

前記表示システムにおいて、前記情報処理装置は、前記ウェアラブル表示デバイスを装着した前記ユーザの発話パターンを認識する音声認識部をさらに備えてもよく、前記ＡＲデータベースは、複数の発話パターンそれぞれに衣装のＡＲオブジェクトを対応づけてさらに記憶していてもよく、前記データベース管理部は、前記音声認識部が認識した発話パターンに対応する前記ＡＲオブジェクトを読み出してもよい。

【0010】

前記表示システムは、前記ウェアラブル表示デバイスと異なるデバイスであって前記ウェアラブル表示デバイスと通信可能な第２ウェアラブル表示デバイスをさらに含んでもよく、前記第２ウェアラブル表示デバイスは、前記第２ウェアラブル表示デバイスを装着した第２ユーザの視界に対応する画像を撮像する第２撮像部と、前記第２撮像部が撮像した画像に含まれる前記ウェアラブル表示デバイスを装着した前記ユーザを検出する検出部と、前記身体運動のパターンに対応するＡＲオブジェクトを前記ユーザの身体に重畳した画像を前記第２ユーザに提示する第２提示部と、を備えてもよい。

【0011】

前記ウェアラブル表示デバイスの前記提示部は、所定の停止条件を満たすまでの間、前記ＡＲオブジェクトを前記ユーザの身体に重畳した画像を前記ユーザに継続して提示してもよい。

【0012】

本発明の第２の態様は、プログラムである。このプログラムは、コンピュータに、ウェアラブル表示デバイスを装着したユーザを撮像した画像を解析して前記ユーザの身体運動のパターンを取得する機能と、あらかじめ定められた複数の身体運動のパターンそれぞれに衣装のＡＲオブジェクトを対応づけて記憶するＡＲデータベースを参照して、取得した前記身体運動のパターンに対応するＡＲオブジェクトを読み出す機能と、読み出した前記ＡＲオブジェクトを特定するための識別子を前記ウェアラブル表示デバイスに送信する機能と、を実現させる。

【0013】

このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

【0014】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0015】

本発明によれば、ユーザに変身する体験を提供することができる。

【図面の簡単な説明】

【0016】

【図1】実施の形態に係る表示システムの概要を説明するための図である。

【図2】実施の形態に係る表示システムで行われる処理の順序を模式的に示す図である。

【図3】実施の形態に係るウェアラブル表示デバイスの機能構成及び情報処理装置の機能構成を模式的に示す図である。

【図4】実施の形態に係るＡＲデータベースのデータ構造を模式的に示す図である。

【図5】実施の形態に係る許可データベースのデータ構造を模式的に示す図である。

【図6】実施の形態に係る表示システムで実行される表示処理の流れを説明するためのシーケンス図である。

【発明を実施するための形態】

【0017】

＜実施の形態の概要＞
図１は、実施の形態に係る表示システムＳの概要を説明するための図である。以下、図１を参照して実施の形態に係る表示システムＳの概要を述べる。

【0018】

実施の形態に係る表示システムＳは、ウェアラブル表示デバイス１、情報処理装置２、及び撮像端末３を含む。ウェアラブル表示デバイス１は、例えばＡＲグラスやスマートグラス、又はカメラで外部の様子を撮影して提示可能な遮蔽型のＨＭＤ（Head Mounted Display）であり、ウェアラブル表示デバイス１を装着している第１ユーザＵａに対してＡＲオブジェクトを提示することができる。撮像端末３は、撮像部を備える機器であり、例えばスマートホンやタブレットＰＣ（Personal Computer）、又はウェアラブル表示デバイス１と同様のウェアラブル表示デバイスであってもよく、また設置位置が固定された固定カメラであってもよい。情報処理装置２は、クラウドサーバやブレードサーバ等の計算機器であり、インターネット等のネットワークＮを介してウェアラブル表示デバイス１及び撮像端末３と通信可能な態様で接続している。

【0019】

実施の形態に係る表示システムＳにおいて、ウェアラブル表示デバイス１と撮像端末３とは、例えば既知の近距離無線通信技術を用いてあらかじめペアリングされている。まず、ウェアラブル表示デバイス１は、ウェアラブル表示デバイス１を特定するためのデバイス識別子を情報処理装置２に送信する。撮像端末３を所持する第２ユーザＵｂは、ウェアラブル表示デバイス１を装着している状態の第１ユーザＵａを撮像端末３で撮像する。このとき、第１ユーザＵａは、あらかじめ定められた所定の身体運動を行う。ここで「所定の身体運動」とは、ウェアラブル表示デバイ１がＡＲオブジェクトを提示する契機として定められた動作であり、例えば、所定のポーズや定められた一連の動作である。

【0020】

図１に示す例では、第１ユーザＵａはＴシャツを着てジーンズをはいた女の子であり、鏡台４の前で左手を左肩に当てるとともに右腕は体の右側方で右手を地面に向けたポーズを取っている。これはあらかじめ定められた所定の身体運動の一例であり、実施の形態に係る表示システムＳにおいては、ドレスを着てティアラを付けた女性に変身するポーズとして定められている。

【0021】

撮像端末３は第１ユーザＵａを撮像し、第１ユーザＵａのポーズを解析する。撮像端末３は、解析した結果をネットワークＮを介して情報処理装置２に送信する。情報処理装置２は、撮像端末３から受信した結果に基づいて、第１ユーザＵａのポーズに対応するＡＲオブジェクトを特定するための情報であるオブジェクト識別子又はそれに加えてＡＲオブジェクト自体をウェアラブル表示デバイス１及び撮像端末３に送信する。

【0022】

この結果、図１に示すように、撮像端末３の表示部には、ドレスのＡＲオブジェクトＯが第１ユーザＵａに重畳されて表示される。これは、撮像端末３が、オブジェクト識別子に対応するＡＲオブジェクトを記憶部から読み出し、既知の人物認識技術を用いて第１ユーザＵａの身体にＡＲオブジェクトを重畳して表示部に表示させることで実現できる。

【0023】

ウェアラブル表示デバイス１は撮像部（図１には不図示）を備えており、ウェアラブル表示デバイス１を装着している第１ユーザＵａの身体の少なくとも一部を撮像する。ウェアラブル表示デバイス１は、既知の認識技術を用いて撮像部が撮像した身体の一部に対応するＡＲオブジェクトを重畳して第１ユーザＵａに提示する。これにより、第１ユーザＵａは、自身が取ったポーズに対応する衣装に着替えたかのような変身体験をすることができる。

【0024】

図２（ａ）－（ｄ）は、実施の形態に係る表示システムＳで行われる処理の順序を模式的に示す図である。図２（ａ）に示すように、撮像端末３はウェアラブル表示デバイス１を装着して特定の身体運動のパターンを取っている第１ユーザＵａを撮像する。撮像端末３は、既知の姿勢認識技術を用いて、第１ユーザＵａの姿勢を推定する。図２（ｂ）は、撮像端末３の姿勢認識の結果として推定された第１ユーザＵａの骨格モデルＭを模式的に示す図である。図２（ｂ）に示すように、第１ユーザＵａの頭部や両肩、両肘、両手首、足部等の相対的な位置が推定されている。

【0025】

図２（ｃ）は、撮像端末３が推定した姿勢認識の結果に対応するＡＲオブジェクトを示す図である。情報処理装置２は、撮像端末３から姿勢認識の結果を受け取り、既知のパターンマッチング技術によって第１ユーザＵａの身体運動のパターンにマッチするＡＲオブジェクトのオブジェクト識別子を特定する。

【0026】

図２（ｄ）は、撮像端末３が特定したオブジェクト識別子に対応するＡＲオブジェクトと第１ユーザＵａの撮像画像に重畳した様子を示す図である。ＡＲオブジェクトは３次元モデルであり、ウェアラブル表示デバイス１及び撮像端末３はＡＲオブジェクトを拡大したり、縮小したり、回転したりして表示することができる。これにより、ウェアラブル表示デバイス１及び撮像端末３は、第１ユーザＵａの身体又はその一部が撮像されている画像にＡＲオブジェクトを重畳して提示することができる。

【0027】

なお、図１に示すように、ウェアラブル表示デバイス１及び撮像端末３は既知の人物認識技術を用いることで、鏡台４に写っている第１ユーザＵａの像に対してもＡＲオブジェクトを重畳させる。これにより、第１ユーザＵａは、ウェアラブル表示デバイス１を通して鏡越しに自身の姿を見ることにより、全身が変身している様子を観察することができる。

【0028】

このように、ウェアラブル表示デバイス１を備える第１ユーザＵａの身体運動のパターンに応じて異なるＡＲオブジェクトを重畳した状態の姿をウェアラブル表示デバイス１及び撮像端末３を介して第１ユーザＵａに提示することにより、実施の形態に係る表示システムＳは、第１ユーザＵａに変身する体験を提供することができる。

【0029】

＜実施の形態に係るウェアラブル表示デバイス１の機能構成＞
図３は、実施の形態に係るウェアラブル表示デバイス１の機能構成及び情報処理装置２の機能構成を模式的に示す図である。ウェアラブル表示デバイス１は、記憶部１０、制御部１１、通信部１２、提示部１３、及び撮像部１４を備える。また、情報処理装置２は、記憶部２０と制御部２１と通信部２２とを備える。

【0030】

図３において、矢印は主なデータの流れを示しており、図３に示していないデータの流れがあってもよい。図３において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図３に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

【0031】

記憶部１０は、ウェアラブル表示デバイス１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）やウェアラブル表示デバイス１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、ウェアラブル表示デバイス１を特定するためのデバイス識別子を含む当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0032】

制御部１１は、ウェアラブル表示デバイス１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、ウェアラブル表示デバイス１に記憶されたプログラムを実行することによって検出部１１０として機能する。

【0033】

通信部１２は、ウェアラブル表示デバイス１がネットワークＮを介して情報処理装置２や撮像端末３等の外部の機器との間で情報をやり取りするための通信インタフェースであり、既知の通信モジュールを用いて実現されている。以下、制御部１１が外部の機器と情報をやり取りする場合には通信部１２を仲介することを前提として通信部１２の記載は省略する。

【0034】

提示部１３は、例えば既知の網膜投写型のディスプレイで実現されており、映像を第１ユーザＵａに提示する。撮像部１４は、例えば既知のＣＣＤ（Charge Coupled Device）撮像素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等の既知の固体撮像素子で実現されており、ウェアラブル表示デバイス１を装着した第１ユーザＵａの視線方向にある物を被写体とする画像を撮像する。

【0035】

記憶部２０は、情報処理装置２を実現するコンピュータのＢＩＯＳ等を格納するＲＯＭやウェアラブル表示デバイス１の作業領域となるＲＡＭ、ＯＳやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤやＳＳＤ等の大容量記憶装置である。

【0036】

制御部２１は、情報処理装置２のＣＰＵやＧＰＵ等のプロセッサであり、情報処理装置２に記憶されたプログラムを実行することによって身体運動取得部２１０、データベース管理部２１１、デバイス特定部２１２、及び音声認識部２１３として機能する。

【0037】

通信部２２は、情報処理装置２がネットワークＮを介してウェアラブル表示デバイス１や撮像端末３等の外部の機器との間で情報をやり取りするための通信インタフェースであり、既知の通信モジュールを用いて実現されている。以下、制御部２１の各部が外部の機器と情報をやり取りする場合には通信部２２を仲介することを前提として通信部２２の記載は省略する。

【0038】

なお、図３は、情報処理装置２が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置２は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部２１を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

【0039】

身体運動取得部２１０は、ウェアラブル表示デバイス１を装着した第１ユーザＵａの身体運動のパターンを取得する。具体的には、身体運動取得部２１０は、ウェアラブル表示デバイス１を装着した第１ユーザＵａを撮像して第１ユーザＵａの姿勢を推定した撮像端末３から姿勢認識の結果を受信することにより、第１ユーザＵａの身体運動のパターンを取得する。

【0040】

データベース管理部２１１は、ＡＲデータベースを参照して、身体運動取得部２１０が取得した身体運動のパターンに対応するＡＲオブジェクトを読み出す。ここで、ＡＲデータベースは、あらかじめ定められた複数の身体運動のパターンそれぞれに衣装のＡＲオブジェクトを対応づけて記憶しているデータベースである。

【0041】

図４は、実施の形態に係るＡＲデータベースＤａのデータ構造を模式的に示す図である。ＡＲデータベースＤａは、一例として情報処理装置２の記憶部２０に格納されており、データベース管理部２１１によって管理されている。また、データベース管理部２１１が管理するＡＲデータベースＤａをマスターデータベースとして、ウェアラブル表示デバイス１及び撮像端末３がその複製を保持していてもよい。

【0042】

図４に示すように、ＡＲデータベースＤａは、複数の異なる身体運動のパターンそれぞれに、衣装のＡＲオブジェクトＯを対応づけて格納するとともに、ＡＲオブジェクトＯを一意に特定するためのオブジェクト識別子を各ＡＲオブジェクトＯに割り当てて記憶している。

【0043】

図４において、オブジェクト識別子がＯＩＤ００００１のＡＲオブジェクトＯは変身ヒーローの衣装のＡＲオブジェクトＯである。また、ＡＲオブジェクトＯに対応づけられた身体運動のパターンは、仁王立ちして両手で拳を作るとともに、左拳を右胸の前、右の拳を右肩の下あたりに配置するパターンである。また、オブジェクト識別子がＯＩＤ００００２のＡＲオブジェクトＯは、図１に示したドレスのＡＲオブジェクトＯである。図４に示すようにＡＲデータベースＤａは発話パターンを格納するフィールドと停止条件を格納するフィールドとを含むが、これらの発話パターン及び停止条件については後述する。

【0044】

図３の説明に戻る。身体運動取得部２１０は、データベース管理部２１１が取得したＡＲオブジェクトＯをウェアラブル表示デバイス１に送信する。なお、ウェアラブル表示デバイス１がＡＲデータベースＤａの複製を保持している場合には、身体運動取得部２１０は、ＡＲオブジェクトＯを送信することに替えて、取得したＡＲオブジェクトＯに対応するオブジェクト識別子をウェアラブル表示デバイス１に送信してもよい。

【0045】

第１ユーザＵａを装着したウェアラブル表示デバイス１の検出部１１０は、既知の人物認識技術を用いて、撮像部１４が撮像した撮像画像に含まれる第１ユーザＵａの身体を検出する。ウェアラブル表示デバイス１の提示部１３は、情報処理装置２の身体運動取得部２１０が取得したＡＲオブジェクトＯを、検出部１１０が検出した第１ユーザＵａの身体に重畳した画像を第１ユーザＵａに提示する。これにより、情報処理装置２及びウェアラブル表示デバイス１は、第１ユーザＵａに変身する体験を提供することができる。

【0046】

ＡＲデータベースＤａに格納されているＡＲオブジェクトＯはデータベース管理部２１１によって管理されているが、情報処理装置２の管理者は、第１ユーザＵａにＡＲオブジェクトＯを提供するための条件を課してもよい。例えば、情報処理装置２の管理者は、特定のＡＲオブジェクトＯの利用を許可した第１ユーザＵａにのみ、そのＡＲオブジェクトＯの利用を許可し、他の第１ユーザＵａの利用は禁止するようにしてもよい。これを実現するために、情報処理装置２は、情報処理装置２と通信中のウェアラブル表示デバイス１を特定するためのデバイス特定部２１２をさらに備えている。

【0047】

さらに、記憶部１０は、ＡＲオブジェクトＯと、そのＡＲオブジェクトＯの提示を許可するウェアラブル表示デバイス１を特定するためのデバイス識別子とを対応づけて格納する許可データベースＤｌも保持している。

【0048】

図５は、実施の形態に係る許可データベースＤｌのデータ構造を模式的に示す図である。許可データベースＤｌは、一例として情報処理装置２の記憶部２０に格納されており、データベース管理部２１１によって管理されている。図５に示すように、許可データベースＤｌは、複数のデバイス識別子それぞれについて、各デバイス識別子で特定されるウェアラブル表示デバイス１に提示を許可するＡＲオブジェクトＯのオブジェクト識別子を対応づけて格納している。図５に示す許可データベースＤｌでは、例えば、デバイス識別子がＤＩＤ０００１のウェアラブル表示デバイス１は、オブジェクト識別子がＯＩＤ０００１及びＯＩＤ０１２３で特定される少なくとも２つのＡＲ対応づけクトＯを提示することが許可されている。

【0049】

図３の説明に戻り、データベース管理部２１１は、許可データベースＤｌを参照して、身体運動取得部２１０が取得した身体運動のパターンに対応するＡＲオブジェクトＯであり、かつデバイス特定部２１２が特定したウェアラブル表示デバイス１が提示することを許可されたＡＲオブジェクトＯをＡＲデータベースＤａから読み出す。身体運動取得部２１０は、データベース管理部２１１が取得したＡＲオブジェクトＯを、デバイス特定部２１２が特定したデバイス識別子のウェアラブル表示デバイス１に送信する。

【0050】

これにより、情報処理装置２は、各ウェアラブル表示デバイス１について、そのウェアラブル表示デバイス１に提示するＡＲオブジェクトＯを制御することができる。結果として、情報処理装置２は、例えばウェアラブル表示デバイス１のユーザである第１ユーザＵａが情報処理装置２の管理者から正規に購入したＡＲオブジェクトＯや、第１ユーザＵａが何らかのノベルティとして取得したＡＲオブジェクトＯ、あるいは第１ユーザＵａが自身で使用するために作成したＡＲオブジェクトＯのみをウェアラブル表示デバイス１に提示することを許可することができる。

【0051】

以上、第１ユーザＵａの姿勢が特定の身体運動のパターンとなることを契機として、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯを第１ユーザＵａの身体に重畳させる場合について説明した。ここで、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯを第１ユーザＵａの身体に重畳させる契機となる事象は、第１ユーザＵａの姿勢が特定の身体運動のパターンとなることに限られない。これに替えて、あるいはこれに加えて、ウェアラブル表示デバイス１及び撮像端末３は、特定の発話パターンを取得することを契機として、ＡＲオブジェクトＯを第１ユーザＵａの身体に重畳させてもよい。

【0052】

これを実現するために、情報処理装置２は、ウェアラブル表示デバイス１を装着した第１ユーザＵａの発話パターンを認識する音声認識部２１３をさらに備えている。また、図４に示すように、ＡＲデータベースＤａは、複数の発話パターンそれぞれに衣装のＡＲオブジェクトＯを対応づけてさらに記憶している。図４に示すＡＲデータベースＤａの例では、オブジェクト識別子がＯＩＤ００００１のＡＲオブジェクトＯに、抑揚を付けて発声する「へんしん」という発話パターンが対応づけられて記憶している。音声認識部２１３は、既知の音声認識技術を用いることによって第１ユーザＵａの発話パターンを認識し、その結果を情報処理装置２に送信する。

【0053】

情報処理装置２のデータベース管理部２１１は、ＡＲデータベースＤａを参照して、ウェアラブル表示デバイス１の音声認識部２１３が認識した発話パターンに対応するＡＲオブジェクトＯを読み出す。身体運動取得部２１０は、データベース管理部２１１が取得したＡＲオブジェクトＯを、デバイス特定部２１２が特定したデバイス識別子のウェアラブル表示デバイス１に送信する。これにより、第１ユーザＵａは発話を契機として変身できるため、表示システムＳは、第１ユーザＵａにより臨場感のある変身体験を提供することができる。

【0054】

なお、データベース管理部２１１は、身体運動のパターンと発話パターンとの両方がそろって認識されたときにＡＲオブジェクトＯをＡＲデータベースＤａから読み出すようにしてもよいし、いずれか一方のパターンのみを契機としてＡＲオブジェクトＯをＡＲデータベースＤａから読み出すようにしてもよい。例えば、図４に示すＡＲデータベースＤａの例では、オブジェクト識別子がＯＩＤ０００２のＡＲオブジェクトＯには発話パターンが対応づけられていない。この場合、データベース管理部２１１は、第１ユーザＵａの身体運動のパターンのみを契機として、ＡＲオブジェクトＯをＡＲデータベースＤａから読み出す。データベース管理部２１１がどのような条件を満たすときにＡＲオブジェクトＯをＡＲデータベースＤａから読み出すかは、情報処理装置２の管理者がＡＲオブジェクトＯ毎に設定することができる。

【0055】

以上、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯを第１ユーザＵａの身体に重畳することを開始する契機について説明した。ウェアラブル表示デバイス１及び撮像端末３は、何らかのタイミングでＡＲオブジェクトＯを第１ユーザＵａの身体に重畳することを停止できることが好ましい。

【0056】

ウェアラブル表示デバイス１の提示部１３は、所定の停止条件を満たすまでの間ＡＲオブジェクトＯを第１ユーザＵａの身体に重畳した画像を第１ユーザＵａに継続して提示する。撮像端末３の表示部も同様に、所定の停止条件を満たしていない間、表示部に写っている第１ユーザＵａの身体にＡＲオブジェクトＯを重畳することを継続する。ウェアラブル表示デバイス１の提示部１３及び撮像端末３の表示部は、所定の停止条件を満たすことを契機として、ＡＲオブジェクトＯを第１ユーザＵａの身体に重畳することを停止する。

【0057】

ここで「所定の停止条件」は、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯの重畳を停止するか否かを決定するために定められた重畳停止条件であり、例えば、重畳を開始してから一定時間が経過すること、第１ユーザＵａが特定の身体運動をすること、又は所定の音声をトリガとする等が挙げられる。

【0058】

図４に示すように、ＡＲデータベースＤａは、衣装のＡＲオブジェクトＯそれぞれに停止条件を対応づけてさらに記憶している。図４に示すＡＲデータベースＤａの例では、オブジェクト識別子がＯＩＤ００００１のＡＲオブジェクトＯは、変身の開始から（すなわち、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯの重畳を開始してから）１５分経過することが停止条件となっている。また、オブジェクト識別子がＯＩＤ００００２のＡＲオブジェクトＯは、第１ユーザＵａが変身の契機となる身体運動のパターンと同じ身体運動をするか、又は変身の開始から３０分経過するかのいずれかの事象が発生することが停止条件となっている。

【0059】

例えば、特定の身体運動のパターンが停止条件となっている場合、身体運動取得部２１０は、ウェアラブル表示デバイス１を装着した第１ユーザＵａを撮像して第１ユーザＵａの姿勢を推定した撮像端末３から姿勢認識の結果を受信して、その結果に基づいてＡＲデータベースＤａを参照することにより、停止条件を判定する。停止条件を満たしている場合、情報処理装置２の身体運動取得部２１０は、ウェアラブル表示デバイス１及び撮像端末３に対してＡＲオブジェクトＯの重畳を停止することを指示する停止指示を送信する。

【0060】

このように、実施の形態に係る表示システムＳでは、ウェアラブル表示デバイス１及び撮像端末３がＡＲオブジェクトＯの重畳を停止する停止条件を定めているため、表示システムＳは、第１ユーザＵａが変身した状態を解除できないと事態に陥ることを抑制することができる。

【0061】

以上、撮像端末３がスマートホンやタブレットＰＣである場合について主に説明した。しかしながら、撮像端末３は撮像部を備えていれば他の機器でもよく、例えばウェアラブル表示デバイス１と同様にＡＲグラスやスマートグラス等のウェアラブル表示デバイスであってもよい。以下この場合について説明するが、説明の便宜のため、第１ユーザＵａが装着しているウェアラブル表示デバイス１を第１ウェアラブル表示デバイス１ａと記載し、第２ユーザＵｂが装着しているウェアラブル表示デバイス１を第２ウェアラブル表示デバイス１ｂと記載する。同様に、第２ウェアラブル表示デバイス１ｂが備える記憶部１０、検出部１１０、通信部１２、提示部１３、及び１４も、それぞれ第２記憶部１０ｂ、第２検出部１１０ｂ、第２通信部１２ｂ、第２提示部１３ｂ、及び第２撮像部と記載する。

【0062】

表示システムＳにおいて撮像端末３が第２ウェアラブル表示デバイス１ｂに置き換わった場合、当然ながら、第２ウェアラブル表示デバイス１ｂはウェアラブル表示デバイス１とは異なるデバイスとなり、撮像端末３と同様に第２ウェアラブル表示デバイス１ｂもネットワークＮを介して情報処理装置２と通信可能である。この場合、第２ウェアラブル表示デバイス１ｂの第２撮像部１４ｂは、第２ウェアラブル表示デバイス１ｂを装着した第２ユーザＵｂの視界に対応する画像を撮像する。第２検出部１１０ｂは、第２撮像部１４ｂが撮像した画像に含まれる第１ウェアラブル表示デバイス１ａを装着した第１ユーザＵａを検出する。第２提示部１３ｂは、第１ユーザＵａの身体運動のパターンに対応するＡＲオブジェクトＯを第１ユーザＵａの身体に重畳した画像を第２ユーザＵｂに提示する。この結果、第２ウェアラブル表示デバイス１ｂを装着した第２ユーザＵｂには、第１ユーザＵａが変身している状態を観察することができる。

【0063】

表示システムＳにおいて、第１ウェアラブル表示デバイス１ａと第２ウェアラブル表示デバイス１ｂとは同様の機能を有する。したがって、第１ウェアラブル表示デバイス１ａの第１撮像部１４ａは、第１ウェアラブル表示デバイス１ａを装着した第１ユーザＵａの視界に対応する画像を撮像すれば、第１検出部１１０ａは、第１撮像部１４ａが撮像した画像に含まれる第２ユーザＵｂを検出できる。第１提示部１３ａが、第２ユーザＵｂの身体運動のパターンに対応するＡＲオブジェクトＯを第２ユーザＵｂの身体に重畳した画像を第１ユーザＵａに提示することで、第１ユーザＵａと第２ユーザＵｂとは、互いに変身した状態を観察し合うことができる。これは、ウェアラブル表示デバイス１を装着したユーザＵが３人以上存在する場合も同様である。これにより、実施の形態に係る表示システムＳは、例えば特定の場所で集まった多数のユーザＵが互いに変身した状態で交流できる場を設けることができる。

【0064】

＜表示システムＳで実行される表示処理方法の処理シーケンス＞
図６は、実施の形態に係る表示システムＳで実行される表示処理の流れを説明するためのシーケンス図である。本シーケンス図における処理は、例えばウェアラブル表示デバイス１が起動したときに開始する。

【0065】

情報処理装置２のデバイス特定部２１２は、第１ユーザＵａが装着しているウェアラブル表示デバイス１のデバイス識別子を取得する（Ｓ２）。具体的には、デバイス特定部２１２は、ネットワークＮを介してウェアラブル表示デバイス１から直接ウェアラブル表示デバイス１のデバイス識別子を取得してもよし、撮像端末３からウェアラブル表示デバイス１のデバイス識別子を取得してもよい。後者の場合、ウェアラブル表示デバイス１の表面にウェアラブル表示デバイス１のデバイス識別子を示すコードが付されている場合には撮像端末３がそのコードを撮像してデバイス識別子を読み取ってもよいし、ウェアラブル表示デバイス１と撮像端末３とが近距離無線通信でペアリングされている場合には、撮像端末３がウェアラブル表示デバイス１から無線でウェアラブル表示デバイス１のデバイス識別子を受信してもよい。

【0066】

身体運動取得部２１０は、ウェアラブル表示デバイス１を装着した第１ユーザＵａの身体運動のパターンを取得する（Ｓ４）。具体的には、身体運動取得部２１０は、撮像端末３が第１ユーザＵａ撮像してその撮像画像を解析して得られた第１ユーザＵａの姿勢認識の結果を第１ユーザＵａの身体運動のパターンとして取得する。

【0067】

データベース管理部２１１は、ＡＲデータベースＤａを参照して、身体運動取得部２１０が取得した第１ユーザＵａの身体運動のパターンに対応するオブジェクト識別子を読み出して取得する（Ｓ６）。デバイス特定部２１２が取得したデバイス識別子のウェアラブル表示デバイス１にデータベース管理部２１１が読み出したオブジェクト識別子に対応するＡＲオブジェクトＯの提示が許可されていない場合（すなわち、許可データベースＤｌにおいて、デバイス特定部２１２が取得したデバイス識別子とデータベース管理部２１１が読み出したオブジェクト識別子とが対応づけられていない場合）（Ｓ８のＮｏ）、身体運動取得部２１０はＡＲオブジェクトＯをウェアラブル表示デバイス１に送信することなく処理を終了する。

【0068】

デバイス特定部２１２が取得したデバイス識別子のウェアラブル表示デバイス１にデータベース管理部２１１が読み出したオブジェクト識別子に対応するＡＲオブジェクトＯの提示が許可されている場合（Ｓ８のＹｅｓ）、身体運動取得部２１０は、データベース管理部２１１が取得したＡＲオブジェクトＯをウェアラブル表示デバイス１に送信する（Ｓ１０）。

【0069】

ウェアラブル表示デバイス１は情報処理装置２からＡＲオブジェクトＯを受信する（Ｓ１２）。ウェアラブル表示デバイス１は、情報処理装置２から受信したＡＲオブジェクトＯのうち、撮像部１４が撮像した第１ユーザＵａの身体の一部に対応するＡＲオブジェクトＯを重畳して第１ユーザＵａに提示する（Ｓ１４）。

【0070】

情報処理装置２の身体運動取得部２１０は、停止条件を満たすまでの間（Ｓ１６のＮｏ）待機する。身体運動取得部２１０が停止条件を満たすトリガ（例えば、所定の身体運動のパターンや発話パターン等）を取得すると（Ｓ１６のＹｅｓ）、停止条件を判定する。停止条件を満たしている場合、身体運動取得部２１０は、ウェアラブル表示デバイス１に対してＡＲオブジェクトＯの重畳を停止することを指示する停止指示を送信する（Ｓ１８）。

【0071】

ウェアラブル表示デバイス１は情報処理装置２から停止指示を受信すると（Ｓ２０）、ウェアラブル表示デバイス１はＡＲオブジェクトＯを重畳して提示することを停止する（Ｓ２２）。ウェアラブル表示デバイス１及び情報処理装置２は以上の処理を繰り返す。

【0072】

＜実施の形態に係るウェアラブル表示デバイス１が奏する効果＞
以上説明したように、実施の形態に係る表示システムＳによれば、ウェアラブル表示デバイス１を装着している第１ユーザＵａに変身する体験を提供することができる。

【0073】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。

【0074】

＜第１の変形例＞
上記では、ＡＲデータベースＤａ及び許可データベースＤｌが情報処理装置２の記憶部２０に格納されている場合について説明した。しかしながら、ＡＲデータベースＤａ及び許可データベースＤｌは、記憶部２０以外の場所に格納されていてもよい。例えば、ＡＲデータベースＤａ及び許可データベースＤｌは、ウェアラブル表示デバイス１とは異なる専用の記憶装置に格納されていてもよいし、複数の装置によって自律分散的に共有される分散型台帳として格納されていてもよい。

【0075】

＜第２の変形例＞
上記では、撮像端末３が第１ユーザＵａの姿勢を認識する場合について主に説明した。しかしながら、姿勢認識を実行するのは撮像端末３に限られず、例えば情報送信部１１３
が実行してもよい。この場合、撮像端末３は撮像画像を情報処理装置２に送信し、情報処理装置２の身体運動取得部２１０が既知の姿勢認識技術を実行することにより実現できる。

【0076】

＜第３の変形例＞
上記では、情報処理装置２と撮像端末３とが異なる機器であることを前提として説明した。しかしながら、情報処理装置２と撮像端末３とが同一の機器であってもよい。この場合、撮像端末３が情報処理装置２の機能を有していればよい。

【符号の説明】

【0077】

１・・・ウェアラブル表示デバイス
１ａ・・・第１ウェアラブル表示デバイス
１ｂ・・・第２ウェアラブル表示デバイス
１０・・・記憶部
１１・・・制御部
１１０・・・検出部
１２・・・通信部
１３・・・提示部
１４・・・撮像部
２・・・情報処理装置
２０・・・記憶部
２１・・・制御部
２１０・・・身体運動取得部
２１１・・・データベース管理部
２１２・・・デバイス特定部
２１３・・・音声認識部
２２・・・通信部
３・・・撮像端末
４・・・鏡台
Ｓ・・・表示システム
Ｄａ・・・ＡＲデータベース
Ｄｌ・・・許可データベース
Ｎ・・・ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】