特許 7510723 キャラクター表示制御システム、キャラクター表示制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-26

(45)【発行日】2024-07-04

(54)【発明の名称】キャラクター表示制御システム、キャラクター表示制御方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240627BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 12

(21)【出願番号】P 2023151566

(22)【出願日】2023-09-19

【審査請求日】2023-09-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】521477145

【氏名又は名称】遠藤 啓太

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】遠藤 啓太

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０２２－１５５６６５（ＪＰ，Ａ）

【文献】特開２０２０－１７８１７０（ＪＰ，Ａ）

【文献】特開２００６－１３７５８９（ＪＰ，Ａ）

【文献】国際公開第２００７／１１９３５５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

キャラクター表示制御装置と、撮像機器と、画像表示デバイスと、を有するキャラクター表示制御システムであって、
前記撮像機器は、レール上を移動して、ユーザの居る室内の様子を撮像し、画像情報を前記キャラクター表示制御装置に送信し、
前記キャラクター表示制御装置は、前記画像情報を用いた解析処理を行うことでユーザの状態を特定し、特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成して前記画像表示デバイスに送信し、
前記画像表示デバイスは、前記出力情報に基づき、前記キャラクターが行動している様子を表す表示情報を現実世界の画像に重ねて出力し、
さらに、前記キャラクター表示制御装置は、
前記撮像機器が複数ある場合、ユーザの表情を撮像可能な位置にある前記撮像機器を第１の撮像機器に設定し、当該ユーザを追従して撮像させ、
前記第１の撮像機器以外の前記撮像機器を第２の撮像機器に設定し、前記室内の物体を撮影させ、
ユーザの動作に伴い前記第１の撮像機器がユーザの表情を撮像できなくなった場合、ユーザの表情を撮像できる前記撮像機器を前記第１の撮像機器に切り替え、
前記出力情報を生成した場合、新たな前記出力情報があることをユーザに通知する通知情報の出力指示を前記撮像機器に送信し、
前記撮像機器は、前記指示を取得すると、光または音により、前記新たな前記出力情報があることをユーザに通知する
ことを特徴とするキャラクター表示制御システム。

【請求項2】

請求項１に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
撮像対象に応じた所定のステータスと前記撮像機器の識別情報との対応関係が登録されている撮像対象割当情報に基づき、各撮像機器に割り当てる撮像対象を管理し、
前記撮像機器から取得した前記画像情報を用いて、ユーザの表情を撮像している前記撮像機器と、室内の様子を撮像している前記撮像機器とを特定し、各撮像機器に割り当てられている前記ステータスを更新する
ことを特徴とするキャラクター表示制御システム。

【請求項3】

請求項２に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
ユーザの顔全体が前記画像情報に写っていない場合、当該画像情報の解析結果と、前記撮像対象割当情報に基づき特定した当該画像情報を撮像した前記撮像機器の識別情報と、に基づき、ユーザの顔全体が写るように当該撮像機器の移動方向および移動量を決定し、移動制御信号を当該撮像機器に送信する
ことを特徴とするキャラクター表示制御システム。

【請求項4】

請求項１に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
前記画像情報を用いた解析処理により、ユーザの視線方向、表情および動作状況のうち、少なくとも１つ以上のユーザの状態を特定する
ことを特徴とするキャラクター表示制御システム。

【請求項5】

請求項４に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
ユーザの前記視線方向の先にある対象物、ユーザの前記表情およびユーザの前記動作状況に関連する前記キャラクターの行動を表す表示情報または当該表示情報および音声情報を前記出力情報として生成する
ことを特徴とするキャラクター表示制御システム。

【請求項6】

請求項５に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
前記キャラクターがユーザの周辺で動作する前記表示情報、または、
前記表示情報と、ユーザの前記視線方向の先にある対象物、ユーザの前記表情およびユーザの前記動作状況のうち、少なくとも１つ以上に関与する前記キャラクターの発話である前記音声情報と、の両方を、
前記出力情報として生成する
ことを特徴とするキャラクター表示制御システム。

【請求項7】

請求項１に記載のキャラクター表示制御システムであって、
前記撮像機器は、少なくとも１台以上が前記レールに設置されており、
前記キャラクター表示制御装置は、
前記撮像機器ごとに撮像された前記画像情報を用いて解析処理を行う
ことを特徴とするキャラクター表示制御システム。

【請求項8】

請求項１に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
前記画像情報を用いた解析処理により、前記室内の変化を特定し、
特定した室内の変化に関連するキャラクターの行動を表す前記出力情報を生成して前記画像表示デバイスに送信する
ことを特徴とするキャラクター表示制御システム。

【請求項9】

請求項１に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
ユーザの発話内容または前記室内の音を特定すると、
特定した前記発話内容または前記室内の音に関連するキャラクターの行動を表す前記出力情報を生成して前記画像表示デバイスに送信する
ことを特徴とするキャラクター表示制御システム。

【請求項10】

請求項１～９のいずれか一項に記載のキャラクター表示制御システムであって、
前記キャラクター表示制御装置は、
前記ユーザの状態、前記室内の変化、前記ユーザの発話内容および前記室内の音の少なくともいずれかに対応する前記キャラクターの行動が定義付けられている定義情報を用いて、キャラクターの行動を表す前記出力情報を生成する
ことを特徴とするキャラクター表示制御システム。

【請求項11】

キャラクター表示制御装置が行うキャラクター表示制御方法であって、
前記キャラクター表示制御装置は、室内に配置されたレール上を移動して撮像を行う撮像機器から、ユーザの居る室内の様子を撮像した画像情報を取得するステップと、
前記画像情報を用いた解析処理を行うことでユーザの状態を特定するステップと、
特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成するステップと、
画像表示デバイスに前記出力情報を送信するステップと、を行い、
前記撮像機器が複数ある場合、ユーザの表情を撮像可能な位置にある前記撮像機器を第１の撮像機器に設定し、当該ユーザを追従して撮像させるステップと、
前記第１の撮像機器以外の前記撮像機器を第２の撮像機器に設定し、前記室内の物体を撮影させるステップと、
ユーザの動作に伴い前記第１の撮像機器がユーザの表情を撮像できなくなった場合、ユーザの表情を撮像できる前記撮像機器を前記第１の撮像機器に切り替えるステップと、
前記出力情報を生成した場合、光または音により、新たな前記出力情報があることをユーザに通知する通知情報の出力指示を前記撮像機器に送信するステップと、を行う
ことを特徴とするキャラクター表示制御方法。

【請求項12】

コンピュータをキャラクター表示制御装置として機能させるプログラムであって、
前記コンピュータに、
室内に配置されたレール上を移動して撮像を行う撮像機器から、ユーザの居る室内の様子を撮像した画像情報を取得させ、
前記画像情報を用いた解析処理を行うことでユーザの状態を特定させ、
特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成させ、
画像表示デバイスに前記出力情報を送信させ、
前記撮像機器が複数ある場合、ユーザの表情を撮像可能な位置にある前記撮像機器を第１の撮像機器に設定し、当該ユーザを追従して撮像させ、
前記第１の撮像機器以外の前記撮像機器を第２の撮像機器に設定し、前記室内の物体を撮影させ、
ユーザの動作に伴い前記第１の撮像機器がユーザの表情を撮像できなくなった場合、ユーザの表情を撮像できる前記撮像機器を前記第１の撮像機器に切り替えさせ、
前記出力情報を生成した場合、光または音により、新たな前記出力情報があることをユーザに通知する通知情報の出力指示を前記撮像機器に送信する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キャラクター表示制御システム、キャラクター表示制御方法およびプログラムに関する。

【背景技術】

【0002】

近年、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）を用いたゲームや映像コンテンツの普及が進んでいる。拡張現実を表す画像には、例えば、スマートフォンやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのデバイスで撮像された現実世界の風景等の画像に、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等で作成された仮想オブジェクトのキャラクター等が合成されて表示される。

【0003】

なお、特許文献１には、拡張現実マーカを撮影した画像内に仮想オブジェクトを重畳表示する拡張現実の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１８６６９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般に、仮想現実を表す画像は、例えば、地図上の特定の場所をスマートフォン等のデバイスで写した際や、写す場所に関係なく所定の条件が揃った際に、キャラクターなどの仮想オブジェクトが現実世界を写した画像に合成されて表示される。

【0006】

しかしながら、仮想オブジェクトであるキャラクターの挙動は、パターン化されている動きをするだけでユーザの行動や発言等に連動していないため、ユーザが、キャラクターとコミュニケーションを取っているような感覚を持ち難い、という課題がある。なお、特許文献１に記載の技術では、携帯電話機が対象物を写した際に、仮想オブジェクトが現実世界の画像に合成されて当該デバイスに表示されるだけで、ユーザと仮想オブジェクトとのコミュニケーションについては考慮されていない。

【0007】

本発明は、上記課題に鑑みてなされたものであり、拡張現実のキャラクターに、ユーザがコミュニケーションを取っていると感じさせる挙動の表示制御を行うことを目的とする。

【課題を解決するための手段】

【0008】

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係るキャラクター表示制御システムは、キャラクター表示制御装置と、撮像機器と、画像表示デバイスと、を有するキャラクター表示制御システムであって、前記撮像機器は、レール上を移動して、ユーザの居る室内の様子を撮像し、画像情報を前記キャラクター表示制御装置に送信し、前記キャラクター表示制御装置は、前記画像情報を用いた解析処理を行うことでユーザの状態を特定し、特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成して前記画像表示デバイスに送信し、前記画像表示デバイスは、前記出力情報に基づき、前記キャラクターが行動している様子を表す表示情報を現実世界の画像に重ねて出力する。

【0009】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記画像情報を用いた解析処理により、ユーザの視線方向、表情および動作状況のうち、少なくとも１つ以上のユーザの状態を特定しても良い。

【0010】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、ユーザの前記視線方向の先にある対象物、ユーザの前記表情およびユーザの前記動作状況に関連する前記キャラクターの行動を表す表示情報または当該表示情報および音声情報を前記出力情報として生成しても良い。

【0011】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記キャラクターがユーザの周辺で動作する前記表示情報、または、前記表示情報と、ユーザの前記視線方向の先にある対象物、ユーザの前記表情およびユーザの前記動作状況のうち、少なくとも１つ以上に関与する前記キャラクターの発話である前記音声情報と、の両方を、前記出力情報として生成しても良い。

【0012】

また、上記のキャラクター表示制御システムであって、前記撮像機器は、少なくとも１台以上が前記レールに設置されており、前記キャラクター表示制御装置は、前記撮像機器ごとに撮像された前記画像情報を用いて解析処理を行っても良い。

【0013】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記撮像機器が複数ある場合、ユーザの表情を撮像可能な位置にある前記撮像機器を第１の撮像機器に設定し、当該ユーザを追従して撮像させ、前記第１の撮像機器以外の前記撮像機器を第２の撮像機器に設定し、前記室内の物体を撮影させても良い。

【0014】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、ユーザの動作に伴い前記第１の撮像機器がユーザの表情を撮像できなくなった場合、ユーザの表情を撮像できる前記撮像機器を前記第１の撮像機器に切り替えても良い。

【0015】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記出力情報を生成した場合、新たな前記出力情報があることをユーザに通知する通知情報の出力指示を前記撮像機器に送信し、前記撮像機器は、前記指示を取得すると、光または音により、前記新たな出力情報があることをユーザに通知しても良い。

【0016】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記画像情報を用いた解析処理により、前記室内の変化を特定し、特定した室内の変化に関連するキャラクターの行動を表す前記出力情報を生成して前記画像表示デバイスに送信しても良い。

【0017】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、ユーザの発話内容または前記室内の音を特定すると、特定した前記発話内容または前記室内の音に関連するキャラクターの行動を表す前記出力情報を生成して前記画像表示デバイスに送信しても良い。

【0018】

また、上記のキャラクター表示制御システムであって、前記キャラクター表示制御装置は、前記ユーザの状態、前記室内の変化、前記ユーザの発話内容および前記室内の音の少なくともいずれかに対応する前記キャラクターの行動が定義付けられている定義情報を用いて、キャラクターの行動を表す前記出力情報を生成しても良い。

【0019】

また、本発明の別の形態に係るキャラクター表示制御方法は、キャラクター表示制御装置が行うキャラクター表示制御方法であって、前記キャラクター表示制御装置は、室内に配置されたレール上を移動して撮像を行う撮像機器から、ユーザの居る室内の様子を撮像した画像情報を取得するステップと、前記画像情報を用いた解析処理を行うことでユーザの状態を特定するステップと、特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成するステップと、画像表示デバイスに前記出力情報を送信するステップと、を行う。

【0020】

また、本発明の別の形態に係るプログラムは、コンピュータをキャラクター表示制御装置として機能させるプログラムであって、前記コンピュータに、室内に配置されたレール上を移動して撮像を行う撮像機器から、ユーザの居る室内の様子を撮像した画像情報を取得させ、前記画像情報を用いた解析処理を行うことでユーザの状態を特定させ、特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成させ、画像表示デバイスに前記出力情報を送信させる。

【発明の効果】

【0021】

本発明によれば、拡張現実のキャラクターに、ユーザがコミュニケーションを取っていると感じさせる挙動の表示制御を行うことができる。

【0022】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0023】

【図1】キャラクター表示制御システムの全体構成の一例を示した図である。

【図2】撮像機器の一例を示した図である。

【図3】室内地図情報に基づき可視化した室内の一例を示した図である。

【図4】キャラクター行動定義情報の一例を示した図である。

【図5】キャラクター行動定義情報の他の一例を示した図である。

【図6】キャラクター行動定義情報の他の一例を示した図である。

【図7】室内におけるユーザ等の位置関係の一例を示した図である。

【図8】撮像機器が光源を点滅させて新しいＡＲ出力情報があることをユーザに通知している場面の一例を示した図である。

【図9】キャラクター表示制御処理の一例を示したフロー図である。

【図10】第二実施形態に係るキャラクター行動定義情報の一例を示した図である。

【図11】第二実施形態に係るキャラクター行動定義情報の他の一例を示した図である。

【図12】キャラクター表示制御装置のハードウェア構成の一例を示した図である。

【発明を実施するための形態】

【0024】

以下、本発明の各実施形態について図面を用いて説明する。

【0025】

＜第一実施形態＞
［キャラクター表示制御システム１０００の全体構成］
図１は、本実施形態に係るキャラクター表示制御システム１０００の全体構成の一例を示した図である。図示するように、キャラクター表示制御システム１０００は、キャラクター表示制御装置１００と、撮像機器２００と、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスと、を有している。また、キャラクター表示制御装置１００と、撮像機器２００およびＡＲデバイス３００と、は各々、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの所定のネットワークＮを介して相互通信可能に接続されている。

【0026】

キャラクター表示制御システム１０００は、室内に居るユーザや室内に置かれている家具などの物体を撮像機器２００が撮像し、その画像情報をキャラクター表示制御装置１００に送信する。キャラクター表示制御装置１００は、取得した画像情報からユーザや物体の状態を特定し、ユーザ等の状態に関連する行動（例えば、動作や発話など）を行うキャラクターを現実世界の画像に合成して表示するためのＡＲ出力情報を生成する。ＡＲデバイス３００は、キャラクター表示制御装置１００から取得したＡＲ出力情報を用いて、例えば自身に搭載されているカメラで撮像した室内の画像にキャラクターを合成した拡張現実の画像をディスプレイに出力したり、キャラクターの発話した音声をスピーカから出力する。

【0027】

このようなキャラクター表示制御システム１０００によれば、拡張現実のキャラクターに、ユーザがコミュニケーションを取っていると感じさせる挙動の表示制御を行うことができる。

【0028】

以下、当該システムにおける各装置の詳細について説明する。

【0029】

［撮像機器２００］
撮像機器２００は、室内等に居るユーザや室内に置かれている家具等の物体を撮像するカメラである。

【0030】

図２は、撮像機器２００の一例を示した図である。図示するように、撮像機器２００は、室内等の壁２１０に設置されているレール２２０上を移動する台車２０１に固定され、レール２２０上を移動して人や物体を撮像する。なお、撮像機器２００の移動は、キャラクター表示制御装置１００で生成された移動制御信号に基づき実行される。具体的には、撮像機器２００は、キャラクター表示制御装置１００から移動制御信号を取得すると、当該信号が示す移動方向や移動量に基づき台車２０１を制御することでレール２２０上を移動する。一例として、台車２０１は、移動制御信号に従って駆動するモーターと、モーターの動力で回転する車輪とを備え、回転した車輪がレール上を走行することで移動可能に構成されている。

【0031】

また、撮像機器２００は、定期的（例えば、毎秒あるいは数秒ごと）に撮像処理を行い、ネットワークＮを介して、画像情報をキャラクター表示制御装置１００に送信する。

【0032】

なお、撮像機器２００は、一台でも良いが、複数台あることが好ましい。図１の例では、角を成す２つの壁２１０にそれぞれレール２２０が設置され、各レール２２０に撮像機器２００が装着されている。

【0033】

［ＡＲデバイス３００］
ＡＲデバイス３００は、現実世界の画像に仮想オブジェクトであるキャラクターを重ねて表示した拡張現実の画像や、キャラクターの発話した音声を出力する装置である。具体的には、ＡＲデバイス３００は、ＡＲ出力情報を用いたレンダリング処理（例えば、３ＤＣＧ：３ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓのリアルタイムレンダリングなど）を実行することで、ユーザ等の行動に関連する動作を表すキャラクターを、自身に搭載されているカメラで撮像した現実世界の画像（室内を撮像した画像）に重ねて表示したり、キャラクターの発話内容を示す音声をスピーカから出力する。

【0034】

このようなＡＲデバイス３００は、例えば、スマートフォンやタブレット端末により実現される。スマートフォンやタブレット端末には、演算装置、加速度センサおよびジャイロセンサが搭載されており、演算装置は、ＡＲ出力情報をレンダリング処理することで、ＡＲ出力情報に含まれるキャラクターの表示情報を用いて、加速度センサやジャイロセンサにより検知されたＡＲデバイス３００の向きや傾きに応じた形状や見え方になるように、キャラクターを現実世界の画像に重ねて表示する。また、ＡＲデバイス３００の演算装置は、ＡＲ出力情報をレンダリング処理することで、ＡＲ出力情報に含まれるキャラクターの音声情報を用いて、キャラクターの発話音声をスピーカに出力する。

【0035】

なお、ＡＲデバイス３００は、演算装置、加速度センサおよびジャイロセンサを搭載したスマートグラスやＨＭＤでも良い。この場合、スマートグラス等は、スマートフォン等と同様の処理を行うことでキャラクター等の表示情報を生成する。

【0036】

また、演算装置がレンダリング処理を実行できるスペックを有していない場合や、スマートグラス等が表示装置としての機能のみを有している場合、スマートグラス等は、レンダリング処理を実行可能なスマートフォン、タブレット端末あるいはパーソナルコンピュータに接続されて、協働でＡＲデバイス３００を構成する。

【0037】

この場合、スマートグラス等は、逐次、加速度センサやジャイロセンサが検知した向きや傾きをスマートフォン等やパーソナルコンピュータに出力する。また、スマートフォン等やパーソナルコンピュータは、ＡＲ出力情報のレンダリング処理により、スマートグラス等の向きや傾きに応じた形状や見え方になるように、キャラクターの表示情報をスマートグラス等に出力する。

【0038】

なお、スマートフォン、タブレット端末、スマートグラスあるいはパーソナルコンピュータには、拡張現実の画像を表示するための処理を実行するアプリケーションソフトウェアがインストールされていれば良い。

【0039】

［キャラクター表示制御装置１００］
キャラクター表示制御装置１００は、拡張現実の画像に表示されるキャラクターの表示情報や音声情報を含むＡＲ出力情報を生成する装置である。また、キャラクター表示制御装置１００は、撮像機器２００のレール２２０上の移動を制御する移動制御信号を生成する。

【0040】

図示するように、キャラクター表示制御装置１００は、記憶部１１０と、処理部１２０と、通信部１３０と、を有している。

【0041】

記憶部１１０は、処理部１２０が実行する処理に用いられる様々な種類の情報を記憶している機能部である。具体的には、記憶部１１０は、室内地図情報１１１と、撮像対象割当情報１１２と、キャラクター行動定義情報１１３と、を記憶している。

【0042】

室内地図情報１１１は、室内における家具等の位置関係を登録した情報である。

【0043】

図３は、室内地図情報１１１に基づき可視化した室内の一例を示した図である。室内地図情報１１１は、室内における各物体（図示する例では、ソファーやテレビ）の位置を特定するための情報であって、例えば、室内空間に設定される座標系（以下、室内座標系という場合がある）により示される座標情報である。室内地図情報１１１に基づき、室内に置かれている各物体の位置関係が特定される。

【0044】

このような室内地図情報１１１は、室内状態解析部１２３が撮像機器２００から取得した画像情報を用いて画像認識による解析を行うことで生成され、記憶部１１０に格納されている。

【0045】

撮像対象割当情報１１２は、各撮像機器２００に割り当てられている撮像対象等を登録した情報である。具体的には、撮像対象割当情報１１２には、各撮像機器２００の識別情報と、撮像対象と、撮像機器２００のステータスと、が対応付けられている。

【0046】

なお、撮像機器２００の識別情報は、例えば、撮像機器１、撮像機器２といった識別子である。また、撮像対象は、ユーザ、室内領域１、室内領域２などの撮像対象を特定する情報である。また、撮像機器２００のステータスは、撮像対象に応じたステータスが割当られている。例えば、ユーザを撮像対象とする撮像機器２００には「メイン機」、室内領域１、室内領域２などを撮像対象とする撮像機器２００には、「サブ機１」、「サブ機２」といったステータスが割当られる。

【0047】

なお、撮像機器２００のステータスは、ユーザ状態解析部１２２により割り当てられる。また、当該ステータスは、ユーザ状態解析部１２２による解析結果に応じて変更（更新）される。ステータスの割り当てに関する処理は後述する。

【0048】

キャラクター行動定義情報１１３は、ユーザの行動に関連するキャラクターの行動が定義されている情報である。

【0049】

図４は、キャラクター行動定義情報１１３の一例を示した図である。図示するキャラクター行動定義情報１１３は、ユーザの視線方向に関連するキャラクターの行動を定義している情報であって、ユーザの視線方向にある対象物（テレビや本など）と、キャラクターの行動であるアクション（テレビや本を指差すなど）および対象物に関するユーザへの問いかけと、が対応付けられたレコードを有している。

【0050】

図５は、キャラクター行動定義情報１１３の他の一例を示した図である。図示するキャラクター行動定義情報１１３は、ユーザの表情に関連するキャラクターの行動を定義している情報であって、ユーザの表情（笑顔、寂しそうな顔など）と、キャラクターの行動である所定のアクション（笑顔、寂しそうな顔などの表情をするなど）および対象物に関するユーザへの問いかけと、が対応付けられたレコードを有している。

【0051】

図６は、キャラクター行動定義情報１１３の他の一例を示した図である。図示するキャラクター行動定義情報１１３は、ユーザの動作状況に関連するキャラクターの行動を定義している情報であって、ユーザの動作状況（料理をしている、飲み物を飲んでいるなど）と、キャラクターの行動である所定のアクション（ユーザの動作を真似た動作を行うなど）および対象物に関するユーザへの問いかけと、が対応付けられたレコードを有している。

【0052】

このようなキャラクター行動定義情報１１３は、キャラクターの表示情報や音声情報の生成に用いられる。

【0053】

図１に戻って説明する。処理部１２０は、キャラクター表示制御装置１００で実行される各種の処理を実行する機能部である。なお、処理部１２０は、各々の処理を実行するための機能部として、指示部１２１と、ユーザ状態解析部１２２と、室内状態解析部１２３と、キャラクター行動生成部１２４と、を有している。

【0054】

指示部１２１は、撮像機器２００への移動指示である移動制御信号を生成する機能部である。具体的には、指示部１２１は、ユーザ状態解析部１２２や室内状態解析部１２３による画像認識の解析結果に基づき、レール２２０上における移動方向および移動量を決定し、撮像機器２００に移動を指示するための移動制御信号を生成する。

【0055】

ユーザ状態解析部１２２は、ユーザ状態を解析する機能部である。具体的には、ユーザ状態解析部１２２は、撮像機器２００から取得した画像情報を用いて画像認識による解析を行い、ユーザの視線方向、表情および動作状況を特定する。

【0056】

また、ユーザ状態解析部１２２は、撮像機器２００から取得した画像情報を用いて、ユーザの表情を撮像している撮像機器２００を特定し、撮像対象割当情報１１２における各撮像機器２００のステータスを更新する。具体的には、ユーザ状態解析部１２２は、ユーザの表情を撮像している撮像機器２００にメイン機のステータスを割り当てる。

【0057】

ユーザ状態解析部１２２は、撮像機器２００から画像情報を取得する度に当該処理を行い、都度、撮像機器２００に割り当てるステータスを変更する。例えば、ユーザが室内を移動することでメイン機のステータスが割り当てられている撮像機器２００による画像情報にユーザの表情が写らなくなった場合、ユーザの表情が写っている画像情報を撮像した撮像機器２００にメイン機のステータスを割り当てる。

【0058】

また、ユーザ状態解析部１２２は、画像認識の解析結果を指示部１２１に出力する。例えば、ユーザ状態解析部１２２は、ユーザの顔全体が画像情報に写っていない場合、当該解析結果と、画像情報を撮像した撮像機器２００の識別情報と、を指示部１２１に出力する。なお、指示部１２１は、当該解析結果に基づき、ユーザの顔全体が写るように撮像機器２００の移動方向および移動量を決定し、撮像機器２００に対する移動制御信号を生成する。これにより、キャラクター表示制御装置１００は、画像認識の解析結果に基づき、ユーザを追従して撮像した画像を常時取得することができる。

【0059】

室内状態解析部１２３は、室内状態を解析する機能部である。具体的には、室内状態解析部１２３は、撮像機器２００から取得した画像情報を用いて画像認識による解析を行い、室内地図情報１１１との比較に基づき、室内における物体の変化（例えば、位置や姿勢の変化など）を特定する。

【0060】

また、室内状態解析部１２３は、室内地図情報１１１を生成する。具体的には、室内状態解析部１２３は、撮像機器２００から取得した画像情報を用いて室内にある物体の位置関係を特定し、室内座標系により示される各物体の座標位置を登録した室内地図情報１１１を生成する。

【0061】

また、室内状態解析部１２３は、撮像機器２００から取得した画像情報を用いて、室内の様子を撮像している撮像機器２００を特定し、撮像対象割当情報１１２における各撮像機器２００のステータスを更新する。例えば、室内状態解析部１２３は、ユーザを含まない室内領域を撮像している撮像機器２００にサブ機のステータスを割り当てる。

【0062】

室内状態解析部１２３は、撮像機器２００から画像情報を取得する度に当該処理を行い、都度、撮像機器２００に割り当てるステータスを変更する。なお、室内状態解析部１２３は、指示部１２１を介して、定期的に（例えば、数十分ごとに）サブ機のステータスが割り当てられている撮像機器２００に対して移動制御信号を送信しても良い。これにより、室内状態解析部１２３は、室内領域全体の画像情報を定期的に取得し、画像認識による解析を行うことができる。

【0063】

キャラクター行動生成部１２４は、ユーザや室内の状態に関連する行動を行うキャラクターの表示情報や音声情報を含むＡＲ出力情報を生成する機能部である。具体的には、キャラクター行動生成部１２４は、ユーザ状態解析部１２２や室内状態解析部１２３による画像認識の解析結果とキャラクター行動定義情報１１３とに基づきキャラクターの行動（アクションやユーザへの問いかけ）を特定する。

【0064】

また、キャラクター行動生成部１２４は、特定した行動に対応するキャラクターの表示情報や音声情報を含むＡＲ出力情報を生成する。なお、キャラクターの表示情報は、画像認識の解析結果に基づく室内のユーザの位置や室内にある物体の位置関係を考慮して生成される。

【0065】

図７は、室内におけるユーザ等の位置関係の一例を示した図である。例えば、キャラクターの行動としてテレビを指差すアクションが特定されている場合、図示するように、ユーザの周辺にキャラクターの表示位置が決定される。具体的には、キャラクター行動生成部１２４は、例えば、ユーザから所定の距離内（例えば、ユーザから１ｍ以内）であって、ユーザの視線方向側にキャラクターの表示位置を決定する。なお、ユーザの視線方向は、ユーザ状態解析部１２２による解析結果に基づき特定されれば良い。また、キャラクター行動生成部１２４は、キャラクターの表示位置と、ユーザの視線方向と、視線方向の先にあるテレビの位置と、に基づきキャラクターが指差す方向を算出し、これを反映した表示情報を生成する。

【0066】

また、他の例として、キャラクター行動生成部１２４は、キャラクターの初期表示位置から、視線方向の先にある対象物の位置まで、キャラクターが移動する様子を表すための表示情報を生成する。

【0067】

また、キャラクター行動生成部１２４は、ＡＲ出力情報を生成する度に、新しいＡＲ出力情報があることをユーザに通知するための指示（以下、通知指示という場合がある）を撮像機器２００に送信する。なお、撮像機器２００は、通知指示を取得すると、自身に搭載されている光源（例えば、ＬＥＤライト）を点滅させたり、搭載されているスピーカから通知音を出力する。

【0068】

図８は、撮像機器２００が光源を点滅させて新しいＡＲ出力情報があることをユーザに通知している場面の一例を示した図である。

【0069】

これにより、ユーザは、キャラクターの新しい行動が表示される拡張現実の画像があることを知ることができる。

【0070】

通信部１３０は、外部装置との間で情報通信を行う機能部である。具体的には、通信部１３０は、ネットワークＮを介して、撮像機器２００から画像情報を取得する。また、通信部１３０は、ネットワークＮを介して、移動制御信号を撮像機器２００に送信する。また、通信部は、ネットワークＮを介して、ＡＲ出力情報をＡＲデバイス３００に送信する。

【0071】

［処理の説明］
図９は、キャラクター表示制御システム１０００で実行されるキャラクター表示制御処理の一例を示したフロー図である。当該処理は、例えば、ＡＲデバイス３００を介してキャラクター表示制御装置１００に実行指示が送信されると開始される。

【0072】

処理が開始されると、キャラクター表示制御装置１００は、撮像機器２００に対して画像情報の取得要求を行う。撮像機器１および撮像機器２は、画像情報の取得要求を受け付けると定期的に室内を撮像し、画像情報をキャラクター表示制御装置１００に送信する。

【0073】

キャラクター表示制御装置１００のユーザ状態解析部１２２および室内状態解析部１２３は各々、画像情報を撮像機器１、２から取得すると、画像認識による解析を行い、撮像機器１、２に撮像対象と、撮像対象に応じてメイン機やサブ機といったステータスと、を割り当てる。

【0074】

また、ユーザ状態解析部１２２や室内状態解析部１２３は各々、必要に応じて、指示部１２１を介して移動制御信号を撮像機器１、２に送信し、移動後の位置から撮像された画像情報を取得する。

【0075】

次に、ユーザ状態解析部１２２は、画像認識による解析を行い、ユーザの状態を特定する。

【0076】

また、キャラクター行動生成部１２４は、キャラクター行動定義情報１１３を用いて、特定されたユーザの状態に関連するキャラクターの行動を特定し、特定したキャラクターの行動を出力するための表示情報や音声情報を含むＡＲ出力情報を生成する。

【0077】

また、キャラクター行動生成部１２４は、通信部１３０を介して、新しいＡＲ出力情報があることをユーザに通知するための通知指示を撮像機器１、２に送信する。撮像機器１、２は、通知指示を取得すると、例えば、ＬＥＤライトを点灯させたり、音を出力して、新しいＡＲ出力情報があることをユーザに通知する。

【0078】

また、キャラクター行動生成部１２４は、通信部１３０を介して、ＡＲ出力情報をＡＲデバイス３００に送信する。ＡＲデバイス３００は、ＡＲ出力情報をレンダリングし、自身に搭載されているカメラがキャラクターの表示位置に向けられると、キャラクターの表示情報を現実世界の画像に重ねて表示する。また、ＡＲデバイス３００は、自身に搭載されているスピーカからキャラクターの音声情報を出力する。

【0079】

以上、キャラクター表示制御処理について説明した。

【0080】

このようなキャラクター表示制御システム１０００によれば、拡張現実のキャラクターに、ユーザがコミュニケーションを取っていると感じさせる挙動の表示制御を行うことができる。特に、ＡＲデバイス３００には、ユーザの状態に関連するキャラクターの行動が出力されるため、ユーザは、キャラクターとコミュニケーションが取れていると感じることができる。

【0081】

＜第二実施形態＞
第二実施形態のキャラクター表示制御システム１０００は、室内にある物体の変化や室内の音に関連するキャラクターの行動を出力するための表示情報や音声情報を生成する。なお、第一実施形態と同様の構成および機能部については同一の符号を付して繰り返しの説明を省略する。

【0082】

図１０は、第二実施形態に係るキャラクター行動定義情報１１３の一例を示した図である。図示するキャラクター行動定義情報１１３は、室内にある物体の変化に関連するキャラクターの行動を定義している情報であって、物体の変化（物が倒れた、買い物袋が増えたなど）と、キャラクターの行動であるアクション（例えば、変化の対象物を指差す）およびユーザへの問いかけと、が対応付けられたレコードを有している。なお、アクションの他の例として、キャラクターの初期表示位置から、変化後の物体の位置まで、キャラクターが移動する、といったキャラクターの行動が登録されていても良い。

【0083】

図１１は、第二実施形態に係るキャラクター行動定義情報１１３の他の一例を示した図である。図示するキャラクター行動定義情報１１３は、室内における音に関連するキャラクターの行動を定義している情報であって、ユーザの発話あるいは室内の音（インターホンの音など）と、キャラクターの行動であるアクション（発話を聞くポーズや音源の方向を指差す等）およびユーザへの問いかけと、が対応付けられたレコードを有している。なお、アクションの他の例として、キャラクターの初期表示位置から、音のする方向（音が集音された方向）に向かって、キャラクターが移動する、といったキャラクターの行動が登録されていても良い。

【0084】

本実施形態に係る室内状態解析部１２３は、室内地図情報１１１と、撮像機器２００から取得した画像情報の画像認識による解析結果と、の比較に基づき、室内における物体の変化を特定する。また、室内状態解析部１２３は、例えば、撮像機器２００が備えるマイクロフォンを介して集音された室内の音を画像情報と共に撮像機器２００から取得し、音声解析により、ユーザの発話内容や室内の音を特定する。

【0085】

また、キャラクター行動生成部１２４は、キャラクター行動定義情報１１３を用いて、特定された物体の変化や室内の音に対応するキャラクターの行動を特定し、特定した行動に対応するキャラクターの表示情報や音声情報を含むＡＲ出力情報を生成する。

【0086】

なお、このような物体の変化に関するＡＲ出力情報の生成は、第一実施形態のキャラクター表示制御処理が実行され、前述のユーザ状態に関連するキャラクターの行動を出力するためのＡＲ出力情報の生成と同じタイミングで実行されれば良い。

【0087】

このようなキャラクター表示制御システム１０００によれば、室内における物体の変化や音に関連する行動を行うキャラクターを現実世界の画像に重ねて表示することができる。これにより、キャラクターの行動のバリエーションを増やすことができる。

【0088】

［変形例１］
なお、前述の実施形態では、ＡＲデバイス３００で撮像した現実世界の画像にキャラクターを重ねて表示した拡張現実の画像を生成する場合について説明したが、本発明はこれに限られない。キャラクター表示制御システム１０００は、例えば、現実世界を忠実に再現した仮想画像の背景に仮想オブジェクトのキャラクターを表示（登場）させた仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）の画像をスマートフォン等のデバイス（前述のＡＲデバイス３００に相当し、ここではＶＲデバイスと呼ぶ）に出力しても良い。

【0089】

この場合、ＶＲデバイスは、自身に搭載されているカメラで撮像した画像をキャラクター表示制御装置１００に送信し、キャラクター表示制御装置１００は、ＶＲデバイスから取得した画像を用いて、現実世界を再現した仮想画像を生成する。また、キャラクター表示制御装置１００は、前述と同様の方法で生成したキャラクターを現実世界の仮想画像に重ねて表示したＶＲ出力情報を生成し、これをＶＲデバイスに送信する。また、ＶＲデバイスは、このようなＶＲ出力情報をレンダリングすることで、現実世界を再現した仮想画像上にキャラクターが重畳表示されているＶＲ画像を表示する。

【0090】

このような処理により、キャラクター表示制御システム１０００は、ユーザ状態や室内状態に関連する行動を行うキャラクターをＶＲ画像に表示させることができる。

【0091】

また、キャラクター表示制御システム１０００は、ＡＲやＶＲに限らず、スマートフォン等のデバイスで撮像した現実世界の画像（現実世界を忠実に再現した仮想画像を含む）に、３Ｄ画像のキャラクター映像を立体的に合成したＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）の画像をスマートフォン等のデバイスに出力しても良い。

【0092】

すなわち、キャラクター表示制御システム１０００は、現実世界の画像（現実世界を忠実に再現した仮想画像を含む）に、キャラクターの画像（２Ｄ、３Ｄのいずれの場合も含む）を合成したｘＲ（ｘＲｅａｌｉｔｙ：クロスリアリティ）を実現することができ、各々に対応する画像をＡＲデバイス等の画像表示デバイスに表示させることができる。

【0093】

［変形例２］
なお、キャラクター表示制御システム１０００は、例えば、キャラクター表示制御装置１００で画像認識の解析結果に基づき、室内のＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）家電を制御しても良い。例えば、キャラクター表示制御装置１００は、撮像機器２００から取得した画像情報を画像認識により解析することで、ユーザ（人）が退室したことを検知した場合、室内の照明機器に対して消灯を指示する信号を送信することで、室内の照明を制御する。また、例えば、キャラクター表示制御装置１００は、撮像機器２００から取得した画像情報を画像認識により解析することで、ユーザが暑そう（または寒そう）な表情をしていることを検知（特定）した場合、室内のエアコンに対して設定温度を下げる（または設定温度を上げる）ことを指示する信号を送信することで、室内の温度を制御する。

【0094】

このように、キャラクター表示制御装置１００は、画像認識による解析結果に基づき、室内のＩｏＴ家電を制御することで、ユーザに快適な生活環境を提供することもできる。

【0095】

［キャラクター表示制御装置１００のハードウェア構成］
図１２は、キャラクター表示制御装置１００のハードウェア構成の一例を示した図である。図示するように、キャラクター表示制御装置１００は、処理装置４１０と、主記憶装置４２０と、補助記憶装置４３０と、通信装置４４０と、を有し、各構成要素はバス４５０により接続されている。

【0096】

処理装置４１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置であり、主記憶装置４２０または補助記憶装置４３０に記憶されているプログラムに従って処理を実行する。キャラクター表示制御装置１００では、主記憶装置４２０上に読み出されたプログラムに従って動作する処理装置４１０により処理が行われる。処理部１２０は、処理装置４１０がプログラムを実行することにより各々の機能を実現する。

【0097】

主記憶装置４２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。補助記憶装置４３０は、書き込み及び読み出し可能な記憶装置である。記憶部１１０は、主記憶装置４２０または補助記憶装置４３０によりその機能が実現される。通信装置４４０は、キャラクター表示制御装置１００を外部の装置と通信接続するためのインターフェースである。

【0098】

なお、キャラクター表示制御装置１００の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、キャラクター表示制御装置１００の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

【0099】

また、上記した実施形態の例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0100】

１０００・・・キャラクター表示制御システム、１００・・・キャラクター表示制御装置、１１０・・・記憶部、１１１・・・室内地図情報、１１２・・・撮像対象割当情報、１１３・・・キャラクター行動定義情報、１２０・・・処理部、１２１・・・指示部、１２２・・・ユーザ状態解析部、１２３・・・室内状態解析部、１２４・・・キャラクター行動生成部、２００・・・撮像機器、３００・・・ＡＲデバイス、４１０・・・処理装置、４２０・・・主記憶装置、４３０・・・補助記憶装置、４４０・・・通信装置、４５０・・・バス、Ｎ・・・ネットワーク

【要約】      （修正有）

【課題】拡張現実のキャラクターに、ユーザがコミュニケーションを取っていると感じさせる挙動の表示制御を行うシステム、方法及びプログラムを提供する。
【解決手段】キャラクター表示制御装置と、複数の撮像機器と、ＡＲデバイス等画像表示デバイスとが、ネットワークＮを介して相互通信可能に接続されているキャラクター表示制御システム１０００であって、各撮像機器は、レール上を移動して、ユーザの居る室内の様子を撮像し、画像情報をキャラクター表示制御装置に送信し、キャラクター表示制御装置は、前記画像情報を用いた解析処理を行うことでユーザの状態を特定し、特定したユーザの状態に関連するキャラクターの行動を表す出力情報を生成して画像表示デバイスに送信し、画像表示デバイスは、出力情報に基づき、前記キャラクターが行動している様子を表す表示情報を現実世界の画像に重ねて出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】